基于大數(shù)據(jù)的學(xué)籍預(yù)警管理的關(guān)鍵技術(shù)與系統(tǒng)設(shè)計

周希宸，代偉，黃學(xué)佳

（四川西南航空職業(yè)學(xué)院，四川成都，610000）

1 學(xué)籍預(yù)警制度的現(xiàn)狀

學(xué)籍預(yù)警是基于各專業(yè)的人才培養(yǎng)方案，對學(xué)生的學(xué)習(xí)成績展開研究。主要屬于數(shù)據(jù)分析和數(shù)據(jù)挖掘領(lǐng)域。目前我國對于教育數(shù)據(jù)挖掘的研究更側(cè)重于理論層面的探索以及對國外案例的介紹，對挖掘技術(shù)的應(yīng)用研究相對不足。伴隨信息技術(shù)與行業(yè)的深入融合，目前很多高校都在進行信息化數(shù)字化智能化的智慧化校園建設(shè)，聯(lián)合系統(tǒng)集成類軟件技術(shù)企業(yè)進行合作定制開發(fā)符合各自校情的系統(tǒng)。但這是一個系統(tǒng)且復(fù)雜的工程，也需要大量的流程再造和經(jīng)費支持。而經(jīng)費的來源，是大多數(shù)高校，尤其是民辦高校的一大核心痛點。所以，信息化數(shù)字化智能化是一個漫長的探索過程。提升校本研究團隊的科技成果轉(zhuǎn)化能力具有重要意義。

目前，我校對于學(xué)生成績管理及學(xué)籍預(yù)警制度的實施處于半自動化狀態(tài)。在現(xiàn)有的教務(wù)管理系統(tǒng)中只能實現(xiàn)各學(xué)院各專業(yè)各同學(xué)的成績查詢，而不能進一步對學(xué)生成績進行分析并可視化的展示。對于將要處于和已處于學(xué)籍預(yù)警狀態(tài)的學(xué)生進行預(yù)警的處理更多的是手動處理。篩選出名單之后，由學(xué)院及班主任進行逐一通知。因此，對學(xué)籍預(yù)警管理流程與制度的信息化數(shù)字化智能化實施路徑的探索非常必要。

2 學(xué)籍預(yù)警制度的重要意義

2.1 高校教學(xué)管理面臨嚴(yán)峻考驗

隨著高等教育大眾化進程的深入，招生規(guī)模不斷擴大，學(xué)生的文化素質(zhì)基礎(chǔ)參差不齊。面對學(xué)習(xí)態(tài)度不佳，多門考試未通過的學(xué)生，必須按照相關(guān)的教育教學(xué)管理制度進行處理，如降級或退學(xué)等。高校的教學(xué)管理工作面臨著日益嚴(yán)峻的考驗。

教育的目標(biāo)是為了把學(xué)生培養(yǎng)成行業(yè)需要的合格人才，讓學(xué)生不斷完善自我，創(chuàng)造美好幸福的生活。因此，學(xué)校需要對于學(xué)生在校的學(xué)習(xí)情況進行全面清晰的掌控，對于將要出現(xiàn)學(xué)籍風(fēng)險的同學(xué)提前進行更科學(xué)和高效的預(yù)警，讓他們及時掌控學(xué)校及各學(xué)院各專業(yè)整體的情況，對教育教學(xué)質(zhì)量進行更好的監(jiān)督和管理。

2.2 學(xué)生個人發(fā)展及成長需要

每個學(xué)生在自身的成長中，都會遇到各種挫折和困難，并且還會出現(xiàn)階段性的反復(fù)。大學(xué)是學(xué)生世界觀、人生觀、價值觀形成的重要階段。讓他們合理安排好自己的學(xué)習(xí)和生活，而不能在“享樂主義”中荒廢學(xué)業(yè)，導(dǎo)致多門課程不合格而受到退學(xué)處理?？茖W(xué)完善的學(xué)籍預(yù)警可以引導(dǎo)學(xué)生良性發(fā)展。

2.3 加強大學(xué)生家庭教育需要

在大學(xué)階段，家長不僅僅要從生活上關(guān)心孩子，也更要關(guān)注孩子的學(xué)習(xí)。因為大學(xué)階段，學(xué)生的獨立性及大多數(shù)學(xué)生異地求學(xué)的情況，家長無法隨時獲得學(xué)生的各種情況。而大多數(shù)學(xué)生只會報喜不報憂，導(dǎo)致家長無法真實了解學(xué)生的在校表現(xiàn)，最終導(dǎo)致學(xué)生與家庭之間教育脫節(jié)?？茖W(xué)完善的學(xué)籍預(yù)警可以加強學(xué)校與學(xué)生家長之間的聯(lián)系，互通有無，共同幫助學(xué)生得到良好的發(fā)展。

3 基于大數(shù)據(jù)的學(xué)籍預(yù)警管理系統(tǒng)的功能需求

我校共有7大院系，各院系下分別下屬專業(yè)1-8個，每個專業(yè)擁有學(xué)生人數(shù)從幾十到上千不等。每名學(xué)生在校正考平均12科/學(xué)期，4學(xué)期共計48條成績。原有的教務(wù)系統(tǒng)只是呈現(xiàn)了這些學(xué)科成績，而對于管理者無法從整體上掌握各學(xué)院各專業(yè)各科的成績情況,無法進一步自動化推進學(xué)籍預(yù)警管理流程。因此，本項目立足于以下研究目標(biāo)：

（1）對全院學(xué)生的學(xué)業(yè)成績進行整體畫像

（2）對各二級學(xué)院，各專業(yè)，各班級的學(xué)業(yè)成績進行整體畫像

（3）對學(xué)生的補考科目和時間進行批量精準(zhǔn)報送

（4）對學(xué)生的重修科目和實踐進行批量精準(zhǔn)報送

（5）對學(xué)生畢業(yè)前夕的學(xué)業(yè)完成情況進行清晰管理

（6）信息化支持教學(xué)管理線對學(xué)生學(xué)籍預(yù)警的制度化流程，進行一站式服務(wù)

4 基于大數(shù)據(jù)的學(xué)籍預(yù)警管理系統(tǒng)的關(guān)鍵技術(shù)

4.1 基于B/S的網(wǎng)絡(luò)架構(gòu)

為滿足開放、互連、信息隨處可見與共享、開發(fā)成本低廉的要求，本項目采用B/S型模式，即瀏覽器請求，服務(wù)器響應(yīng)的工作模式。第一層是瀏覽器。不同的客戶端進行簡單的輸入和輸出呈現(xiàn)。第二層是Web服務(wù)器，實現(xiàn)信息傳送。當(dāng)學(xué)生、任課教師、管理者在瀏覽器輸入特定的賬號登入系統(tǒng)進行相關(guān)模塊的訪問請求。由Web服務(wù)器統(tǒng)一受理后向數(shù)據(jù)庫服務(wù)器發(fā)送訪問數(shù)據(jù)庫的請求。第三層是數(shù)據(jù)庫服務(wù)器。大量的學(xué)生成績等數(shù)據(jù)信息存放在此。通過在數(shù)據(jù)庫中查詢檢索后，將返回的結(jié)果發(fā)送給Web服務(wù)器。Web服務(wù)器將收到的收據(jù)結(jié)果轉(zhuǎn)換為HTML文本形式發(fā)送給瀏覽器，進而向不同用戶所使用的瀏覽器端呈現(xiàn)結(jié)果。

4.2 大數(shù)據(jù)技術(shù)架構(gòu)

單從目前的學(xué)生成績數(shù)據(jù)體量，不必要使用大數(shù)據(jù)技術(shù)。但本項目立足于大數(shù)據(jù)思想及大數(shù)據(jù)技術(shù)展開研究，更多是出于團隊專業(yè)能力提升和項目未來的擴展性的要求。

本項目首先根據(jù)項目的具體功能需求和角色進行完整的數(shù)據(jù)庫流程設(shè)計，并在原來的教務(wù)系統(tǒng)下載學(xué)生成績數(shù)據(jù)進行整理，將學(xué)生成績原始數(shù)據(jù)和存放在MySQL中的基礎(chǔ)數(shù)據(jù)，通過sqoop開源工具將MySQL中的數(shù)據(jù)采集到Hadoop的HDFS中進行數(shù)據(jù)存儲，再通過Hadoop的數(shù)據(jù)倉庫工具Hive，對數(shù)據(jù)進行提取、清洗、轉(zhuǎn)化、加載，隨后使用分布式SQL查詢引擎Presto連接數(shù)據(jù)可視化工具，對提取和篩選后的數(shù)據(jù)進行可視化的呈現(xiàn)。如下表所示，項目的整體架構(gòu)從數(shù)據(jù)源、數(shù)據(jù)采集、數(shù)據(jù)存儲、數(shù)據(jù)處理、數(shù)據(jù)應(yīng)用等不同層級進行支撐。

5 基于大數(shù)據(jù)的學(xué)籍預(yù)警管理系統(tǒng)的系統(tǒng)設(shè)計

本項目主要對學(xué)生各學(xué)期的學(xué)習(xí)成績進行分析與呈現(xiàn)，對數(shù)據(jù)信息的存儲和處理是重要的環(huán)節(jié)之一。根據(jù)項目的研究目標(biāo)進行需求分析。

5.1 系統(tǒng)的功能需求

5.1.1 參與者的確定及用例的獲取

本項目涉及的參與者包括學(xué)生、教師、教研室主任、院長、管理員。不同的參與者有不同的需求，把這些需求轉(zhuǎn)化成用例。學(xué)生查詢自己的各學(xué)期的成績，包括課程所屬學(xué)期、課程性質(zhì)、學(xué)分、周學(xué)時、正考成績、補考成績、重修成績并能修改自己登錄系統(tǒng)的密碼；教師查詢自己所教授科目的成績，教研室主任查詢本教研室所涉及專業(yè)課程的成績，院長查詢?nèi)核姓n程的成績信息。管理員可對其他參與者進行權(quán)限管理，同時可以添加修改相關(guān)的學(xué)生、教師、課程、成績等信息。

5.1.2 系統(tǒng)的模塊劃分

此項目存在一定的復(fù)雜程度，將其劃分成以下幾個模塊。

（1）用戶管理模塊

用戶管理模塊的核心任務(wù)是提供用戶的注冊、登錄、個人信息添加和修改功能。對于四種不同的參與者分別存在以下功能。

非管理員：通過本模塊添加個人信息、修改個人信息；個人信息包括密碼、手機號、郵箱等。

管理員：對已注冊用戶進行管理，包括對一些常常進行非法操作的賬號進行封禁和銷號等。

（2）成績查詢模塊

成績查詢模塊主要任務(wù)是管理學(xué)生的成績，各個學(xué)期各專業(yè)已修科目的正考成績，補考成績和重修成績。

（3）補考管理模塊

補考管理模塊主要任務(wù)是對學(xué)生正考成績數(shù)據(jù)進行處理，對于特定時間段正考不合格的同學(xué)給予補考通知。

不同權(quán)限的用戶可以查詢不同的補考信息明細(xì)并進行可視化的呈現(xiàn)。學(xué)生可以查看個人的補考信息，教師可以查看自己所授學(xué)科的補考信息，教研室主任可以查看本教研室的補考信息，院長可以查看全學(xué)院所屬專業(yè)的補考信息。

（4）重修管理模塊

重修管理模塊主要任務(wù)是對學(xué)生補考成績數(shù)據(jù)進行處理，對于特定時間段補考不合格的同學(xué)給予重修通知。

不同權(quán)限的用戶可以查詢不同的重修信息明細(xì)并進行可視化的呈現(xiàn)。學(xué)生可以查看個人的重修信息，教師可以查看自己所授學(xué)科的重修信息，教研室主任可以查看本教研室的重修信息，院長可以查看全學(xué)院所屬專業(yè)的重修信息。

（5）學(xué)籍預(yù)警管理模塊

學(xué)籍預(yù)警管理模塊的主要任務(wù)是對學(xué)生的補考次數(shù)，補考不合格門數(shù)達到一定數(shù)量，重修次數(shù)，重修不合格門數(shù)達到一定數(shù)量的同學(xué)發(fā)布學(xué)籍預(yù)警風(fēng)險。

5.2 系統(tǒng)的非功能需求

由于目前本項目只是針對學(xué)生的成績來進行分析。為了后期全面推進數(shù)字化校園建設(shè)。除了學(xué)生成績的維度，還有其他的學(xué)生狀態(tài)與行為數(shù)據(jù)也可以進行數(shù)據(jù)分析與挖掘。考慮到未來可能添加更多的功能，適當(dāng)?shù)靥岣呦到y(tǒng)的可擴展性。因此，該系統(tǒng)采用分層設(shè)計，把各個功能模塊橫向劃分為顯示層，接口層，實現(xiàn)層。在本項目中這些層次對應(yīng)著以下組件。

(1)顯示層：界面層；(2)接口層：業(yè)務(wù)工作層；(3)實現(xiàn)層：業(yè)務(wù)實現(xiàn)層；(4)其他實用組件：數(shù)據(jù)庫。

5.3 系統(tǒng)設(shè)計的核心點

（1）數(shù)據(jù)源

本項目的設(shè)計初衷是因為現(xiàn)有的成績管理對數(shù)據(jù)的分析與呈現(xiàn)不足。因此，對于數(shù)據(jù)的整合是本項目的第一個關(guān)鍵。原系統(tǒng)的數(shù)據(jù)主要存放在MySQL數(shù)據(jù)庫中，幾年前由一家系統(tǒng)集成企業(yè)為學(xué)校定制開發(fā)。從我們所擁有權(quán)限來看，我們擁有的常規(guī)權(quán)限是到教務(wù)系統(tǒng)中將各學(xué)院各年級各專業(yè)的學(xué)生的成績數(shù)據(jù)以為Excel的形式導(dǎo)出。另外，還有一個方式可以省下一些精力。即請系統(tǒng)集成企業(yè)給一個接口，我們可以有權(quán)限連接他們的MySQL數(shù)據(jù)庫。這樣得到原始成績數(shù)據(jù)的方式就更快捷一些。出于項目的未來用途，本項目主要研究用于未來的教學(xué)實戰(zhàn)，輔助項目驅(qū)動的課程建設(shè)。所以，在獲取數(shù)據(jù)源上采用了導(dǎo)出Excel數(shù)據(jù)的形式。

（2）數(shù)據(jù)采集

本項目采用大數(shù)據(jù)技術(shù)支撐研究。因此從數(shù)據(jù)源到大數(shù)據(jù)體系必須經(jīng)歷數(shù)據(jù)采集的過程。本次主要采用Excel文件類型的原始數(shù)據(jù)采集上傳到HDFS存儲?？紤]項目后續(xù)的擴展性，例如增加一些新的功能，預(yù)留了從MySQL數(shù)據(jù)庫采集數(shù)據(jù)。由于本項目不是單一的進行數(shù)據(jù)存儲處理，而是要通過大數(shù)據(jù)的相關(guān)組件來數(shù)據(jù)進行清洗和分析。因此，本項目最終確定的操作路徑是，把從原始教務(wù)系統(tǒng)下載的Excel表學(xué)生成績存入到MySQL數(shù)據(jù)庫中?；趯椖康男枨蠓治?，對數(shù)據(jù)的整合與規(guī)范進行初步的思考。

（3）數(shù)據(jù)存儲

在已經(jīng)搭建好的Hadoop環(huán)境下安裝MySQL。然后運用Sqoop開源工具，將MySQL中的數(shù)據(jù)導(dǎo)入到HDFS存儲，為后續(xù)進行數(shù)據(jù)處理做好準(zhǔn)備。

（4）數(shù)據(jù)處理

在這個環(huán)節(jié)，需要用到基于Hadoop的數(shù)據(jù)倉庫工具Hive。通過它對學(xué)生成績進行提取、轉(zhuǎn)化、加載。因為學(xué)生所屬的學(xué)院和專業(yè)不同，為了后期能更具體的呈現(xiàn)學(xué)生的成績情況并進行分析。因此，在本環(huán)節(jié)要充分考慮項目的整體需求和輸出的結(jié)果的落地性和相關(guān)性，進而在第一個環(huán)節(jié)考慮的數(shù)據(jù)的整合和規(guī)范思路，在此環(huán)節(jié)中進行具體實施。在Hive建表時充分融入管理思維，為后續(xù)進行流程優(yōu)化奠定基礎(chǔ)。Hive處理好數(shù)據(jù)源數(shù)據(jù)的同時，借助Presto分布式查詢引擎，對學(xué)生成績數(shù)據(jù)進行限定條件的分析，在龐大的學(xué)生成績數(shù)據(jù)中查詢中存在補考重修并多門學(xué)科存在補考重修的數(shù)據(jù)，以在補考管理模塊和重修管理模塊中得以呈現(xiàn)。

（5）數(shù)據(jù)應(yīng)用

研究此項目的初衷是原有教務(wù)系統(tǒng)學(xué)生成績管理存在痛點。本項目以大數(shù)據(jù)的思維，采用大數(shù)據(jù)的相關(guān)技術(shù)棧進行技術(shù)重構(gòu)的目標(biāo)是體現(xiàn)數(shù)據(jù)的價值。基于前面的數(shù)據(jù)分析，在數(shù)據(jù)應(yīng)用層，我們將接入數(shù)據(jù)可視化技術(shù)將Presto實時查詢和分析的數(shù)據(jù)進行更加生動的呈現(xiàn)，如柱狀圖，餅狀圖等。這樣，數(shù)據(jù)在各個職能部門的作用就變得更加鮮活，能夠在各自的業(yè)務(wù)范圍內(nèi)更好的觀察數(shù)據(jù)，并支持管理決策，實現(xiàn)學(xué)生成績管理的流程閉關(guān)。

基于以上大數(shù)據(jù)思想及技術(shù)架構(gòu)體系，通過原始數(shù)據(jù)的采集，解決數(shù)據(jù)存儲的問題，然后對學(xué)生成績進行數(shù)據(jù)提取、清洗、轉(zhuǎn)換和加載，設(shè)計符合功能模塊需求的hive表，再添加Presto分布式SQL查詢引擎連接數(shù)據(jù)可視化工具。兩相對比，此項目研究思路對于之前的半自動化的成績管理的現(xiàn)狀，將學(xué)生成績管理流程的前后銜接，對數(shù)據(jù)進行有效地分析和管理，有力的支持管理決策，同時學(xué)生及學(xué)生家長對于學(xué)生的成績也有清晰的了解。對學(xué)院的學(xué)風(fēng)建設(shè)、教學(xué)管理，以及教學(xué)質(zhì)量的提升和教學(xué)評價提供了有力的信息化保障。