基于Hadoop生態(tài)圈的區(qū)域基礎教育大數(shù)據(jù)應用體系架構(gòu)研究及實現(xiàn)

汪翀

摘? ?要：教育數(shù)據(jù)的海量爆發(fā)和流通、大數(shù)據(jù)技術(shù)的逐步完善，促使教育數(shù)據(jù)的應用從零星走向整體、從人工邁向智能。對教育數(shù)據(jù)進行有效梳理、科學規(guī)劃，應用當今較流行的Hadoop生態(tài)圈組件和智慧城市數(shù)據(jù)共享平臺體系，建構(gòu)易實現(xiàn)、低成本的基礎教育數(shù)據(jù)應用體系，分而治之，可以有效降低基礎教育大數(shù)據(jù)的應用復雜度。采用單一系統(tǒng)數(shù)據(jù)來源和多系統(tǒng)數(shù)據(jù)來源相結(jié)合的、靈活的建模方式，面向主題、應用驅(qū)動，研究基礎教育數(shù)據(jù)的挖掘、整理、建模、分析、應用的全流程及規(guī)律，探索數(shù)據(jù)應用的實現(xiàn)方法，可以用最低的成本最大可能地發(fā)揮基礎教育數(shù)據(jù)的綜合效益。

關鍵詞：基礎教育;數(shù)據(jù)應用;系統(tǒng)分類;主題建模;數(shù)據(jù)倉庫;體系架構(gòu);實現(xiàn)途徑

中圖分類號：G40-05 文獻標志碼：A 文章編號：1673-8454（2021）15-0054-07

一、引言

伴隨IT技術(shù)的迅猛發(fā)展，海量數(shù)據(jù)爆發(fā)并產(chǎn)生流通，引起世界各國對大數(shù)據(jù)的空前關注和重視，紛紛在各領域推進大數(shù)據(jù)的挖掘、分析與應用，大數(shù)據(jù)的效益日益呈現(xiàn)。全球知名咨詢公司麥肯錫認為：“數(shù)據(jù)，已經(jīng)滲透到當今每一個行業(yè)、業(yè)務職能領域，成為重要的生產(chǎn)因素。人們對海量數(shù)據(jù)的挖掘和運用，預示著新一波生產(chǎn)率增長和消費者盈余浪潮的到來?！?/p>

我國基礎教育信息化“十三五”期間得到了長足發(fā)展，教育部教育信息化2.0工程的實施，更大幅地提升了基礎教育行業(yè)信息化系統(tǒng)的建設與應用。打破系統(tǒng)間的壁壘，充分挖掘、分析、應用教育數(shù)據(jù)，提升教育的精準性、智能化，成為今后一段時期教育信息化的重要任務。

什么是大數(shù)據(jù)？百度搜索的定義：或稱巨量數(shù)據(jù)，指的是需要新處理模式才能產(chǎn)生更強大決策力、洞察力和流程優(yōu)化能力的，海量、高增長率和多樣化的信息資產(chǎn)。[1]維基百科的定義：是指無法在一定的時間內(nèi)用常規(guī)軟件工具對其內(nèi)容進行采集、存儲、處理和應用的數(shù)據(jù)集合。[1]教育大數(shù)據(jù)目前還沒有一個公認的權(quán)威的定義。楊現(xiàn)民教授等[2]認為：教育大數(shù)據(jù)是指整個教育活動過程中產(chǎn)生的、根據(jù)教育需要采集到的，一切用于教育發(fā)展并可創(chuàng)造巨大潛在價值的數(shù)據(jù)集合。方海光認為：教育大數(shù)據(jù)有兩種定義，第一種特指教育領域應用大數(shù)據(jù)的技術(shù)和方法，它強調(diào)了大數(shù)據(jù)及大數(shù)據(jù)技術(shù)在教育行業(yè)的應用，是一種技術(shù)引導教育變革的基本想法。第二種特指教育領域的大數(shù)據(jù)，即教育和學習過程中所伴隨的各類數(shù)據(jù)的總稱，它強調(diào)了教育行業(yè)本身特有的大數(shù)據(jù)帶來的新方法，是一種通過教育應用技術(shù)解決問題的基本想法。美國Knewton教育公司將教育大數(shù)據(jù)解釋為兩類：一類是有關學生基本信息的數(shù)據(jù)，另一類是基于學生學習活動用以提升學習效果的數(shù)據(jù)。[3]本文概念應用更偏向于楊現(xiàn)民教授等人的觀點。

二、基礎教育大數(shù)據(jù)特點分析

基礎教育因行業(yè)的特點，信息化的應用起步較早，但進展并不樂觀，還未能形成顛覆性的革命，信息技術(shù)遠未達到和教育管理、教育教學的深度融合。當前行業(yè)內(nèi)建設的系統(tǒng)，信息孤島現(xiàn)象相當嚴重，數(shù)據(jù)應用層面較低。國家“三通兩平臺”建設及教育資源公共服務體系建設對上述現(xiàn)象有一定的改觀，但還無法根本解決地方信息化應用中數(shù)據(jù)的深度應用問題。區(qū)域使用的教育管理信息系統(tǒng)和業(yè)務系統(tǒng)多達數(shù)百種，給基礎教育部門的數(shù)據(jù)應用帶來了很多的痛點和難點。全面梳理基礎教育應用的信息管理系統(tǒng)和教育教學業(yè)務系統(tǒng)，分析教育系統(tǒng)生產(chǎn)的各種數(shù)據(jù)集及其特點，有利于教育信息化工作者，更好地開展數(shù)據(jù)挖掘、分析、應用，有效發(fā)揮數(shù)據(jù)的作用。

1.基礎教育數(shù)據(jù)集

基礎教育信息應用系統(tǒng)主要有四類：①教育部、省廳、市局行政機關或直屬事業(yè)單位部署的系統(tǒng)。②IT企業(yè)提供的云服務系統(tǒng)。③學校自建系統(tǒng)。④其它相關機構(gòu)部署的系統(tǒng)（本文圖表中分別稱A1、B1、C1、D1類系統(tǒng)）。教育系統(tǒng)的信息應用系統(tǒng)種類繁多，除少數(shù)系統(tǒng)進行了數(shù)據(jù)標準的統(tǒng)一，完成系統(tǒng)間的對接，多數(shù)應用仍是孤立的或簡單進行了統(tǒng)一的用戶論證。

從數(shù)據(jù)應用的時效性看，基礎教育數(shù)據(jù)可以分為：①靜態(tài)數(shù)據(jù)，數(shù)據(jù)變化或更新周期較長。如教職工基本信息、學生學籍信息、教師發(fā)展信息、學生成長信息、學生學業(yè)成績信息、學生健康體質(zhì)信息、入學招生信息、教育事業(yè)發(fā)展信息、中高考信息等。這類數(shù)據(jù)基本上是以學期或?qū)W年度為周期產(chǎn)生更新，變化相對較慢，但規(guī)律性很強。②動態(tài)數(shù)據(jù)，數(shù)據(jù)變化或更新周期較短。如智慧課堂系統(tǒng)信息、學生“一卡通”系統(tǒng)信息（一般整合了門禁、圖書閱讀、班牌、水電管理等應用）、學生社會活動信息、學生作業(yè)和閱讀信息、學校（單位）物聯(lián)網(wǎng)管理系統(tǒng)、學校視頻監(jiān)控系統(tǒng)信息等。這類數(shù)據(jù)基本上是實時性的、動態(tài)變化的。當前基礎教育主要信息管理和業(yè)務應用系統(tǒng)如表1所示。

2.基礎教育大數(shù)據(jù)特點分析

理論界普遍采用4V表示大數(shù)據(jù)的特征，即Volume（大量）、Velocity（高速）、Variety（多樣）、Value（價值）?；A教育大數(shù)據(jù)因行業(yè)性質(zhì)及歷史發(fā)展因素，筆者認為其具備大量、多樣、價值三個特征，“高速”這一特征并不明顯?；A教育領域的數(shù)據(jù)卻還存在這樣一些特點：①數(shù)據(jù)來源復雜，數(shù)據(jù)質(zhì)量偏低;②數(shù)據(jù)應用側(cè)重于過程數(shù)據(jù)，對實時數(shù)據(jù)要求不迫切;③應用模型開發(fā)嚴重滯后，缺少專業(yè)性。這些特點決定了數(shù)據(jù)應用體系建構(gòu)時，需要分而治之，采用數(shù)據(jù)局部應用和整體應用相結(jié)合（單一系統(tǒng)數(shù)據(jù)來源建模和多系統(tǒng)數(shù)據(jù)來源建模）的原則，以數(shù)據(jù)應用的實效性為主要目標，分別規(guī)劃實施。

三、基礎教育數(shù)據(jù)應用的分類及主題建模

1.主題建模的概念

數(shù)據(jù)應用無論是簡單的，還是復雜的，一定是面向主題的。主題是在信息系統(tǒng)或信息平臺較高層次上為完成某個或某類應用而對數(shù)據(jù)進行整理、歸類、分析的一個抽象概念。主題建模是為了達成主題而實施的數(shù)據(jù)組織形式，是在較高層次上對數(shù)據(jù)的一個完整而且一致的描述。完成這一階段工作，應當由用戶、系統(tǒng)開發(fā)人員和教育信息化技術(shù)人員三方共同協(xié)作。傳統(tǒng)情況下，在系統(tǒng)或平臺開發(fā)過程中，熟悉教育業(yè)務的教育信息化專業(yè)技術(shù)人員對主題建模的關鍵作用容易被忽視。

2.基礎教育數(shù)據(jù)應用的分類

基礎教育的數(shù)據(jù)應用較為復雜，特別是涉及教育教學質(zhì)量、師生發(fā)展評價、學校發(fā)展效益評價等，國際國內(nèi)并無統(tǒng)一標準，指標體系也有多種，從而造成教育系統(tǒng)的大數(shù)據(jù)核心業(yè)務應用不會象其它行業(yè)那樣易于建模。對當前基礎教育四類應用系統(tǒng)進行梳理分析，系統(tǒng)服務面向的對象主要涉及教育工作者、管理者、學生、家長、學校（機構(gòu)）等。為了便于基礎教育數(shù)據(jù)應用的快速實施，減少數(shù)據(jù)挖掘、分析和應用的復雜度，可以將基礎教育數(shù)據(jù)應用分為單一系統(tǒng)數(shù)據(jù)來源建模應用和多系統(tǒng)數(shù)據(jù)來源建模應用兩大類。單一系統(tǒng)數(shù)據(jù)建模應用指的是某一教育信息系統(tǒng)的數(shù)據(jù)采集、挖掘、建模、分析和應用不涉及其它信息系統(tǒng)的數(shù)據(jù)，其數(shù)據(jù)應用過程及實現(xiàn)相對簡單，現(xiàn)階段有為數(shù)不少的信息管理系統(tǒng)或教學業(yè)務系統(tǒng)都或多或少地在系統(tǒng)中建設了數(shù)據(jù)分析、應用模塊，但無理論體系支撐，僅是零星應用。多系統(tǒng)數(shù)據(jù)來源建模應用指的是數(shù)據(jù)采集、挖掘、建模、分析和應用涉及多個信息管理系統(tǒng)、業(yè)務系統(tǒng)的數(shù)據(jù)，其數(shù)據(jù)應用過程及實現(xiàn)相對復雜，需要通過數(shù)據(jù)倉庫等平臺來實現(xiàn)。其難點在于數(shù)據(jù)應用開發(fā)技術(shù)人員與教育業(yè)務管理者在工作上脫節(jié)，應用需求分析不到位、不徹底。

3.兩類數(shù)據(jù)應用的主題建模及實現(xiàn)

對地級市區(qū)域來說，需要面向數(shù)據(jù)應用對象認真梳理各類系統(tǒng)，整理出基礎教育的信息系統(tǒng)數(shù)據(jù)應用主題，按照單一數(shù)據(jù)來源建模應用和多系統(tǒng)數(shù)據(jù)來源建模應用對其進行劃分，能夠在單系統(tǒng)中完成數(shù)據(jù)挖掘、建模、分析應用的，盡量在本系統(tǒng)中解決，這樣既可以節(jié)約系統(tǒng)開發(fā)成本，也易于數(shù)據(jù)應用的實現(xiàn)和落地。對于管理類信息系統(tǒng)，往往國家、省級教育行政部門都有建設和部署，但因系統(tǒng)建設的重點不同，上級部門部署的這類系統(tǒng)，數(shù)據(jù)采集和數(shù)據(jù)分析的維度較少，很多與地方數(shù)據(jù)應用主題不吻合，或不適合本地需求。地級市可以考慮在市級建設一系列以發(fā)展性數(shù)據(jù)應用為主體的系統(tǒng)，這既可解決個性數(shù)據(jù)應用問題，也可為多系統(tǒng)數(shù)據(jù)來源建模應用完成個性數(shù)據(jù)采集工作。

以基礎教育“教師（教職工）管理信息系統(tǒng)”為例，國家或省級系統(tǒng)數(shù)據(jù)采集基本集中在教師基本信息、教科研、培訓等，數(shù)據(jù)應用也主要為基本信息的分類統(tǒng)計。上級部署的系統(tǒng)存在著這樣一些問題：對個體來說，不能對教師的發(fā)展狀況進行精準分析和畫像，更不能提供多模型評價的精準分析。對管理部門來說，由于各地各校教師用工情況復雜，系統(tǒng)數(shù)據(jù)采集不完整，從而不能精準分析區(qū)域內(nèi)教師的真實情況，也不能進行多口徑（多模型或多主題）數(shù)據(jù)分析，為行政決策提供依據(jù)，更談不上與本地教師使用、管理、培養(yǎng)工作有機結(jié)合，更好地發(fā)揮信息化系統(tǒng)的智能輔助作用。以鎮(zhèn)江地區(qū)為例，教育行政部門部署的教職工管理系統(tǒng)的數(shù)據(jù)應用情況如表2所示。

（1）單一數(shù)據(jù)來源建模應用的實現(xiàn)（見圖1）

同樣以區(qū)域教師專業(yè)發(fā)展系統(tǒng)為例，鑒于教師發(fā)展過程中的評價及區(qū)域師資管理工作，使用的數(shù)據(jù)基本不涉及其它系統(tǒng)，數(shù)據(jù)建模應用可以在本系統(tǒng)內(nèi)完成，因此可以通過建立數(shù)據(jù)應用主題模型庫，將各地區(qū)對教師發(fā)展狀況評價的政策或標準，抽象成應用模型，設計成可調(diào)整、可插拔模型庫，供用戶使用。如教師畫像的應用，可以將當?shù)厝耸虏块T對教師的基本評價（考核）標準，骨干教師、學科帶頭人、特級教師的評價標準，抽象成評價模型，根據(jù)教師的基本數(shù)據(jù)、發(fā)展數(shù)據(jù)進行分析、畫像，形成發(fā)展性報告等。由于教師成長過程中涉及數(shù)十種表格，為了讓系統(tǒng)更實用、便捷，還有一個關鍵點是將系統(tǒng)內(nèi)各種數(shù)據(jù)，智能地與表格欄目形成關聯(lián)，與教師歸檔資料形成關聯(lián)，減輕教師系統(tǒng)應用的負擔，這樣即可大幅度降低數(shù)據(jù)應用的復雜度和系統(tǒng)開發(fā)成本，快速又便捷地解決當前的一些數(shù)據(jù)應用問題。

（2）多系統(tǒng)數(shù)據(jù)來源建模應用的實現(xiàn)

多系統(tǒng)數(shù)據(jù)來源的建模應用，需要抓住應用主題和數(shù)據(jù)來源兩個要點。這類數(shù)據(jù)應用如果涉及的來源較多，數(shù)據(jù)類型復雜，則通常需通過數(shù)據(jù)倉庫來實現(xiàn)（本文基于Hadoop生態(tài)圈技術(shù)）。為了降低數(shù)據(jù)應用的復雜度，應用主題可在本系統(tǒng)解決，同樣通過數(shù)據(jù)接口，可將外系統(tǒng)數(shù)據(jù)導入本系統(tǒng)，進行整理、挖掘、建模、分析應用。在數(shù)據(jù)倉庫應用層解決的，通常涉及多維度歷史數(shù)據(jù)、非關系型數(shù)據(jù)等。數(shù)據(jù)來源可能涉及本行業(yè)上級部門部署的、單位自建的系統(tǒng)（A1、C1類），也可能是IT企業(yè)開發(fā)的云服務系統(tǒng)（B1類），或是行業(yè)外行政機構(gòu)部署的系統(tǒng)（D1類）。

兩種不同數(shù)據(jù)建模應用的實現(xiàn)方式，復雜程度區(qū)別很大，以下分別用實例闡述說明。

①在一個系統(tǒng)中完成多系統(tǒng)數(shù)據(jù)來源建模應用（見圖2）。以地級市“義務教育階段招生系統(tǒng)”為例，我國義務教育階段實行免試就近入學、劃片招生政策，熱點學校招生時報名火爆，對報名學生的戶籍所在地和家庭房產(chǎn)證的審核就相當繁雜，需要大量人力物力。為降低招生人員的壓力，可以將智慧城市共享數(shù)據(jù)平臺的公安戶籍數(shù)據(jù)和房產(chǎn)管理局的房產(chǎn)數(shù)據(jù)采集接入招生系統(tǒng)，根據(jù)本市的招生政策、流程，抽象出數(shù)據(jù)應用模型，完成報名學生信息與戶籍、住房信息的比對，實現(xiàn)招生系統(tǒng)輔助決策功能，可大大減少招生人員的工作。因系統(tǒng)數(shù)據(jù)來源涉及面僅兩個，數(shù)據(jù)量也不太大，這類應用可以直接在主業(yè)務系統(tǒng)建模完成，易于數(shù)據(jù)應用的實現(xiàn)。

②通過數(shù)據(jù)倉庫完成多系統(tǒng)數(shù)據(jù)來源建模應用（見圖3）。以地級市“義務教育學校資源配置輔助決策系統(tǒng)”為例，蘇南地區(qū)外來務工人口較多，且分布極不平衡，子女的入學對當?shù)亓x務教育學校資源配置帶來很大壓力，科學規(guī)劃、預警、配置資源，有很大的現(xiàn)實意義。完成這一主題應用，涉及的數(shù)據(jù)比較多，來源類型、維度復雜，在單一系統(tǒng)中解決的效益比較低。可以將智慧城市數(shù)據(jù)共享平臺、上級教育行政部門系統(tǒng)平臺、IT企業(yè)第三方服務數(shù)據(jù)平臺的相關數(shù)據(jù)接入當?shù)亟逃到y(tǒng)數(shù)據(jù)中心的數(shù)據(jù)交換前置端口，使用對應的數(shù)據(jù)采集工具，導入數(shù)據(jù)倉庫的“貼源層”，按數(shù)據(jù)流程對相關數(shù)據(jù)進行加工，和教育行政部門共同完成資源配置的抽象、建模，用可視化工具呈現(xiàn)或開發(fā)第三方系統(tǒng)，加以展示應用。

四、多系統(tǒng)來源的數(shù)據(jù)流轉(zhuǎn)設計

1.數(shù)據(jù)流轉(zhuǎn)

基礎教育大數(shù)據(jù)流轉(zhuǎn)過程（見圖4）包括數(shù)據(jù)采集、數(shù)據(jù)整理及存儲、數(shù)據(jù)資源管理、通用計算、數(shù)據(jù)分析、數(shù)據(jù)可視化及應用。數(shù)據(jù)源主要由提供基礎教育數(shù)據(jù)集的各種應用系統(tǒng)或某些綜合平臺構(gòu)成。

2.流轉(zhuǎn)技術(shù)架構(gòu)

數(shù)據(jù)流轉(zhuǎn)過程中主要使用Hadoop生態(tài)圈的各種組件完成對數(shù)據(jù)的各種處理，組件也可部分選用在此開放代碼基礎上開發(fā)的商業(yè)化產(chǎn)品。Sqoop、Flume、TDT用來進行靜態(tài)和動態(tài)數(shù)據(jù)的采集;HDFS解決數(shù)據(jù)的分布式存儲;Hbase進行超大規(guī)模的表數(shù)據(jù)存儲，其對大表數(shù)據(jù)的讀寫訪問基本能達到實時。YARN 作為另一種分布式資源管理系統(tǒng)使用，它適用各種計算框架，擴展性、可用性均高。MapReduce、Spark Core、Flink Dataset選擇為平臺的通用計算框架，解決各種場景的分布計算?；跀?shù)據(jù)分析、主題建模、數(shù)據(jù)應用、可視化等，平臺較高層面可以根據(jù)區(qū)域?qū)嶋H選擇不同組件，如國內(nèi)商業(yè)產(chǎn)品Inceptor、Slipstream、 HypeBASE、Search、Discover、Sophon等。應用組件參考架構(gòu)如圖5所示。

3.數(shù)據(jù)采集

基礎教育大數(shù)據(jù)采集分為靜態(tài)數(shù)據(jù)采集和動態(tài)數(shù)據(jù)采集。不同類型系統(tǒng)數(shù)據(jù)采集如圖6所示。生產(chǎn)靜態(tài)數(shù)據(jù)的管理信息系統(tǒng)主要是各級教育行政部門部署的教育管理類系統(tǒng)，用戶涉及面一般比較廣，以區(qū)域為單位覆蓋率理想情況下可接近100%。產(chǎn)生動態(tài)數(shù)據(jù)的主要是IT企業(yè)開發(fā)的教育教學業(yè)務系統(tǒng)、區(qū)域或?qū)W校部署的學生行為管理類系統(tǒng)（如學生“一卡通”系統(tǒng)等），這類系統(tǒng)一般由學校、集團校、縣區(qū)局部部署，很少有地級市全面部署的現(xiàn)象，數(shù)據(jù)采集相對繁雜，難以覆蓋區(qū)域內(nèi)全部用戶對象，易形成數(shù)據(jù)空白區(qū)。靜態(tài)數(shù)據(jù)可以使用Sqoop、TDT等工具完成數(shù)據(jù)的導入，全量導入建議使用TDT組件，過程中可進行一些輕量級的整理。動態(tài)數(shù)據(jù)采集的數(shù)據(jù)多使用Flume、Kafka來完成，地級區(qū)域可以在業(yè)務系統(tǒng)與數(shù)據(jù)倉庫之間建設數(shù)據(jù)中轉(zhuǎn)端點，建設數(shù)據(jù)交換平臺進行數(shù)據(jù)處理。常見數(shù)據(jù)采集工具特點比較如表3所示。

4.數(shù)據(jù)整理及管理

數(shù)據(jù)整理需要考慮的是數(shù)據(jù)質(zhì)量，可以從數(shù)據(jù)的4個C方面入手，即數(shù)據(jù)的完整性（complete）、一致性（coherent）、準確性（correct）、可解釋性（accountable）。[4]基礎教育各個應用系統(tǒng)提供的數(shù)據(jù)質(zhì)量比較令人擔憂，原因是多方面的（因非本文重點，在此不作闡述），數(shù)據(jù)整理可以分三階段完成，即輕度整理、深度整理、形成數(shù)據(jù)資源庫（數(shù)據(jù)集市）。

整個數(shù)據(jù)整理過程應圍繞數(shù)據(jù)應用、主題建模進行，輕度整理階段按4C原則解決數(shù)據(jù)質(zhì)量問題;深度整理階段重點依據(jù)數(shù)據(jù)應用方向，對數(shù)據(jù)進行切割或合并，根據(jù)主要應用主題生成數(shù)據(jù)集市。

同時數(shù)據(jù)整理還需要考慮數(shù)據(jù)粒度，它直接關系到數(shù)據(jù)倉庫中數(shù)據(jù)量的大小以及應用查詢的類型。粒度級別越高，查詢越少。多數(shù)情況下，數(shù)據(jù)在進入數(shù)據(jù)倉庫時的粒度級別太高，意味著在數(shù)據(jù)存入數(shù)據(jù)倉庫之前，開發(fā)人員必須花費大量設計和開發(fā)資源對這些數(shù)據(jù)進行拆分。[5]如基礎教育學生學業(yè)成績數(shù)據(jù)，現(xiàn)階段主要來源于這樣幾類系統(tǒng)，即考試閱卷系統(tǒng)、智慧課堂系統(tǒng)、教務管理系統(tǒng)、中高考成績系統(tǒng)。其數(shù)據(jù)粒度比較情況如表4所示。

這幾類系統(tǒng)的數(shù)據(jù)都反映了學生的學業(yè)成績和學習行為。就學業(yè)成績而言，市場上的主流產(chǎn)品對數(shù)據(jù)細化到了學科知識點的情況較多，無能力點的維度。教務管理系統(tǒng)、中高考成績系統(tǒng)多為學科綜合成績類，數(shù)據(jù)粒度高，數(shù)據(jù)應用查詢的頻次會較低，深度挖掘、分析的難度會較大?；A教育需要實現(xiàn)較高水平的精準教學、智能輔助決策，前端業(yè)務應用系統(tǒng)應結(jié)合行業(yè)的業(yè)務特點，努力降低業(yè)務數(shù)據(jù)的粒度，才能在數(shù)據(jù)應用的深度上實現(xiàn)重大突破。

建立基礎教育數(shù)據(jù)資源目錄是實現(xiàn)數(shù)據(jù)管理的最重要環(huán)節(jié)。它應以教育部、省教育廳、地市教育行政部門發(fā)布的教育行業(yè)數(shù)據(jù)標準為依據(jù)，結(jié)合各級教育行政部門對學校、單位、教師、學生的評價標準，由數(shù)據(jù)倉庫建設專業(yè)技術(shù)人員會同教育行政部門管理人員共同討論制定。教育部曾發(fā)布與教育管理信息有關的《教育管理基礎代碼》、《教育管理基礎信息》、《教育行政管理信息》、《普通中小學校管理信息》、《中職學校管理信息》、《高等學校管理信息》和《教育統(tǒng)計信息》共7個教育信息化行業(yè)標準，可以結(jié)合當?shù)厍闆r在制定數(shù)據(jù)資源目錄時參照執(zhí)行（部分標準已不適應現(xiàn)實要求，可按IT通用標準處理）。

五、基礎教育大數(shù)據(jù)應用體系架構(gòu)

1.數(shù)據(jù)倉庫的設計

區(qū)域基礎教育的數(shù)據(jù)倉庫可以采用硬件資源層、數(shù)據(jù)交換層、數(shù)據(jù)計算層、數(shù)據(jù)應用層四層結(jié)構(gòu)。考慮到教育行業(yè)應用系統(tǒng)的復雜性，可以建設一個數(shù)據(jù)交換平臺，根據(jù)不同系統(tǒng)的類型使用靜態(tài)導入或?qū)崟r采集，并通過ETL工具進行輕度的數(shù)據(jù)整理。貼源數(shù)據(jù)區(qū)基本保持原數(shù)據(jù)結(jié)構(gòu)，僅進行數(shù)據(jù)質(zhì)量、數(shù)據(jù)一致性的處理。數(shù)據(jù)計算層是數(shù)據(jù)倉庫應用的核心，重中之重在于面向應用主題，進行數(shù)據(jù)的抽象建模，完成各類數(shù)據(jù)集市的建設，這一過程需要IT專業(yè)技術(shù)人員和教育行業(yè)各業(yè)務部門、行政管理部門的人員共同研討，制定應用主題，搭建數(shù)據(jù)模型，然后抽象成算法。面向基礎教育用戶對象可考慮建設教育事業(yè)類、教師發(fā)展類、學生成長類、家校共育類等數(shù)據(jù)集市;面向教育評估評價主題可建設各類教育評估評價專業(yè)數(shù)據(jù)集市;面向事業(yè)發(fā)展、師生發(fā)展可整理出發(fā)展預警預測類數(shù)據(jù)集市。數(shù)據(jù)倉庫應用層可由易到難，先從數(shù)據(jù)的主題查詢、數(shù)據(jù)快速報表做起，再根據(jù)現(xiàn)今教育的主流評價模型設計各類對象的個性畫像、事業(yè)畫像，逐步建設基于數(shù)據(jù)挖掘的智能輔助決策應用和預警預測應用等。針對更多更深度的應用可以建設多類型數(shù)據(jù)倉庫接口，提供給第三方開展應用系統(tǒng)的設計建設。基礎教育區(qū)域數(shù)據(jù)倉庫架構(gòu)如圖7所示。

2.數(shù)據(jù)應用體系架構(gòu)

以應用為導向、以應用為驅(qū)動是基礎教育信息化建設的核心，盡管教育行業(yè)信息化系統(tǒng)錯綜復雜，但理清系統(tǒng)間的數(shù)據(jù)應用關系、合理架構(gòu)應用體系，能夠最大可能地挖掘、使用數(shù)據(jù)，發(fā)揮數(shù)據(jù)的應有效益。圍繞數(shù)據(jù)應用這個核心，以區(qū)域基礎教育數(shù)據(jù)倉庫為中心，構(gòu)建數(shù)據(jù)應用架構(gòu)體系（見圖8）。區(qū)域單一系統(tǒng)數(shù)據(jù)來源和多系統(tǒng)數(shù)據(jù)來源數(shù)據(jù)中較為簡單的，采取這兩種數(shù)據(jù)應用建模時，可以直接將數(shù)據(jù)交互到單應用系統(tǒng)中進行應用主題建模，完成數(shù)據(jù)應用;跨多個系統(tǒng)、多個數(shù)據(jù)類型的應用，可通過區(qū)域數(shù)據(jù)交換平臺將數(shù)據(jù)交互至數(shù)據(jù)倉庫貼源層進行數(shù)據(jù)的整理、建模，建設數(shù)據(jù)應用集市，設計多類型數(shù)據(jù)應用接口，然后由第三方開發(fā)企業(yè)，完成數(shù)據(jù)的對接，二次建模應用。國家、省部署系統(tǒng)目前多數(shù)還未建設交換共享平臺，可考慮采取設立數(shù)據(jù)交互前置終端的方式解決。智慧城市數(shù)據(jù)交換平臺通常是在政務內(nèi)網(wǎng)中設立一個數(shù)據(jù)交互前置終端，應用系統(tǒng)可與此終端進行數(shù)據(jù)讀取。該體系的特點是比較務實，可以快速實現(xiàn)現(xiàn)有狀況下基礎教育的大數(shù)據(jù)應用，同時也具有發(fā)展性和可擴展性，當大數(shù)據(jù)技術(shù)向前發(fā)展時，適當對體系進行調(diào)整即可完成新技術(shù)下的深度應用。

六、結(jié)語

基礎教育大數(shù)據(jù)的應用，不是一個簡單的項目建設，而是一個長期的不斷發(fā)展的，并會給教育帶來深度變革的進程。它需要國家層面頂層規(guī)劃教育數(shù)據(jù)交互、應用體系;區(qū)域和學校層面統(tǒng)籌數(shù)據(jù)應用系統(tǒng)建設;教師和教育管理者逐步提高數(shù)據(jù)素養(yǎng);教育信息化人員提升專業(yè)保障能力，多方共同努力才能完成。區(qū)域大數(shù)據(jù)應用體系的構(gòu)建，可以逐步納入國家教育數(shù)據(jù)整體建設體系中。現(xiàn)階段可以將重點落實到區(qū)域數(shù)據(jù)倉庫、基礎教育數(shù)據(jù)資源建設中;使用本文建議的單一系統(tǒng)數(shù)據(jù)來源建模應用和多系統(tǒng)數(shù)據(jù)來源建模應用的兩種方式，在應用中研究、在應用中提升、在應用中發(fā)展，推動我國基礎教育大數(shù)據(jù)應用的快速發(fā)展。

參考文獻：

[1]黃東軍.Hadoop大數(shù)據(jù)實戰(zhàn)權(quán)威指南[M].北京：電子工業(yè)出版社，2017：7.

[2]楊現(xiàn)民，李新.中小學教師數(shù)據(jù)素養(yǎng)[M].北京：科學出版社，2020：3.

[3]肖君.教育大數(shù)據(jù)[M].上海：上海科學技術(shù)出版社，2020：6-7.

[4][美]Q Etban McCallum.數(shù)據(jù)整理實踐指南[M].魏秀麗，李妹芳，譯.北京：人民郵電出版社，2016：198.

[5][美]William H Inmon.數(shù)據(jù)倉庫[M].王志海，等譯.北京：機械工業(yè)出版社，2019：28.

（編輯：王天鵬）