甘琤 李虎 李霞 馬照瑞
摘 要:學(xué)校的發(fā)展,離不開對校情的充分把握。而校情統(tǒng)計分析平臺,正越來越多地在決策支持、教學(xué)質(zhì)量監(jiān)督、業(yè)務(wù)支撐等方面發(fā)揮著重要的作用。本文以鄭州輕工業(yè)學(xué)院校情統(tǒng)計分析平臺為例,給出了校情統(tǒng)計分析平臺的建設(shè)思路、技術(shù)可行性、設(shè)計與實現(xiàn)方法。最后總結(jié),此平臺運行一段時間后,在助力學(xué)校發(fā)展方面取得的成果,并進行了展望。
關(guān)鍵詞:數(shù)字校園;智慧校園;校情;統(tǒng)計分析;BIEE;ROLAP
中圖分類號:TP315 文獻標志碼:A 文章編號:1673-8454(2016)03-0079-04
一、前言
隨著高校數(shù)字化校園建設(shè)的廣泛推廣,學(xué)校各類信息系統(tǒng)都積累了一定規(guī)模的業(yè)務(wù)數(shù)據(jù),涉及教學(xué)、科研、管理、后勤等各個方面。在系統(tǒng)集成技術(shù)、數(shù)據(jù)挖掘技術(shù)、大數(shù)據(jù)處理技術(shù)日趨成熟的背景下,建設(shè)數(shù)據(jù)倉庫系統(tǒng),對高校各類業(yè)務(wù)數(shù)據(jù)進行統(tǒng)計分析挖掘,有助于提高教學(xué)質(zhì)量、提升管理水平、促進管理決策科學(xué)化。在《大數(shù)據(jù)視角下高校綜合信息分析平臺的構(gòu)建》[1]一文中作者提出了基于大數(shù)據(jù)環(huán)境高校綜合信息分析平臺建設(shè)的框架,但并未對所提框架的結(jié)構(gòu)和功能進行詳細論述。在《大數(shù)據(jù)時代的高校信息化框架》[2]一文中,作者較為詳細地描述了大數(shù)據(jù)時代高校信息化建設(shè)框架,但并未提出可行的實施方案。本文以智慧校園建設(shè)為出發(fā)點,利用數(shù)據(jù)挖掘、大數(shù)據(jù)處理等技術(shù),對學(xué)校的教學(xué)、管理、科研、后勤等信息系統(tǒng)進行整合,不僅提出校情統(tǒng)計分析平臺的框架及建設(shè)思路,并給出了模型設(shè)計和實施方案。平臺于2013年開始調(diào)研,2014年8月開始建設(shè),截至目前已完成第一期建設(shè)。
二、校情平臺建設(shè)思路
智慧校園以數(shù)字校園為基礎(chǔ),追求資源與應(yīng)用的高度整合,強調(diào)為用戶提供個性化的服務(wù),更多地體現(xiàn)服務(wù)的智能化和人性化。[3]校情平臺正好符合了智慧校園的理念。它可以利用充分融合好的數(shù)據(jù)進行統(tǒng)計分析,為教職工和學(xué)生提供個性化統(tǒng)計報表,為教學(xué)提供動態(tài)的質(zhì)量監(jiān)督信息,為管理和決策提供支撐。
1.校情平臺的功能
根據(jù)統(tǒng)計學(xué)的信息、咨詢、監(jiān)督三種社會功能,可以制定 “信息綜合查詢”、“數(shù)據(jù)咨詢”、“業(yè)務(wù)監(jiān)督”三種職能作為校情平臺的建設(shè)目標。而根據(jù)學(xué)校實際應(yīng)用水平,可以分階段實現(xiàn)以上目標。
圖 1是根據(jù)總體發(fā)展要求設(shè)想的校情平臺系統(tǒng)原型。功能方面以教務(wù)、科研、學(xué)工、財務(wù)、人事、設(shè)備、后勤等業(yè)務(wù)歸口部門的年度報告和日常統(tǒng)計工作需求為基礎(chǔ),向用戶提供在線報表、在線查詢統(tǒng)計兩種方式的功能。用戶角色考慮三個層次,分別是學(xué)校層面、院系層面和師生個人層面。
2.校情平臺規(guī)??刂婆c技術(shù)標準
由于在數(shù)字校園建設(shè)過程中,已經(jīng)將各種管理系統(tǒng)數(shù)據(jù)存儲于各自的業(yè)務(wù)數(shù)據(jù)庫中,僅需考慮結(jié)構(gòu)化數(shù)據(jù)對象,因此普通企業(yè)級關(guān)系型數(shù)據(jù)庫或集群即可滿足一期工程的存儲和檢索需求。但是,各種管理系統(tǒng)源自于不同的廠商,不同系統(tǒng)中數(shù)據(jù)差異較大,需在統(tǒng)一的數(shù)據(jù)標準基礎(chǔ)上開展集成。同時,考慮到校情平臺服務(wù)于不同管理階層和管理目標,數(shù)據(jù)統(tǒng)計分析需求具有不確定性的因素。
因此,在數(shù)據(jù)抽取、清洗工具上需要考慮可靈活部署、數(shù)據(jù)格式兼容性強、數(shù)據(jù)轉(zhuǎn)換能力強大的企業(yè)級工具;在聯(lián)機分析方面,需要以O(shè)LAP技術(shù)為主,向用戶提供所見即所得的在線工具,并對Excel、SPSS、SAS、STAT、R等統(tǒng)計分析軟件提供數(shù)據(jù)接口服務(wù)。
根據(jù)學(xué)校應(yīng)用系統(tǒng)建設(shè)標準,整個方案還需兼容JSR168標準[4]和Open SSO單點身份認證標準[5],使用戶可通過學(xué)校門戶系統(tǒng)訪問到所需的查詢、統(tǒng)計功能。
三、基于OLAP數(shù)據(jù)服務(wù)的二次開發(fā)
校情平臺中所選用的BIEE系統(tǒng)是整個數(shù)據(jù)服務(wù)的核心提供者,也是二次開發(fā)的重點內(nèi)容。
如圖2所示,BIEE系統(tǒng)是一個典型的三層架構(gòu),包括由各種外部數(shù)據(jù)源組成的Sources層、存儲OLAP邏輯信息的資料庫層(Repository,可通過OBI Admin工具訪問)、以及數(shù)據(jù)發(fā)布服務(wù)層(Presentation Services)。其中資料庫層和數(shù)據(jù)發(fā)布服務(wù)層均包含在BIEE系統(tǒng)內(nèi)。
1.BIEE環(huán)境下ROLAP的實現(xiàn)
數(shù)據(jù)庫聯(lián)機事務(wù)OLTP(Online Transaction Process)是在數(shù)據(jù)庫環(huán)境下處理應(yīng)用業(yè)務(wù)事務(wù)(Transaction)所執(zhí)行的一系列數(shù)據(jù)庫操作。OLAP(Online Analytical Processing,聯(lián)機分析處理)是在基于數(shù)據(jù)倉庫多維模型的基礎(chǔ)上實現(xiàn)的面向分析的各類操作的集合。OLAP與OLTP的主要差別見表1。
OLAP分為MOLAP、ROLAP、HOLAP等類型,其中ROLAP是一種將OLAP操作轉(zhuǎn)換為數(shù)據(jù)庫關(guān)系模型操作的OLAP實現(xiàn)技術(shù),具有成本較低、性能較好的優(yōu)點,因此選用BIEE-ROLAP方案。
OLAP操作包括鉆取(Drill-down)、上卷(Roll-up)、切片(Slice)、切塊(Dice)以及旋轉(zhuǎn)(Pivot),建立在多維模型的理論基礎(chǔ)上。
關(guān)系模型操作包括數(shù)據(jù)創(chuàng)建(Create)、獲取(Retrieve)、更新(Update)、刪除(Deletion),建立在關(guān)系理論的基礎(chǔ)上。OLAP操作均是讀取操作,被映射到關(guān)系模型獲取操作的集合、投影、選擇、聚合等操作上。
兩個領(lǐng)域操作原語的轉(zhuǎn)義由BIEE完成。Oracle BIEE將轉(zhuǎn)義信息存儲在Repository中,分別包括數(shù)據(jù)資源的物理結(jié)構(gòu)(Physical)、面向多維分析的數(shù)據(jù)立方體信息以及面向業(yè)務(wù)的發(fā)布信息。
物理層(Physical Layer)包括待分析數(shù)據(jù)的數(shù)據(jù)庫位置、訪問方式、各數(shù)據(jù)庫中表結(jié)構(gòu)及其關(guān)聯(lián)關(guān)系,使BIEE能夠根據(jù)需要正確執(zhí)行相關(guān)關(guān)系操作。
在業(yè)務(wù)邏輯層(Business Layer)中,記錄了面向多維分析的數(shù)據(jù)立方體信息,包含多維模型的事實(Facts)、維度(Dimensions)信息與物理層各種數(shù)據(jù)表之間的映射關(guān)系。這些信息使BIEE能夠?qū)LAP操作正確地映射為關(guān)系操作。
在表現(xiàn)層(Presentation)中,存儲了開發(fā)人員在表現(xiàn)層建立的視圖模型(View Model)。按業(yè)務(wù)和用戶角色劃分數(shù)據(jù)立方體的訪問范圍,視圖模型是訪問者訪問數(shù)據(jù)立方體的“窗口”,通過視圖模型所訪問到的是一個受限數(shù)據(jù)立方體的子集范圍,也稱為“主題”。
在BIEE環(huán)境下OLAP查詢結(jié)果以圖、表和敘事板的形式給出,并可組織成豐富的圖文展現(xiàn)形式。開發(fā)人員可將OLAP查詢操作以Answers的形式保存在服務(wù)端,并提供更為通俗易懂的名稱,如“教職工職稱系列分布”,最終用戶只需直接訪問這些Answers就可得到相應(yīng)的結(jié)果。
BIEE還提供和數(shù)據(jù)儀表盤(Dashboard)功能,訪問者可在一個WEB頁面中得到多個Answers的數(shù)據(jù),獲得更多的信息量。但因Dashboard組織在BIEE自有門戶系統(tǒng)中,無法直接集成到學(xué)校數(shù)字化校園門戶系統(tǒng),因此不能使用BIEE的Dashboard功能。
2.校情平臺與學(xué)校門戶系統(tǒng)的集成
金致公司提供BIEE Answers的JSR168封裝插件,利用該插件以http代理的方式將Answers封裝成一個Portlet。通過該插件,可在學(xué)校門戶中實現(xiàn)校情門戶站點,在該站點中,將各種預(yù)先制作好的Answers以Portlet的形式集成在站點頁面中,形成圖形化的菜單,具有更好的訪問效果。圖3是門戶系統(tǒng)的集成效果。
四、校情平臺的設(shè)計與實現(xiàn)
1.方案設(shè)計
基于上述建設(shè)思路,校情平臺架構(gòu)采用分層架構(gòu)進行設(shè)計,共分為四層,分別是數(shù)據(jù)層、集成層、模型層、應(yīng)用層,如圖4所示。
數(shù)據(jù)層由各種管理信息系統(tǒng)的數(shù)據(jù)庫或結(jié)構(gòu)化數(shù)據(jù)文件構(gòu)成。
集成層以數(shù)據(jù)抽取清洗工具為主,按照我國現(xiàn)行的行業(yè)標準,對不同業(yè)務(wù)系統(tǒng)中的公共信息進行統(tǒng)一編碼、轉(zhuǎn)義,統(tǒng)一存儲在標準數(shù)據(jù)庫中,并在元數(shù)據(jù)庫中提供標準數(shù)據(jù)的數(shù)據(jù)結(jié)構(gòu)說明。[6]集成后的數(shù)據(jù)按ROLAP模型組織成事實、維度、指標存儲在關(guān)系數(shù)據(jù)庫中。同時,校情平臺對數(shù)據(jù)抽取集成的過程都進行了監(jiān)控和日記記錄,以備數(shù)據(jù)審計的需要。
在模型層,考慮到聯(lián)機分析引擎和報表引擎均需要提供相應(yīng)的模型數(shù)據(jù)才能正確運行,因此關(guān)于主題數(shù)據(jù)庫中的雪花模型和關(guān)系模型都詳實、規(guī)范地錄入到引擎中了。在Oracle BIEE中這些信息登記在Physical Model、Business Model和View Model中;在SAP BO中,這些信息登記在Universe。這些數(shù)據(jù)雖然來源于業(yè)務(wù)系統(tǒng)中的事務(wù)數(shù)據(jù),但組織形式和使用目的已經(jīng)發(fā)生了變化,因此統(tǒng)一歸納在模型層之中。
應(yīng)用層構(gòu)建在模型層之上,主要是根據(jù)用戶的需要,通過各種工具軟件進行統(tǒng)計分析,并以圖表的方式呈現(xiàn)給用戶。分為三類情況:一是向用戶提供報表功能,滿足非IT人員直接獲取報表和分析結(jié)果的需求。二是通過在線OLAP系統(tǒng),向業(yè)務(wù)專家提供查詢結(jié)果、交叉表和圖形等形式的自定義分析功能。三是專業(yè)數(shù)據(jù)分析人員可以通過Excel、SPSS等工具直接通過ODBC、JDBC接口訪問主題數(shù)據(jù)庫中的各類數(shù)據(jù),進行更深層次的數(shù)據(jù)挖掘和分析工作。
2.軟硬件架構(gòu)實現(xiàn)
校情平臺軟件方面:①選用甲骨文公司所提供的解決方案構(gòu)造整個服務(wù)平臺,采用Oracle作為數(shù)據(jù)庫引擎,采用BIEE作為OLAP引擎,采用ODI負責(zé)數(shù)據(jù)轉(zhuǎn)換和清洗。②選用金智公司針對BIEE開發(fā)的JSR168插件,實現(xiàn)統(tǒng)一身份認證、單點登錄和門戶集成。
通過金智公司的插件可將BIEE中的Answers 封裝成學(xué)校門戶中的Portlet,再利用門戶的站點(Site)、門戶(Portal)、頁面(Page)和Portlet配置功能,可建立不同功能的數(shù)據(jù)服務(wù)站點,如圖5所示。
校情平臺硬件方面:使用三臺物理服務(wù)器組成ORACLE RAC集群,形成高可用高性能的中心數(shù)據(jù)庫。從學(xué)?,F(xiàn)有的FC SAN存儲中心劃分6T存儲空間,向中心數(shù)據(jù)庫提供2x8Gbps數(shù)據(jù)帶寬。使用四個虛擬服務(wù)器作為應(yīng)用服務(wù)器,其中兩臺運行ODI,一臺運行BIEE,另外一臺作為開發(fā)工作站,如圖6所示。
3.系統(tǒng)的擴展
考慮未來的發(fā)展需求,在校情平臺設(shè)計之初,已經(jīng)考慮到了未來在存儲、查詢和計算性能方面的擴展途徑。
(1)存儲和查詢性能的擴展
校情平臺的中心庫作為所有分析數(shù)據(jù)的存儲和SQL查詢提供者,存在潛在的容量和性能瓶頸。當(dāng)容量不能滿足需要時,可在存儲系統(tǒng)中劃分新的存儲空間,并以表空間的方式提供給數(shù)據(jù)庫。當(dāng)性能不能滿足需要時,可增加RAC節(jié)點數(shù)量,從而得到更大的處理性能和吞吐率。
(2)計算性能的擴展
由于校情平臺采用ROLAP方案,導(dǎo)致BIEE應(yīng)用服務(wù)器在運行時會在內(nèi)存中進行交叉、匯總計算。因此,在應(yīng)用服務(wù)器端有潛在的性能瓶頸。前期應(yīng)用規(guī)模不大時,瓶頸問題不明顯,使用一臺虛擬服務(wù)器運行BIEE服務(wù)即可;應(yīng)用增長到一定范圍時,只需增加服務(wù)器節(jié)點,即可解決瓶頸問題。這是由于JSR168封裝插件可令服務(wù)器間的訪問差異性被屏蔽,使整個系統(tǒng)仍然表現(xiàn)為一個整體。
五、建設(shè)成果與展望
學(xué)校于2014年8月開始建設(shè)校情平臺,到目前為止的建設(shè)成果為:按照方案設(shè)計完成了軟硬件系統(tǒng)的部署,并完成了數(shù)據(jù)集成、系統(tǒng)進程工作;完成了科研、教務(wù)、學(xué)生、設(shè)備、宿舍、一卡通、研究生等主要業(yè)務(wù)系統(tǒng)的數(shù)據(jù)集成,向?qū)W校各級管理層提供了10個方面的98個查詢服務(wù)。
校情平臺建設(shè)成果已經(jīng)初步顯現(xiàn)。通過學(xué)生招生、培養(yǎng)、就業(yè)數(shù)據(jù)的聯(lián)合分析,學(xué)校進行了2015年招生計劃調(diào)整,將原有報考率高、就業(yè)形勢明顯更好的四個專業(yè)調(diào)整為一本專業(yè)招生,對不好的一些專業(yè)進行了縮減、停招等調(diào)整;通過學(xué)生宿舍分配情況的統(tǒng)計分析,向?qū)W校提供下一學(xué)年各校區(qū)、宿舍區(qū)的新生容納能力,為學(xué)校招生安排、后勤保障提供支撐;學(xué)校在校情平臺的數(shù)據(jù)統(tǒng)計基礎(chǔ)上開展學(xué)科點建設(shè)管理,對各學(xué)科的學(xué)科點建設(shè)情況進行動態(tài)跟蹤,對各種指標進行橫向?qū)Ρ?、團隊內(nèi)對比,全面監(jiān)督各學(xué)科點建設(shè)任務(wù)推進情況。類似的工作還應(yīng)用在就業(yè)工作領(lǐng)域,通過就業(yè)數(shù)據(jù)的實時分析,全面對比學(xué)校各專業(yè)的就業(yè)工作進展,促進各二級院系扎扎實實推進畢業(yè)生就業(yè)工作。通過一期校情平臺的建設(shè),學(xué)校各級管理部門已經(jīng)初步感受到了,在充分數(shù)據(jù)共享環(huán)境下,信息化對管理、決策帶來的強力支撐。目前學(xué)校正在開展全員工作量考核管理系統(tǒng)建設(shè),其中工作量核算、分析、調(diào)整等功能將在校情分析平臺上實現(xiàn)。
如何能夠有效地關(guān)聯(lián)相關(guān)數(shù)據(jù),找出數(shù)據(jù)之間內(nèi)在的聯(lián)系和知識是進一步發(fā)揮數(shù)據(jù)價值的主要途徑。隨著校情平臺的數(shù)據(jù)量增長,可以進一步利用數(shù)據(jù)挖掘技術(shù)對該平臺的結(jié)果進行關(guān)聯(lián)分析、序列模式分析、分類分析和聚類分析,將隱藏在教育數(shù)據(jù)集之中的知識,通過數(shù)據(jù)挖掘技術(shù)榨取出。[7]這樣就不僅僅能夠提供各項統(tǒng)計數(shù)據(jù),還能把影響數(shù)據(jù)指標的隱含因素挖掘出來,供決策者參考。
師生用戶始終是校園信息化服務(wù)的核心,圍繞“人”來建立數(shù)據(jù)收集和應(yīng)用機制,不僅能抓住重點有的放矢,又能簡單易行清晰完善。在下一步工作計劃中,我們將以師生為中心,進一步豐富主題模型,適應(yīng)更多的查詢統(tǒng)計需求;還將結(jié)合學(xué)校管理需求和統(tǒng)計事件,開發(fā)更多的查詢服務(wù),開展挖掘分析工作。更重要的是通過這些服務(wù)工作讓職能部門感受到信息化所帶來的好處,促進各職能部門自覺、自主地開展信息化應(yīng)用,使信息化在高校發(fā)展、人才培養(yǎng)上起到更大的促進作用。
參考文獻:
[1]管廷昭,夏艷東.大數(shù)據(jù)視角下高校綜合信息分析平臺的構(gòu)建[J].數(shù)字技術(shù)與應(yīng)用, 2014(8).
[2]羅軍鋒,徐菲.大數(shù)據(jù)時代的高校信息化框架[J].中國教育信息化(高教職教),2014(3).
[3]宓詠,趙澤宇.大數(shù)據(jù)創(chuàng)新智慧校園服務(wù)[J].中國教育信息化(基礎(chǔ)教育),2013(24).
[4]JCP.JSR-000168 portlet specification 1.0[EB/OL]. https://www.jcp.org/en/jsr/detail?id=168,2003.
[5]The Open Group.Scope of the Single Sign-On Standard[EB/OL]. http://www.opengroup.org/security/sso/.
[6]教育部關(guān)于發(fā)布《教育管理信息教育管理基礎(chǔ)代碼》等七個教育信息化行業(yè)標準的通知[EB/OL].http://www.moe.edu.cn/publicfiles/business/htmlfiles/moe/s5972/201203/133140.html.
[7]Shyamala K, Rajagopalan S P.Data Mining Model for a Better Higher Educational System[J].Information Technology Journal,2006,5(3).
(編輯:王天鵬)