天津卓朗科技發(fā)展有限公司 張亞麗

0.前言

大數(shù)據(jù)是一種信息資產(chǎn)，無法在短時(shí)間內(nèi)用常規(guī)軟件工具進(jìn)行捕捉、管理和處理，經(jīng)過加工提煉后具有更強(qiáng)的決策、洞察力，是信息社會(huì)一種可靠的資源。就智慧校園建設(shè)而言，其基礎(chǔ)是廣泛分布的物聯(lián)網(wǎng)節(jié)點(diǎn)，而自動(dòng)化工作的各個(gè)系統(tǒng)則需要來自大數(shù)據(jù)的支持，大數(shù)據(jù)處理技術(shù)決定了智慧校園建設(shè)的成效。針對(duì)大數(shù)據(jù)處理技術(shù)在學(xué)生信息、學(xué)術(shù)研究等系統(tǒng)建設(shè)中的應(yīng)用進(jìn)行分析十分必要。

1.學(xué)生信息系統(tǒng)建設(shè)中的大數(shù)據(jù)處理技術(shù)

1.1 信息收集

學(xué)生系統(tǒng)系統(tǒng)建設(shè)中，大數(shù)據(jù)處理技術(shù)應(yīng)用的基礎(chǔ)是廣泛、全面的信息收集，現(xiàn)代校園較傳統(tǒng)校園已經(jīng)明顯不同，學(xué)生的數(shù)目更多，校園內(nèi)的信息設(shè)施也更加完備，信息收集工作可以借助互聯(lián)網(wǎng)直接進(jìn)行。校方可以建設(shè)一個(gè)互聯(lián)網(wǎng)登記平臺(tái)，平臺(tái)以物聯(lián)網(wǎng)技術(shù)為支持，與學(xué)校管理總站實(shí)現(xiàn)連接，學(xué)生可以登錄該平臺(tái)，點(diǎn)擊“信息注冊(cè)”模塊，進(jìn)入該模塊后，創(chuàng)建“doc”后綴文件或者下載學(xué)校預(yù)制的統(tǒng)一表格，填寫各類必要信息。填寫完成后，利用遠(yuǎn)程通信技術(shù)將表格發(fā)送給管理處。所有信息都以相同方式處理，確保當(dāng)前和以后學(xué)生的信息能夠得到廣泛收集，生成大數(shù)據(jù)。

1.2 信息加工與存儲(chǔ)

信息加工取參數(shù)處理法，采用 Hadoop技術(shù)、基于J2EE環(huán)境，在Eclipse集成環(huán)境中完善系統(tǒng)處理方法。如果校園內(nèi)部學(xué)生數(shù)目較少，可以簡(jiǎn)單分類處理，如果學(xué)生數(shù)目較多，大數(shù)據(jù)處理技術(shù)就擁有了應(yīng)用的空間?？梢圆捎醚呕⒐鹃_源軟件構(gòu)架Hadoop的Map Re-duce技術(shù)進(jìn)行數(shù)據(jù)加工和存儲(chǔ)，所有的學(xué)生信息可以被分為若干大模塊，如年級(jí)、民族等等，數(shù)據(jù)在Hadoop中處理的流程可以簡(jiǎn)化為：將所有非結(jié)構(gòu)化和半結(jié)構(gòu)化的學(xué)生信息輸入到計(jì)算機(jī)群組中，通過Hadoop對(duì)其進(jìn)行粗加工，Hadoop系統(tǒng)的核心單元是HDFS和Map Re-duce，這兩個(gè)模塊可以再粗加工的基礎(chǔ)上進(jìn)一步進(jìn)行解析處理，所有的input split都以一個(gè)task調(diào)用Map計(jì)算，利用計(jì)算機(jī)群組的高超的計(jì)算能力（不低于100億次/秒）對(duì)所有task實(shí)現(xiàn)逐一計(jì)算，在保證每一個(gè)input split都有一個(gè)單獨(dú)的record，最后通過鍵值（key-value）的形式輸出，通過Hadoop的默認(rèn)處理系統(tǒng)，以鍵值（key-value）為標(biāo)準(zhǔn)實(shí)現(xiàn)整理輸出、存儲(chǔ)，保存在HDFS上。

1.3 信息更新

學(xué)生信息系統(tǒng)的更新應(yīng)用默認(rèn)計(jì)算機(jī)緩沖技術(shù)實(shí)現(xiàn)，在完成了信息加工和存儲(chǔ)后，以年級(jí)為標(biāo)準(zhǔn)進(jìn)行分類，所有學(xué)生信息分為若干部分。如大學(xué)分為大專部分、本科部分、博士部分、碩士部分，依照學(xué)年制原則，設(shè)定大數(shù)據(jù)處理的默認(rèn)技術(shù)，由于大學(xué)不同層次的學(xué)習(xí)存在固定性，學(xué)生信息隨著學(xué)年變化滾入到二年級(jí)、三年級(jí)……直到畢業(yè)，達(dá)到默認(rèn)計(jì)算機(jī)緩沖技術(shù)設(shè)定的臨界值，即自動(dòng)進(jìn)入緩沖平臺(tái)。所有信息數(shù)據(jù)在緩沖平臺(tái)暫存1個(gè)月，供管理人員進(jìn)行必要的處理，如果沒有異常情況，1個(gè)月后畢業(yè)生信息不再更新，從學(xué)生系統(tǒng)系統(tǒng)中消失，新生的信息則按照上述步驟重新收集，進(jìn)入循環(huán)。

2.學(xué)術(shù)研究系統(tǒng)建設(shè)中的大數(shù)據(jù)處理技術(shù)

2.1 信息收集

學(xué)術(shù)研究系統(tǒng)建設(shè)中，大數(shù)據(jù)處理技術(shù)主要針對(duì)不同層次、方向的研究課題、成果，在信息收集環(huán)節(jié)，將所有存在研究需要的課題劃分為若干組別，進(jìn)行海量信息的初步收集。高?？梢越⑾嗨菩运阉髟瓌t進(jìn)行信息篩選，所謂相似性搜索，是指明確研究的重點(diǎn)內(nèi)容，確立一個(gè)關(guān)鍵點(diǎn)，比如“高分子材料”，將其作為關(guān)鍵詞，進(jìn)入學(xué)術(shù)研究的各個(gè)平臺(tái)中，搜索相關(guān)信息，集中納入系統(tǒng)范圍內(nèi)。在收集環(huán)境，相關(guān)工作主要著眼于資料的廣泛性，要求確保信息齊整、數(shù)目較大。

2.2 信息加工與存儲(chǔ)

與學(xué)生信息系統(tǒng)不同，學(xué)術(shù)研究系統(tǒng)建設(shè)不能簡(jiǎn)單應(yīng)用Hadoop技術(shù)，相關(guān)信息的加工和存儲(chǔ)采取集中管理、分布存儲(chǔ)的基本原則。完成海量信息收集后，首先根據(jù)相似性搜索過程中的“組別”進(jìn)行分類，將所有信息數(shù)據(jù)納入各自范圍下。如果共建立了10個(gè)“組別”，要求至少建立10個(gè)對(duì)應(yīng)的信息庫，將初步分類后的數(shù)據(jù)各自存儲(chǔ)到對(duì)應(yīng)的信息庫中，實(shí)現(xiàn)第一輪加工[1]。第二輪加工設(shè)定默認(rèn)參數(shù)為資料的級(jí)別，如“博士論文”、“碩士論文”等，以不同的學(xué)術(shù)級(jí)別對(duì)資料進(jìn)行二次加工，并根據(jù)級(jí)別數(shù)設(shè)置若干分信息庫，完善分布式存儲(chǔ)架構(gòu)。在信息總庫中，要求設(shè)計(jì)檢索欄，保證資料調(diào)取、查看的效率。智慧校園建設(shè)離不開高端信息技術(shù)的支持，高效的數(shù)據(jù)傳輸是學(xué)術(shù)研究系統(tǒng)的主要追求之一，也是大數(shù)據(jù)處理技術(shù)得以實(shí)現(xiàn)的重點(diǎn)環(huán)節(jié)，校方可以采取無線通信和有線通信相結(jié)合的方式，使大量數(shù)據(jù)可以在短時(shí)間內(nèi)快速實(shí)現(xiàn)傳輸。

2.3 信息更新

學(xué)術(shù)研究系統(tǒng)的信息更新主要依賴大數(shù)據(jù)處理技術(shù)中的“信息匹配”技術(shù)，信息匹配技術(shù)是指以當(dāng)前信息庫中的信息為基礎(chǔ)，在資源收集中，與其高度類似、核心類似的信息都可以看做是有效信息，要求給予收集和存儲(chǔ)。如“PDCA循環(huán)管理模式的應(yīng)用”，其核心信息為“PDCA循環(huán)管理模式”，在中外各地高校的研究工作中，該模式被反復(fù)論證，生成的數(shù)據(jù)信息也越來越多，智慧校園建設(shè)中，學(xué)術(shù)研究能力也應(yīng)確保持續(xù)進(jìn)步，應(yīng)用“信息匹配”技術(shù)，可以有效將當(dāng)前研究的新成果納入到信息庫中，實(shí)現(xiàn)信息的高效更新[2]。

3.校園管理系統(tǒng)建設(shè)的大數(shù)據(jù)處理技術(shù)

3.1 信息收集

校園管理系統(tǒng)應(yīng)該是一個(gè)半開放的系統(tǒng)，能夠提供基本管理服務(wù)，也能夠作為一個(gè)信息交流和擴(kuò)散的平臺(tái)，這對(duì)其信息收集能力有較高的要求。該理念下，首先要求各地學(xué)校明確工作的重點(diǎn)內(nèi)容，將需要展示的核心信息通過拓?fù)鋵W(xué)原理給予系統(tǒng)羅列，之后應(yīng)用大數(shù)據(jù)處理技術(shù)給出高度結(jié)構(gòu)化的信息。比如2017年度某地高中生升學(xué)率，當(dāng)?shù)毓灿懈咧袑W(xué)生15萬名，逐一進(jìn)行調(diào)查是不現(xiàn)實(shí)，應(yīng)用大數(shù)據(jù)技術(shù)快速收集各學(xué)校公布的信息報(bào)告，提煉其核心信息，就可以獲取結(jié)構(gòu)化數(shù)據(jù)，工作快速、高效。

3.2 系統(tǒng)設(shè)計(jì)和工作

校園管理系統(tǒng)牽涉到的信息更多、更復(fù)雜，加工和存儲(chǔ)也更需要來自大數(shù)據(jù)處理技術(shù)的支持，可以利用ITIL技術(shù)完善相關(guān)工作。在ITIL技術(shù)下，校園管理系統(tǒng)包括服務(wù)平臺(tái)和信息平臺(tái)兩個(gè)大模塊，服務(wù)平臺(tái)又包括常規(guī)管理平臺(tái)和緊急事務(wù)平臺(tái)兩個(gè)部分，設(shè)置網(wǎng)絡(luò)設(shè)備發(fā)現(xiàn)、網(wǎng)絡(luò)設(shè)備監(jiān)控、管理服務(wù)申請(qǐng)、機(jī)房環(huán)境監(jiān)控、應(yīng)用系統(tǒng)監(jiān)控、監(jiān)控預(yù)警等等具體工作板塊。所有的系統(tǒng)信息都分布在各個(gè)工作板塊中。在大數(shù)據(jù)處理技術(shù)的支持下，所有問題類型、自動(dòng)化指令都是默認(rèn)的，可以根據(jù)異常報(bào)警，也可以根據(jù)需要直接提供服務(wù)。如管理平臺(tái)對(duì)管理對(duì)象進(jìn)行記錄、分析、接收、處理、完成，并將全過程記錄在信息系統(tǒng)中，生成結(jié)構(gòu)化數(shù)據(jù)，為后續(xù)工作提供幫助[3]。

3.3 信息更新

校園管理系統(tǒng)是一個(gè)多項(xiàng)技術(shù)集成的信息化系統(tǒng)，該系統(tǒng)的最大特色是框架穩(wěn)定、內(nèi)容更新。該系統(tǒng)下需要更新的信息內(nèi)容多種多樣，也要求采取分布式存儲(chǔ)方式，將每一個(gè)管理項(xiàng)目作為一個(gè)信息庫，每個(gè)大信息庫下設(shè)置若干小信息庫，信息更新在小信息庫下具體進(jìn)行。為保證信息更新的有效性，采取大數(shù)據(jù)處理技術(shù)中的挖掘技術(shù)，將所有信息庫細(xì)化到最小單位，作為更新工作的目標(biāo)。如智慧圖書館管理系統(tǒng)，可以將所有圖書分為若干類別，在每一個(gè)類別下，按年份進(jìn)一步細(xì)分，一直劃分到最小的類別單元（比如作者），學(xué)校大規(guī)模購入圖書后，再對(duì)新圖書進(jìn)行數(shù)據(jù)挖掘處理，劃分到最小的類別單元，將新書生成信息數(shù)據(jù)后，歸入到所述的類別中（如果沒有對(duì)應(yīng)類別，可以建立新的信息條目），使信息更新工作細(xì)致、完善。

4.總結(jié)

通過分析智慧校園建設(shè)中大數(shù)據(jù)處理技術(shù)的應(yīng)用，獲取了相關(guān)理論成果。大數(shù)據(jù)處理技術(shù)的應(yīng)用分為四個(gè)步驟，即信息的收集、加工、存儲(chǔ)和更新。在智慧校園建設(shè)背景下，各個(gè)環(huán)節(jié)的工作以數(shù)據(jù)作為基礎(chǔ)，通過互聯(lián)網(wǎng)、物聯(lián)網(wǎng)連接為一個(gè)整體，實(shí)現(xiàn)信息的快速傳輸，以固定參數(shù)和方式進(jìn)行海量信息的提煉和分類存儲(chǔ)，信息更新則周期進(jìn)行，確保智慧校園建設(shè)的成果和信息數(shù)據(jù)的即時(shí)性。

[1]蔣達(dá)央,姚琪.基于大數(shù)據(jù)背景下智慧校園的可視化管理信息系統(tǒng)的研究[J].常州工學(xué)院學(xué)報(bào),2016,29(01):73-76.

[2]汶向東.大數(shù)據(jù)時(shí)代“智慧校園”的應(yīng)用研究[J].中北大學(xué)學(xué)報(bào)(社會(huì)科學(xué)版),2015,31(05):62-65.

[3]蔣東興,付小龍,劉啟新.大數(shù)據(jù)背景下的高校智慧校園建設(shè)探討[J].華東師范大學(xué)學(xué)報(bào)(自然科學(xué)版),2015(S1):119-125+131.