符龍生

摘要：近些年，大數(shù)據(jù)技術在我國逐步得到發(fā)展，并被社會的各個領域所應用，因此數(shù)據(jù)的價值深受關注。以海南經貿職業(yè)技術學院為例，學校在授課過程中，會生成許多有關學生的數(shù)據(jù)，因此，我們需要更多地考慮如何將這些數(shù)據(jù)升值為有利資源，為學生及學校相關部門所用。由此，本文基于Hadoop大數(shù)據(jù)平臺，對學生畫像存在的價值以及系統(tǒng)設計和研究思路進行了詳細分析，希望可以為相關研究人員提供參考。

關鍵詞：智慧校園;Hadoop;學生畫像;方式研究

中圖分類號：TP311? ? ? 文獻標識碼：A

文章編號：1009-3044（2021）20-0034-02

大數(shù)據(jù)技術具有低成本，高速度以及能夠大規(guī)模利用數(shù)據(jù)價值的特點，可以有效促進社會各個領域的發(fā)展?，F(xiàn)如今，各大學的數(shù)字化和計算機化建設基本上都已得到了完成，并且日趨智能化。隨之而來的各類數(shù)據(jù)也越來越多，這也包括海南經貿職業(yè)技術學院，學生在校期間生成了大量的數(shù)據(jù)群，例如消費數(shù)據(jù)、學業(yè)成績數(shù)據(jù)、圖書查看數(shù)據(jù)等各方面的數(shù)據(jù)，從各種角度進行研究，以了解學生的行為和喜好，為學生進行畫像以幫助學生全面客觀地了解自己，同時也有利于學生管理部門精確管理并幫助學生提高教育水平。

1 什么是Hadoop技術

在大數(shù)據(jù)時代，無論是傳統(tǒng)的計算，還是傳統(tǒng)的數(shù)據(jù)存儲，都已經不能跟上現(xiàn)代化的腳步。 Hadoop的逐步發(fā)展及完善，和Spark技術的問世，有效解決了大數(shù)據(jù)所面臨的各種問題。 Hadoop可以說是一個統(tǒng)一的分布式計算，專門用于處理規(guī)模較大的數(shù)據(jù)，通過自動并行處理提供的MapReduce，自然可伸縮性，簡單的實現(xiàn)和強大的容錯能力等。提供分布式并行計算。它具有數(shù)據(jù)提取，轉換和加載以及離線數(shù)據(jù)處理的優(yōu)勢。此外，Hadoop還與Sqoop，F(xiàn)lum和其他工具兼容。Sqoop是一種數(shù)據(jù)遷移工具，用于在MySQL與現(xiàn)有關系數(shù)據(jù)庫（例如Oracle，HDFS和Hbase）之間導入和導出數(shù)據(jù)。Flum提供高可用性和可靠的解決方案。它是一個用于大規(guī)模日志收集，聚合和傳輸?shù)姆植际较到y(tǒng)，可以執(zhí)行大規(guī)模流數(shù)據(jù)的分布式收集[1]。

2 學生畫像所存在的價值

1）可以使數(shù)據(jù)中存在的孤島問題得到改善，促進信息的流通性。 大數(shù)據(jù)人物畫像需要從學校的多個部門檢索學生數(shù)據(jù)，以保證建模的結果是準確有效的，并允許在不同部門之間可以共享數(shù)據(jù)。

2）信息技術的合理應用，可以有效提升管理水平。通過充分利用學生模型，現(xiàn)代教育系統(tǒng)來進行計算機化，使教育決策更具有科學性，從而實現(xiàn)教育機構的高水平管理。

3）探索基于學生畫像的新教學模式，對現(xiàn)有的教育體系進行創(chuàng)新及優(yōu)化，可以有效提升教學質量;

4）通過對學生畫像結果進行分析，可以捕捉學生獨特的人格特質，對學生進行準確的指導和幫助，并制定精確的實施策略，已達到對學生進行科學、有效、精確的管理工作。

3 學生畫像的系統(tǒng)設計

3.1 學生畫像系統(tǒng)功能需求

可以通過網絡從網頁訪問大數(shù)據(jù)驅動的學生畫像系統(tǒng)。該體系劃分為三個步驟：1）客戶端;2）服務器; 3）數(shù)據(jù)庫模式。如圖1行為畫像構建步驟所示，學生在進入系統(tǒng)后，就會進行身份識別，對學生的各種數(shù)據(jù)進行總結和讀取，最終對學生的日常生活、學習成績等數(shù)據(jù)構建成不同時間段的報表，并為學生提供相應的指導和建議，就比如說，學生去圖書館借書，假如特別頻繁借書就會對學生進行獎勵或表揚，假如在學習或者閱覽等方面特別懶惰，就會對學生進行批評或者是提供相關好的建議。并反饋給輔導員或學生個人，進行談話戒備。通過該系統(tǒng)，我們希望為學生提供一個學生畫像系統(tǒng)，該系統(tǒng)集成了學術統(tǒng)計信息、信息請求和年終摘要[2]。

3.2 學生畫像系統(tǒng)數(shù)據(jù)需求

程序數(shù)據(jù)十分重要，可以說是系統(tǒng)的心臟。想要對個人信息進行及時準確的處理與分析，那么系統(tǒng)就需要大量數(shù)據(jù)來完成和歸納個人信息，例如消費統(tǒng)計和分析，學校成績等。數(shù)據(jù)分為學生的生活中的基本數(shù)據(jù)、學生在平時學習中的表現(xiàn)所產生的數(shù)據(jù)等。數(shù)據(jù)通常都是以Excel表或csv文件進行展現(xiàn)，之后納入數(shù)據(jù)庫。數(shù)據(jù)總長度需要設置為100，以避免數(shù)據(jù)庫存儲異常。在進行數(shù)據(jù)采集過程中，會有一些異常的數(shù)據(jù)產生，例如一些不完整或是不準確的數(shù)據(jù)，這些數(shù)據(jù)有一個統(tǒng)一的名稱（臟數(shù)據(jù)）。對于臟數(shù)據(jù)，我們可以采取在分析數(shù)據(jù)之前先清理數(shù)據(jù)的方法。操作時，所有數(shù)據(jù)源都需要進行格式化轉換。數(shù)據(jù)清理十分重要，是必不可少的環(huán)節(jié)，結果的質量與模式效果和最終結論直接相關。在實際操作中，數(shù)據(jù)清理通常占掃描過程工作量的50%到80%，因此它也是運行整個配置文件系統(tǒng)的關鍵鏈接，在格式設置上需要謹慎[3]。

3.3 學生畫像系統(tǒng)設計原理

1）需要遵循簡單的原理

在進行數(shù)據(jù)處理過程中，也需要以簡單原理為基礎。這樣在獲取有用數(shù)據(jù)時，可以有效控制數(shù)據(jù)群的大小，提升數(shù)據(jù)質量。在實際工作中，您可以選擇特定的分析數(shù)據(jù)和適當?shù)奶幚矸椒▉韴?zhí)行簡單、有效的工作。

2）確保清晰明了的原理

所有事物的分析，都會有其結論產生。其結論必須清晰明了。假如在結論沒有明確的狀況下，這時所講的分析并不成立，也不具備任何意義，因為必須在進行分析之前需要對該結論進行尋找和驗證。

3）數(shù)據(jù)要具有可靠性

良好的分析應基于可靠的數(shù)據(jù)源。 實際上，在許多情況下，數(shù)據(jù)收集會花費更長的時間，包括計劃和定義數(shù)據(jù)，調整數(shù)據(jù)報告以及允許開發(fā)人員正確提取或進行數(shù)據(jù)設置。在對良好數(shù)據(jù)進行分析只有一個目的，那就是尋求正確答案，所以所采集數(shù)據(jù)的精確性是其基礎，否則的話，就會適得其反。

4）報告進行圖標體現(xiàn)

應盡可能使用圖表體現(xiàn)數(shù)據(jù)。采用圖表來替換大量堆疊的數(shù)字，使用戶可以更生動、直接地面對所存在的弊端或者是做出的結論。另外，圖標雖然有很多好處，但是也不能過度使用。因為人在面對大量圖表示容易感到困惑。