面向中小學的低成本低功耗大數(shù)據(jù)存儲設計

摘要：大數(shù)據(jù)的應用正在逐漸滲透到人類社會生活工作的各個領域，當前中小學教育經(jīng)費有限，通常承擔不起高成本的大數(shù)據(jù)系統(tǒng)設計。因此，本文考慮中小學的教育現(xiàn)狀，提出一種低成本低功耗的分布式大數(shù)據(jù)存儲系統(tǒng)。對于新時期中小學的教育和發(fā)展來說意義重大。

關鍵詞：大數(shù)據(jù)；中小學教育；數(shù)據(jù)存儲；低成本

一、 引言

自2012年以后，大數(shù)據(jù)（big data）的應用逐漸滲入到人類社會日常生活工作的各個領域，其中海量、高增長率和多樣化的信息資產(chǎn)，通用大數(shù)據(jù)的統(tǒng)計和分析，給人類提供了更強的決策力，更透明的洞見發(fā)現(xiàn)力，更有效的流程優(yōu)化能力。現(xiàn)階段，大數(shù)據(jù)主要應用在消費類人群，很少有人研究如何將大數(shù)據(jù)應用到現(xiàn)在中小學教育中。在我國現(xiàn)階段，作為基礎教育的中國，教育經(jīng)費絕大部分由國家支出，導致基礎教育系統(tǒng)的經(jīng)費有時出現(xiàn)緊缺，沒有足夠的資金注入到新型技術的開發(fā)與應用中。但是，大數(shù)據(jù)對現(xiàn)在中小學的教育有極大的意義。例如，針對每個學生學習中存在的問題、老師以及家長的意見反饋信息，可以通過有關大數(shù)據(jù)的分析，找出其相關數(shù)據(jù)的特異性，從而為每一名學生定制符合自身實際的特有的學習和復習計劃。通過此種大數(shù)據(jù)的分析，彌補學生在學習中的不足，特別是減少對老師的依賴，提高自身學習的主動性與有效性，提高學生的學習效率，達到理想的成績。因此，本文針對中國現(xiàn)有的中小學教育經(jīng)費有限的教育國情，提出了一種低成本，低功耗的大數(shù)據(jù)存儲和設計方案，將有效的、符合現(xiàn)階段教育實際的大數(shù)據(jù)應用到目前的基礎教育中，對現(xiàn)階段的中小學的教育和發(fā)展意義重大。

二、 低成本大數(shù)據(jù)存儲架構

現(xiàn)階段，中小學教育中大數(shù)據(jù)的應用面對的主要問題是設計的成本問題。因為基礎教育的資金不充足，并且還有不小的缺口，同時，直接采購大容量的數(shù)據(jù)存儲服務器成本太高。故降低成本或者是以最低的成本設計大數(shù)據(jù)的存儲架構是設計中的核心問題。圖1描述了本文提出的面向中小學教育中的低成本低功耗大數(shù)據(jù)的存儲架構。本設計中，采用的是主流的面向大數(shù)據(jù)的分布式文件系統(tǒng)（HDFS）架構。本設計中主要包括三部分主要內(nèi)容，一是元數(shù)據(jù)管理器，二是元數(shù)據(jù)節(jié)點，三是大數(shù)據(jù)的用戶（教師、家長和學生）和數(shù)據(jù)節(jié)點（活動數(shù)據(jù)節(jié)點和存檔數(shù)據(jù)節(jié)點）。元數(shù)據(jù)管理器是大數(shù)據(jù)分布式文件系統(tǒng)（HDFS）的核心部件，其作用和人類的大腦類似，負責管理和協(xié)調大數(shù)據(jù)的其他個部分。元數(shù)據(jù)管理器負責接收用戶的數(shù)據(jù)查詢和用戶數(shù)據(jù)接點的數(shù)據(jù)存儲管理。他內(nèi)部以表格的形式記錄了用戶數(shù)據(jù)存儲的磁盤位置。用戶端是大數(shù)據(jù)應用中的數(shù)據(jù)源頭，所有的數(shù)據(jù)存儲和訪問都是通過用戶端產(chǎn)生的。元數(shù)據(jù)管理器也是針對用戶端產(chǎn)生的數(shù)據(jù)進行存儲和管理。用戶端在大數(shù)據(jù)存儲和管理中同時起著中間人的角色。用戶端進行數(shù)據(jù)的訪問和存儲時，首先通過和元數(shù)據(jù)管理器進行通信交互。系統(tǒng)設計中的數(shù)據(jù)節(jié)點分為元數(shù)據(jù)節(jié)點和用戶數(shù)據(jù)節(jié)點。

圖1低成本大數(shù)據(jù)存儲架構

三、 低成本和低功耗存儲設計

傳統(tǒng)的商業(yè)設計中，會進行三份冗余，本地冗余和異地冗余，為達到高可靠性的設計分布式存儲設計。但三份冗余需要更多的硬件設備，必然會增加額外的成本，這對當前的中小學教育的資金來說是一個不太可以接受的因素。相對于傳統(tǒng)的大數(shù)據(jù)存儲方案，我們設計了一種存檔的管理方法，以提供一種低成本的設計方案。如圖1所示，元數(shù)據(jù)管理器使用表格中的數(shù)據(jù)項記錄數(shù)據(jù)的存儲位置。表格通常由3個數(shù)據(jù)項組成：數(shù)據(jù)的唯一存儲標號（ID）、數(shù)據(jù)的當前存儲位置（Location）和數(shù)據(jù)的存檔位置。當用戶需要進行數(shù)據(jù)的存儲或讀取時，用戶首先將要訪問的數(shù)據(jù)路徑或目錄通過網(wǎng)絡傳遞給元數(shù)據(jù)管理器。隨后，元數(shù)據(jù)管理器根據(jù)用戶請求ID查詢數(shù)據(jù)的存儲位置并返回給用戶。新來的數(shù)據(jù)請求會優(yōu)先存儲在活動數(shù)據(jù)節(jié)點中，因為活動數(shù)據(jù)節(jié)點可以提供高可靠性和高性能的存儲服務?；顒庸?jié)點的存儲代價會相對較高，因此設計中采用較少的活動節(jié)點。與活動節(jié)點對應的是存檔數(shù)據(jù)節(jié)點。

低成本的數(shù)據(jù)存儲節(jié)點是存檔數(shù)據(jù)節(jié)點利用的關鍵，比如學校淘汰的舊計算機，來搭建數(shù)據(jù)存儲單元，從而實現(xiàn)降低存儲成本的目的。存檔數(shù)據(jù)節(jié)點是存儲數(shù)據(jù)的低成本設計的核心部分，一般由傳統(tǒng)的機械硬盤組成?？紤]到中小學對低成本的需求，以及對高速的數(shù)據(jù)存儲依賴性并不是太強烈，設計中只采用傳統(tǒng)的機械硬盤。這些傳統(tǒng)的機械硬盤可以從以前廢舊的電腦上直接獲取，然后通過網(wǎng)絡講他們組建成分布式存儲系統(tǒng)。設計中為降低成本，如果采用比較舊的硬盤，由于舊硬盤的不穩(wěn)定性，導致存儲的數(shù)據(jù)容易出現(xiàn)數(shù)據(jù)錯誤，甚至產(chǎn)生不可恢復的數(shù)據(jù)損壞。但是，在設計中為保證數(shù)據(jù)節(jié)點的可靠性，采用冗余的策略來處理，通過這種冗余的機制，通過對相同的數(shù)據(jù)進行不同節(jié)點的備份來實現(xiàn)大數(shù)據(jù)的可靠性與安全性。在大數(shù)據(jù)處理過程中，如果一份數(shù)據(jù)出錯，通過設計的冗余機制，就可以實現(xiàn)利用備份的數(shù)據(jù)來進行恢復，從而提高數(shù)據(jù)的可靠性。

四、 結語

大數(shù)據(jù)對現(xiàn)在的中小學教育有重要和深遠的意義，但有限的教育科研經(jīng)費往往無法使大數(shù)據(jù)有效地應用到中小學教育中?？傊?，本文針對目前中國中小學教育存在的經(jīng)費不足的問題，提出了一種有效的可操作性強的低成本低功耗的大數(shù)據(jù)存儲設計方案。隨著本文對大數(shù)據(jù)在中小學應用的提出，相信未來會有更多的研究探索如何有效地將大數(shù)據(jù)應用到現(xiàn)在中小學教育中。

參考文獻：

[1]孟小峰，慈祥.大數(shù)據(jù)管理：概念、技術與挑戰(zhàn)[J].計算機研究與發(fā)展，2013（1）：146-169.

[2]王元卓，靳小龍，程學旗.網(wǎng)絡大數(shù)據(jù)：現(xiàn)狀與展望[J].計算機報，2013，6（06）：1125-1138.

作者簡介：

陳雨筱，山東省濰坊市，山東省昌樂第一中學。