基于云計算的后勤保障資源數(shù)據(jù)處理平臺研究與設(shè)計

武警工程大學(xué)研究生管理大隊(duì) 楊 曦

武警工程大學(xué)信息工程系 鞏青歌

基于云計算的后勤保障資源數(shù)據(jù)處理平臺研究與設(shè)計

武警工程大學(xué)研究生管理大隊(duì) 楊 曦

武警工程大學(xué)信息工程系 鞏青歌

近年隨著全軍信息化建設(shè)的迅速發(fā)展，后勤保障信息化勢在必行，當(dāng)前每天產(chǎn)生于后勤保障相關(guān)的數(shù)據(jù)量巨大，既有傳統(tǒng)保障資源數(shù)據(jù)，又有與部隊(duì)相關(guān)的文件資料、戰(zhàn)場態(tài)勢及流媒體中的信息等非結(jié)構(gòu)化數(shù)據(jù)，但目前沒有對這些保障資源實(shí)現(xiàn)集中、統(tǒng)一調(diào)配，許多資源數(shù)據(jù)沒有得到很好的利用。本文針對這一問題提出基于云計算的后勤保障數(shù)據(jù)處理平臺，對后勤保障工作相關(guān)數(shù)據(jù)進(jìn)行采集、分析及處理，實(shí)現(xiàn)保障資源綜合管理，為部隊(duì)快速、高效地完成后勤保障任務(wù)提供可行性。

云計算；后勤保障；綜合管理

0　概述

武警部隊(duì)擔(dān)負(fù)著維護(hù)國家安全和社會穩(wěn)定，保障人民安居樂業(yè)的神圣使命，是社會主義現(xiàn)代化建設(shè)的武裝保障。當(dāng)前環(huán)境下，突發(fā)事件難以預(yù)料、情況復(fù)雜；搶險救災(zāi)事發(fā)突然、形勢緊急，處置突發(fā)事件、擔(dān)負(fù)搶險救災(zāi)和遂行維穩(wěn)反恐行動已成為武警部隊(duì)執(zhí)勤的重要任務(wù)，其中，后勤應(yīng)急保障工作作為日常工作中的支撐，在當(dāng)前環(huán)境下也變得越來越重要。

在大數(shù)據(jù)時代的今天，信息產(chǎn)業(yè)高速發(fā)展，武警部隊(duì)三級網(wǎng)系統(tǒng)中的服務(wù)器每天產(chǎn)生、更新、處理、存貯巨大的有價值資源數(shù)據(jù)，面對如此龐大復(fù)雜的數(shù)據(jù)，需要進(jìn)行整理、辨別、運(yùn)算，才能將隱含的、凌亂的、未知的及有潛在應(yīng)用價值的可用信息轉(zhuǎn)化為進(jìn)行決策的支撐、依據(jù)，為決策支持提供數(shù)據(jù)依據(jù)。在本系統(tǒng)中擬利用云計算平臺對以上的數(shù)據(jù)進(jìn)行處理、分析，實(shí)現(xiàn)保障資源數(shù)據(jù)的綜合、一體化服務(wù)，便于部隊(duì)完成平時保障任務(wù)，同時為戰(zhàn)時應(yīng)急保障任務(wù)提供數(shù)據(jù)支持，為首長決策提供可靠的參考依據(jù)。

1　基于Hadoop保障資源數(shù)據(jù)處理平臺架構(gòu)

本文依據(jù)當(dāng)前形勢和背景，設(shè)計了基于Hadoop的保障資源處理平臺，如圖1所示。首先，在數(shù)據(jù)組件、模型組件、互聯(lián)網(wǎng)組件以及獲取相關(guān)數(shù)據(jù)的互聯(lián)網(wǎng)關(guān)鍵節(jié)點(diǎn)部署數(shù)據(jù)獲取設(shè)備，對當(dāng)前網(wǎng)絡(luò)中的流量數(shù)據(jù)進(jìn)行采集。將收到的原始數(shù)據(jù)通過數(shù)據(jù)轉(zhuǎn)發(fā)的分類、合并、轉(zhuǎn)發(fā)等操作，最終上傳至Hadoop平臺的數(shù)據(jù)存儲區(qū)。為保證存儲數(shù)據(jù)的準(zhǔn)確、全面、可靠性，首先使用HDPF［1］（Hadoop-based Data Processing Framework）模塊對原始保障資源數(shù)據(jù)進(jìn)行預(yù)處理，過濾其中錯誤、無用及殘缺數(shù)據(jù)，將預(yù)處理后的初級數(shù)據(jù)存入HDFS中。由于這些實(shí)時數(shù)據(jù)來自互聯(lián)網(wǎng)，絕大多數(shù)是半結(jié)構(gòu)化、非結(jié)構(gòu)化的數(shù)據(jù)，本文針對以上特點(diǎn)，利用MapReduce技術(shù)進(jìn)行分析處理。當(dāng)決策者需要時，調(diào)用MapReduce分析處理存儲在HDFS中的海量資源數(shù)據(jù)及與資源保障相關(guān)的數(shù)據(jù)，從中獲取有利用價值的分析結(jié)果例如受災(zāi)地區(qū)的天氣、交通狀況，群體性事件中鬧事群體的規(guī)模、集結(jié)的范圍等戰(zhàn)場態(tài)勢數(shù)據(jù)。

圖1　基于Hadoop保障資源數(shù)據(jù)處理平臺架構(gòu)

圖2　HDFS數(shù)據(jù)寫入流程

2　基于HDFS分布式后勤保障資源數(shù)據(jù)存儲

HDFS文件系統(tǒng)對海量后勤保障資源數(shù)據(jù)處理平臺提供據(jù)存取服務(wù)，包含NameNode、SecondNameNode和DataNode三類節(jié)點(diǎn)［2］，具體功能：

（1）NameNode：就是主控制服務(wù)器，管理文件系統(tǒng)命名空間（Namespace）同時管理目錄和元數(shù)據(jù)。NameNode節(jié)點(diǎn)存儲與數(shù)據(jù)塊有關(guān)信息，如文件和數(shù)據(jù)塊、數(shù)據(jù)塊和DataNode節(jié)點(diǎn)之間的映射關(guān)系。

（2）Second NameNode：當(dāng)NameNode節(jié)點(diǎn)發(fā)生故障時作為備用節(jié)點(diǎn)，可以對數(shù)據(jù)進(jìn)行恢復(fù)，保證HDFS系統(tǒng)正常工作。它與NameNode節(jié)點(diǎn)保持定時通信，并對其元數(shù)據(jù)信息進(jìn)行復(fù)制備份。

（3）DataNode：DataNode節(jié)點(diǎn)維護(hù)其存儲的數(shù)據(jù)塊管理工作，屬于從節(jié)點(diǎn)。HDFS將文件分塊存儲，每個數(shù)據(jù)塊默認(rèn)為64MB，將它們存儲在不同的DataNode節(jié)點(diǎn)中。同時依據(jù)HDFS默認(rèn)設(shè)置的3個副本，在多個DataNode備份相同數(shù)據(jù)塊。

當(dāng)用戶需將文件寫入到HDFS系統(tǒng)中時，通過客戶端向NameNode節(jié)點(diǎn)申請包括寫入的各個DataNode節(jié)點(diǎn)的數(shù)據(jù)塊信息。NameNode依據(jù)申請分配節(jié)點(diǎn)，在HDFS文件系統(tǒng)的默認(rèn)配置中認(rèn)為所有機(jī)器在同一機(jī)架。數(shù)據(jù)寫入流程如圖2所示。

（1）客戶端調(diào)用DistributedFile-System類實(shí)例化對象，同時調(diào)用create方法生成新文件。

（2）DistributedFileSystem對象向NameNode節(jié)點(diǎn)發(fā)出RPC請求，NameNode節(jié)點(diǎn)依據(jù)用戶的權(quán)限判斷是否創(chuàng)建，若判斷不通過，NameNode則返回異常信息，寫入操作終止，否則繼續(xù)。

（3）DistributedFileSystem 封裝一個 FSDataOutputStream 對象，以備寫入數(shù)據(jù)到新文件中。

（4）通過客戶端用戶在新生成文件中寫入數(shù)據(jù)。FSDataOutputStream將數(shù)據(jù)切分為多個數(shù)據(jù)包，同時將它們組成數(shù)據(jù)流，以便之后寫入DataNode上的數(shù)據(jù)塊。

（5）FSDataOutputStream向NameNode請求數(shù)據(jù)存儲空間，即數(shù)據(jù)塊和DataNode節(jié)點(diǎn)信息。依據(jù)HDFS配置副本數(shù)決定DataNode節(jié)點(diǎn)數(shù)。

（6）FSDataOutputStream將數(shù)據(jù)包組成的數(shù)據(jù)流逐個寫入第一個DataNode節(jié)點(diǎn)，由該DataNode接著寫入第二個DataNode，當(dāng)所有需要寫入的DataNode寫入完畢后停止。

（7）寫入完成的DataNode向源節(jié)點(diǎn)發(fā)送確認(rèn)報文，證明完成寫入操作。若該過程某個DataNode節(jié)寫入失敗，NameNode分配新DataNode繼續(xù)寫入操作當(dāng)數(shù)據(jù)包在指定DataNode完成寫入后，將其從數(shù)據(jù)流中刪除，認(rèn)為一個數(shù)據(jù)包寫入操作完成。

（8）當(dāng)所有數(shù)據(jù)包寫入完成，則本次用戶寫入數(shù)據(jù)流程結(jié)束。

3　基于MapReduce海量網(wǎng)絡(luò)保障資源數(shù)據(jù)處理

MapReduce［3］最早由谷歌公司提出同時運(yùn)用至網(wǎng)絡(luò)搜索服務(wù)的編程模型，采用分布式并行計算，可以處理TB甚至PB級別數(shù)據(jù)，是Hadoop架構(gòu)最核心技術(shù)之一。

MapReduce技術(shù)主要有Map函數(shù)和Reduce函數(shù)組成［4］，以鍵值對（Key-Value）［5］作為輸入及輸出，用戶可根據(jù)需求自定義MapReduce函數(shù)，系統(tǒng)在接收海量的與保障資源相關(guān)信息數(shù)據(jù)后，通過MapReduce框架對數(shù)據(jù)進(jìn)行處理。以油料資源為例，該資源數(shù)據(jù)包括油庫的地理位置、油庫名稱、儲油量、日常消耗等數(shù)據(jù)，可以用于保障任務(wù)中的油料供應(yīng)點(diǎn)分析、資源調(diào)度點(diǎn)分析，以及調(diào)度路線規(guī)劃等各方面數(shù)據(jù)挖掘及分析。這些類型的數(shù)據(jù)采集一周或半月數(shù)據(jù)量將達(dá)到TB級別，使用普通服務(wù)器對其進(jìn)行處理，將消耗大量時間，利用MapReduce技術(shù)可以在短時間內(nèi)高效完成。例如：加油站代號作為Key值，日消耗和供給量為Value值，可以快速統(tǒng)計該區(qū)域內(nèi)承擔(dān)業(yè)務(wù)最多的加油站等有用規(guī)律。

圖3　MapReduce框架運(yùn)行流程

MapReduce技術(shù)為滿足用戶需求，提供了可編寫的編程模型，用戶根據(jù)所需編寫Map、Reduce函數(shù)后就可在Hadoop平臺中運(yùn)行程序，得到分析結(jié)果。Hadoop平臺的MapReduce框架采用主從架構(gòu)，由一個JobTracker主節(jié)點(diǎn)和多個TaskTracker從節(jié)點(diǎn)組成，JobTracker負(fù)責(zé)包括確定用戶提供編程的執(zhí)行順序、Map和Reduce任務(wù)的分配的編程調(diào)度。TaskTracker負(fù)責(zé)包括Map和Reduce任務(wù)以及推測性任務(wù)的執(zhí)行等主節(jié)點(diǎn)指定的任務(wù)。運(yùn)行流程如圖3所示。

（1）用戶提交編程作業(yè)。用戶根據(jù)所需編寫MapReduce程序并運(yùn)行，編程客戶端向JobTracker提交該編程相關(guān)信息，申請編程作業(yè)ID號，在客戶端驗(yàn)證編程無誤后，將編程資源儲存至HDFS中，最后客戶端向JobTracker申請執(zhí)行編程。

（2）JobTracker初始化用戶編程。JobTracker接收編程后，創(chuàng)建與之相關(guān)數(shù)據(jù)及編程對象，然后JobTracker根據(jù)配置的調(diào)度算法，將編程放入編程棧中，以便后續(xù)分配。

（3）任務(wù)分配。從TaskTracker模塊定時向JobTracker發(fā)送信息，JobTracker程序棧如果存在待分配的編程，綜合收到的信息判斷是否向TaskTracker分配任務(wù)，當(dāng)TaskTracker的Map任務(wù)槽有空余時，JobTracker依據(jù)策略向該節(jié)點(diǎn)分配合適Map任務(wù)。當(dāng)JobTracker分配任務(wù)時，優(yōu)先考慮給TaskTracker分配Map任務(wù)，只有當(dāng)TaskTracker模塊上任務(wù)槽空閑才分配Reduce任務(wù)。

（4）TaskTracker執(zhí)行任務(wù)。TaskTracker每執(zhí)行一個Map或Reduce任務(wù)，就啟動一個Java子進(jìn)程運(yùn)行。首先TaskTracker從HDFS讀取在編程客戶端有關(guān)的信息，再創(chuàng)建Java子進(jìn)程執(zhí)行用戶編寫的Map任務(wù)，運(yùn)行后定期向內(nèi)存緩存數(shù)據(jù)。當(dāng)緩存數(shù)據(jù)大小超出限定時，Map任務(wù)將其存入從節(jié)點(diǎn)磁盤。

（5）TaskTracker執(zhí)行Reduce任務(wù)。當(dāng)Map完成任務(wù)，若TaskTracker模塊存在空閑Reduce槽，則TaskTracker從節(jié)點(diǎn)與JobTracker通信，JobTracker將該編程分配給Reduce的相應(yīng)從節(jié)點(diǎn)。由于Reduce任務(wù)來源于各Map任務(wù)輸出，因此JobTracker可直接分配Reduce任務(wù)。

（6）完成編程運(yùn)行。Reduce任務(wù)結(jié)束后，其結(jié)果存入用戶指定目錄。JobTracker依據(jù)各TaskTracker發(fā)送信息，對編程設(shè)置完成標(biāo)記，同時向編程客戶端通知編程完成。需說明的是，客戶端在編程運(yùn)行期間持續(xù)掌握運(yùn)行進(jìn)度信息。

4　總結(jié)

本文為解決當(dāng)前武警部隊(duì)后勤保障任務(wù)大量數(shù)據(jù)的分析、處理及儲存等問題，設(shè)計了基于云計算的后勤資源保障數(shù)據(jù)處理平臺，研究了基于Hadoop保障資源數(shù)據(jù)處理平臺架構(gòu)、基于HDFS分布式后勤保障資源數(shù)據(jù)存儲平臺、基于MapReduce海量網(wǎng)絡(luò)保障資源數(shù)據(jù)處理平臺，為后勤保障平時任務(wù)的完成提供數(shù)據(jù)管理服務(wù)，為戰(zhàn)時應(yīng)急保障決策提供數(shù)據(jù)支持。

［1］劉麗，司小磊，張瑩，彭弗楠.基于云計算的幼教資源管理平臺實(shí)現(xiàn)［J］.電腦知識與技術(shù)，2014，4：12-17.

［2］杜忠暉，何慧，王星.一種Hadoop小文件存儲優(yōu)化策略研究［J］.智能計算機(jī)與應(yīng)用，2015，3.

［3］田進(jìn)華，張韌志.基于MapReduce數(shù)字圖像處理研究［J］.電子設(shè)計工程，2014（15）.

［4］徐鵬.云計算平臺作業(yè)調(diào)度算法優(yōu)化研究［D］.山東師范大學(xué)，2014.

［5］林智煜.基于海量高維圖像的大數(shù)據(jù)處理框架［J］.電子科技大學(xué)，2014.

鞏青歌，教授，碩士生導(dǎo)師，研究方向：武警信息化研究，數(shù)據(jù)挖掘，數(shù)據(jù)庫。

楊曦（1991—），女，碩士研究生，研究方向：武警信息化研究。