高紅旭，康永，郭芃

（中國電子科技集團公司第二十研究所，西安 710068）

0 引言

大數(shù)據(jù)作為當(dāng)今一個很熱門的話題，越來越多的得到國家和企業(yè)屆的廣泛關(guān)注。大數(shù)據(jù)在發(fā)現(xiàn)規(guī)律和預(yù)測未來兩個方面展現(xiàn)的核心競爭力使得大數(shù)據(jù)正在轉(zhuǎn)變成一種資源與一種生產(chǎn)要素滲透至各個領(lǐng)域。大數(shù)據(jù)具有的善于聚合信息并有效利用數(shù)據(jù)的能力將會帶來層出不窮的創(chuàng)新，從某種意義上說大數(shù)據(jù)技術(shù)代表著一種生產(chǎn)力，這預(yù)示著人類已經(jīng)進入了大數(shù)據(jù)時代。

美國率先開始布局大數(shù)據(jù)產(chǎn)業(yè)并投資2億美元啟動“大數(shù)據(jù)研究和發(fā)展計劃”，美國的大數(shù)據(jù)產(chǎn)業(yè)已經(jīng)創(chuàng)造了巨大的價值；歐盟及日韓緊隨其后，相應(yīng)的戰(zhàn)略舉措也已出臺；我國大數(shù)據(jù)得到了政府的高度重視，大數(shù)據(jù)產(chǎn)業(yè)發(fā)展前景廣闊，預(yù)計我國大數(shù)據(jù)潛在市場規(guī)模未來有望達到2萬億人民幣。大數(shù)據(jù)已經(jīng)被認為是“未來的新石油與礦產(chǎn)”，數(shù)據(jù)規(guī)模及運用數(shù)據(jù)的能力將成為綜合國力的重要組成部分。

1 大數(shù)據(jù)技術(shù)

大數(shù)據(jù)(big data)，或稱巨量資料，指的是所涉及的資料量規(guī)模巨大到無法透過目前主流軟件工具，在合理時間內(nèi)達到擷取、管理、處理、并整理成為幫助企業(yè)經(jīng)營決策更積極目的的資訊。簡言之，從各種各樣類型的數(shù)據(jù)中，快速獲得有價值信息的能力，就是大數(shù)據(jù)技術(shù)。

1.1 大數(shù)據(jù)特點

大數(shù)據(jù)的特性非常豐富，包含：規(guī)模性、高速性、多樣性、價值型、準(zhǔn)確性、有效性、可見性、真實性、可溯性等，目前主流采用“4V”模型來對大數(shù)據(jù)進行分析?！?V”的主要特征如表1所示：

表1 大數(shù)據(jù)4V特點列表

1.2 大數(shù)據(jù)分析方法

大數(shù)據(jù)技術(shù)真正面臨的已不僅是數(shù)據(jù)量大的問題，而最重要的是現(xiàn)實對大數(shù)據(jù)進行的分析，只有通過分析才能獲取很多智能的、深入的、有價值的信息。越來越多的應(yīng)用涉及到大數(shù)據(jù)，而這些大數(shù)據(jù)的屬性，包括數(shù)量，速度，多樣性等等都是呈現(xiàn)了大數(shù)據(jù)不斷增長的復(fù)雜性，因此大數(shù)據(jù)的分析方法在大數(shù)據(jù)領(lǐng)域顯得尤為重要，已成為決定最終信息是否有價值的決定性因素。大數(shù)據(jù)分析普遍存在的方法如圖1所示。

1.3 大數(shù)據(jù)處理流程

大數(shù)據(jù)數(shù)據(jù)處理的三大原則：要全體不要抽樣，要效率不要絕對精確，要相關(guān)不要因果。具體的大數(shù)據(jù)處理方法確實有很多，主流的處理流程可以概括為四步，分別是采集、導(dǎo)入和預(yù)處理、統(tǒng)計和分析，最后是數(shù)據(jù)挖掘。

1.3.1 采集

大數(shù)據(jù)的采集是指利用多個數(shù)據(jù)庫來接收發(fā)自客戶端（Web、App或者傳感器形式等）的數(shù)據(jù)，并且用戶可以通過這些數(shù)據(jù)庫來進行簡單的查詢和處理工作。在大數(shù)據(jù)的采集過程中，其主要特點和挑戰(zhàn)是并發(fā)數(shù)高，因為同時有可能會有成千上萬的用戶來進行訪問和操作，比如火車票售票網(wǎng)站和淘寶，它們并發(fā)的訪問量在峰值時達到上百萬，所以需要在采集端部署大量數(shù)據(jù)庫才能支撐。如何在這些數(shù)據(jù)庫之間進行負載均衡和分片是采集的難點。

1.3.2 導(dǎo)入和預(yù)處理

雖然采集端本身會有很多數(shù)據(jù)庫，但是如果要對這些海量數(shù)據(jù)進行有效的分析，還是應(yīng)該將這些來自前端的數(shù)據(jù)導(dǎo)入到一個集中的大型分布式數(shù)據(jù)庫，或者分布式存儲集群，并且可以在導(dǎo)入基礎(chǔ)上做一些簡單的清洗和預(yù)處理工作。導(dǎo)入與預(yù)處理過程的特點和挑戰(zhàn)主要是導(dǎo)入的數(shù)據(jù)量大，每秒鐘的導(dǎo)入量經(jīng)常會達到百兆，甚至千兆級別。

圖1 大數(shù)據(jù)分析方法

1.3.3 統(tǒng)計和分析

統(tǒng)計與分析主要利用分布式數(shù)據(jù)庫，或者分布式計算集群來對存儲于其內(nèi)的海量數(shù)據(jù)進行普通的分析和分類匯總等，以滿足大多數(shù)常見的分析需求。統(tǒng)計與分析這部分的主要特點和挑戰(zhàn)是分析涉及的數(shù)據(jù)量大，其對系統(tǒng)資源，特別是I/O會有極大的占用。

1.3.4 數(shù)據(jù)挖掘

與前面統(tǒng)計和分析過程不同的是，數(shù)據(jù)挖掘一般沒有什么預(yù)先設(shè)定好的主題，主要是在現(xiàn)有數(shù)據(jù)上面進行基于各種算法的計算，從而起到預(yù)測的效果，從而實現(xiàn)一些高級別數(shù)據(jù)分析的需求。該過程的特點和挑戰(zhàn)主要是用于挖掘的算法很復(fù)雜，并且計算涉及的數(shù)據(jù)量和計算量都很大，常用數(shù)據(jù)挖掘算法都以單線程為主。

1.4 大數(shù)據(jù)實用工具

從技術(shù)上看，大數(shù)據(jù)與云計算的關(guān)系就像一枚硬幣的正反面一樣密不可分。大數(shù)據(jù)必然無法用單臺的計算機進行處理，必須采用分布式架構(gòu)。它的特色在于對海量數(shù)據(jù)進行分布式數(shù)據(jù)挖掘，但它必須依托云計算的分布式處理、分布式數(shù)據(jù)庫和云存儲、虛擬化技術(shù)?，F(xiàn)在大型大數(shù)據(jù)解決方案的提供商主要采用Hadoop平臺，Hadoop是一個由Apache基金會所開發(fā)分布式系統(tǒng)基礎(chǔ)架構(gòu)。 Hadoop 是以一種成熟、可靠、高效、可伸縮的方式處理問題的。Hadoop的結(jié)構(gòu)圖如圖2所示。

圖2 Hadoop結(jié)構(gòu)圖

HDFS:是 Hadoop的分布式文件系統(tǒng)，具有高可靠、高擴展、高效性和高容錯等特性。HDFS提供高傳輸率來訪問應(yīng)用程序的數(shù)據(jù)，適合那些有著超大數(shù)據(jù)集的應(yīng)用程序。HDFS放寬了POSIX的要求，這樣可以流的形式訪問文件系統(tǒng)中的數(shù)據(jù)。

MapReduce是用于并行處理大數(shù)據(jù)集的軟件框架?；贛apReduce寫出來的應(yīng)用程序能夠運行在由上千個商用機器組成的大型集群上，并以一種可靠容錯的式并行處理上 TB級別的數(shù)據(jù)集。MapReduce極大地方便了編程人員將自己的程序運行在分布式系統(tǒng)上。

HBase是一個分布式的基于列存儲的非關(guān)系型數(shù)據(jù)庫（NOSQL）。HBase的查詢效率很高，主要由于查詢和展示結(jié)果。HBase通過組織起節(jié)點內(nèi)所有機器的內(nèi)存，提供一個超大的內(nèi)存 Hash表，它需要組織自己的數(shù)據(jù)結(jié)構(gòu)，包括磁盤和內(nèi)存中的。

Hive是分布式的數(shù)據(jù)倉庫工具。主要用來并行分布式處理大量數(shù)據(jù)。它可以將結(jié)構(gòu)化的數(shù)據(jù)文件映射為一張數(shù)據(jù)庫表，并提供完整的sql查詢功能，可以將sql語句轉(zhuǎn)換為MapReduce任務(wù)進行運行。

Zookeeper：分布式鎖設(shè)施，提供類似 Google Chubby 的功能，由 Facebook貢獻。

Avro：新的數(shù)據(jù)序列化格式與傳輸工具，將逐步取代 Hadoop 原有的IPC機制。

Pig：大數(shù)據(jù)分析平臺，為用戶提供多種接口。

Ambari：Hadoop管理工具，可以快捷的監(jiān)控、部署、管理集群。

HCatalog：是面向 Apache Hadoop 框架的一個數(shù)據(jù)表管理層。它提供了數(shù)據(jù)表抽象功能，可支持在 Apache Hadoop 框架中將數(shù)據(jù)作為一系列數(shù)據(jù)表進行處理。

2 大數(shù)據(jù)技術(shù)在空管監(jiān)控中的應(yīng)用

大數(shù)據(jù)已經(jīng)在各行各業(yè)引發(fā)各類創(chuàng)新模式。隨著大數(shù)據(jù)的發(fā)展，行業(yè)漸進融合，大數(shù)據(jù)給人們生活帶來翻天覆地的變化。大數(shù)據(jù)技術(shù)進步將極大地惠及人們生活的方方面面，在家有智能管家?guī)椭闵罡篮?；外出購物，商家會根?jù)你的消費習(xí)慣將購物信息通過無線互聯(lián)網(wǎng)推送給你；外出就餐，車載語音助手會幫你挑選餐廳并告訴你即時的周邊情況和停車狀況。衣食住行的便利將無處不在。迄今為止，大數(shù)據(jù)提升了電子政務(wù)和政府社會治理的效率、大數(shù)據(jù)提高了醫(yī)療服務(wù)質(zhì)量、大數(shù)據(jù)使美國的交通更加便利、大數(shù)據(jù)提升了教育質(zhì)量得到、大數(shù)據(jù)預(yù)警了經(jīng)濟危機、大數(shù)據(jù)有力的支撐了風(fēng)險管理效率。大數(shù)據(jù)技術(shù)在民航空管監(jiān)控領(lǐng)域中也發(fā)揮了不可替代的作用。

根據(jù)民航總局“十二五”規(guī)劃文件中“提高空管設(shè)備運行管理水平，加快值班和運行管理系統(tǒng)建設(shè)，完善空管設(shè)備運行監(jiān)控系統(tǒng)，健全空管設(shè)備維護維修體系?！钡木唧w要求，中國電子科技集團公司第二十研究所研發(fā)了一套專業(yè)的“民航空管設(shè)備大數(shù)據(jù)信息化分析管理應(yīng)用平臺”產(chǎn)品，該平臺已廣泛應(yīng)用于各空管局與空管分局的空管設(shè)備集中監(jiān)控系統(tǒng)。該平臺可接入的空管設(shè)備有數(shù)據(jù)語音系統(tǒng)、WAFS系統(tǒng)、氣象數(shù)據(jù)庫系統(tǒng)、管理生產(chǎn)運行管理信息系統(tǒng)、GPS系統(tǒng)、航行情報發(fā)布系統(tǒng)、辦公系統(tǒng)、自動轉(zhuǎn)報系統(tǒng)、航管自動化系統(tǒng)、全向信標(biāo)/測距儀（DVOR/DME)設(shè)備、儀表著陸設(shè)備、二次雷達（SSR）設(shè)備、一次雷達（PSR）設(shè)備、場面監(jiān)視雷達、VHF收發(fā)信機設(shè)備、內(nèi)話系統(tǒng)設(shè)備狀況/語音交換系統(tǒng)、氣象自動觀測系統(tǒng)設(shè)備和空管通信網(wǎng)絡(luò)綜合監(jiān)控系統(tǒng)等，同時還包括設(shè)備運行的動力、環(huán)境、安全防范等動環(huán)監(jiān)控。

到2020全國空管設(shè)備數(shù)量將達到數(shù)十萬臺套，各種設(shè)備的運行維護參數(shù)又極為龐大，長期運行下來，每一個設(shè)備的數(shù)據(jù)將達到TB級別，全國總數(shù)據(jù)將達到EB級別，對于這么龐大數(shù)據(jù)的存儲與分析將成為一個新的挑戰(zhàn)。“民航空管設(shè)備大數(shù)據(jù)信息化分析管理應(yīng)用平臺”中大數(shù)據(jù)技術(shù)的引入，有效的解決這一難題。

2.1 平臺組成

“民航空管設(shè)備大數(shù)據(jù)信息化分析管理應(yīng)用平臺”主要用于民航（空管、機場）領(lǐng)域，該平臺由空管設(shè)備采集系統(tǒng)、數(shù)據(jù)組網(wǎng)傳輸系統(tǒng)、大數(shù)據(jù)分布式存儲、綜合數(shù)據(jù)信息化管理系統(tǒng)四部分組成?？傮w架構(gòu)如圖3。

在不影響空管設(shè)備正常運行和現(xiàn)行本機監(jiān)控的前提下，設(shè)備采集系統(tǒng)采用目前先進、成熟的設(shè)備接入、采集、通信等監(jiān)控技術(shù)，實現(xiàn)對目前民航通信、導(dǎo)航、監(jiān)視、氣象、情報等設(shè)備運行狀態(tài)的實時采集；數(shù)據(jù)組網(wǎng)傳輸系統(tǒng)通過空管ATM網(wǎng)絡(luò)的建設(shè)，構(gòu)成了臺站、地方、區(qū)域、全國四級空管設(shè)備集中監(jiān)控網(wǎng)絡(luò)體系；大數(shù)據(jù)分布式存儲系統(tǒng)利用Hadoop平臺構(gòu)建了可動態(tài)調(diào)配的分布式存儲結(jié)構(gòu)，并采用NOSQL數(shù)據(jù)庫進行海量數(shù)據(jù)的存儲；綜合數(shù)據(jù)信息化管理系統(tǒng)利用空管設(shè)備大量參數(shù)數(shù)據(jù)進行分析處理，為用戶提供設(shè)備實時告警、設(shè)備故障診斷、設(shè)備備件管理、歷史回放、狀態(tài)統(tǒng)計、運行狀態(tài)趨勢分析、現(xiàn)行設(shè)備性能總體分析等一系列功能，并且實現(xiàn)監(jiān)控、維護、管理等多部門之間的工作流轉(zhuǎn)，實現(xiàn)整個空管系統(tǒng)設(shè)備的自動化管理。并可以為空管部門提供現(xiàn)有機場或航路服務(wù)保障能力評估。同時可以通過專家系統(tǒng)，進行設(shè)備遠程分析指導(dǎo)和維護。

圖3 平臺架構(gòu)圖

2.2 平臺實現(xiàn)

該平臺中采用了主流的Hadoop平臺架構(gòu)，使用HDFS作為分布式文件系統(tǒng)，HBase作為分布式NoSQL列數(shù)據(jù)庫，Hive作為處理數(shù)據(jù)倉庫，并使用 MapReduce進行并行計算。該平臺具有實時監(jiān)控、專家系統(tǒng)、數(shù)據(jù)挖掘和趨勢分析等功能，本系統(tǒng)能夠自動接收各空管設(shè)備采集接收單元監(jiān)測的實時數(shù)據(jù)，分別以圖形、WebGIS和表格等多種展現(xiàn)形式展現(xiàn)，并提供實時告警與歷史查詢，通過分析引擎，根據(jù)事先規(guī)定好的的模型進行數(shù)據(jù)挖掘與分析，分析空管設(shè)備運行趨勢和關(guān)聯(lián)性，同時對維修單位提供專家系統(tǒng)服務(wù)。在空管設(shè)備出現(xiàn)故障時在WebGIS地圖上直觀震撼的方式閃爍報警加以提示。系統(tǒng)還提供了設(shè)備狀態(tài)歷史查詢、仿真界面、連接拓撲、歷史回放、狀態(tài)統(tǒng)計等功能，同時該系統(tǒng)還為部分空管設(shè)備國產(chǎn)化提供了大量寶貴的數(shù)據(jù)支持。圖4為某國際機場的空管設(shè)備運行狀況顯示。

圖4 某國際機場空管設(shè)備運行狀況圖

2.3 專家系統(tǒng)

專家系統(tǒng)模塊主要是通過空管設(shè)備領(lǐng)域大量數(shù)據(jù)挖掘產(chǎn)生的知識以及這個領(lǐng)域?qū)＜业慕?jīng)驗相結(jié)合，利用具有專家推理方法的計算機模型,模仿人類專家的知識和解決問題的方法來處理設(shè)備故障排查以及維修等問題。同時該模塊還具有自學(xué)習(xí)功能，可將新的故障現(xiàn)象記錄并轉(zhuǎn)換為知識進行存儲。

該模塊可以回放設(shè)備故障前一天的設(shè)備運行參數(shù)與狀態(tài)信息，通過該設(shè)備故障時的參數(shù)指示，結(jié)合專家系統(tǒng)中優(yōu)化決策樹，判斷出該設(shè)備故障描述、故障原因以及專家意見。例如THALES廠家的DME設(shè)備監(jiān)控器出現(xiàn)問題，設(shè)備進行了告警提示，通過對設(shè)備參數(shù)的判斷專家系統(tǒng)給出故障描述與故障原因分析，最后給出專家意見為“通過更換雙機監(jiān)控器K1649中的U7、U8集成模塊，下滑發(fā)射機電池工作時面板預(yù)警指示燈亮，設(shè)備預(yù)警功能正?！?，如圖5所示。

圖5 專家系統(tǒng)

2.4 趨勢分析系統(tǒng)

趨勢分析模塊通過對大數(shù)據(jù)的分析發(fā)現(xiàn)新的信息與知識，從而為進行數(shù)據(jù)建模，根據(jù)對過去同種設(shè)備運行性能的分析了解來進行未來性能趨勢的預(yù)測，主要針對時間變化的對象進行規(guī)律或趨勢挖掘，例如對某國際機場-NM7033西航向設(shè)備輸出功率分析趨勢，該設(shè)備之前的歷史數(shù)據(jù)與飛行器數(shù)量分布、溫濕度數(shù)據(jù)、NM7033發(fā)射信號強度等多組數(shù)據(jù)進行COLS-BSVR算法計算，得出了未來一周該設(shè)備的輸出功率趨勢。

隨著大數(shù)據(jù)技術(shù)在空管集中監(jiān)控系統(tǒng)中的應(yīng)用，有效解決了空管部門管理落后、維修保障難度大費用高等多方面問題，顯著提高空管運行管理水平和安全保障能力，從而為民航飛行安全提供全面保障，有利于保障國家和人民生命財產(chǎn)安全，保障經(jīng)濟建設(shè)、保障和諧社會的發(fā)展。

3 結(jié)束語

大數(shù)據(jù)已經(jīng)深耕于政府、互聯(lián)網(wǎng)、電信、金融、IT等領(lǐng)域并創(chuàng)造了巨大的經(jīng)濟價值，歐美等發(fā)達國家更是把數(shù)據(jù)資產(chǎn)上升到國家信息戰(zhàn)略高度。作為全球大數(shù)據(jù)產(chǎn)業(yè)的重要組成，中國大數(shù)據(jù)潛在市場規(guī)模未來有望達到2萬億人民幣。數(shù)據(jù)產(chǎn)業(yè)的發(fā)展對于我國全面建成工業(yè)化、信息化、城鎮(zhèn)化、農(nóng)業(yè)現(xiàn)代化的發(fā)展的起著至關(guān)重要的作用。大數(shù)據(jù)技術(shù)的應(yīng)用對我們深刻領(lǐng)會世情和國情，把握規(guī)律，實現(xiàn)科學(xué)發(fā)展，做出科學(xué)決策都具有非常重要的意義。

[1]Tom White.Hadoop:The Definitive Guide [M].The US:OReilly Media,Inc,2009.

[2]JoyK1.Massive data visualization:a survey[C],Moeller T,Hamann B,Russeleds RD,2009:285-302.

[3]曹強,黃建忠,萬繼光,謝長生.海量網(wǎng)絡(luò)存儲系統(tǒng)原理與設(shè)計[M].武漢:華中科技大學(xué)出版社,2010,196-198.

[4]劉琨,李愛菊,董龍江.基于 Hadoop的海量數(shù)據(jù)存儲的研究及實現(xiàn)[J].微計算機信息,2011,27(7):220-221.

[5]黃曉云.基于 HDFS 的海量數(shù)據(jù)存儲服務(wù)系統(tǒng)研究[D].大連海事大學(xué),2010.