大數(shù)據(jù)關(guān)鍵技術(shù)初探

鐘君 張梅燕

摘 要：本文采用文獻研究法，通過對大數(shù)據(jù)相關(guān)文獻的閱讀與整理，對大數(shù)據(jù)的關(guān)鍵技術(shù)進行了深入的探究，從智慧之道、高效之道、實時之道以及投向更廣闊的技術(shù)領(lǐng)域四個方面對相關(guān)技術(shù)進行詳細介紹。

關(guān)鍵詞：大數(shù)據(jù)；數(shù)據(jù)挖掘；計算；關(guān)鍵技術(shù)

隨著不斷涌現(xiàn)的各種社交網(wǎng)、微博這類新型的信息發(fā)布方式及物聯(lián)網(wǎng)、云計算等技術(shù)的興起，數(shù)據(jù)正在以空前的速度增長，大這意味著大數(shù)據(jù)時代的到來。2012年1月在瑞士舉行的達沃斯世界經(jīng)濟論壇上，一份名為《大數(shù)據(jù)，大影響》（Big Data，Big Impact）的報告引起熱議。這份報告認為，大數(shù)據(jù)就像貨幣和黃金一樣，是一種新型的經(jīng)濟資產(chǎn)。多家投資機構(gòu)甚至據(jù)此判斷，“大數(shù)據(jù)”將會成為一條全新的投資主線。

筆者通過對大數(shù)據(jù)相關(guān)文獻的閱讀與整理，對其關(guān)鍵技術(shù)進行深入的探究，從智慧之道、高效之道、實時之道以及投向更廣闊的技術(shù)領(lǐng)域四個方面對相關(guān)技術(shù)進行詳細介紹。

1 智慧之道——數(shù)據(jù)挖掘

一般來說，數(shù)據(jù)挖掘的方法可分為統(tǒng)計型和人工智能中的機器學習型兩大類，在其應(yīng)用中，將有價值的信息進行發(fā)掘都是其最終目標。由于各種方法都有自身的功能特點以及應(yīng)用領(lǐng)域（如表1），數(shù)據(jù)挖掘通常是將多種技術(shù)結(jié)合使用，形成優(yōu)勢互補。[ 1 ]

2 高效之道——分布式計算

典型的分布式計算技術(shù)如下：1）中間件技術(shù)：分布式應(yīng)用軟件若需要在的技術(shù)之間共享資源則需要借助于此。[ 2 ]2）移動Agent技術(shù)：一般認為此技術(shù)是一類自治程序，為分布式應(yīng)用提供高效方便的執(zhí)行框架，并能在自治之下實現(xiàn)不同計算機之間的移動。3）網(wǎng)絡(luò)技術(shù)：此技術(shù)實現(xiàn)在動態(tài)變化的多個虛擬機構(gòu)間共享資源和協(xié)同解決問題。[ 3 ]4）P2P技術(shù)：能夠充分利用分布在終端電腦上的邊緣性網(wǎng)絡(luò)資源降低對中央服務(wù)器資源的消耗需求。[ 4 ]5）Web Service技術(shù)：即Web服務(wù)， 是在Internet上進行分布式計算的基本構(gòu)造塊。 [ 5 ]

3 實時之道——內(nèi)存計算

“內(nèi)存計算”的出現(xiàn)，是為了應(yīng)對實時分析計算的要求，加快處理速度，讓數(shù)據(jù)分析的時效性和靈活性同時提升；“內(nèi)存計算”的出現(xiàn)與計算機處理能力的提升、成本的下降直接相關(guān)，由于是“內(nèi)存計算”數(shù)據(jù)庫，同磁盤讀取相比運行速度顯著提升。

4 投向更廣闊的技術(shù)領(lǐng)域——云計算、物聯(lián)網(wǎng)、移動計算

4.1 云計算

典型的云計算技術(shù)如下：1）虛擬化技術(shù)：該技術(shù)打開了云計算的大門。2）海量分布式存儲技術(shù)：云計算為了彌補了硬件的不可靠而以分布式存儲方式進行數(shù)據(jù)的存儲，海量分布式存儲和計算系統(tǒng)由此發(fā)揮作用。3）并行編程模式：云計算自動將任務(wù)分成多個子任務(wù)，采用MapReduced編程模式，將通過Reduce和Map兩個步驟進行。4）數(shù)據(jù)管理技術(shù)：云計算的數(shù)據(jù)有著非確定性、異構(gòu)、海量的特點，故需有效的數(shù)據(jù)管理技術(shù)來進行處理分析，從而構(gòu)建出擴展性強、高度可用的分布式數(shù)據(jù)存儲系統(tǒng)。[ 6 ]5）分布式資源管理技術(shù)：是保證系統(tǒng)狀態(tài)正確性的關(guān)鍵技術(shù)。6）云計算平臺管理技術(shù)：能協(xié)同大量的服務(wù)器，是云計算的“神經(jīng)網(wǎng)絡(luò)”。

4.2 物聯(lián)網(wǎng)

物聯(lián)網(wǎng)的概念最初來源于美國麻省理工學院（MIT）在1999年建立的自動識別中心 （Auto- IDLabs）提出的網(wǎng)絡(luò)無線射頻識別（RFID）系統(tǒng)——把所有物品通過射頻識別等信息傳感設(shè)備與互聯(lián)網(wǎng)連接起來，實現(xiàn)智能化識別和管理。[ 7 ]其關(guān)鍵技術(shù)如下：

1）RFID：又稱電子標簽，其系統(tǒng)包含兩部分：一是讀寫器，二是電子標簽。2）近場通信技術(shù)：又稱近距離無線通信，一種短距離的高頻無線通信技術(shù)。[ 8 ] 3）傳感器網(wǎng)絡(luò)技術(shù)：主要解決物聯(lián)網(wǎng)中的信息感知問題，是其技術(shù)核心。4）無線通信技術(shù)：此技術(shù)將使物聯(lián)網(wǎng)的構(gòu)想變?yōu)楝F(xiàn)實。[ 9 ]

4.3 移動計算

主要的移動計算關(guān)鍵技術(shù)如下：

1）移動計算通信協(xié)議：具有特殊運行環(huán)境的移動計算需要有異于傳統(tǒng)計算模式的通信協(xié)議來支持。2）情景感知：主要解決移動計算如何為移動的用戶提供基于其所處情景的服務(wù)。3）移動計算環(huán)境：其搭建是移動計算為用戶提供服務(wù)的基礎(chǔ)。4）無縫遷移技術(shù)：要求用戶任務(wù)在移動過程中，與該任務(wù)各種相關(guān)信息也隨之移動。

5 總結(jié)

目前，有些大數(shù)據(jù)的研究，是以商業(yè)利益為驅(qū)動，一些大的依靠數(shù)據(jù)牟利的大公司也許在今后會是大數(shù)據(jù)應(yīng)用的主體，然而不管怎樣，大數(shù)據(jù)一定會成為各界的重點研究領(lǐng)域。總的來說，目前對于大數(shù)據(jù)的研究仍處于一個初期的階段，還有很多問題需要解決，希望本文的介紹能夠給大數(shù)據(jù)關(guān)鍵技術(shù)研究提供一定的參考。

參考文獻：

[1] 黃解軍，潘和平，萬幼川.數(shù)據(jù)挖掘技術(shù)的應(yīng)用研究[J].計算機工程與應(yīng)用，2003（2）：45-47.

[2] 周園春，李淼，張建等.中間件技術(shù)綜述[J].計算機工程與應(yīng)用，2002（15）：80-82.

[3] 周曉峰，王志堅.分布式計算技術(shù)綜述[J].計算機時代，2004（12）：3-5.

[4] 周文莉，吳曉非.P2P技術(shù)綜述[J].計算機工程與設(shè)計， 2006 （1）：76-79.

[5] 王楠，劉心雄，陳和平.Web Service技術(shù)研究[J].計算機與數(shù)字工程，2006（7）：88-90.

[6] 劉正偉，文中領(lǐng)，張海濤.云計算和云數(shù)據(jù)管理技術(shù)[J].計算機研究與發(fā)展，2012（S1）：26-31.

[7] 孫其博，劉杰，黎羴等.物聯(lián)網(wǎng)：概念，架構(gòu)與關(guān)鍵技術(shù)研究綜述[J].北京郵電大學學報，2010（3）：1-9.

[8] 李建功，王健全，王晶等.物聯(lián)網(wǎng)關(guān)鍵技術(shù)與應(yīng)用[M].機械工程出版社，2013：62.

[9] 胡向東.物聯(lián)網(wǎng)研究與發(fā)展綜述[J].數(shù)字通信，2010（4）：17-21.