孔德漢+鐘怡雯

摘要：隨著信息技術(shù)的飛速發(fā)展，使用互聯(lián)網(wǎng)的人數(shù)越來越多，人們需要處理的數(shù)據(jù)日益增加。如何對大量的數(shù)據(jù)進(jìn)行分析和歸納，并從雜亂無章的數(shù)據(jù)中發(fā)現(xiàn)其隱藏的特征和規(guī)律，從而被人們加以提煉和使用，這正是該文所要探討的問題。該文以大數(shù)據(jù)的相關(guān)理論知識為背景，闡述了大數(shù)據(jù)在互聯(lián)網(wǎng)中的實(shí)際應(yīng)用及其發(fā)展前景。

關(guān)鍵字：大數(shù)據(jù)；互聯(lián)網(wǎng)；數(shù)據(jù)分析

中圖分類號：TP311 文獻(xiàn)標(biāo)識碼：A 文章編號：1009-3044（2016）22-0006-03

1前言

在過去的幾十年里，大數(shù)據(jù)這一術(shù)語正是產(chǎn)生在全球數(shù)據(jù)爆炸增長的背景下。大數(shù)據(jù)被挖掘的隱藏價(jià)值則會給各個領(lǐng)域的發(fā)展帶來新的機(jī)遇，然而同時(shí)也給數(shù)據(jù)的有效組織和管理的研究帶來了新的挑戰(zhàn)，無論涉及科學(xué)研究還是實(shí)際應(yīng)用，大數(shù)據(jù)都將持續(xù)給我們的生活帶來潛移默化的改變。

在商業(yè)、經(jīng)濟(jì)及其他領(lǐng)域中，決策將漸漸基于數(shù)據(jù)和分析而作出，而不是根據(jù)經(jīng)驗(yàn)和直覺。哈佛大學(xué)社會學(xué)教授加里·金說：“這是一場革命，龐大的數(shù)據(jù)資源使得各個領(lǐng)域開始了量化進(jìn)程，無論學(xué)術(shù)界、商界還是政府，所有領(lǐng)域都將開始這種進(jìn)程?！?而根據(jù)大規(guī)模的數(shù)據(jù)增長，互聯(lián)網(wǎng)的意義也越發(fā)重要，現(xiàn)在人們的生活與互聯(lián)網(wǎng)息息相關(guān)，不知不覺中就提供了數(shù)據(jù)信息，如果這些信息被有效的提煉和分析，無論對商業(yè)還是生活都極具價(jià)值?！按髷?shù)據(jù)”時(shí)代已經(jīng)降臨。

2大數(shù)據(jù)的內(nèi)涵及關(guān)鍵技術(shù)

2.1大數(shù)據(jù)的內(nèi)涵

在獲取、存儲、管理、分析方面，其范圍大大超出了傳統(tǒng)數(shù)據(jù)庫軟件能力范圍的數(shù)據(jù)的集合。它具有數(shù)據(jù)規(guī)模大、數(shù)據(jù)流轉(zhuǎn)快、數(shù)據(jù)類型多樣和價(jià)值密度低四大特征。當(dāng)然，不同行業(yè)的數(shù)據(jù)有不同的自身特點(diǎn)，還需要結(jié)合自身的行業(yè)知識才能把大數(shù)據(jù)轉(zhuǎn)換為價(jià)值。

2.2 大數(shù)據(jù)的關(guān)鍵技術(shù)

2.2.1分布式計(jì)算框架

Google開發(fā)的一種簡化的分布式編程模型和高效的任務(wù)調(diào)度模型是MapReduce，用于大規(guī)模數(shù)據(jù)集（>1TB）的并行運(yùn)算，使云計(jì)算環(huán)境下的編程變得非常簡單，用戶按照自己熟悉的語言實(shí)現(xiàn)Map函數(shù)和Reduce函數(shù)使用該編程模型，MapReduce算法框架會自動對任務(wù)進(jìn)行劃分以做到并行執(zhí)行。

2.2.2分布式文件系統(tǒng)

基于云計(jì)算的大數(shù)據(jù)處理系統(tǒng)利用分布式存儲的方式來保存數(shù)據(jù)，以保證高可用、高可靠和經(jīng)濟(jì)性，并用冗余存儲的方式保證數(shù)據(jù)的可靠性。目前廣泛使用的分布式文件系統(tǒng)是GFS，是由Google的GFS和Hadoop團(tuán)隊(duì)開發(fā)的，它可開源實(shí)現(xiàn)HDFS。HDFS即Hadoop分布式文件系統(tǒng)，它很適合那些有大數(shù)據(jù)集的應(yīng)用，并且提供了數(shù)據(jù)讀寫的高吞吐率，同時(shí)它具有高容錯性，可以被部署在低價(jià)的硬件設(shè)備之上。

2.2.3實(shí)時(shí)流處理技術(shù)

隨著互聯(lián)網(wǎng)業(yè)務(wù)發(fā)展的步伐，以及業(yè)務(wù)流程的復(fù)雜化，企業(yè)的注意力越來越集中在“數(shù)據(jù)流”而非“數(shù)據(jù)集”上面，他們需要的是能夠處理隨時(shí)發(fā)生的數(shù)據(jù)流的架構(gòu)，數(shù)據(jù)流處理強(qiáng)調(diào)的是數(shù)據(jù)流的形式和實(shí)時(shí)，當(dāng)MapReduce任務(wù)啟動時(shí)，一般數(shù)據(jù)已經(jīng)到位了，而流式計(jì)算系統(tǒng)在啟動時(shí)，一般數(shù)據(jù)并沒有完全到位，而是經(jīng)過外部數(shù)據(jù)源源不斷地輸入，它重視的是降低數(shù)據(jù)處理的延遲，數(shù)據(jù)進(jìn)入的越快，處理的就越好，結(jié)果就越有價(jià)值，這也是實(shí)時(shí)處理的價(jià)值所在。

2.2.4云計(jì)算技術(shù)

云計(jì)算技術(shù)的興起有效地解決了由于海量不同類型碎片化數(shù)據(jù)的產(chǎn)生，常規(guī)的技術(shù)已經(jīng)不能勝任PB級大規(guī)模數(shù)據(jù)的計(jì)算這一問題。云計(jì)算技術(shù)把大量分散的數(shù)據(jù)從手機(jī)端、電腦端以及其他智能終端統(tǒng)統(tǒng)傳送至云平臺，再通過一個大規(guī)模的分布式系統(tǒng)加以計(jì)算和高效分析，從而提煉出富有價(jià)值的數(shù)據(jù)和信息。云計(jì)算技術(shù)可以說是處理海量數(shù)據(jù)成本最低和效率最高的解決方案。

3大數(shù)據(jù)技術(shù)在互聯(lián)網(wǎng)領(lǐng)域中的應(yīng)用

3.1電子商務(wù)

國內(nèi)外的電子商務(wù)巨頭如淘寶、京東、亞馬遜、沃爾瑪?shù)?，在電子商?wù)領(lǐng)域捭闔縱橫，都是由于不斷地利用大數(shù)據(jù)技術(shù)Hadoop。Hadoop是在電子商務(wù)領(lǐng)域中應(yīng)用非常廣泛的大數(shù)據(jù)技術(shù)。

利用大數(shù)據(jù)Hadoop技術(shù)對網(wǎng)絡(luò)購物、網(wǎng)絡(luò)消費(fèi)、網(wǎng)絡(luò)團(tuán)購、網(wǎng)上支付等數(shù)據(jù)進(jìn)行深度挖掘、深入分析，將可發(fā)現(xiàn)大量有價(jià)值的信息與統(tǒng)計(jì)規(guī)律，對布局和推動今后中國互聯(lián)網(wǎng)經(jīng)濟(jì)的健康有序發(fā)展、加強(qiáng)國家對該領(lǐng)域的宏觀調(diào)控和監(jiān)管等，均將產(chǎn)生積極的影響。

電子商務(wù)的競爭在很大程度上就是大數(shù)據(jù)的競爭，經(jīng)歷了基于用戶數(shù)量的時(shí)代、基于銷量的時(shí)代，現(xiàn)在的電子商務(wù)已經(jīng)處在基于數(shù)據(jù)的時(shí)代。近年來，淘寶、京東等網(wǎng)絡(luò)零售第三方交易平臺和電子商務(wù)網(wǎng)站上已經(jīng)聚集了大量的經(jīng)營者、消費(fèi)者和商品服務(wù)，并因此而衍生出了大量的數(shù)據(jù)，電子商務(wù)企業(yè)通過對這些海量的數(shù)據(jù)進(jìn)行收集、分析、整合，挖掘出對自己有用的信息，分析不同用戶群體的特征，根據(jù)用戶需求和興趣在正確時(shí)間，給正確用戶投放正確內(nèi)容的廣告，來保證營銷的有效性。通過基本的人口統(tǒng)計(jì)信息以及其潛在需求、購物行為、購物關(guān)注點(diǎn)等來挖掘相應(yīng)的營銷需求，利用多方位采集到的用戶數(shù)據(jù)信息來界定消費(fèi)者，實(shí)現(xiàn)更加精準(zhǔn)的營銷效果。

3.2 旅行預(yù)訂

利用分布式計(jì)算架構(gòu)下應(yīng)用驅(qū)動的計(jì)算任務(wù)加載及調(diào)度算法優(yōu)化，通過對各類計(jì)算任務(wù)執(zhí)行情況進(jìn)行深度學(xué)習(xí)，了解不同任務(wù)在不同數(shù)據(jù)量、不同計(jì)算規(guī)模、不同資源配置等情況下的時(shí)間、空間復(fù)雜度，從而以應(yīng)用為驅(qū)動，以任務(wù)復(fù)雜度為依據(jù)，對計(jì)算任務(wù)進(jìn)行動態(tài)調(diào)度規(guī)劃，可以達(dá)到資源調(diào)配效果，從而實(shí)現(xiàn)旅游大數(shù)據(jù)分析的真正實(shí)用化。

對于游客們來說，旅游網(wǎng)站讓他們出行有了更多自主選擇的權(quán)利，但是海量的景點(diǎn)、酒店、線路等讓他們犯上了選擇障礙。同時(shí)，每一個出行者的出游方式、目的地和酒店偏好等都不盡相同。這樣利用分布式計(jì)算架構(gòu)就可以很好地解決這些問題，幫助游客獲得想要的結(jié)果。例如，用戶機(jī)票數(shù)據(jù)和酒店數(shù)據(jù)打通后，實(shí)現(xiàn)用戶拉通，就可以把機(jī)票流量導(dǎo)入酒店中，這與常規(guī)互聯(lián)網(wǎng)企業(yè)導(dǎo)流不同，不是流量分散而是凝聚，機(jī)票和酒店流量互補(bǔ)并且是剛需。當(dāng)用戶預(yù)訂或購買了機(jī)票，根據(jù)用戶偏好和位置信息及時(shí)推送酒店信息，即為企業(yè)增加了用戶流量，同時(shí)也解決了用戶的需求痛點(diǎn)。

3.3社交網(wǎng)絡(luò)

社交網(wǎng)絡(luò)成為互聯(lián)網(wǎng)時(shí)代民眾新的通信、社交和發(fā)表見解手段。利用云計(jì)算技術(shù)對此進(jìn)行深入分析，可更好地發(fā)現(xiàn)民眾新的交往習(xí)慣與方式、民眾關(guān)注的社會問題與社會熱點(diǎn)、民情民意，為改善互聯(lián)網(wǎng)時(shí)代的通信和社交服務(wù)、更好地體察民情和改進(jìn)社會管理等提供參考。

社交網(wǎng)站相較于其他網(wǎng)站的顯著優(yōu)勢就在于它多年積累的海量用戶數(shù)據(jù)，但只有有了數(shù)據(jù)分析，才能發(fā)揮數(shù)據(jù)的真正價(jià)值。騰訊qq空間通過對用戶的瀏覽行為、瀏覽頁面關(guān)鍵字等的分析得出用戶的近期需求和長期愛好，再通過分析用戶的朋友圈，獲得用戶的教育、工作、收入、地理位置等信息，從而給廣告主帶來廣告的精準(zhǔn)投放超乎想象。同樣的借由大數(shù)據(jù)技術(shù)的應(yīng)用，新浪微博挖掘與其用戶基本信息、教育信息、職業(yè)信息等和現(xiàn)實(shí)身份掛鉤的個人資料，建立該用戶的朋友圈、事業(yè)圈，并按整理后的用戶資料及親友相關(guān)信息提供朋友推薦。通過顯示數(shù)據(jù)相同或相似的信息，微博用戶可以擴(kuò)大、維系其現(xiàn)實(shí)生活、虛擬世界兩個范疇中的人際圈，不僅有利于感情的聯(lián)系和加深，同時(shí)有利于個人事業(yè)的發(fā)展。同時(shí)新浪微博挖掘、提煉其海量數(shù)據(jù)中的有利價(jià)值，開發(fā)了風(fēng)云榜、微數(shù)據(jù)、微報(bào)告等應(yīng)用，增強(qiáng)微博平臺的營銷優(yōu)勢，提高用戶體驗(yàn)，增加微博用戶的流量，而第三方也可以通過挖掘微博應(yīng)用的數(shù)據(jù)價(jià)值為企業(yè)提供決策參考的依據(jù)。

3.4 智能電網(wǎng)

隨著電網(wǎng)技術(shù)水平的不斷提升，使得大數(shù)據(jù)關(guān)鍵技術(shù)在電力系統(tǒng)中的應(yīng)用量快速增長，這也導(dǎo)致了其數(shù)據(jù)量和信息量的飛速提升，因此對電力系統(tǒng)的信息處理能力提出了更高的要求。為了更好地解決這一問題，目前很多廠家希望通過建立Hadoop 架構(gòu)上的數(shù)據(jù)平臺和商務(wù)服務(wù)這些措施來有效地提升自身電力系統(tǒng)的信息處理能力，利用該軟件來對海量的數(shù)據(jù)信息進(jìn)行收集和處理，并且能夠建造在其基礎(chǔ)上的Datameer 系統(tǒng)提供的電表格式界面，從而使得用戶能夠更加方便的處理和分析數(shù)據(jù)。將該數(shù)據(jù)處理系統(tǒng)應(yīng)用于電力企業(yè)的發(fā)展當(dāng)中，對于其多元化的發(fā)展具有非常重要的促進(jìn)作用。

4大數(shù)據(jù)的發(fā)展前景

4.1在電子商務(wù)方面

4.1.1不斷提升數(shù)據(jù)處理能力

大數(shù)據(jù)的關(guān)鍵在于應(yīng)用，為了充分發(fā)揮其價(jià)值，只有將大數(shù)據(jù)進(jìn)行處理、分析與應(yīng)用。在實(shí)際的推薦系統(tǒng)中，利用機(jī)器學(xué)習(xí)、自然語言理解、大數(shù)據(jù)分布式存儲和并行處理等技術(shù)，促使商家開放數(shù)據(jù)或者部分?jǐn)?shù)據(jù)，需要在數(shù)據(jù)安全、數(shù)據(jù)使用的商業(yè)模式和技術(shù)等多個層面改變觀念、不斷創(chuàng)新才能實(shí)現(xiàn)。然而數(shù)據(jù)挖掘與分析對技術(shù)能力要求很高，很多企業(yè)并不具備這些能力，即使他們擁有很多數(shù)據(jù)，所以提高數(shù)據(jù)處理能力是目前電商企業(yè)的首要任務(wù)。

4.1.2充分保障數(shù)據(jù)安全性

隨著技術(shù)的發(fā)展、數(shù)據(jù)的收集，電子商務(wù)已匯集了消費(fèi)者基本信息、偏好信息、交易信息、社交信息和地理位置信息等消費(fèi)者的全面信息。由于大數(shù)據(jù)屬于新生事物，我國在數(shù)據(jù)隱私安全性和數(shù)據(jù)控制方面一直存在很大的不足，關(guān)于數(shù)據(jù)安全方面的法律法規(guī)也比較簡單。因此，企業(yè)為消費(fèi)者提供個性化服務(wù)，同時(shí)要做到確保用戶的隱私不受侵犯，而我國相關(guān)部門也應(yīng)及時(shí)加強(qiáng)這方面的法律法規(guī)，為數(shù)據(jù)安全提供保障。

4.2在網(wǎng)絡(luò)游戲方面

在游戲行業(yè)中，大數(shù)據(jù)未來的有效應(yīng)用就是預(yù)測流失，不需要理解游戲，只要把足夠多的數(shù)據(jù)放進(jìn)去，就能預(yù)測流失，發(fā)現(xiàn)有些用戶快要流失，就想辦法給他們好處，留住他們。但是沒有足夠數(shù)據(jù)訓(xùn)練的游戲項(xiàng)目組也很難配合起來，所以這種方式的應(yīng)用，需要企業(yè)對數(shù)據(jù)挖掘團(tuán)隊(duì)進(jìn)行大力投入。

4.3 在社交網(wǎng)絡(luò)方面

微博、微信、QQ等社交平臺的用戶持續(xù)增長，他們要在此平臺結(jié)交朋友，發(fā)布信息，據(jù)調(diào)查，利用社交網(wǎng)絡(luò)大數(shù)據(jù)可以得知用戶的購物喜好、游戲喜好等信息，一方面可以對社交網(wǎng)絡(luò)的服務(wù)進(jìn)行調(diào)整；另一方面，這些大數(shù)據(jù)還能夠使網(wǎng)站經(jīng)營者更加了解在線用戶的需求，并針對需求，開展相對應(yīng)的服務(wù)。將電子商務(wù)和網(wǎng)絡(luò)游戲等結(jié)合起來，或者建立直達(dá)鏈接，不僅僅會為社交網(wǎng)站帶來更大的經(jīng)濟(jì)效益，也能夠帶來更好的用戶體驗(yàn)。

5結(jié)束語

雖然近年來，大數(shù)據(jù)技術(shù)已經(jīng)獲得了很大程度的進(jìn)展，但由于大數(shù)據(jù)的復(fù)雜性，如何對其進(jìn)行更加準(zhǔn)確、全面的分析依然是一項(xiàng)重要的挑戰(zhàn)，并且在互聯(lián)網(wǎng)高速發(fā)展的今天，如何將大數(shù)據(jù)和互聯(lián)網(wǎng)結(jié)合起來，如何使大數(shù)據(jù)在互聯(lián)網(wǎng)中得到良好的應(yīng)用，以便于幫助互聯(lián)網(wǎng)進(jìn)行決策，依舊需要眾多科研工作者的努力。隨著大數(shù)據(jù)技術(shù)在互聯(lián)網(wǎng)中的普遍應(yīng)用，我們的生活也將要發(fā)生翻天覆地的變化。大數(shù)據(jù)通過對海量數(shù)據(jù)進(jìn)行分析，以一種前所未有的方式，從人類的發(fā)展中獲得具有巨大價(jià)值的產(chǎn)品和服務(wù)，最終形成變革世界的力量。

參考文獻(xiàn)：

[1] 彭小圣，鄧迪元，程時(shí)杰，等.面向智能電網(wǎng)應(yīng)用的電力大數(shù)據(jù)關(guān)鍵技術(shù)[J].中國電機(jī)工程學(xué)報(bào)，2015（3）：503-511.

[2] 王秀磊，劉鵬.大數(shù)據(jù)關(guān)鍵技術(shù)[J].中興通訊技術(shù)，2013，19（4）：17-21.

[3] 蔣曉科，符龍生，李健，等.大數(shù)據(jù)關(guān)鍵技術(shù)及應(yīng)用研究[J].電腦知識與技術(shù)，2015（8）：5-6.

[4] 李娜.基于云計(jì)算的數(shù)據(jù)關(guān)鍵技術(shù)的研究[J].信息與電腦，2015（23）：36-37.

[5] 韓翠峰.大數(shù)據(jù)帶給圖書館的影響與挑戰(zhàn)[J].圖書與情報(bào)，2012（5）：37-40.