袁露+肖志勇+王映龍

摘要：隨著大數(shù)據(jù)時代的降臨，計算、物聯(lián)網(wǎng)、社交網(wǎng)絡(luò)等新型服務(wù)促使人類社會的數(shù)據(jù)種類和規(guī)模逐漸擴大，數(shù)據(jù)量隨之也愈來愈大。數(shù)據(jù)從簡單的對象處理開始轉(zhuǎn)變?yōu)橐环N基礎(chǔ)性資源。大數(shù)據(jù)的存儲和管理以及大數(shù)據(jù)的分析是一個很大的問題。本文主要針對大數(shù)據(jù)的現(xiàn)狀、基本概念、關(guān)鍵技術(shù)、面臨的困難和挑戰(zhàn)、如何適應(yīng)好“大數(shù)據(jù)”時代做了探討以及大數(shù)據(jù)在畢業(yè)生就業(yè)的應(yīng)用。

關(guān)鍵字：大數(shù)據(jù)；云計算；數(shù)據(jù)處理

中圖分類號：G642.0 文獻標(biāo)志碼：A 文章編號：1674-9324（2014）44-0086-02

近年來，伴隨著物聯(lián)網(wǎng)、云計算、移動互聯(lián)網(wǎng)等新技術(shù)的迅猛發(fā)展，數(shù)據(jù)出現(xiàn)逐漸增長的趨勢，而且增長幅度比較大，于是大數(shù)據(jù)涌現(xiàn)了。大數(shù)據(jù)是繼云計算之后IT產(chǎn)業(yè)又一次顛覆性的技術(shù)革命。它貫穿于整個社會，正處于成長階段，大數(shù)據(jù)引起了產(chǎn)業(yè)界、科技界和政府機構(gòu)的廣泛關(guān)注。大數(shù)據(jù)隨著新型SNS網(wǎng)絡(luò)的發(fā)展等在肥沃的土壤中更加迅速地成長?，F(xiàn)在，大數(shù)據(jù)時代占據(jù)了大部分市場和企業(yè)，規(guī)模不斷壯大。

一、大數(shù)據(jù)的現(xiàn)狀

隨著網(wǎng)絡(luò)技術(shù)、信息技術(shù)的發(fā)展，人類產(chǎn)生的數(shù)據(jù)成指數(shù)增長。資料顯示，2011年，全球數(shù)據(jù)規(guī)模為1.8ZB，可以填滿575億個32GB的iPad。到2020年，全球數(shù)據(jù)達(dá)到40ZB。我國，2010年新存儲的數(shù)據(jù)為250PB，2012年中國的數(shù)據(jù)存儲量達(dá)到364EB，約為日本的60%，北美的7%。全球互聯(lián)網(wǎng)行業(yè)巨頭以百度、阿里巴巴、騰訊等為代表的國內(nèi)互聯(lián)網(wǎng)企業(yè)開始創(chuàng)建自己的數(shù)據(jù)中心，并在IT基礎(chǔ)設(shè)施和創(chuàng)新方面有顯著的成就。由此看來，大數(shù)據(jù)慢慢走向成熟，即將成為社會、生活不可缺少的一部分。

二、大數(shù)據(jù)的概念及特點

大數(shù)據(jù)（Big Data），可以認(rèn)為，它所涉及的資料量規(guī)模巨大，通過一些方法和手段，在合理時間內(nèi)達(dá)到獲取、管理、處理并整理這些大量的資料數(shù)據(jù)，進一步幫助企業(yè)高層做出經(jīng)營決策?！按髷?shù)據(jù)”的出現(xiàn)不是偶然事件，它是在社會發(fā)展的推動下，逐漸網(wǎng)絡(luò)化、信息化。比如各種二維碼、虹膜等都可以認(rèn)為是大數(shù)據(jù)。對于數(shù)據(jù)的識別和分析是很有難度的。大數(shù)據(jù)的特點如下。①數(shù)據(jù)類別大。大數(shù)據(jù)一般包括以事務(wù)為代表的結(jié)構(gòu)化數(shù)據(jù)，以網(wǎng)頁為代表的半結(jié)構(gòu)化數(shù)據(jù)和以視頻和語音信息為代表的非結(jié)構(gòu)多類數(shù)據(jù)，并且它們的處理和分析方式區(qū)別很大。②數(shù)據(jù)量大。通過各種方式，比如市場、信息、網(wǎng)絡(luò)等產(chǎn)生的一系列大量數(shù)據(jù)。所謂大數(shù)據(jù)，數(shù)量肯定是很大的了。③數(shù)據(jù)快速化。有些數(shù)據(jù)是具有時效性的。比如電商行業(yè)，數(shù)據(jù)是有時間限制的，否則數(shù)據(jù)無意義，或者會造成誤差。④數(shù)據(jù)的靈活性與復(fù)雜性。數(shù)據(jù)更新迅速，是變化的，數(shù)據(jù)的類型、用途不同，分析方式的不同、需求的不同導(dǎo)致了數(shù)據(jù)的靈活性和復(fù)雜性。

三、大數(shù)據(jù)的關(guān)鍵技術(shù)

大數(shù)據(jù)的處理主要是從一大堆的數(shù)據(jù)當(dāng)中篩選出有價值的數(shù)據(jù)，然后進行對比、分析、處理等。解決大數(shù)據(jù)問題的核心是大數(shù)據(jù)技術(shù)，主要可分為：數(shù)據(jù)采集、數(shù)據(jù)存取、基礎(chǔ)架構(gòu)、數(shù)據(jù)處理、統(tǒng)計分析、數(shù)據(jù)挖掘、模型預(yù)測、結(jié)果呈現(xiàn)等8種技術(shù)。大數(shù)據(jù)技術(shù)主要形成了批處理、流處理和交互分析三種計算模式。大數(shù)據(jù)的關(guān)鍵技術(shù)主要還是對海量數(shù)據(jù)的存儲和計算處理等，特別是對數(shù)據(jù)的分類，根據(jù)用途需求的不同，篩選出對于某一個領(lǐng)域某一個用途有意義、有價值的一系列數(shù)據(jù)，拋棄相對而言無用的數(shù)據(jù)。

四、大數(shù)據(jù)面臨的機遇和挑戰(zhàn)

1.用戶的個人隱私問題。比如日常生活中我們經(jīng)常使用的微信、旺信以及一些其他如淘粉吧、團購網(wǎng)等需要授權(quán)的網(wǎng)站和軟件應(yīng)用，都需要讀取使用者的個人信息等數(shù)據(jù)，有可能會導(dǎo)致數(shù)據(jù)的泄露。

2.在未來的社會中，大數(shù)據(jù)即將成為未來交易的對象。特別是大數(shù)據(jù)中的價值數(shù)據(jù)，當(dāng)然價值包括數(shù)據(jù)本身的價值和其使用價值，價值也分為絕對價值和相對價值，企業(yè)可以通過這些數(shù)據(jù)分析未來的發(fā)展趨勢。國內(nèi)三大巨頭BAT坐擁數(shù)據(jù)金礦，我們來看百度、阿里巴巴、騰訊三大巨頭的大數(shù)據(jù)利用以及三者的不同之處（如下頁表1）。

3.大數(shù)據(jù)的挖掘和應(yīng)用成為核心。大數(shù)據(jù)的重心將從存儲和傳輸，過渡到數(shù)據(jù)的挖掘和應(yīng)用。索取我們的個人位置信息可創(chuàng)造潛在價值6000億美元。沃爾瑪為其網(wǎng)站W(wǎng)almart.com自行設(shè)計了最新的搜索引擎Polaris，利用語義分析、數(shù)據(jù)挖掘等使得購物完成率提升了10%～20%，這意味著數(shù)十億的金額。

五、如何適應(yīng)“大數(shù)據(jù)”時代

1.加強領(lǐng)域合作。加強各個領(lǐng)域之間的合作關(guān)系，加強企業(yè)商業(yè)智能、社會服務(wù)、市場營銷等各大領(lǐng)域的合作。企業(yè)服務(wù)于民眾和政府，政府也推動企業(yè)的發(fā)展，激勵市場的需求，企業(yè)根據(jù)商業(yè)智能對數(shù)據(jù)的分析了解當(dāng)今市場發(fā)展趨勢，進行產(chǎn)品的生產(chǎn)和市場分配，根據(jù)用戶的需求了解當(dāng)今社會的發(fā)展要求，政府把握公民動態(tài)，了解民生。

2.數(shù)據(jù)安全性。防止數(shù)據(jù)被非法交易、倒賣、竊取、泄漏或者纂改。大量的數(shù)據(jù)通過云端存儲，數(shù)據(jù)管理比較分散。數(shù)據(jù)從產(chǎn)生到獲取，再到分析、處理等每一個過程都牽扯用戶的隱私和安全問題，整個過程中，如不采取相應(yīng)措施，非法用戶容易入侵，竊取和纂改數(shù)據(jù)，數(shù)據(jù)的正確性沒有了保障。因此，如何保證大數(shù)據(jù)的安全以及分析結(jié)果的可靠是信息安全領(lǐng)域所要解決的問題。

3.加強大數(shù)據(jù)人才的培養(yǎng)。大數(shù)據(jù)發(fā)展離不開人才的需求。大數(shù)據(jù)興起的時間不算長，這方面的人才還是急缺的?？梢愿鶕?jù)社會的需求培養(yǎng)具有大數(shù)據(jù)思維和創(chuàng)新能力的復(fù)合型人才，企業(yè)可以根據(jù)企業(yè)自身的需要對企業(yè)內(nèi)部人員進行教育培訓(xùn)，另外可以通過招聘引進一些具有大數(shù)據(jù)經(jīng)驗的人士。引導(dǎo)員工職業(yè)發(fā)展，采用員工激勵制等，鼓勵員工不斷地學(xué)習(xí)提升自我。加強大數(shù)據(jù)人才的培養(yǎng)也是大數(shù)據(jù)發(fā)展的重點之一。

六、大數(shù)據(jù)的應(yīng)用

大數(shù)據(jù)通過互聯(lián)網(wǎng)渠道，遍布全球的各個角落。互聯(lián)網(wǎng)企業(yè)與其他數(shù)據(jù)傳播手段相比，開展大數(shù)據(jù)應(yīng)用存在“近水樓臺先得月”的優(yōu)勢。百度、阿里巴巴、騰訊、谷歌、亞馬遜等都擁有強大的數(shù)據(jù)資源和數(shù)據(jù)技術(shù)平臺。美國等先進國家政府部門投資2億美元開展大數(shù)據(jù)應(yīng)用。我們要向美國學(xué)習(xí)推進大數(shù)據(jù)的應(yīng)用實踐。大數(shù)據(jù)的應(yīng)用主要體現(xiàn)在互聯(lián)網(wǎng)應(yīng)用、電信應(yīng)用、金融應(yīng)用和政府應(yīng)用。大數(shù)據(jù)應(yīng)用的核心思想是將數(shù)學(xué)算法運用到海量數(shù)據(jù)中預(yù)測事情發(fā)生的可能性。endprint

作為高校的一名教師，我們可以將大數(shù)據(jù)運用到高校教學(xué)中，以院系的軟件工程專業(yè)為例（圖1），該專業(yè)的學(xué)生畢業(yè)初期76.52%都是選擇在公司處理IT編程相關(guān)領(lǐng)域，4.45%選擇了考研，5.27%選擇考公務(wù)員等，五年之后他們的選擇又如何，仍然堅守在IT崗位上的人又有多少？這些數(shù)據(jù)，我們都可以進行統(tǒng)計分析，了解每一年的畢業(yè)生就業(yè)情況。

大數(shù)據(jù)在大學(xué)生就業(yè)中的應(yīng)用體現(xiàn)在：根據(jù)畢業(yè)生的就業(yè)情況統(tǒng)計出的數(shù)據(jù)反映社會對軟件技術(shù)專業(yè)人才的需求以及學(xué)生就業(yè)選擇的方向，發(fā)現(xiàn)未來軟件方向的就業(yè)趨勢。同時，在高校開設(shè)的《職業(yè)生涯規(guī)劃課》上可以根據(jù)往屆學(xué)生的就業(yè)情況給予新生更好地引導(dǎo)，讓學(xué)生產(chǎn)生良好的認(rèn)識，不會盲目地做出選擇。大數(shù)據(jù)應(yīng)用在畢業(yè)生就業(yè)上的指導(dǎo)有一定參考性，數(shù)據(jù)證明了趨勢，更加生動、真實。

七、總結(jié)

大數(shù)據(jù)已被越來越多的人熟悉，在未來的日子里，大數(shù)據(jù)將迎來一場激烈的競爭。我們應(yīng)該抓住大數(shù)據(jù)的關(guān)鍵點，跟上時代的步伐，適應(yīng)科技時代的發(fā)展，順應(yīng)大數(shù)據(jù)時代的需求，從國家戰(zhàn)略制定、人才培養(yǎng)、基礎(chǔ)技術(shù)研究、信息安全保障體系建設(shè)等方面開展相應(yīng)的工作。大數(shù)據(jù)的共享是未來的發(fā)展趨勢，如何更好地保護好數(shù)據(jù)，如何更好地存儲、分析數(shù)據(jù)，都還需要繼續(xù)探索。我們要充分有效地利用和組織大數(shù)據(jù)推動社會的發(fā)展。

參考文獻：

[1]賽迪智庫，大數(shù)據(jù)時代需要加快局[EB/OL].2012-05-17.http：//www.cio360.net/index.php？m=content&c=index&catid=201&id=53375.

[2]大數(shù)據(jù)時代[J].中國電子科學(xué)研究院學(xué)報，2013，（1）.

[3]淄博市經(jīng)濟和信息化委員會.“大數(shù)據(jù)”現(xiàn)狀及發(fā)展淺談[Z].2013-08-27.

[4]嚴(yán)霄鳳，張徳馨.大數(shù)據(jù)研究[J].計算機技術(shù)與發(fā)展，2013，23（4）：170.

[5]劉菊香.大數(shù)據(jù)分析在大學(xué)生就業(yè)中的應(yīng)用[J].文教資料，2013，（28）：145.

[6]栗蔚，魏凱.大數(shù)據(jù)的技術(shù)、應(yīng)用和價值變革[J].電信網(wǎng)技術(shù)，2013，（7）：9.

[7]王秀磊，劉鵬.大數(shù)據(jù)關(guān)鍵技術(shù)[J].中興通訊技術(shù)，2013，19（4）.

[8]關(guān)志剛.IT經(jīng)理網(wǎng)[EB/OL].http：//detail.tmall.com/item.htm？id=36959152604.

[9]李國杰，程學(xué)旗.大數(shù)據(jù)研究：未來科技及經(jīng)濟社會發(fā)展的重大戰(zhàn)略領(lǐng)域——大數(shù)據(jù)的研究現(xiàn)狀和科學(xué)思考[J].中國科學(xué)院院刊戰(zhàn)略與決策研究，2012，27（6）.

基金項目：基于“案例模式”的《計算機導(dǎo)論》課程實踐教學(xué)模式研究。項目編號2013B2ZC27

作者簡介：袁露（1987-），女，江西豐城人，碩士研究生，實驗員，助理實驗師，研究方向：數(shù)據(jù)挖掘。

通訊作者：王映龍。endprint

作為高校的一名教師，我們可以將大數(shù)據(jù)運用到高校教學(xué)中，以院系的軟件工程專業(yè)為例（圖1），該專業(yè)的學(xué)生畢業(yè)初期76.52%都是選擇在公司處理IT編程相關(guān)領(lǐng)域，4.45%選擇了考研，5.27%選擇考公務(wù)員等，五年之后他們的選擇又如何，仍然堅守在IT崗位上的人又有多少？這些數(shù)據(jù)，我們都可以進行統(tǒng)計分析，了解每一年的畢業(yè)生就業(yè)情況。

大數(shù)據(jù)在大學(xué)生就業(yè)中的應(yīng)用體現(xiàn)在：根據(jù)畢業(yè)生的就業(yè)情況統(tǒng)計出的數(shù)據(jù)反映社會對軟件技術(shù)專業(yè)人才的需求以及學(xué)生就業(yè)選擇的方向，發(fā)現(xiàn)未來軟件方向的就業(yè)趨勢。同時，在高校開設(shè)的《職業(yè)生涯規(guī)劃課》上可以根據(jù)往屆學(xué)生的就業(yè)情況給予新生更好地引導(dǎo)，讓學(xué)生產(chǎn)生良好的認(rèn)識，不會盲目地做出選擇。大數(shù)據(jù)應(yīng)用在畢業(yè)生就業(yè)上的指導(dǎo)有一定參考性，數(shù)據(jù)證明了趨勢，更加生動、真實。

七、總結(jié)

大數(shù)據(jù)已被越來越多的人熟悉，在未來的日子里，大數(shù)據(jù)將迎來一場激烈的競爭。我們應(yīng)該抓住大數(shù)據(jù)的關(guān)鍵點，跟上時代的步伐，適應(yīng)科技時代的發(fā)展，順應(yīng)大數(shù)據(jù)時代的需求，從國家戰(zhàn)略制定、人才培養(yǎng)、基礎(chǔ)技術(shù)研究、信息安全保障體系建設(shè)等方面開展相應(yīng)的工作。大數(shù)據(jù)的共享是未來的發(fā)展趨勢，如何更好地保護好數(shù)據(jù)，如何更好地存儲、分析數(shù)據(jù)，都還需要繼續(xù)探索。我們要充分有效地利用和組織大數(shù)據(jù)推動社會的發(fā)展。

參考文獻：

[1]賽迪智庫，大數(shù)據(jù)時代需要加快局[EB/OL].2012-05-17.http：//www.cio360.net/index.php？m=content&c=index&catid=201&id=53375.

[2]大數(shù)據(jù)時代[J].中國電子科學(xué)研究院學(xué)報，2013，（1）.

[3]淄博市經(jīng)濟和信息化委員會.“大數(shù)據(jù)”現(xiàn)狀及發(fā)展淺談[Z].2013-08-27.

[4]嚴(yán)霄鳳，張徳馨.大數(shù)據(jù)研究[J].計算機技術(shù)與發(fā)展，2013，23（4）：170.

[5]劉菊香.大數(shù)據(jù)分析在大學(xué)生就業(yè)中的應(yīng)用[J].文教資料，2013，（28）：145.

[6]栗蔚，魏凱.大數(shù)據(jù)的技術(shù)、應(yīng)用和價值變革[J].電信網(wǎng)技術(shù)，2013，（7）：9.

[7]王秀磊，劉鵬.大數(shù)據(jù)關(guān)鍵技術(shù)[J].中興通訊技術(shù)，2013，19（4）.

[8]關(guān)志剛.IT經(jīng)理網(wǎng)[EB/OL].http：//detail.tmall.com/item.htm？id=36959152604.

[9]李國杰，程學(xué)旗.大數(shù)據(jù)研究：未來科技及經(jīng)濟社會發(fā)展的重大戰(zhàn)略領(lǐng)域——大數(shù)據(jù)的研究現(xiàn)狀和科學(xué)思考[J].中國科學(xué)院院刊戰(zhàn)略與決策研究，2012，27（6）.

基金項目：基于“案例模式”的《計算機導(dǎo)論》課程實踐教學(xué)模式研究。項目編號2013B2ZC27

作者簡介：袁露（1987-），女，江西豐城人，碩士研究生，實驗員，助理實驗師，研究方向：數(shù)據(jù)挖掘。

通訊作者：王映龍。endprint

作為高校的一名教師，我們可以將大數(shù)據(jù)運用到高校教學(xué)中，以院系的軟件工程專業(yè)為例（圖1），該專業(yè)的學(xué)生畢業(yè)初期76.52%都是選擇在公司處理IT編程相關(guān)領(lǐng)域，4.45%選擇了考研，5.27%選擇考公務(wù)員等，五年之后他們的選擇又如何，仍然堅守在IT崗位上的人又有多少？這些數(shù)據(jù)，我們都可以進行統(tǒng)計分析，了解每一年的畢業(yè)生就業(yè)情況。

大數(shù)據(jù)在大學(xué)生就業(yè)中的應(yīng)用體現(xiàn)在：根據(jù)畢業(yè)生的就業(yè)情況統(tǒng)計出的數(shù)據(jù)反映社會對軟件技術(shù)專業(yè)人才的需求以及學(xué)生就業(yè)選擇的方向，發(fā)現(xiàn)未來軟件方向的就業(yè)趨勢。同時，在高校開設(shè)的《職業(yè)生涯規(guī)劃課》上可以根據(jù)往屆學(xué)生的就業(yè)情況給予新生更好地引導(dǎo)，讓學(xué)生產(chǎn)生良好的認(rèn)識，不會盲目地做出選擇。大數(shù)據(jù)應(yīng)用在畢業(yè)生就業(yè)上的指導(dǎo)有一定參考性，數(shù)據(jù)證明了趨勢，更加生動、真實。

七、總結(jié)

大數(shù)據(jù)已被越來越多的人熟悉，在未來的日子里，大數(shù)據(jù)將迎來一場激烈的競爭。我們應(yīng)該抓住大數(shù)據(jù)的關(guān)鍵點，跟上時代的步伐，適應(yīng)科技時代的發(fā)展，順應(yīng)大數(shù)據(jù)時代的需求，從國家戰(zhàn)略制定、人才培養(yǎng)、基礎(chǔ)技術(shù)研究、信息安全保障體系建設(shè)等方面開展相應(yīng)的工作。大數(shù)據(jù)的共享是未來的發(fā)展趨勢，如何更好地保護好數(shù)據(jù)，如何更好地存儲、分析數(shù)據(jù)，都還需要繼續(xù)探索。我們要充分有效地利用和組織大數(shù)據(jù)推動社會的發(fā)展。

參考文獻：

[1]賽迪智庫，大數(shù)據(jù)時代需要加快局[EB/OL].2012-05-17.http：//www.cio360.net/index.php？m=content&c=index&catid=201&id=53375.

[2]大數(shù)據(jù)時代[J].中國電子科學(xué)研究院學(xué)報，2013，（1）.

[3]淄博市經(jīng)濟和信息化委員會.“大數(shù)據(jù)”現(xiàn)狀及發(fā)展淺談[Z].2013-08-27.

[4]嚴(yán)霄鳳，張徳馨.大數(shù)據(jù)研究[J].計算機技術(shù)與發(fā)展，2013，23（4）：170.

[5]劉菊香.大數(shù)據(jù)分析在大學(xué)生就業(yè)中的應(yīng)用[J].文教資料，2013，（28）：145.

[6]栗蔚，魏凱.大數(shù)據(jù)的技術(shù)、應(yīng)用和價值變革[J].電信網(wǎng)技術(shù)，2013，（7）：9.

[7]王秀磊，劉鵬.大數(shù)據(jù)關(guān)鍵技術(shù)[J].中興通訊技術(shù)，2013，19（4）.

[8]關(guān)志剛.IT經(jīng)理網(wǎng)[EB/OL].http：//detail.tmall.com/item.htm？id=36959152604.

[9]李國杰，程學(xué)旗.大數(shù)據(jù)研究：未來科技及經(jīng)濟社會發(fā)展的重大戰(zhàn)略領(lǐng)域——大數(shù)據(jù)的研究現(xiàn)狀和科學(xué)思考[J].中國科學(xué)院院刊戰(zhàn)略與決策研究，2012，27（6）.

基金項目：基于“案例模式”的《計算機導(dǎo)論》課程實踐教學(xué)模式研究。項目編號2013B2ZC27

作者簡介：袁露（1987-），女，江西豐城人，碩士研究生，實驗員，助理實驗師，研究方向：數(shù)據(jù)挖掘。

通訊作者：王映龍。endprint