大數(shù)據(jù)管理研究：概念、應(yīng)用與挑戰(zhàn)

趙方亮 劉德路 趙學(xué)軍

摘要：2015年，國(guó)家印發(fā)《促進(jìn)大數(shù)據(jù)發(fā)展行動(dòng)綱要》以來(lái)，多個(gè)部門(mén)和省市出臺(tái)大數(shù)據(jù)相關(guān)政策，有的地方政府還設(shè)置了大數(shù)據(jù)管理部門(mén)，為大數(shù)據(jù)戰(zhàn)略實(shí)施營(yíng)造了良好環(huán)境?，F(xiàn)對(duì)大數(shù)據(jù)的概念、應(yīng)用、挑戰(zhàn)等三個(gè)方面的相關(guān)文獻(xiàn)進(jìn)行梳理和總結(jié)，為相關(guān)部門(mén)和政府充分實(shí)施與利用大數(shù)據(jù)提供借鑒和參考。

關(guān)鍵詞：互聯(lián)網(wǎng);大數(shù)據(jù);文獻(xiàn)綜述

中圖分類(lèi)號(hào)：F270? ? 文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1005-913X（2019）11-0134-03

一、引言

隨著數(shù)據(jù)獲取和計(jì)算機(jī)技術(shù)的進(jìn)步，大數(shù)據(jù)已成為一種新的國(guó)家戰(zhàn)略資源，引起政府和社會(huì)各界廣泛關(guān)注。根據(jù)國(guó)際數(shù)據(jù)公司（International Data Corporation，IDC）統(tǒng)計(jì)和預(yù)測(cè)，人類(lèi)產(chǎn)生并存儲(chǔ)下來(lái)的數(shù)據(jù)在2009年已達(dá)到0.8ZB，2013年就已突破4.4ZB。[1]數(shù)據(jù)總量仍快速增長(zhǎng)，預(yù)計(jì)到2020年數(shù)據(jù)總量將突破44ZB，為2013年的10倍，到2025年可能達(dá)到163ZB。大數(shù)據(jù)已經(jīng)滲透到各行各業(yè)之中，成為重要的生產(chǎn)因素，對(duì)人類(lèi)必將產(chǎn)生重大而深遠(yuǎn)的影響。Nature（2008）闡述了在數(shù)據(jù)驅(qū)動(dòng)的研究背景下，解決大數(shù)據(jù)問(wèn)題所需的技術(shù)以及面臨的一些挑戰(zhàn)。Science（2011）圍繞科研中大數(shù)據(jù)的問(wèn)題展開(kāi)討論，說(shuō)明大數(shù)據(jù)對(duì)于科學(xué)研究的重要性。

鑒于大數(shù)據(jù)對(duì)經(jīng)濟(jì)、社會(huì)和科技等領(lǐng)域擁有著巨大的價(jià)值，世界發(fā)達(dá)國(guó)家投入大量人力和財(cái)力，相繼制定了促進(jìn)大數(shù)據(jù)產(chǎn)業(yè)發(fā)展的政策法規(guī)。2012年3月美國(guó)政府發(fā)布了《大數(shù)據(jù)研究和發(fā)展倡議》，投資2億以上美元啟動(dòng)“大數(shù)據(jù)發(fā)展計(jì)劃”。2012年5月英國(guó)建立了世界首個(gè)非營(yíng)利的開(kāi)放數(shù)據(jù)研究所（The Open Data Institute，ODI），為英國(guó)部門(mén)、學(xué)術(shù)機(jī)構(gòu)等方面提供“孵化環(huán)境”。2013年8月澳大利亞政府信息管理辦公室發(fā)布了《公共服務(wù)大數(shù)據(jù)戰(zhàn)略》，推動(dòng)公共行業(yè)利用大數(shù)據(jù)分析進(jìn)行服務(wù)改革，使澳大利亞在該領(lǐng)域躋身全球領(lǐng)先水平。2016年5月，聯(lián)合國(guó)的Global Pulse倡議項(xiàng)目發(fā)布報(bào)告，闡述大數(shù)據(jù)時(shí)代各國(guó)特別是發(fā)展中國(guó)家在面臨數(shù)據(jù)洪流的情況下所遇到的機(jī)遇與挑戰(zhàn)，同時(shí)還對(duì)大數(shù)據(jù)的應(yīng)用進(jìn)行了初步解讀。

我國(guó)政府高度重視大數(shù)據(jù)的研究與應(yīng)用，2015年9月，國(guó)務(wù)院出臺(tái)了《促進(jìn)大數(shù)據(jù)發(fā)展行動(dòng)綱要》，系統(tǒng)部署大數(shù)據(jù)發(fā)展規(guī)劃，明確提出建設(shè)數(shù)據(jù)強(qiáng)國(guó)。2015年10月，黨的十八屆五中全會(huì)首次提出“實(shí)施國(guó)家大數(shù)據(jù)戰(zhàn)略”，將大數(shù)據(jù)上升為國(guó)家戰(zhàn)略。2017年10月，“數(shù)字經(jīng)濟(jì)”寫(xiě)入中央政府工作報(bào)告，黨的十九大報(bào)告提出了“建設(shè)數(shù)字中國(guó)”和“大數(shù)據(jù)和實(shí)體經(jīng)濟(jì)深度融合”。從而掀起了全面開(kāi)展大數(shù)據(jù)研究，推動(dòng)大數(shù)據(jù)的技術(shù)應(yīng)用，提升大數(shù)據(jù)領(lǐng)域的自主創(chuàng)新能力和核心競(jìng)爭(zhēng)力，促進(jìn)我國(guó)經(jīng)濟(jì)轉(zhuǎn)型和經(jīng)濟(jì)發(fā)展都具有重要的意義。

二、大數(shù)據(jù)的概念

全球著名的管理咨詢(xún)公司麥肯錫也是大數(shù)據(jù)研究先驅(qū)者之一，在其研究報(bào)告《大數(shù)據(jù)： 創(chuàng)新、競(jìng)爭(zhēng)和生產(chǎn)力的下一個(gè)前沿領(lǐng)域》給出大數(shù)據(jù)的定義：大數(shù)據(jù)是指大小超出常規(guī)的數(shù)據(jù)庫(kù)工具獲取、存儲(chǔ)、管理和分析能力的數(shù)據(jù)對(duì)象集合。同時(shí)強(qiáng)調(diào)，大數(shù)據(jù)不一定要求數(shù)據(jù)量達(dá)到TB級(jí)別。國(guó)際數(shù)據(jù)公司（IDC）從四個(gè)方面描述大數(shù)據(jù)，即數(shù)據(jù)規(guī)模最大、數(shù)據(jù)快速動(dòng)態(tài)可變、類(lèi)型豐富和巨大的數(shù)據(jù)價(jià)值，具有這些特征的數(shù)據(jù)集合稱(chēng)為大數(shù)據(jù)。維基百科（http： ∥en. wikipedia. org /wiki /Bigdata）給出的定義是在合理的時(shí)間內(nèi)，無(wú)法通過(guò)現(xiàn)有軟、硬件體系結(jié)構(gòu)對(duì)數(shù)據(jù)資料進(jìn)收集、存儲(chǔ)和處理，并幫助決策者進(jìn)行決策服務(wù)。[2]

大數(shù)據(jù)概念較為寬泛，除了具備數(shù)據(jù)量大外，還具有數(shù)據(jù)的多樣性，關(guān)鍵是利用信息技術(shù)和處理模式，無(wú)法在一個(gè)合理時(shí)間范圍內(nèi)得到所需要的信息資源。既要關(guān)注大數(shù)據(jù)本身的特點(diǎn)，還要關(guān)注大數(shù)據(jù)具備的功能特性。

大數(shù)據(jù)是以容量大、類(lèi)型多、存取速度快、應(yīng)用價(jià)值高為主要特征的數(shù)據(jù)集合，正快速發(fā)展為對(duì)數(shù)量巨大、來(lái)源分散、格式多樣的數(shù)據(jù)進(jìn)行采集、存儲(chǔ)和關(guān)聯(lián)分析，從中發(fā)現(xiàn)新知識(shí)、創(chuàng)造新價(jià)值、提升新能力的新一代信息技術(shù)和服務(wù)業(yè)態(tài)。[3]目前按照國(guó)際數(shù)據(jù)公司所提的“4V”模型描述大數(shù)據(jù)的特征，即容量大、類(lèi)型多、速度快、價(jià)值高。

（一）容量大

當(dāng)前數(shù)據(jù)正以前所未有的速度聚集和增長(zhǎng)，數(shù)據(jù)存儲(chǔ)單位逐漸被PB、EB、ZB、YB所替代。在電商、社交網(wǎng)絡(luò)、能源、制造業(yè)和服務(wù)業(yè)等領(lǐng)域都已積累了TB級(jí)、PB級(jí)甚至EB級(jí)的數(shù)據(jù)量。

（二）類(lèi)型多

大數(shù)據(jù)另一個(gè)重要的特征就是數(shù)據(jù)類(lèi)型多樣化，數(shù)據(jù)存在形式包括結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)。2012年，非結(jié)構(gòu)化數(shù)據(jù)占整個(gè)互聯(lián)網(wǎng)數(shù)據(jù)量的75%以上，相信在今后數(shù)據(jù)存儲(chǔ)方面仍然以非結(jié)構(gòu)化數(shù)據(jù)為主。大數(shù)據(jù)時(shí)代數(shù)據(jù)分析的重點(diǎn)為非結(jié)構(gòu)化數(shù)據(jù)的處理技術(shù)和模型研究。

（三）速度快

大量的數(shù)據(jù)快速產(chǎn)生，信息價(jià)值稍縱即逝。想要從高速、體量大的數(shù)據(jù)中獲取有效信息，必須配備高速的大數(shù)據(jù)分析處理器，滿(mǎn)足實(shí)時(shí)性需要，大數(shù)據(jù)分析主要包括在線(xiàn)分析和離線(xiàn)分析。

（四）價(jià)值高

大數(shù)據(jù)擁有大量有價(jià)值信息，通過(guò)提煉信息和數(shù)據(jù)分析，在無(wú)序數(shù)據(jù)中建立關(guān)聯(lián)可以獲得大量高價(jià)值的、非顯而易見(jiàn)的隱含知識(shí)，能夠在更高的層面和視角幫助用戶(hù)提高決策力，洞察未來(lái)創(chuàng)造出更大的價(jià)值和商機(jī)，對(duì)社會(huì)、經(jīng)濟(jì)和科技等方面具有重要的戰(zhàn)略意義。

三、大數(shù)據(jù)的應(yīng)用

新一代信息技術(shù)的快速發(fā)展、信息化程度的不斷提升、物聯(lián)網(wǎng)的廣泛應(yīng)用等現(xiàn)象，體現(xiàn)了人類(lèi)社會(huì)已經(jīng)進(jìn)入大數(shù)據(jù)時(shí)代，現(xiàn)在人們每天的衣食住行都與大數(shù)據(jù)相關(guān)。在大智移云技術(shù)的推動(dòng)下，公用事業(yè)、市政管理、城鄉(xiāng)環(huán)境、健康醫(yī)療、社會(huì)救助、養(yǎng)老服務(wù)、勞動(dòng)就業(yè)、社會(huì)保障、文化教育、交通旅游等領(lǐng)域沉淀了大量的數(shù)據(jù)資源，大數(shù)據(jù)技術(shù)會(huì)在越來(lái)越多領(lǐng)域得到廣泛應(yīng)用，通過(guò)云計(jì)算、物聯(lián)網(wǎng)與大數(shù)據(jù)技術(shù)深度融合，對(duì)大數(shù)據(jù)進(jìn)行采集、存儲(chǔ)、挖掘與分析，有效提升了大數(shù)據(jù)管理各個(gè)流程的技術(shù)水平，促進(jìn)大數(shù)據(jù)應(yīng)用成本減少和介入門(mén)檻降低。大數(shù)據(jù)將成為人類(lèi)認(rèn)識(shí)世界和改造世界、推動(dòng)智能化的有效工具，大數(shù)據(jù)的未來(lái)發(fā)展空間將更加廣闊。

《促進(jìn)大數(shù)據(jù)發(fā)展行動(dòng)綱要》中提出了推動(dòng)大數(shù)據(jù)發(fā)展和應(yīng)用的總體目標(biāo)：打造精準(zhǔn)治理、多方協(xié)作的社會(huì)治理新模式;建立運(yùn)行平穩(wěn)、安全高效的經(jīng)濟(jì)運(yùn)行新機(jī)制;構(gòu)建以人為本、惠及全民的民生服務(wù)新體系;開(kāi)啟大眾創(chuàng)業(yè)、萬(wàn)眾創(chuàng)新的創(chuàng)新驅(qū)動(dòng)新格局;培育高端智能、新興繁榮的產(chǎn)業(yè)發(fā)展新生態(tài)。[3]

四、大數(shù)據(jù)的挑戰(zhàn)

大數(shù)據(jù)時(shí)代的數(shù)據(jù)總量快速增長(zhǎng)，伴隨著對(duì)數(shù)據(jù)管理的巨大挑戰(zhàn)。通過(guò)對(duì)大數(shù)據(jù)管理流程的梳理，總結(jié)出大數(shù)據(jù)管理中正面臨著六個(gè)方面的挑戰(zhàn)，分別是專(zhuān)業(yè)化人才、大數(shù)據(jù)集成、大數(shù)據(jù)分析、數(shù)據(jù)安全性、軟硬件協(xié)同和管理易用性。

（一）專(zhuān)業(yè)化人才

大數(shù)據(jù)時(shí)代，組織需要大量既精通業(yè)務(wù)又能數(shù)據(jù)分析的人才（嚴(yán)霄鳳等，2013）。目前，美國(guó)面臨大數(shù)據(jù)管理人才、大數(shù)據(jù)經(jīng)理人和分析師缺口近200萬(wàn)人，在我國(guó)數(shù)據(jù)工程師也是稀缺人才，大數(shù)據(jù)對(duì)我國(guó)相關(guān)專(zhuān)業(yè)人才的培養(yǎng)模式以及現(xiàn)有人才的儲(chǔ)備提出了嚴(yán)峻的挑戰(zhàn)。

（二）大數(shù)據(jù)集成

大數(shù)據(jù)的廣泛性使得各類(lèi)數(shù)據(jù)越來(lái)越多地分布在不同的數(shù)據(jù)管理系統(tǒng)中，便于數(shù)據(jù)分析所需而進(jìn)行數(shù)據(jù)的集成。數(shù)據(jù)集成在大數(shù)據(jù)獲取過(guò)程中扮演著“融會(huì)貫通”的角色，可分為傳統(tǒng)數(shù)據(jù)集成和跨界數(shù)據(jù)集成。在數(shù)據(jù)采集過(guò)程中，由于數(shù)據(jù)可能來(lái)自于自治的數(shù)據(jù)源，因此難以確保數(shù)據(jù)的模式、模態(tài)、語(yǔ)義等一致。

（三）大數(shù)據(jù)分析

數(shù)據(jù)分析是用適當(dāng)?shù)慕y(tǒng)計(jì)分析方法對(duì)集成的大量數(shù)據(jù)進(jìn)行分析，將其加以匯總和理解并消化，以求最大化地開(kāi)發(fā)數(shù)據(jù)的功能，發(fā)揮數(shù)據(jù)的作用。大數(shù)據(jù)分析不是簡(jiǎn)單的數(shù)據(jù)分析延伸，針對(duì)大數(shù)據(jù)規(guī)模大、更新速度快、來(lái)源多樣性、價(jià)值密度低等性質(zhì)給大數(shù)據(jù)分析帶來(lái)了一系列挑戰(zhàn)（周鳴爭(zhēng)等，2018）。

（四）數(shù)據(jù)安全性

當(dāng)今社會(huì)網(wǎng)絡(luò)化和信息化的快速發(fā)展導(dǎo)致數(shù)據(jù)爆炸式增長(zhǎng)，數(shù)據(jù)的價(jià)值越來(lái)越重要，大數(shù)據(jù)隱私和安全逐漸被重視起來(lái)。數(shù)據(jù)安全主要包括兩個(gè)層面：一是數(shù)據(jù)防護(hù)安全，二是數(shù)據(jù)內(nèi)容安全。美國(guó)“棱鏡門(mén)”事件引發(fā)世界各國(guó)對(duì)個(gè)人隱私和數(shù)據(jù)安全的高度關(guān)注。大數(shù)據(jù)在產(chǎn)生、獲取、傳輸及存儲(chǔ)等環(huán)節(jié)面臨著諸多安全風(fēng)險(xiǎn)，具有強(qiáng)大的數(shù)據(jù)安全與隱私保護(hù)的需求。因此，實(shí)現(xiàn)大數(shù)據(jù)安全性比以往安全問(wèn)題更為棘手。

（五）軟硬件協(xié)同

一方面，硬件異構(gòu)性帶來(lái)的大數(shù)據(jù)處理難題，因不同時(shí)期采購(gòu)的不同廠(chǎng)商的服務(wù)器在系統(tǒng)運(yùn)行和處理速度方面存在很大的差別，導(dǎo)致整個(gè)數(shù)據(jù)中心的各臺(tái)機(jī)器之間的性能存在著明顯的差異;另一方面，軟件系統(tǒng)都是依托在計(jì)算機(jī)硬件體系中，CPU的發(fā)展一直遵循著摩爾定律，且其架構(gòu)已經(jīng)從單核轉(zhuǎn)入多核，深入研究如何讓軟件更好地利用CPU多核心之間的并發(fā)機(jī)制。[4]新型非易失存儲(chǔ)器件的出現(xiàn)，給大數(shù)據(jù)管理系統(tǒng)帶來(lái)新的希望，閃存、PCM等新型硬件具有低能耗特性，這將給現(xiàn)有的大數(shù)據(jù)處理帶來(lái)一場(chǎng)根本性的變革，軟件將不受硬件的絕對(duì)限制。

（六）管理易用性

從數(shù)據(jù)集成到數(shù)據(jù)分析，直到最后的數(shù)據(jù)解釋?zhuān)子眯载灤┱麄€(gè)大數(shù)據(jù)管理的流程，易用性的挑戰(zhàn)主要有兩個(gè)方面：一是大數(shù)據(jù)時(shí)代的數(shù)據(jù)量大，分析更復(fù)雜，得到的結(jié)果形式更加多樣化，大數(shù)據(jù)復(fù)雜程度已經(jīng)超出傳統(tǒng)的關(guān)系數(shù)據(jù)庫(kù)。二是大數(shù)據(jù)已經(jīng)廣泛滲透到人們生活的各個(gè)方面，很多行業(yè)都開(kāi)始有了大數(shù)據(jù)分析的需求。但是這些行業(yè)的絕大部分從業(yè)者都不是數(shù)據(jù)分析的專(zhuān)家，在復(fù)雜的大數(shù)據(jù)工具面前，他們只是初級(jí)的使用者。復(fù)雜的分析過(guò)程和難以理解的分析結(jié)果限制了他們從大數(shù)據(jù)中獲取知識(shí)的能力。[4]

五、結(jié)論

隨著物聯(lián)網(wǎng)、云計(jì)算、Web2.0和移動(dòng)互聯(lián)等技術(shù)的快速發(fā)展，各種應(yīng)用產(chǎn)生的數(shù)據(jù)正快速增長(zhǎng)，人類(lèi)社會(huì)已經(jīng)步入大數(shù)據(jù)時(shí)代，這個(gè)時(shí)代大數(shù)據(jù)已經(jīng)成為我國(guó)重要的基礎(chǔ)性戰(zhàn)略資源，正引領(lǐng)科技創(chuàng)新和科研變革，通過(guò)對(duì)大數(shù)據(jù)的應(yīng)用將創(chuàng)造出巨大的商業(yè)和社會(huì)價(jià)值。我國(guó)充分利用數(shù)據(jù)規(guī)模優(yōu)勢(shì)，實(shí)現(xiàn)數(shù)據(jù)質(zhì)量和應(yīng)用水平同步提升，挖掘和釋放數(shù)據(jù)資源的潛在價(jià)值，有利更好發(fā)揮數(shù)據(jù)資源的戰(zhàn)略作用，適應(yīng)世界各國(guó)在大數(shù)據(jù)領(lǐng)域所展開(kāi)的新一輪競(jìng)爭(zhēng)。

參考文獻(xiàn)：

[1] 徐 明.大數(shù)據(jù)時(shí)代的隱私危機(jī)及其侵權(quán)法應(yīng)對(duì)[J].中國(guó)法學(xué)，2017（1）：130-140.

[2] 周鳴爭(zhēng)，陶皖等.大數(shù)據(jù)導(dǎo)論[M].北京：中國(guó)鐵道出版社，2018.

[3] 國(guó)務(wù)院關(guān)于印發(fā)促進(jìn)大數(shù)據(jù)發(fā)展行動(dòng)綱要的通知[EB/OL].http：//www.gov.cn/zhengce/content/2015-09/

05/content_10137.htm， 2015-08-31.

[4] 孟小峰，慈 祥.大數(shù)據(jù)管理：概念、技術(shù)與挑戰(zhàn)[J].計(jì)算機(jī)研究與發(fā)展，2013（50）：146-169.

[責(zé)任編輯：紀(jì)姿含]