徐浩

摘要 2012年潛心研究數(shù)據(jù)科學(xué)數(shù)十年的技術(shù)權(quán)威維克托 邁爾-舍恩伯格（Viktor Mayer-Sch-nberger）出版了《大數(shù)據(jù)時(shí)代》（Big Data： A Revolution That Will Transform How We Live， Work and Think），大數(shù)據(jù)（Big Data）被提到的次數(shù)越來(lái)越多，人們用它來(lái)描述和定義海量數(shù)據(jù)信息爆炸的時(shí)代，并用他來(lái)命名與之相關(guān)的技術(shù)發(fā)展和技術(shù)創(chuàng)新?！按髷?shù)據(jù)”時(shí)代的來(lái)臨，給各行各業(yè)帶來(lái)了數(shù)據(jù)使用方式的根本性變革。文章首先闡述了大數(shù)據(jù)的內(nèi)涵和特征，認(rèn)為大數(shù)據(jù)有利于提高競(jìng)爭(zhēng)情報(bào)的真實(shí)性、精準(zhǔn)性以及實(shí)時(shí)性。在此基礎(chǔ)上，詳細(xì)分析了大數(shù)據(jù)中數(shù)據(jù)量大、數(shù)據(jù)混雜、數(shù)據(jù)更新快的特點(diǎn)；大數(shù)據(jù)給競(jìng)爭(zhēng)情報(bào)帶來(lái)的挑戰(zhàn)以及競(jìng)爭(zhēng)情報(bào)學(xué)研究為了迎接這些挑戰(zhàn)所需要做的轉(zhuǎn)變。

【關(guān)鍵詞】大數(shù)據(jù) 競(jìng)爭(zhēng)情報(bào) 全數(shù)據(jù) 黑箱理論

1 什么是大數(shù)據(jù)

在大數(shù)據(jù)研究方面最具權(quán)威的三家機(jī)構(gòu)麥肯錫、APPNET和IBM給了大數(shù)據(jù)不同的定義。麥肯錫給出的定義為無(wú)法在一定時(shí)間內(nèi)用傳統(tǒng)數(shù)據(jù)庫(kù)軟件工具對(duì)其內(nèi)容進(jìn)行抓取、管理和處理的數(shù)據(jù)集合[1]。APPNET總結(jié)出大數(shù)據(jù)具有三個(gè)要素分別是Analytic（分析）、Bandwidth（寬帶）、Content（內(nèi)容）。IBM用四個(gè)“V”來(lái)概括大數(shù)據(jù)他們分別是Volume（數(shù)據(jù)量大）、Velocity（增長(zhǎng)速度快）、Variety（數(shù)據(jù)類型多）和Veracity（真實(shí)和準(zhǔn)確）。

2 大數(shù)據(jù)的特點(diǎn)

2.1 數(shù)據(jù)量大

使用所有的數(shù)據(jù)并不代表這項(xiàng)任務(wù)難度極高，因?yàn)榇髷?shù)據(jù)中的“大”并不意味著是絕對(duì)意義上的大，大數(shù)據(jù)是指不用隨機(jī)取樣，而是使用所有已掌握可掌握數(shù)據(jù)的方法。這里的“大”是相對(duì)意義上的大，也就是相對(duì)于所有數(shù)據(jù)而言，它的數(shù)量有很高的可信性。

2.2 數(shù)據(jù)混雜

當(dāng)前人們存在一種普遍誤解，就是“大數(shù)據(jù)”等同于數(shù)據(jù)量很大的數(shù)據(jù)，其實(shí)不然，人們?cè)谏鐣?huì)生活的很多領(lǐng)域都已經(jīng)有能力得到非常多甚至是全部的數(shù)據(jù)，比如金融領(lǐng)域，但我們并不能將之稱為“大數(shù)據(jù)”，因?yàn)槠鋽?shù)據(jù)結(jié)構(gòu)較為單一，可以用傳統(tǒng)的方法進(jìn)行數(shù)據(jù)的處理、分析和儲(chǔ)存在這里我們也可以看出大數(shù)據(jù)的一個(gè)特點(diǎn)——數(shù)據(jù)類型較為混雜。

2.3 數(shù)據(jù)更新快

大數(shù)據(jù)要求快速處理，因?yàn)橛行?shù)據(jù)存在時(shí)效性。比如電商的數(shù)據(jù)，假如今天數(shù)據(jù)的分析結(jié)果要等到明天才能得到，那么將會(huì)使電商很難做類似補(bǔ)貨這樣的決策，從而導(dǎo)致這些數(shù)據(jù)失去了分析的意義。

3 大數(shù)據(jù)時(shí)代競(jìng)爭(zhēng)情報(bào)的挑戰(zhàn)

3.1 信息安全受到威脅

軟件應(yīng)用方面，大數(shù)據(jù)的收集方法很容易觸及個(gè)人隱私，比如我們所使用的引動(dòng)終端，它就可以搜集用戶的位置信息；2013年年末，網(wǎng)絡(luò)曝出7000萬(wàn)個(gè)qq群關(guān)系出現(xiàn)了重大泄露，人么可以在這些數(shù)據(jù)中知道一個(gè)人的年齡，性別。如何防止這樣的事件的發(fā)生就會(huì)是很大的挑戰(zhàn)。

3.2 非結(jié)構(gòu)化數(shù)據(jù)增加

大數(shù)據(jù)時(shí)代企業(yè)競(jìng)爭(zhēng)情報(bào)來(lái)源的結(jié)構(gòu)發(fā)生了變化，據(jù)統(tǒng)計(jì)企業(yè)中非結(jié)構(gòu)化和半結(jié)構(gòu)化的數(shù)據(jù)為數(shù)據(jù)的主體，約占總量的 80%，而剩下的不到 20%的數(shù)據(jù)才是我們經(jīng)常用到的結(jié)構(gòu)化的數(shù)據(jù)。而且，非結(jié)構(gòu)化數(shù)據(jù)的增長(zhǎng)速率遠(yuǎn)遠(yuǎn)大于結(jié)構(gòu)化數(shù)據(jù)，前者為 63%，網(wǎng)站上我們可以看到他可以為軟件開(kāi)發(fā)者提供定位，搜索及地圖等功能，該功能為數(shù)十萬(wàn)款 APP提供了定位服務(wù)，根據(jù)其統(tǒng)計(jì)每天向其提出的位置服務(wù)申請(qǐng)高達(dá) 35億次，這也就保證了該平臺(tái)可以得到足夠多的位置數(shù)據(jù)，使“百度遷徙”具有相當(dāng)?shù)目尚判浴?/p>

4 面對(duì)挑戰(zhàn)應(yīng)進(jìn)行的轉(zhuǎn)變--多使用“黑箱”思維

可以說(shuō)大數(shù)據(jù)的引起的變化就是因量變而發(fā)生的質(zhì)變，為了迎合這種質(zhì)變我們需要對(duì)我們的一些思維及行為方式進(jìn)行一些改變。

在小數(shù)據(jù)時(shí)代，很難證明由直覺(jué)而來(lái)的因果關(guān)系是錯(cuò)誤的，現(xiàn)在，情況不一樣了，將來(lái)，大數(shù)據(jù)之間的相關(guān)關(guān)系，會(huì)經(jīng)常用來(lái)證明只覺(jué)得因果聯(lián)系是錯(cuò)誤的。最終也能證明，統(tǒng)計(jì)關(guān)系也未蘊(yùn)含多少真實(shí)的因果關(guān)系，總之我們這種思維方式將會(huì)遭受各種各樣的考驗(yàn)。

這就類似于中醫(yī)針灸一類的“黑箱”，筆者認(rèn)為在新時(shí)代競(jìng)爭(zhēng)情報(bào)也可以使用黑箱方法來(lái)研究競(jìng)爭(zhēng)情報(bào)。黑箱方法即在不直接影響原有客體黑箱內(nèi)部結(jié)構(gòu)、要素和機(jī)制的前提下通過(guò)觀察黑箱中“輸入”、“輸出”的變量，得出關(guān)于黑箱內(nèi)部情況的推理，尋找發(fā)現(xiàn)其內(nèi)部規(guī)律，實(shí)現(xiàn)對(duì)黑箱的控制。

谷歌一直走在大數(shù)據(jù)研究的前沿。在甲型 H1N1流感爆發(fā)的幾周前，互聯(lián)網(wǎng)巨頭谷歌公司的工程師們?cè)凇蹲匀弧冯s志上發(fā)表了一篇引人注目的論文。它令公共衛(wèi)生官員們和計(jì)算機(jī)科學(xué)家們感到震驚。文中解釋了谷歌為什么能夠預(yù)測(cè)冬季流感的傳播：不僅是全美范圍的傳播，而且可以具體到特定的地區(qū)和州。谷歌通過(guò)觀察人們?cè)诰W(wǎng)上的搜索記錄來(lái)完成這個(gè)預(yù)測(cè)，而這種方法以前一直是被忽略的。

5 結(jié)語(yǔ)

在信息社會(huì)，更好的信息等于競(jìng)爭(zhēng)優(yōu)勢(shì)。在削減的響應(yīng)時(shí)間和數(shù)據(jù)的需求呈指數(shù)級(jí)增長(zhǎng)已經(jīng)帶來(lái)一年后的今年行業(yè)的一個(gè)關(guān)鍵挑戰(zhàn)。大數(shù)據(jù)代表了一流的解決方案，使企業(yè)能夠捕捉，分析和挖掘非常大的數(shù)據(jù)集來(lái)深入了解各種問(wèn)題域，從顧客的喜好來(lái)做復(fù)雜的預(yù)測(cè)。

大數(shù)據(jù)技術(shù)的普及應(yīng)用，正如當(dāng)年互聯(lián)網(wǎng)技術(shù)的普及應(yīng)用一樣，將滲透到各個(gè)領(lǐng)域，并逐漸影響著每一個(gè)人的生活。1993年，《紐約客》曾刊登了彼得·施泰納的一幅漫畫(huà)：“在互聯(lián)網(wǎng)上，沒(méi)有人知道你是一條狗?！边@幅漫畫(huà)轟動(dòng)了全球，人們由此直觀地認(rèn)識(shí)到?jīng)]有人知道到底是誰(shuí)在向互聯(lián)網(wǎng)發(fā)出信息。現(xiàn)在這個(gè)答案可以解決了，大數(shù)據(jù)技術(shù)不但可以讓人們知道向互聯(lián)網(wǎng)發(fā)出信息的是一條狗，還能夠知道這條狗在什么位置、幾點(diǎn)出去和主人一起遛彎、幾點(diǎn)回來(lái)睡覺(jué)。每個(gè)用戶在互聯(lián)網(wǎng)上都會(huì)留下自己的“痕跡”。

盡管大數(shù)據(jù)問(wèn)競(jìng)爭(zhēng)情報(bào)的研究帶來(lái)了種種挑戰(zhàn)，但是應(yīng)對(duì)好這些挑戰(zhàn)會(huì)給競(jìng)爭(zhēng)情報(bào)的研究帶來(lái)巨大的變化。當(dāng)今世界各地的幾乎任何一個(gè)角落都有傳感器的存在，其中也包括我們經(jīng)常使用的智能移動(dòng)終端，好好利用這里產(chǎn)生的信息，將會(huì)使企業(yè)獲得更大的競(jìng)爭(zhēng)優(yōu)勢(shì)。

參考文獻(xiàn)

[1]嚴(yán)霄鳳，張德馨.大數(shù)據(jù)研究[J].計(jì)算機(jī)技術(shù)與發(fā)展，2013，4（32）：4.

[2]張琳.五種生活中常見(jiàn)的“黑箱”及其應(yīng)用[J].科教文匯，2010（24）：201-202.

[3]閆城榛，韓志國(guó).應(yīng)變大數(shù)據(jù)[J].中國(guó)傳媒科技，2013（004）：28-33.

作者單位

南昌工程學(xué)院 江西省南昌市 330029