淺析大數(shù)據(jù)的發(fā)展

王晨晨 孫睿

摘要：隨著網(wǎng)絡信息化的日益普遍，移動互聯(lián)網(wǎng)、電子商務等大大拓展了互聯(lián)網(wǎng)的應用領域，我們將會接觸越來越多甚至爆炸性增長的數(shù)據(jù)。大數(shù)據(jù)給我們社會政治、經(jīng)濟、文化、生活方面都帶來深遠影響，我們也在“大數(shù)據(jù)”時代中尋求更高效合理利用大數(shù)據(jù)的方法，使之對我們產(chǎn)生更積極的影響。

關鍵詞 ：大數(shù)據(jù)；數(shù)據(jù)分析；影響

1大數(shù)據(jù)的定義及發(fā)展背景

近幾年來，隨著計算機和信息技術的飛速發(fā)展和日漸普及的應用，各行各業(yè)應用系統(tǒng)的規(guī)模迅速擴大，每個行業(yè)應用系統(tǒng)所產(chǎn)生的數(shù)據(jù)呈爆炸性的增長?！?】很多企業(yè)的數(shù)據(jù)已經(jīng)遠遠的超出了現(xiàn)有的計算機技術和信息技術的處理能力，因此，我們需要尋求一種有效的大數(shù)據(jù)處理技術，來滿足現(xiàn)有企業(yè)大數(shù)據(jù)的處理需求。

由于大數(shù)據(jù)處理需求的迫切性和重要性，近年來大數(shù)據(jù)技術已經(jīng)在全球的學術界、商界以及各國政府都得到了高度的關注和重視。哈佛大學社會學教授加里·金說：“這是一場革命，龐大的數(shù)據(jù)資源使得各個領域開始了量化進程，無論學術界、商界還是政府，所有領域都將開始這種進程?！?】”為了緊跟全球大數(shù)據(jù)發(fā)展的潮流和趨勢，我國各界也對大數(shù)據(jù)給予了高度的關注。

在我看來，大數(shù)據(jù)是一個“仁者見仁，智者見智”的東西。對于投資人和創(chuàng)業(yè)者而言，大數(shù)據(jù)就是一個非常熱門的融資標簽。對于一些互聯(lián)網(wǎng)公司和IT工程師而言，大數(shù)據(jù)就是很多的數(shù)據(jù)進行處理計算。對于廣大的消費者和用戶而言，大數(shù)據(jù)就是企業(yè)通過搜集與用戶相關的隱私，然后進行營銷。從理論上來講，大數(shù)據(jù)公司通過搜集用戶的相關行為信息，可以更好地了解消費者的喜好和需求，從而可以做出相應的決策以更好地向用戶銷售自己的產(chǎn)品。

3大數(shù)據(jù)的七大特性

3.1 海量性

海量性是大數(shù)據(jù)最明顯的特點?，F(xiàn)如今許多企業(yè)都面臨著數(shù)據(jù)量大規(guī)模增長的問題，其中IDC的報告預測稱：全球數(shù)據(jù)量將擴大50倍。從目前來看，大數(shù)據(jù)的規(guī)模仍是一個不確定的指標，每個企業(yè)的數(shù)據(jù)數(shù)量都在源源不斷地增長，并且還有各種意想不到的來源，都可以產(chǎn)生大量數(shù)據(jù)。

3.2 多樣性

許多人認為，大數(shù)據(jù)多樣性的產(chǎn)生是由于人們越來越多的使用互聯(lián)網(wǎng)，并且搜索不同內容。然而隨著傳感器、智能設備等的飛速發(fā)展，數(shù)據(jù)也變得更為復雜，因為它不僅僅包含傳統(tǒng)數(shù)據(jù)類型，還包括網(wǎng)頁日志、社交媒體、電子郵件等多種類型的數(shù)據(jù)。并且，大數(shù)據(jù)時代的數(shù)據(jù)格式也變得更加多種多樣，包括文本、圖片、視頻音頻等更多類型。除此之外，數(shù)據(jù)也多了許多我們意想不到的來源。

3.3 高速性

高速性主要描述的是數(shù)據(jù)的接收和處理速度。在數(shù)據(jù)處理的速度方面，有一個著名的“1秒定律”，也就是說要在秒級時間范圍內給出分析結果，超出了這個時間，數(shù)據(jù)也就失去價值了。數(shù)據(jù)的高速性可以體現(xiàn)在兩個方面，一方面是數(shù)據(jù)的產(chǎn)生速度快，比如社交媒體的用戶眾多，所以短時間內產(chǎn)生的數(shù)據(jù)量已經(jīng)巨大，又比如GPS的位置信息，同一時間會有非常多的人同時使用定位。另一方面，是數(shù)據(jù)的處理速度快。時間就是金錢，時間越久，數(shù)據(jù)的價值就越低，而且數(shù)據(jù)本身就具有時效性，過了一定的時間，數(shù)據(jù)可能就會失去其本身的意義了。

3.4易變性

大數(shù)據(jù)具有多層的結構，這也就是說大數(shù)據(jù)會有多變的形式和類型。與傳統(tǒng)型數(shù)據(jù)相比，大數(shù)據(jù)存在著很多不規(guī)則且模糊不清的特性，所以會導致有些數(shù)據(jù)無法用現(xiàn)有的分析手段進行分析。所以對于很多現(xiàn)代企業(yè)來說，如果更好地分析現(xiàn)有的各種形式的復雜數(shù)據(jù)成為其所面臨的挑戰(zhàn)。

3.5真實性

數(shù)據(jù)的質量和真實性決定數(shù)據(jù)帶給我們的價值。數(shù)據(jù)的質量并不容易判定，有時候大量真實的數(shù)據(jù)不見得是有質量的數(shù)據(jù)，真正對我們有幫助的數(shù)據(jù)才可以算作高質量的數(shù)據(jù)。但是高質量的數(shù)據(jù)一定是真實的。我們可以通過更加先進的數(shù)據(jù)分析處理技術，來降低數(shù)據(jù)的不確定性，可以用更先進的數(shù)學方法來保證數(shù)據(jù)的真實性，從而使所得數(shù)據(jù)更好地為我們所用。

3.6復雜性

大數(shù)據(jù)的復雜性主要體現(xiàn)在數(shù)據(jù)類型、數(shù)據(jù)結構、數(shù)據(jù)細節(jié)的多樣性。隨著數(shù)據(jù)量的增長，數(shù)據(jù)的類型越來越多，數(shù)據(jù)結構也越來越多，這些都使大數(shù)據(jù)變得越來越復雜。簡單來說，不同的數(shù)據(jù)類型具有不同的規(guī)則，所以對數(shù)據(jù)進行處理時就不能用單一的處理方法，要用數(shù)據(jù)自己的語言語法來連接處理。

3.7低價值密度性

低價值密度性，簡單來說就是數(shù)據(jù)量雖然龐大，但有價值的信息并沒有那么多，也就是高質量信息并不多。如今，數(shù)據(jù)爆炸式增長，信息海量，但信息的價值密度并不高，這也就要求我們能夠在龐大的信息量中，提取最有用的信息來加以利用，這對于目前的我們來說是一個需要解決的難題。

4大數(shù)據(jù)處理的關鍵架構

大數(shù)據(jù)主要的處理模式主要有兩種，分別為流處理和批處理。批處理是先存儲后處理，而流處理則是直接處理。【3】

大數(shù)據(jù)處理的關鍵架構主要包括文件系統(tǒng)層、數(shù)據(jù)存儲層、資源管理層、資源協(xié)調層、計算框架層、數(shù)據(jù)分析層、數(shù)據(jù)集成層和操作框架層。這些框架層次給大數(shù)據(jù)處理過程提供了比較全面的功能，比如可以對數(shù)據(jù)進行存儲管理、提高資源的利用率、良好的協(xié)調資源分布等。

大數(shù)據(jù)處理的流程包括數(shù)據(jù)抽取與集成、數(shù)據(jù)分析、數(shù)據(jù)解釋三個部分。其中，數(shù)據(jù)抽取與集成是整個流程的基礎。由于數(shù)據(jù)類型多樣、數(shù)據(jù)來源廣泛、數(shù)據(jù)結構復雜，所以這給大數(shù)據(jù)的抽取帶來了極大的挑戰(zhàn)。在這個過程中，首先要保證數(shù)據(jù)的質量及真實性。其次，數(shù)據(jù)分析是整個大數(shù)據(jù)處理流程的核心，因為大數(shù)據(jù)的價值就產(chǎn)生于其分析的過程。根據(jù)人們不同的需求，選擇相對應有部分或全部的數(shù)據(jù)進行分析，并得到盡可能好的分析結果。

5大數(shù)據(jù)的影響

大數(shù)據(jù)對于我們來說，是一個既遙遠又親近的存在。在生活方面，app會記錄我們的瀏覽信息，推送相關鏈接，方便我們搜索。在交通方面，交管機構可以根據(jù)人們出行的大數(shù)據(jù)進行分析，采取合理措施以解決高峰期擁堵問題，同時計算機動車對環(huán)境的污染程度，提出合理方案來緩解環(huán)境污染問題。在醫(yī)療方面，大數(shù)據(jù)也是一個全新且重要的應用。公共衛(wèi)生部門可以通過覆蓋全國的患者的電子病歷進行全面完整的疫情監(jiān)測；各地的醫(yī)療信息可以通過公共平臺共享，這樣既方便各醫(yī)療機構之間的交流學習，又可以提升落后地區(qū)的醫(yī)療水平，減少誤診率；醫(yī)藥研發(fā)機構可以更快速的掌握各地的醫(yī)療衛(wèi)生數(shù)據(jù)，了解公共疾病藥品的需求，更加合理的配置研發(fā)資源，更有效率的生產(chǎn)產(chǎn)品；居民可以通過云平臺，及時了解疾病特征，對比自身健康程度，能夠更及時地發(fā)現(xiàn)疾病，早治療，實現(xiàn)疾病的科學管理?！?】

然而，大數(shù)據(jù)帶給我們方便的同時，也給我們帶來了一些不良影響，比如信息安全問題。大數(shù)據(jù)時代的到來，傳統(tǒng)的信息安全措施已經(jīng)不足以保護我們的隱私，所以導致大量信息的泄露。現(xiàn)在很多app對于手機都是深度植入，有些商家為了利益甚至可能會出賣用戶的信息。

6總結

綜合來看，未來若干年，大數(shù)據(jù)仍是這個社會發(fā)展的主流。商務智能、醫(yī)療共享、公共服務等仍需要大數(shù)據(jù)的支持與發(fā)展，我們也將面臨更大的挑戰(zhàn)，不僅要研究更智能更高效的數(shù)據(jù)處理方法，也要更努力的克服大數(shù)據(jù)時代所帶來的弊端。凡事都有兩面性，我們應當更加積極的用好大數(shù)據(jù)有價值的一面，同時盡量避免大數(shù)據(jù)給我們帶來的不利因素。未來很長，仍值得努力與期待。

參考文獻：

[1] 黃星宇. 淺談大數(shù)據(jù)[J]. 科技視界， 2014（30）：90-90.

[2] 維克托·邁爾-舍恩伯格， 肯尼思·庫克耶， ViktorMayer- Schonberger，等. 大數(shù)據(jù)時代：生活、工作與思維的大變革[M]. 浙江人民出版社， 2013.

[3] 孟小峰， 慈祥. 大數(shù)據(jù)管理：概念、技術與挑戰(zhàn)[J]. 計算機研究與發(fā)展， 2013， 50（1）：146-169.

[4] 周光華， 辛英， 張雅潔，等. 醫(yī)療衛(wèi)生領域大數(shù)據(jù)應用探討[J]. 中國衛(wèi)生信息管理雜志， 2013（4）：296-300.

作者簡介：王晨晨（1997—），女，漢族，山東濟南人，就讀于山東師范大學管理科學與工程學院，研究方向：大數(shù)據(jù)分析。