陳云海,黃蘭秋
(1.中國(guó)電信股份有限公司廣東研究院 廣州 510630;2.華南師范大學(xué)經(jīng)濟(jì)與管理學(xué)院 廣州 510006)
大數(shù)據(jù)處理對(duì)電子商務(wù)的影響研究*
陳云海1,黃蘭秋2
(1.中國(guó)電信股份有限公司廣東研究院 廣州 510630;2.華南師范大學(xué)經(jīng)濟(jì)與管理學(xué)院 廣州 510006)
鑒于傳統(tǒng)的IT基礎(chǔ)設(shè)施難以對(duì)電子商務(wù)系統(tǒng)中日益增長(zhǎng)的數(shù)據(jù)進(jìn)行有效管理及利用,本文在云計(jì)算的時(shí)代背景下,對(duì)大數(shù)據(jù)處理技術(shù)進(jìn)行分析闡述,并在此基礎(chǔ)上,探討了大數(shù)據(jù)處理對(duì)電子商務(wù)發(fā)展的影響。
大數(shù)據(jù);電子商務(wù);云計(jì)算
隨著“巨無(wú)霸電子商務(wù)(以下簡(jiǎn)稱電商)”的出現(xiàn),并發(fā)訪問量級(jí)大大增加,數(shù)據(jù)呈爆炸性增長(zhǎng),數(shù)據(jù)類型多樣化,淘寶和天貓?jiān)?012年11月11日“雙十一”的總交易額高達(dá)191億元,共吸引了2.13億名獨(dú)立用戶訪問。春運(yùn)時(shí)期,鐵道部售票網(wǎng)站日點(diǎn)擊量在5億次以上,伴隨著業(yè)務(wù)量的劇增,電商平臺(tái)每秒鐘都在生成海量的非結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù)(如文本、應(yīng)用、位置信息、圖片、音樂、視頻等)。高并發(fā)和大數(shù)據(jù)量訪問成為當(dāng)前電商系統(tǒng)發(fā)展的瓶頸,根據(jù)調(diào)查,46%的人認(rèn)為處理大量數(shù)據(jù)是其最大的挑戰(zhàn)[1]。這些大數(shù)據(jù)量往往以 PB(1000 TB)、EB(106TB)或ZB(109TB)為計(jì)量單位,稱為大數(shù)據(jù)。傳統(tǒng)的分布式計(jì)算、并行計(jì)算和數(shù)據(jù)庫(kù)集群等技術(shù)由于技術(shù)上的局限性,長(zhǎng)期存在擴(kuò)展性低、成本高、硬件復(fù)雜等問題,電商的大數(shù)據(jù)處理客觀上要求引入具備高容錯(cuò)性、高擴(kuò)展性、低成本、易使用性的新的架構(gòu)和大數(shù)據(jù)處理技術(shù)。
后互聯(lián)網(wǎng)時(shí)代,PC服務(wù)器成為電商企業(yè)最廣泛使用的IT基礎(chǔ)設(shè)施,隨著業(yè)務(wù)量的發(fā)展,電商企業(yè)大量使用了PC服務(wù)器集群技術(shù)和小型機(jī)技術(shù),用于滿足日益增長(zhǎng)的在線業(yè)務(wù)交易量。同時(shí),企業(yè)必須投入大量人/財(cái)/物等資源對(duì)IT基礎(chǔ)設(shè)施進(jìn)行常規(guī)性的維護(hù)、升級(jí)、擴(kuò)容、更新。
當(dāng)前,電子商務(wù)的數(shù)據(jù)大規(guī)模存在且持續(xù)增長(zhǎng),表現(xiàn)為大規(guī)模、分布式、異構(gòu)性,使得電商數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)發(fā)生了顯著變化:數(shù)據(jù)量由TB級(jí)升至PB級(jí),并仍在持續(xù)爆炸式增長(zhǎng)。有關(guān)調(diào)查顯示,2015年最大數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)量將逼近100 PB,其增長(zhǎng)速度遠(yuǎn)超摩爾定律;分析需求由常規(guī)分析轉(zhuǎn)向深度分析;硬件平臺(tái)由高端服務(wù)器轉(zhuǎn)向由中低端硬件構(gòu)成的大規(guī)模集群平臺(tái),并行數(shù)據(jù)庫(kù)的規(guī)模增大,成本急劇上升[2]。電商數(shù)據(jù)分析的兩大趨勢(shì)和挑戰(zhàn)是:數(shù)據(jù)量的膨脹;數(shù)據(jù)深度分析需求的增長(zhǎng)[3]。
目前僅具備傳統(tǒng)數(shù)據(jù)處理技術(shù)和信息分析能力的數(shù)據(jù)倉(cāng)庫(kù)和BI工具難以完成PB級(jí)大數(shù)據(jù)的數(shù)據(jù)管理和分析工作。
云計(jì)算是新型分布式網(wǎng)絡(luò)計(jì)算架構(gòu),特別適合向各種網(wǎng)絡(luò)應(yīng)用提供計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)、軟件等在線服務(wù),NIST認(rèn)為這種架構(gòu)具有5個(gè)關(guān)鍵功能、3種服務(wù)模式和4種部署方式[3],如圖1[4]所示。
云計(jì)算的特征主要有:按需自助服務(wù)(on-demand self-service)、泛在網(wǎng)絡(luò)訪問(broad network access)、虛擬池化的資源(resource pooling)、快速可伸縮性(rapid elasticity)、可度量的服務(wù)(measured service)[5],這些能力對(duì)當(dāng)前電商的基礎(chǔ)IT設(shè)施來說,都是必須要滿足的要求。
大數(shù)據(jù)處理模式從傳統(tǒng)的數(shù)據(jù)庫(kù)集群演進(jìn)到云計(jì)算MapReduce大規(guī)模并行處理架構(gòu),實(shí)現(xiàn)任務(wù)的分解處理和結(jié)果合并,從而實(shí)現(xiàn)對(duì)可處理數(shù)據(jù)規(guī)模的無(wú)限擴(kuò)展,大數(shù)據(jù)處理技術(shù)已被認(rèn)為是繼云計(jì)算、物聯(lián)網(wǎng)之后IT產(chǎn)業(yè)又一次顛覆性的技術(shù)變革。
集群是指通過協(xié)同工作方式運(yùn)行同一套應(yīng)用程序,針對(duì)客戶端及應(yīng)用程序提供單一系統(tǒng)映像,使用特定的連接方式,將硬件設(shè)備結(jié)合起來,構(gòu)成的松散耦合的計(jì)算節(jié)點(diǎn)集合,具備以下優(yōu)勢(shì):性能提升、擴(kuò)展性提升、可靠性提升。數(shù)據(jù)庫(kù)集群是將集群技術(shù)引入數(shù)據(jù)庫(kù)[6]。
數(shù)據(jù)庫(kù)集群在技術(shù)上具備一定的局限性,具體介紹如下:
·采用PC服務(wù)器作為功能節(jié)點(diǎn),系統(tǒng)線纜眾多,硬件復(fù)雜度過高,實(shí)施架設(shè)難度較大,可擴(kuò)展性受限;
·高速互聯(lián)設(shè)備必須通過主機(jī)的PCI插槽與主機(jī)相連,而PCI的傳輸速率無(wú)法滿足并行數(shù)據(jù)庫(kù)集群節(jié)點(diǎn)間的數(shù)據(jù)通信要求;
·數(shù)據(jù)庫(kù)安全性和數(shù)據(jù)集可擴(kuò)展性提升空間極小,全面提升速度、數(shù)據(jù)同步、安全保證、可擴(kuò)展性4個(gè)技術(shù)指標(biāo)是一大難題;
·隨著設(shè)備量的增加和應(yīng)用的復(fù)雜化,需要迅速追加投入以解決所引起的兼容性和可靠性等各類問題;
·并行數(shù)據(jù)庫(kù)主要采用shared-nothing結(jié)構(gòu),在擴(kuò)展性、容錯(cuò)性、成本、對(duì)異構(gòu)環(huán)境的支持能力等方面有所欠缺并相互影響,因此擴(kuò)展性非常有限,目前尚未有數(shù)千節(jié)點(diǎn)規(guī)模的應(yīng)用案例[2,7]。
圖1 NIST云計(jì)算參考模型
云計(jì)算架構(gòu)由大規(guī)模低端服務(wù)器組成服務(wù)器集群,提供海量存儲(chǔ)空間和大規(guī)模數(shù)據(jù)的處理能力,具備可靠性、擴(kuò)展性以及高可用性,因此中國(guó)科學(xué)院計(jì)算所、中國(guó)移動(dòng)、百度和淘寶、網(wǎng)易等電子商務(wù)平臺(tái)都使用主流云計(jì)算平臺(tái)Hadoop架構(gòu)進(jìn)行Web搜索、大數(shù)據(jù)分析等[2,8,9]。MapReduce框架包括:分布式文件系統(tǒng) (HDFS)、并行編程模型MapReduce、并行執(zhí)行引擎。
從HDFS角度來看,Hadoop的節(jié)點(diǎn)由存儲(chǔ)并提供定位塊服務(wù)的數(shù)據(jù)節(jié)點(diǎn)(data node)和管理分布式文件系統(tǒng)命名空間的命名節(jié)點(diǎn)(name node)組成,HDFS主從結(jié)構(gòu)的體系架構(gòu)設(shè)計(jì)大大簡(jiǎn)化了分布式系統(tǒng)架構(gòu)。其文件系統(tǒng)的設(shè)計(jì)特點(diǎn)是:元數(shù)據(jù)集中管理、數(shù)據(jù)塊(64 MB)分散存儲(chǔ)以保證數(shù)據(jù)的安全性,數(shù)據(jù)復(fù)制(每份數(shù)據(jù)至少3個(gè)備份)實(shí)現(xiàn)高度容錯(cuò)[3]。傳統(tǒng)的數(shù)據(jù)庫(kù)系統(tǒng)實(shí)時(shí)響應(yīng)能力較高,但對(duì)于TB級(jí)或PB級(jí)別的大數(shù)據(jù)集,數(shù)據(jù)挖掘的檢索速度則急劇下降,但引入HDFS與RDBMS相結(jié)合的機(jī)制可以充分利用兩者的優(yōu)勢(shì),實(shí)現(xiàn)高效率的數(shù)據(jù)挖掘與決策支持[9]。
MapReduce由Google設(shè)計(jì),用于對(duì)集群上的大數(shù)據(jù)集進(jìn)行并行計(jì)算處理,是非關(guān)系型數(shù)據(jù)管理和分析技術(shù)的典型代表。MapReduce將數(shù)據(jù)處理任務(wù)抽象為一系列的map(映射)和reduce(化簡(jiǎn))操作對(duì),分別完成數(shù)據(jù)的過濾和聚集操作,并通過簡(jiǎn)單的界面進(jìn)行管理。其計(jì)算流程和基本原理簡(jiǎn)單地說,就是將大數(shù)據(jù)集分解為成百上千個(gè)小數(shù)據(jù)集,每個(gè)(或若干個(gè))數(shù)據(jù)集分別由集群中的一個(gè)節(jié)點(diǎn)進(jìn)行處理并生成中間結(jié)果,這些中間結(jié)果又由大量的節(jié)點(diǎn)進(jìn)行合并,形成最終結(jié)果,如圖2所示。
基于MapReduce計(jì)算模型編寫分布式并行程序的主要編碼工作就是實(shí)現(xiàn) map和 reduce函數(shù),其他的分布式存儲(chǔ)、工作調(diào)度、負(fù)載平衡、容錯(cuò)處理、網(wǎng)絡(luò)通信等復(fù)雜問題均由MapReduce框架負(fù)責(zé)處理。MapReduce原理簡(jiǎn)單、技術(shù)簡(jiǎn)潔、數(shù)據(jù)處理效率高,在系統(tǒng)層面解決了數(shù)據(jù)庫(kù)集群難以解決的擴(kuò)展性、容錯(cuò)性等問題,MapReduce免費(fèi)開源,基于異構(gòu)廉價(jià)服務(wù)器搭建可彈性伸縮的大規(guī)模集群,并行、分布式地處理和分析大規(guī)模數(shù)據(jù),其構(gòu)建成本遠(yuǎn)低于數(shù)據(jù)庫(kù)集群所采用的并行數(shù)據(jù)庫(kù)[9]。幾種大數(shù)據(jù)處理模式的比較分析見表1,可見,MapReduce大數(shù)據(jù)處理模式具有相對(duì)顯著的優(yōu)勢(shì)。
在IT基礎(chǔ)設(shè)施上,淘寶率先引入云計(jì)算技術(shù),阿里云成為我國(guó)第一家專門從事云計(jì)算服務(wù)的公司,淘寶的所有交易系統(tǒng)都為自建,通過電商平臺(tái)集成海量數(shù)據(jù),以下主要以淘寶為例,分析引入MapReduce大數(shù)據(jù)處理模式給電商業(yè)務(wù)帶來的革命性影響。
商品的豐富性直接影響電商的競(jìng)爭(zhēng)力,而海量的商品數(shù)目、繁雜的分類體系以及復(fù)雜的非結(jié)構(gòu)化的商品屬性數(shù)據(jù)等都需要IT基礎(chǔ)設(shè)施具備足夠的靈活性和強(qiáng)大的檢索能力。
圖2 MapReduce并行計(jì)算流程[3]
表1 大規(guī)模數(shù)據(jù)處理模式的比較分析
云平臺(tái)架構(gòu)提供的超大規(guī)模計(jì)算能力和大數(shù)據(jù)處理能力能夠提供強(qiáng)大的個(gè)性化信息檢索功能,即根據(jù)用戶的個(gè)體差異、個(gè)人興趣和需求特征進(jìn)行智能海量檢索,并高效率返回高查全率和查準(zhǔn)率檢索結(jié)果[9]。另外,還能實(shí)現(xiàn)信息推送服務(wù)、熱點(diǎn)信息推送、信息推薦等新型信息檢索服務(wù)[9]。
云計(jì)算的技術(shù)優(yōu)勢(shì)使得信息檢索和服務(wù)可以很好地解決長(zhǎng)期存在的人類自然語(yǔ)言理解、知識(shí)推理等問題,充分發(fā)揮深度數(shù)據(jù)挖掘和知識(shí)發(fā)現(xiàn)的功能,以迅速準(zhǔn)確地分析處理用戶信息行為、理解用戶自然語(yǔ)言表達(dá)并進(jìn)行相應(yīng)智能檢索,得出符合用戶需求的信息和產(chǎn)品,提高用戶服務(wù)的速度和精準(zhǔn)度[10],最大限度地提升客戶滿意度。
淘寶商品具備數(shù)十種屬性,還包括視頻、圖像等多媒體數(shù)據(jù),淘寶用戶可以通過顏色、價(jià)格、品牌等幾十種屬性在海量數(shù)據(jù)中進(jìn)行智能檢索和過濾,檢索的實(shí)時(shí)性和準(zhǔn)確率很高。2010年淘寶注冊(cè)用戶數(shù)達(dá)到3.7億戶,在線商品數(shù)達(dá)到8億件,最多每天有6000萬(wàn)人訪問淘寶網(wǎng),平均每分鐘出售4.8萬(wàn)件商品[14],實(shí)時(shí)呈現(xiàn)訂單結(jié)果。
電商系統(tǒng)必須具備無(wú)以倫比的快速?gòu)椥蕴幚砟芰?,能夠處理突發(fā)的訪問量、海量訂單和客戶瀏覽請(qǐng)求,而且需要根據(jù)需求和業(yè)務(wù)量的上漲不斷擴(kuò)容服務(wù)器和增加數(shù)據(jù)存儲(chǔ)設(shè)備。
基于云計(jì)算技術(shù)的云存儲(chǔ)平臺(tái)擁有理論上無(wú)限的海量存儲(chǔ)和超大規(guī)模計(jì)算等資源,能夠存儲(chǔ)和處理TB級(jí)乃至PB級(jí)的海量數(shù)據(jù)[11],企業(yè)不用安裝硬件,就可以廉價(jià)、快速地部署應(yīng)用系統(tǒng)并實(shí)現(xiàn)彈性伸縮,以提高資源的管控能力和促進(jìn)優(yōu)化利用。這種豐富的IT基礎(chǔ)設(shè)施和彈性處理能力能夠廉價(jià)、快捷地輸出給中小企業(yè)。淘寶和天貓2012年中國(guó)互聯(lián)網(wǎng)時(shí)尚消費(fèi)數(shù)據(jù)顯示,淘寶在線銷售的原創(chuàng)商品每日更新超過100萬(wàn)件,由于淘寶的成功營(yíng)銷,2010年、2011年、2012年的11月11日,淘寶單日交易額分別為9.36億元、52億元、191億元[12],銷售額的激增和“雙十一”營(yíng)銷的成功,驗(yàn)證了淘寶云計(jì)算平臺(tái)的運(yùn)轉(zhuǎn)效率及快速的彈性處理能力。
實(shí)時(shí)性的海量數(shù)據(jù)分析越來越成為電商的核心競(jìng)爭(zhēng)力,大數(shù)據(jù)的價(jià)值關(guān)鍵在于信息分析和利用。云計(jì)算可在極短時(shí)間內(nèi)對(duì)海量數(shù)據(jù)和大數(shù)據(jù)進(jìn)行收集、存儲(chǔ)、分析和處理,極大地提高了企業(yè)的信息分析能力,使得電商需要的實(shí)時(shí)精準(zhǔn)的海量數(shù)據(jù)挖掘和大數(shù)據(jù)深度分析等成為可能。淘寶每天數(shù)以千萬(wàn)計(jì)的交易產(chǎn)生大量的交易時(shí)間、商品價(jià)格、購(gòu)買數(shù)量等交易數(shù)據(jù)和利益相關(guān)方的年齡、職業(yè)、地址等個(gè)人特征信息,從這些海量數(shù)據(jù)中,淘寶實(shí)時(shí)準(zhǔn)確地進(jìn)行各類店鋪排名和個(gè)性化智能推薦;進(jìn)行用戶行為數(shù)據(jù)分析,得到電商用戶所需的個(gè)性化信息與產(chǎn)品,便于開展精準(zhǔn)營(yíng)銷;商家根據(jù)歷史信息和“淘寶指數(shù)”進(jìn)行生產(chǎn)、進(jìn)銷存計(jì)劃;買家得以獲得更符合個(gè)性化需求的商品信息,提高客戶滿意度。
信息安全是電商企業(yè)業(yè)務(wù)可持續(xù)的最關(guān)鍵保障。在大數(shù)據(jù)時(shí)代,大數(shù)據(jù)成為國(guó)家和企業(yè)的核心資產(chǎn),大數(shù)據(jù)藍(lán)海成為未來競(jìng)爭(zhēng)的制高點(diǎn)。但是,大數(shù)據(jù)往往更復(fù)雜、更敏感,更易成為網(wǎng)絡(luò)攻擊的顯著目標(biāo),加大了隱私泄露風(fēng)險(xiǎn),大數(shù)據(jù)深度分析技術(shù)讓黑客的攻擊更精準(zhǔn)。電商系統(tǒng)不可能防止外部數(shù)據(jù)商挖掘個(gè)人信息,各社交網(wǎng)站均不同程度地開放用戶所產(chǎn)生的實(shí)時(shí)數(shù)據(jù),外部數(shù)據(jù)提供商能夠通過收集、監(jiān)測(cè)、分析這些數(shù)據(jù)得出用戶的信息體系,常規(guī)的安全方案與措施無(wú)法滿足大數(shù)據(jù)時(shí)代數(shù)據(jù)非線性增長(zhǎng)的需求,用戶隱私安全問題將更為顯著。例如,能夠通過智能手機(jī)定位分析精確鎖定個(gè)人位置。
另一方面,大數(shù)據(jù)處理技術(shù)能夠全面、及時(shí)、精確地監(jiān)測(cè)并獲取各類網(wǎng)絡(luò)異常行為或網(wǎng)絡(luò)攻擊行為的結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù),實(shí)時(shí)進(jìn)行安全分析和預(yù)防性分析,以便度量企業(yè)安全級(jí)別和安全風(fēng)險(xiǎn),更有針對(duì)性地設(shè)計(jì)、實(shí)施信息安全方案,應(yīng)對(duì)安全風(fēng)險(xiǎn),尋找攻擊源,識(shí)別釣魚攻擊,防止詐騙和阻止黑客入侵等。
云計(jì)算技術(shù)能夠把專業(yè)可靠的信息安全方案封裝為云服務(wù),為用戶提供優(yōu)質(zhì)、廉價(jià)、全面的安全和備份服務(wù)。所有信息資源都托管在云端,由云計(jì)算強(qiáng)大的服務(wù)器集群和虛擬化技術(shù)提供冗余、災(zāi)備、數(shù)據(jù)備份和自動(dòng)故障恢復(fù)等功能,專業(yè)的IT管理團(tuán)隊(duì)負(fù)責(zé)維護(hù)電商企業(yè)數(shù)據(jù),提供專業(yè)化的信息安全與保密方案[9,13]。
淘寶網(wǎng)構(gòu)建了系統(tǒng)的安全體系,包括支付安全、信用評(píng)價(jià)、店鋪評(píng)分、物流保障、網(wǎng)絡(luò)安全、風(fēng)險(xiǎn)控制、消費(fèi)者保障等,并且不斷加強(qiáng)自身系統(tǒng)安全、打擊各類網(wǎng)絡(luò)欺詐行為、開展用戶安全教育,2012年淘寶安全中心共攔截592萬(wàn)個(gè)釣魚網(wǎng)站,攔截木馬1477萬(wàn)次,引導(dǎo)超過2400萬(wàn)名淘寶用戶綁定二次驗(yàn)證、淘寶安全中心等安全產(chǎn)品[14],這些安全舉措較為成功地凈化了網(wǎng)購(gòu)環(huán)境,保障了電商的規(guī)模發(fā)展。目前淘寶網(wǎng)的消費(fèi)投訴率不到1%,低于實(shí)體零售商。
云計(jì)算、大數(shù)據(jù)已被公認(rèn)為信息技術(shù)的熱點(diǎn)和趨勢(shì),本文主要探討如何借助云計(jì)算和大數(shù)據(jù)處理技術(shù)改善電商系統(tǒng)的IT基礎(chǔ)設(shè)施、轉(zhuǎn)變服務(wù)理念、創(chuàng)新商業(yè)模式、發(fā)展電子商務(wù)。筆者認(rèn)為,大數(shù)據(jù)處理在電子商務(wù)上的未來發(fā)展趨勢(shì)主要有以下幾方面。
(1)專業(yè)化數(shù)據(jù)處理服務(wù)與產(chǎn)品日益豐富
超大規(guī)模電商企業(yè)(集團(tuán)、聯(lián)盟)、政府、公益機(jī)構(gòu)、盈利機(jī)構(gòu)等在云環(huán)境下得以協(xié)同工作,免費(fèi)或收費(fèi)地提供專業(yè)化數(shù)據(jù)處理服務(wù)或產(chǎn)品,并可輸出給沒有足夠IT能力的中小電商企業(yè)。
(2)大數(shù)據(jù)定制化系統(tǒng)
大數(shù)據(jù)定制化系統(tǒng)成為超大規(guī)模電商的商機(jī)和趨勢(shì),并可作為IT能力輸出給中小電商企業(yè),目前,浪潮集團(tuán)等企業(yè)已發(fā)布了定制化、專業(yè)化的大數(shù)據(jù)系統(tǒng)或產(chǎn)品。
(3)構(gòu)建新型電商的商業(yè)模式
云計(jì)算帶來的規(guī)模經(jīng)濟(jì)效應(yīng)、個(gè)性化服務(wù)、長(zhǎng)尾效應(yīng)、藍(lán)海、眾包等,不僅變革了IT基礎(chǔ)設(shè)施,更重要的是重塑了經(jīng)濟(jì)學(xué)概念,促進(jìn)了企業(yè)業(yè)務(wù)模式的改變,從而使得可以快速邁進(jìn)服務(wù)經(jīng)濟(jì)時(shí)代[14]。傳統(tǒng)商業(yè)模式和業(yè)務(wù)模式得以徹底變革和創(chuàng)新,隨著技術(shù)與營(yíng)銷思想的良性互動(dòng),將涌現(xiàn)出越來越多的新模式、新思路、新方法。
(4)IT基礎(chǔ)設(shè)施成為核心競(jìng)爭(zhēng)力
云計(jì)算架構(gòu)和大數(shù)據(jù)處理的巨大可擴(kuò)展性,為海量計(jì)算資源、存儲(chǔ)資源的整合管控能力和7×24 h的高可靠性,提供更加卓越的計(jì)算處理性能、簡(jiǎn)單方便的部署使用方案和全方位的監(jiān)控管理措施,可以顯著提高數(shù)據(jù)中心和高性能計(jì)算中心的生產(chǎn)率和工作效率,最大限度地降低IT運(yùn)營(yíng)和管理維護(hù)成本,給傳統(tǒng)IT基礎(chǔ)設(shè)施帶來革命性變革。這種技術(shù)優(yōu)勢(shì)突破了電商交易規(guī)模的發(fā)展瓶頸,在技術(shù)的基礎(chǔ)上提升了電商行業(yè)的發(fā)展上限,使得IT基礎(chǔ)設(shè)施逐漸成為電商企業(yè)的核心競(jìng)爭(zhēng)力。
1 億邦動(dòng)力網(wǎng).零售商認(rèn)為大數(shù)據(jù)有利于電子商務(wù).http://www.ebrun.com/20121018/58764.shtml,2013
2 王珊,王會(huì)舉,覃雄派等.架構(gòu)大數(shù)據(jù):挑戰(zhàn)、現(xiàn)狀與展望.計(jì)算機(jī)學(xué)報(bào),2011(10):1741~1752
3 覃雄派,王會(huì)舉,杜小勇等.大數(shù)據(jù)分析——RDBMS與MapReduce的競(jìng)爭(zhēng)與共生.軟件學(xué)報(bào),2012(1):32~45
4 Liu F,Tong J,Mao J,et al.NIST cloud computing reference architecture.http://www.nist.gov/customcf/get_pdf.cfm?pub_id=909505.pdf,2011
5 Mell P,Grance T.The NIST definition of cloud computing.http://csrc.nist.gov/publications/nistpubs/800-145/SP800-145.pdf,2012
6 董旭,葉劍,劉煜.數(shù)據(jù)庫(kù)集群技術(shù)淺析.郵電設(shè)計(jì)技術(shù),2012(10):23~25
7 數(shù)據(jù)庫(kù)集群技術(shù).http://blog.csdn.net/sillybanny/article/details/532583,2013
8 趙春雷,喬治·納漢.“大數(shù)據(jù)”時(shí)代的計(jì)算機(jī)信息處理技術(shù).世界科學(xué),2012(2):30~31
9 黃蘭秋.基于云計(jì)算的企業(yè)競(jìng)爭(zhēng)情報(bào)服務(wù)模式研究.南開大學(xué)博士學(xué)位論文,2012
10 于曉燕.基于網(wǎng)格的數(shù)字圖書館模式構(gòu)建研究.南開大學(xué)博士學(xué)位論文,2010
11 趙海峰.檔案館應(yīng)用云計(jì)算技術(shù)的可行性分析.蘭臺(tái)世界,2012(20):23~24
12 中國(guó)電子商務(wù)研究中心.2010年淘寶雙11總銷售額9.36億元.http://www.100ec.cn/detail—6071538.html,2012
13 孔楠.基于云計(jì)算平臺(tái)的商業(yè)服務(wù)模式研究.上海外國(guó)語(yǔ)大學(xué)碩士學(xué)位論文,2010
14 中國(guó)電子商務(wù)研究中心.淘寶網(wǎng)發(fā)布2013春節(jié)網(wǎng)購(gòu)安全寶典.http://www.100ec.cn/detail—6082154.html,2012
15 CIO時(shí)代網(wǎng).從經(jīng)濟(jì)學(xué)的角度來看云計(jì)算.http://www.ciotimes.com/cloud/cjs/59434.html,2012
16 李滿意.大數(shù)據(jù)安全.保密科學(xué)技術(shù),2012(9):71~72
17 新浪科技.淘寶宣布注冊(cè)用戶達(dá)到3.7億.http://tech.sina.com.cn/i/2011-01-06/20285067308.shtml,2012
Study on the Impact of Big Data Processing in Electronic Commerce
Chen Yunhai1,Huang Lanqiu2
(1.Guangdong Research Institute of China Telecom Co.,Ltd.,Guangzhou 510630,China;2.School of Economic and Management,South China Normal University,Guangzhou 510006,China)
It is difficult for traditional IT infrastructure to manage and use the growing massive data in electronic commerce effectively.In view of it,the impact of big data processing on the development of electronic commerce was discussed based on discussing the big data.
big data,electronic commerce,cloud computing
10.3969/j.issn.1000-0801.2013.03.004
* 中國(guó)民航信息技術(shù)科研基地開放課題基金資助項(xiàng)目(No.CAAC-ITRB-201206))
陳云海,男,中國(guó)電信股份有限公司廣東研究院信息業(yè)務(wù)研發(fā)室主任、工程師,主要研究方向?yàn)橐曨l編解碼算法、互聯(lián)網(wǎng)應(yīng)用、虛擬化、云計(jì)算、自然語(yǔ)言處理、知識(shí)管理及應(yīng)用。
黃蘭秋,女,博士,華南師范大學(xué)經(jīng)濟(jì)與管理學(xué)院講師,主要研究方向?yàn)樵朴?jì)算、數(shù)據(jù)挖掘、情報(bào)學(xué)。
2013-03-04)