解讀大數(shù)據(jù)和CDO：概念大過(guò)實(shí)際意義？

就在去年刮過(guò)云計(jì)算之風(fēng)，其中部分“泡沫”已經(jīng)破裂，人們的關(guān)注度有些下降之后。大數(shù)據(jù)這個(gè)概念又被一些廠商“利用”為宣傳利器，EMC作為其中的代表從去年EMC World 2011大會(huì)就開(kāi)始發(fā)動(dòng)了攻勢(shì)。

可能是由于工作經(jīng)歷的緣故，筆者對(duì)云計(jì)算、大數(shù)據(jù)，包括由后者而提出的CDO（首席數(shù)據(jù)官）這些新的熱點(diǎn)話題，其中偏概念而非具體技術(shù)的部分，在一段時(shí)間內(nèi)持謹(jǐn)慎旁觀的態(tài)度。從用戶的需求來(lái)看，真的是“老同志遇到新問(wèn)題”了嗎·當(dāng)然IT技術(shù)、應(yīng)用模式的發(fā)展，對(duì)業(yè)務(wù)不斷提出了新的要求。海量增長(zhǎng)的非結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù)中確實(shí)有值得挖掘的價(jià)值，但這并不等于人們就要一下子更換全新的方法、工具來(lái)處理它們。就像需求是漸進(jìn)式的增長(zhǎng)一樣，業(yè)務(wù)的變革也是漸進(jìn)式的。

在《紀(jì)錄中國(guó)——企業(yè)存儲(chǔ)的自主之路》一文中，筆者曾經(jīng)談到了一些國(guó)內(nèi)存儲(chǔ)品牌自主的研發(fā)理想和OEM轉(zhuǎn)銷的現(xiàn)實(shí)。而本文我想以部分廠商為代表，“批判”或者說(shuō)“揭露”對(duì)大數(shù)據(jù)宣傳背后的實(shí)質(zhì)內(nèi)容。其中可能不完全是肯定的，總之希望讀者能夠更全面、客觀的看待大數(shù)據(jù)這個(gè)概念。當(dāng)然，我的評(píng)論中也可能會(huì)有不當(dāng)之處，歡迎大家提出不同意見(jiàn)，批評(píng)指正。

大數(shù)據(jù)世界論壇：2011和2012的不同

首先，我想提一下去年和今年在北京舉行的大數(shù)據(jù)世界論壇（BIG DATA World Forum）。個(gè)人感覺(jué)今年參與（贊助）的廠商沒(méi)有去年多，也相對(duì)缺乏有新意的話題。

退出的幾家廠商大致包括：比如說(shuō)Teradata（天睿），去年他們談的數(shù)據(jù)倉(cāng)庫(kù)；IBM Netezza的資深專家去年發(fā)表了精彩的演講，他們的產(chǎn)品也屬于一種新型的數(shù)據(jù)倉(cāng)庫(kù)，與Teradata的通用x86硬件相比增添了FPGA（現(xiàn)場(chǎng)可編程門陣列）芯片來(lái)加快數(shù)據(jù)從存儲(chǔ)中調(diào)出的篩選速度；SAP去年還不否認(rèn)他們的HANA內(nèi)存計(jì)算方案屬于“大數(shù)據(jù)”，而今年就開(kāi)始宣稱“大數(shù)據(jù)是個(gè)謊言”——傳統(tǒng)列式數(shù)據(jù)庫(kù)就能很好地處理大數(shù)據(jù)。

還有EMC。這里倒不是說(shuō)EMC不再重視大數(shù)據(jù)，而是就Greenplum核心產(chǎn)品線本身而言并沒(méi)有太多的變化——仍然分為Greenplum Database（數(shù)據(jù)倉(cāng)庫(kù)）、Greenplum HD（Hadoop分析）和Greenplum DCA（數(shù)據(jù)計(jì)算設(shè)備），后者還是基于高性價(jià)比的工業(yè)標(biāo)準(zhǔn)x86服務(wù)器的MPP（大規(guī)模并行處理）分布式可擴(kuò)展架構(gòu)。站在廠商的角度，如果沒(méi)有更多的新鮮東西，過(guò)多的投入資源來(lái)重復(fù)宣傳顯然不劃算。因此EMC將其Atmos云存儲(chǔ)（對(duì)象存儲(chǔ)）、Isilon集群NAS都囊括在大數(shù)據(jù)的概念下，當(dāng)然也有技術(shù)方面的努力，比如Isilon對(duì)HDFS（Hadoop文件系統(tǒng)）的支持，但其實(shí)用價(jià)值有多大就是個(gè)見(jiàn)仁見(jiàn)智的問(wèn)題了。

EMC Greenplum在與數(shù)據(jù)打交道的各種用戶之間又加入了一個(gè)“Chorus－分析生產(chǎn)力層”。也就是說(shuō)Chorus是處于Greenplum結(jié)構(gòu)化/非結(jié)構(gòu)化數(shù)據(jù)平臺(tái)和用戶分析應(yīng)用之間的銜接部分。

至于SAP的策略轉(zhuǎn)變，估計(jì)和他們的產(chǎn)品有一定的獨(dú)特性有關(guān)，適合的應(yīng)用場(chǎng)景也與眾多基于Hadoop開(kāi)源方案的產(chǎn)品有著較大的不同。因此SAP可能覺(jué)得與“那些人”站在同一條起跑線上有些吃虧·索性就干脆劃清界限——“我有成熟的Sybase數(shù)據(jù)庫(kù)，而且它能夠滿足當(dāng)今用戶的需求?！?/p>

前面提到的都不是什么新聞了，而且這幾家廠商（或者被收購(gòu)的業(yè)務(wù)部門）都是做數(shù)據(jù)庫(kù)或者數(shù)據(jù)倉(cāng)庫(kù)出身的，相對(duì)而言與大數(shù)據(jù)的關(guān)系還比較緊密一些。接下來(lái)筆者想就最近發(fā)生的一些事件，幾家看似與大數(shù)據(jù)不相關(guān)的IT廠商推出的策略，發(fā)表些簡(jiǎn)單的觀點(diǎn)。

VMware：讓Hadoop運(yùn)行在虛擬機(jī)上·

應(yīng)該說(shuō)這種應(yīng)用方式不是最近才提出的，而上周三（8月8日）在北京舉行的“VMware EMC大數(shù)據(jù)云高峰論壇”讓我們重新思考一個(gè)問(wèn)題。隨著EMC和VMware高層一系列變動(dòng)日期的臨近，Cloud Foundry將要與Greenplum等業(yè)務(wù)重新組合在一起，也就是云（PaaS）和大數(shù)據(jù)（數(shù)據(jù)倉(cāng)庫(kù)+分析）的聯(lián)合·

“讓Hadoop運(yùn)行在虛擬機(jī)上，VMware號(hào)稱性能下降在10%以內(nèi)，在某些情況下，用虛擬機(jī)運(yùn)行Hadoop的性能甚至能夠超過(guò)物理機(jī)·”

談到性能，這就像EMC表示其存儲(chǔ)在虛擬化環(huán)境下運(yùn)行一些關(guān)鍵應(yīng)用的效率高于物理機(jī)一樣。這其實(shí)只代表EMC存儲(chǔ)對(duì)VMware的支持好，因?yàn)閷?duì)應(yīng)的那幾種應(yīng)用性能瓶頸都是在存儲(chǔ)而不是計(jì)算上。單純就x86服務(wù)器而言，虛擬化Hypervisor做得再好也不可能提供超出物理資源的性能啊。

我們?cè)賮?lái)看看EMC官方的說(shuō)法。

虛擬化對(duì)Hadoop的四大促進(jìn)作用：第一、讓Hadoop適用于多租戶環(huán)境，因?yàn)椴煌块T可能都需要各自的Hadoop集群。第二、提高Hadoop的安全性，VMware虛擬化在不同集群之間產(chǎn)生強(qiáng)隔離。第三、提高Hadoop的可伸縮性，使得它很容易進(jìn)行伸縮加減節(jié)點(diǎn)。最后一點(diǎn)當(dāng)然是增加CPU的利用率。

而有業(yè)內(nèi)人士發(fā)表了不同的觀點(diǎn)：

“除了部署靈活性之外，在性能、安全性、資源利用率方面均不具備優(yōu)勢(shì)，在部署方面有人說(shuō)虛擬機(jī)多么好，但是我并不覺(jué)得如此，Hadoop的部署很簡(jiǎn)單，如果部署HA，則可以考慮采用大云的自動(dòng)化HA方案。

但是如果你的數(shù)據(jù)已經(jīng)在（Amazon）S3上面，則不得不使用虛擬機(jī)了，無(wú)論是EMR，還是自己搭建?！?/p>

也就是說(shuō)，虛擬化是Hadoop與云計(jì)算結(jié)合的一個(gè)點(diǎn)。虛擬化的隔離做得再好也是在一臺(tái)物理機(jī)內(nèi)部的隔離，而Hadoop常規(guī)的集群部署則是物理上的隔離；像服務(wù)器虛擬化那樣提高CPU利用率是個(gè)好想法，評(píng)價(jià)Hadoop應(yīng)用的資源過(guò)剩還是瓶頸不一定是由CPU決定的，有可能是各節(jié)點(diǎn)的存儲(chǔ)（HDFS）。EMC的想法是將數(shù)據(jù)放在Isilon或者VNX集中存儲(chǔ)上·但這樣做沒(méi)有成本優(yōu)勢(shì)。

另有一位業(yè)內(nèi)朋友表示：

“本來(lái)HDFS都是架設(shè)在datanode（數(shù)據(jù)節(jié)點(diǎn)）的本地硬盤上的，現(xiàn)在又要通過(guò)網(wǎng)絡(luò)再輸出到共享硬盤上，網(wǎng)絡(luò)的壓力更大了，虛擬機(jī)環(huán)境的瓶頸本來(lái)就在存儲(chǔ)和網(wǎng)絡(luò)上，而且這樣其實(shí)違背了Google的讓計(jì)算離數(shù)據(jù)更近的初衷，個(gè)人不是很看好Hadoop架設(shè)在虛機(jī)上的效率?！?/p>

Intel為什么也要玩Hadoop·

今年，Intel也把企業(yè)數(shù)據(jù)中心的市場(chǎng)宣傳重點(diǎn)轉(zhuǎn)移到大數(shù)據(jù)，其中也包括他們自己搞的Hadoop發(fā)行版。有些人不禁要問(wèn)：Intel的核心業(yè)務(wù)不是在CPU上面嗎·（筆者在“大數(shù)據(jù)時(shí)代：Intel Xeon、LSI SAS術(shù)業(yè)有專攻”一文中有過(guò)相關(guān)討論）

確實(shí)，Intel給人的感覺(jué)不是一家軟件公司。包括Xeon（至強(qiáng)）處理器在內(nèi)的服務(wù)器平臺(tái)產(chǎn)品線，于x86陣營(yíng)中已經(jīng)處于絕對(duì)的優(yōu)勢(shì)（AMD的份額已經(jīng)基本沒(méi)有威脅），即使面對(duì)RISC陣營(yíng)也在不斷蠶食后者（包括Itanium）的市場(chǎng)空間。那么Intel需要尋找新的增長(zhǎng)點(diǎn)，在整個(gè)行業(yè)幾乎都在喊云計(jì)算和大數(shù)據(jù)的情況下，能夠免俗的人不多。

上圖資料來(lái)自Intel，僅供參考

不知道有多少人了解，Intel的軟件部門還有著上萬(wàn)名員工。曾經(jīng)有同行表示：AMD相對(duì)Intel的一大軟肋就是他們的軟件優(yōu)化能力不足。從C++、Fortran編譯器，到如今充分發(fā)揮多核/多線程能力的Parallel Studio，Intel在處理器相關(guān)軟件生態(tài)環(huán)境上的努力和收獲都是看得見(jiàn)的。

一位在國(guó)內(nèi)某大型互聯(lián)網(wǎng)行業(yè)用戶工作的朋友曾對(duì)筆者說(shuō)，他們采用過(guò)AMD和Intel CPU的服務(wù)器，但后來(lái)用AMD就少了。因?yàn)樗麄凅w會(huì)到，購(gòu)買相應(yīng)平臺(tái)的硬件，Intel還會(huì)幫助進(jìn)行軟件上的調(diào)優(yōu)等支持工作。當(dāng)然這個(gè)的前提應(yīng)該是用戶達(dá)到一定的采購(gòu)規(guī)模。

所以說(shuō)，盡管Intel在Hadoop方面的起步不一定很早，相關(guān)技術(shù)也不見(jiàn)得比本文前面提到的幾個(gè)廠商搞得更好·但以Intel在行業(yè)內(nèi)的影響力，還是會(huì)有人響應(yīng)并且不能小看，就像他們面向企業(yè)存儲(chǔ)市場(chǎng)的SSD（固態(tài)硬盤）910、710那樣。

CommVault：大數(shù)據(jù)就是保留和歸檔·

CommVault這家在前幾年發(fā)展迅速的存儲(chǔ)軟件公司，稱自己的Simpana產(chǎn)品為數(shù)據(jù)管理一體化軟件。為了便于大家的理解，我還是習(xí)慣于將其歸類為數(shù)據(jù)保護(hù)軟件，或者說(shuō)有備份、CDP、歸檔等功能模塊。如今我們看到CommVault也在談大數(shù)據(jù)，并提到未來(lái)的Simpana 10新版本，以及分析功能。那么，此“大數(shù)據(jù)”等于彼“大數(shù)據(jù)”嗎·CommVault也要搞像Hadoop那樣的數(shù)據(jù)挖掘、分析嗎·

盡管對(duì)此沒(méi)有做較多的調(diào)研，但以筆者對(duì)這家存儲(chǔ)軟件廠商的了解，CommVault應(yīng)該還是專注于自己擅長(zhǎng)的細(xì)分領(lǐng)域，其功能還是圍繞著數(shù)據(jù)管理和保護(hù)概念下的備份、歸檔等。所謂的“分析”功能有可能是類似于筆者曾經(jīng)介紹過(guò)的惠普Data Protector 7軟件，采用收購(gòu)自Autonomy的IDOL（智能數(shù)據(jù)操作層）技術(shù)“基于語(yǔ)義的保護(hù)”，實(shí)現(xiàn)在備份的索引中，根據(jù)關(guān)鍵字或者其它參數(shù)來(lái)搜索想要恢復(fù)數(shù)據(jù)的功能。

既然人們可以將Autonomy視為大數(shù)據(jù)廠商，那么CommVault如果有類似IDOL那樣便于數(shù)據(jù)查找、恢復(fù)的技術(shù)，說(shuō)他們與超出傳統(tǒng)備份軟件廠商面對(duì)范圍的大數(shù)據(jù)“沾邊”也不為過(guò)·

CDO（首席數(shù)據(jù)官）之我見(jiàn)

CDO概念最初由國(guó)外提出，并且目前阿里巴巴已經(jīng)任命了“首席數(shù)據(jù)官”這一職位。那么CDO會(huì)像CTO、CIO等那樣普及開(kāi)來(lái)嗎·哪些企業(yè)需要設(shè)立CDO呢·

退回到2009年，筆者剛開(kāi)始了解到CIO（首席信息官）這個(gè)稱號(hào)。沒(méi)錯(cuò)我以前真的不知道，經(jīng)常與廠商市場(chǎng)營(yíng)銷部門和媒體打交道的人應(yīng)該都不會(huì)陌生。但仔細(xì)想一下，我們能記住Intel、IBM、微軟等知名廠商的CIO是誰(shuí)嗎·他們會(huì)像CIO、CTO那樣公開(kāi)發(fā)表言論嗎·基本不會(huì)吧。信息化這個(gè)詞感覺(jué)更好理解些，許多企業(yè)都需要不同程度地倚重這個(gè)IT管理部門，但我們除了在與那些CIO相關(guān)的供應(yīng)商組織的會(huì)議之外，他們?cè)谌粘９ぷ髦幸矔?huì)被稱為CIO嗎·

“首席信息官”中的信息，從字面意義上理解與IT建設(shè)似乎并不能畫等號(hào)·在今天的大數(shù)據(jù)時(shí)代，已經(jīng)有人提出“將數(shù)據(jù)變?yōu)橛袃r(jià)值的信息”這個(gè)口號(hào)，那么對(duì)于負(fù)責(zé)實(shí)現(xiàn)企業(yè)中數(shù)據(jù)價(jià)值的leader而言，如果不是因?yàn)橐呀?jīng)有了其它用途，“CIO”一詞是否比CDO更為合適呢·如果只是單純地負(fù)責(zé)存儲(chǔ)設(shè)備上的數(shù)據(jù)，那與存儲(chǔ)管理員又有多大區(qū)別·在大數(shù)據(jù)這個(gè)詞流行之前，也有人從事數(shù)據(jù)挖掘、分析工作，將他們的職位歸為某個(gè)業(yè)務(wù)部門，與現(xiàn)在部分人稱之為CDO又有什么本質(zhì)上的不同呢·

可能有人覺(jué)得筆者在這里給大數(shù)據(jù)和CDO這些概念“潑涼水”，其實(shí)我的初衷只是希望大家能夠更加客觀、冷靜地看待大數(shù)據(jù)、相關(guān)技術(shù)和業(yè)務(wù)方式的變化，以及每個(gè)廠商口中的大數(shù)據(jù)有什么不同。

最后，讓我們來(lái)?yè)Q一個(gè)角度。如果說(shuō)大數(shù)據(jù)、CDO這些新名詞對(duì)用戶的實(shí)際意義不大·或者說(shuō)只是換了一個(gè)新的說(shuō)法（概念）的話，但不等于它們對(duì)廠商的宣傳和媒體而言也沒(méi)有意義。畢竟市場(chǎng)需要造勢(shì)，吸引關(guān)注需要“噱頭”，產(chǎn)品技術(shù)也需要各種包裝，才能被人們更好地理解認(rèn)識(shí)，而不是冷冰冰地放在那里。