• 
    

    
    

      99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

      大數(shù)據(jù):任務(wù)并不簡(jiǎn)單

      2011-06-14 01:21:16盧敏劉學(xué)
      軟件和集成電路 2011年11期
      關(guān)鍵詞:數(shù)據(jù)量數(shù)據(jù)庫(kù)用戶(hù)

      文/本刊記者 盧敏 劉學(xué)

      大數(shù)據(jù)的概念聽(tīng)起來(lái)很美好,似乎利用大數(shù)據(jù)的大門(mén)在不久的將來(lái)就會(huì)打來(lái)。但是一切并沒(méi)有這么簡(jiǎn)單。

      大數(shù)據(jù)真正起作用的地方并非在于如何對(duì)其進(jìn)行存儲(chǔ),而是如何好好對(duì)其進(jìn)行利用。其實(shí)用戶(hù)需要一種實(shí)時(shí)分析大量原始數(shù)據(jù)的方式,然后在有需求的時(shí)候從中挖出有價(jià)值的部分。

      現(xiàn)在看來(lái)這個(gè)任務(wù)并不簡(jiǎn)單。

      多角度、深層次是關(guān)鍵

      “大數(shù)據(jù)時(shí)代的來(lái)臨已經(jīng)毋庸置疑?!鄙轿饕苿?dòng)業(yè)務(wù)支撐系統(tǒng)部統(tǒng)計(jì)分析室經(jīng)理王峰肯定地說(shuō),“從數(shù)據(jù)量上來(lái)說(shuō),我們已經(jīng)進(jìn)入了ZB時(shí)代?!?/p>

      作為國(guó)內(nèi)第一家進(jìn)行數(shù)據(jù)倉(cāng)庫(kù)和BI系統(tǒng)建設(shè)的電信運(yùn)營(yíng)商,山西移動(dòng)從2001年就開(kāi)始進(jìn)行其經(jīng)營(yíng)分析系統(tǒng)的規(guī)劃。從2002年系統(tǒng)上線(xiàn)到現(xiàn)在已經(jīng)是近10年的時(shí)間。對(duì)于數(shù)據(jù)量的急速增長(zhǎng)、市場(chǎng)形勢(shì)的瞬息萬(wàn)變、用戶(hù)群體的復(fù)雜變化,這10年來(lái),經(jīng)營(yíng)分析系統(tǒng)在山西移動(dòng)的業(yè)務(wù)過(guò)程中到底扮演了怎樣的角色?對(duì)于大數(shù)據(jù)時(shí)代的來(lái)臨,它發(fā)生了哪些變化?就這些問(wèn)題,王峰給出了答案。

      對(duì)大數(shù)據(jù)時(shí)代的到來(lái),用戶(hù)數(shù)量眾多的電信運(yùn)營(yíng)商感覺(jué)尤為深刻。山西移動(dòng)每天流入經(jīng)營(yíng)分析系統(tǒng)的數(shù)據(jù)量大約為300GB,龐大的數(shù)據(jù)量帶來(lái)了巨大的潛在價(jià)值和決策能力。談到大數(shù)據(jù)時(shí)代的數(shù)據(jù)分析,王峰認(rèn)為,山西移動(dòng)的片區(qū)精細(xì)化管理就已經(jīng)體現(xiàn)了大數(shù)據(jù)分析的特性。

      王峰以北京為例來(lái)說(shuō)明片區(qū)管理的大數(shù)據(jù)特性。片區(qū)管理是地理緯度上的客戶(hù)分塊,例如北京包括東城區(qū)、西城區(qū)、海淀區(qū)等。而每個(gè)區(qū)又可以向下細(xì)分,比如西城區(qū)可以細(xì)化到金融街區(qū),最后細(xì)化到移動(dòng)基站的一個(gè)扇面區(qū)域。如果一個(gè)用戶(hù)在昌平入網(wǎng),卻經(jīng)常在金融街區(qū)通話(huà),就要把用戶(hù)定位成一個(gè)金融街用戶(hù)。每一個(gè)細(xì)化的片區(qū)由一個(gè)片區(qū)經(jīng)理管轄,金融街的片區(qū)經(jīng)理就要對(duì)定義成金融街的客戶(hù)進(jìn)行服務(wù),例如問(wèn)候短信或新產(chǎn)品通知。片區(qū)經(jīng)理不僅要對(duì)現(xiàn)有客戶(hù)進(jìn)行服務(wù),還要對(duì)潛在客戶(hù)進(jìn)行挖掘。山西移動(dòng)要求片區(qū)經(jīng)理對(duì)自己管轄區(qū)域內(nèi)的每一棟寫(xiě)字樓的每一家企業(yè)進(jìn)行記錄并錄入片區(qū)化支持系統(tǒng)。根據(jù)掌握的多種數(shù)據(jù),對(duì)用戶(hù)進(jìn)行精細(xì)化分類(lèi)和深度挖掘,進(jìn)而進(jìn)行相關(guān)的營(yíng)銷(xiāo)活動(dòng),這種線(xiàn)上線(xiàn)下的共同合作,體現(xiàn)的正是大數(shù)據(jù)分析的特點(diǎn)。

      山西移動(dòng)的經(jīng)營(yíng)分析系統(tǒng)作用于營(yíng)銷(xiāo)層面主要包含兩個(gè)核心應(yīng)用。一個(gè)是核心客戶(hù)保有。核心客戶(hù)是指用戶(hù)UP值貢獻(xiàn)高、漫游行為較多,有重要影響的高價(jià)值客戶(hù)。如果某個(gè)核心客戶(hù)在一段時(shí)間內(nèi)的主叫時(shí)長(zhǎng)出現(xiàn)了顯著的下降,統(tǒng)計(jì)分析部就會(huì)在核心客戶(hù)保有的應(yīng)用上發(fā)現(xiàn)這個(gè)用戶(hù),認(rèn)定該核心客戶(hù)有發(fā)展為普通客戶(hù)的可能,并且把與之相關(guān)的客戶(hù)明細(xì)提供給相關(guān)的市場(chǎng)營(yíng)銷(xiāo)部門(mén),由營(yíng)銷(xiāo)部門(mén)對(duì)其實(shí)施保有措施。另一個(gè)應(yīng)用是離網(wǎng)用戶(hù)關(guān)懷,與核心客戶(hù)保有應(yīng)用相比,該應(yīng)用是更針對(duì)離網(wǎng)客戶(hù)的預(yù)警。

      對(duì)于海量數(shù)據(jù)的保有,山西移動(dòng)的策略是數(shù)據(jù)與應(yīng)用同在。一個(gè)應(yīng)用上線(xiàn)有自己的生命周期,應(yīng)用由哪個(gè)部門(mén)提出、應(yīng)用的主要功能、開(kāi)發(fā)人員、何時(shí)上線(xiàn)、預(yù)計(jì)使用期限等信息都會(huì)被記錄在生命周期管理系統(tǒng)中。當(dāng)應(yīng)用達(dá)到使用期限,根據(jù)實(shí)際效果如果沒(méi)有必要進(jìn)行生命周期的延長(zhǎng),應(yīng)用下線(xiàn)時(shí)就將相關(guān)的數(shù)據(jù)評(píng)估為無(wú)效,進(jìn)行清理。

      雖然在外部用戶(hù)層面,客戶(hù)很難感知到經(jīng)營(yíng)分析系統(tǒng)的存在,但山西移動(dòng)正通過(guò)它進(jìn)行著各種各樣的營(yíng)銷(xiāo)活動(dòng),從而為用戶(hù)提供更精確的服務(wù)。而在山西移動(dòng)內(nèi)部,經(jīng)營(yíng)分析系統(tǒng)的內(nèi)部客戶(hù)對(duì)數(shù)據(jù)的滿(mǎn)意度得到了非常大的提升,管理層和業(yè)務(wù)部門(mén)在決策上獲得了更好的支撐。

      未來(lái)屬于將數(shù)據(jù)轉(zhuǎn)化為產(chǎn)品的公司。作為電信運(yùn)營(yíng)商,山西移動(dòng)有著先天的優(yōu)勢(shì)可以掌握海量的有效數(shù)據(jù)。面對(duì)大數(shù)據(jù)時(shí)代的來(lái)臨,多角度深層次的數(shù)據(jù)分析也正在成為山西移動(dòng)統(tǒng)計(jì)分析部門(mén)支持決策的重要手段。

      用戶(hù)在越來(lái)越大的數(shù)據(jù)量下不堪重負(fù)

      數(shù)據(jù)整合“第二坎”

      ESG在2011年曾就企業(yè)所面臨的數(shù)據(jù)整合難題進(jìn)行了調(diào)研,結(jié)果發(fā)現(xiàn),數(shù)據(jù)量的龐大規(guī)模是企業(yè)所面臨的第二大難題,位列首位的則是數(shù)據(jù)整合的進(jìn)程耗時(shí)過(guò)長(zhǎng)。

      目前,各廠(chǎng)商正在密切關(guān)注著大數(shù)據(jù)所帶來(lái)的機(jī)會(huì),并通過(guò)推出新產(chǎn)品或收購(gòu)等舉措把握這一重要機(jī)會(huì),從而創(chuàng)造更多利潤(rùn)。比如IT廠(chǎng)商巨頭IBM和EMC,這兩家都收購(gòu)了非常類(lèi)似的廠(chǎng)商來(lái)實(shí)現(xiàn)技術(shù)的整合。EMC所收購(gòu)的Isilon公司,其集群NAS產(chǎn)品就屬于橫向擴(kuò)展(Scale-out)存儲(chǔ),而該技術(shù)的優(yōu)勢(shì)正是處理非機(jī)構(gòu)化數(shù)據(jù)。并且其后來(lái)又收購(gòu)的Greenplum,則用來(lái)補(bǔ)充針對(duì)數(shù)據(jù)庫(kù)類(lèi)的大數(shù)據(jù)的解決方案。IBM收購(gòu)的Netezza也是類(lèi)似于Greenplum的技術(shù),充分考慮到了現(xiàn)在的存儲(chǔ)趨勢(shì)。

      雖然這看起來(lái)是一種有用的舉措,但是廠(chǎng)商僅將焦點(diǎn)關(guān)注于某款產(chǎn)品解決某種問(wèn)題的話(huà),顯然是不夠的。其實(shí)最終用戶(hù)根本不在意自身采用的到底是誰(shuí)家的產(chǎn)品和技術(shù),而在意的是這些產(chǎn)品和技術(shù)是否能夠賦予自身一個(gè)很好的IT支撐能力。在這樣的情況下,存儲(chǔ)提供的服務(wù)和技術(shù)就需要解決這些問(wèn)題,才可以更貼近于客戶(hù),更好地服務(wù)于客戶(hù)。所以對(duì)于廠(chǎng)商而言,他們不僅要注重解決“大數(shù)據(jù)”的需求,也要注重?cái)?shù)據(jù)整合平臺(tái)的創(chuàng)新,從而在當(dāng)今以服務(wù)為導(dǎo)向的IT模式中提供企業(yè)所需的高性能、靈活性和終端用戶(hù)的功能。ESG中國(guó)區(qū)總經(jīng)理兼高級(jí)分析師王叢表示,大數(shù)據(jù)這一領(lǐng)域?qū)?huì)有一些新的技術(shù)不斷地推出,在未來(lái)的12個(gè)月或是24個(gè)月,預(yù)計(jì)會(huì)不斷涌現(xiàn)能處理大型非結(jié)構(gòu)化數(shù)據(jù)的技術(shù)。

      目前在“大數(shù)據(jù)”這一大趨勢(shì)下,北美的廠(chǎng)商已經(jīng)走在了前列,而中國(guó)的廠(chǎng)商目前還在著重考慮怎么生產(chǎn)存儲(chǔ)和硬件,而沒(méi)考慮到以解決方案的形式向用戶(hù)進(jìn)行推介。EMC或IBM收購(gòu)這些公司的目的是去整合他們的整個(gè)解決方案,能夠讓它在IT上是透明的,進(jìn)一步靠近存儲(chǔ)、靠近數(shù)據(jù)。中國(guó)廠(chǎng)商目前也在嘗試走這條路,但起步相對(duì)要晚,還需要花費(fèi)一段時(shí)間去學(xué)習(xí)這些已經(jīng)在這個(gè)變革過(guò)程中取得成功且走在前面的廠(chǎng)商。對(duì)于廠(chǎng)商而言,花太多時(shí)間去看哪家有哪些產(chǎn)品已經(jīng)不是那么重要了,他們需要注重的是了解技術(shù)趨勢(shì)和市場(chǎng)動(dòng)態(tài)。

      集群NAS會(huì)是市場(chǎng)的一個(gè)主流,傳統(tǒng)的NAS有一定的局限性。其實(shí)集群NAS是擠占了NAS和SAN的市場(chǎng)空間。據(jù)ESG統(tǒng)計(jì),NAS占全球存儲(chǔ)市場(chǎng)的20%左右,中國(guó)的NAS只占了不到8%的中國(guó)存儲(chǔ)市場(chǎng)。另一方面,中國(guó)的SAN又是一個(gè)極端,SAN占全球存儲(chǔ)市場(chǎng)的42%~46%,中國(guó)的SAN占中國(guó)存儲(chǔ)市場(chǎng)的60%。

      NAS應(yīng)該是有空間的,但其所占的市場(chǎng)份額卻沒(méi)有增長(zhǎng)力度;SAN的技術(shù)已經(jīng)顯得不那么盡如人意了,但其市場(chǎng)趨勢(shì)還是持續(xù)上揚(yáng)。這是因?yàn)閿?shù)據(jù)中心還處于建設(shè)過(guò)程中,而另一部分則因?yàn)檫@兩種技術(shù)之間還沒(méi)有找到一個(gè)很好的平衡點(diǎn)。

      總之,大數(shù)據(jù)對(duì)結(jié)構(gòu)化數(shù)據(jù)或是數(shù)據(jù)庫(kù)來(lái)講,對(duì)BI的管理能力都非常重要。大數(shù)據(jù)對(duì)非結(jié)構(gòu)化數(shù)據(jù)來(lái)講,尤其是對(duì)服務(wù)媒體行業(yè),是能提高效率降低整個(gè)IT成本的一個(gè)比較好的舉措。對(duì)于中國(guó)廠(chǎng)商而言,隨著大數(shù)據(jù)量的猛增,集群NAS在中國(guó)市場(chǎng)空間將得到非??焖俚脑鲩L(zhǎng),這將是中國(guó)用戶(hù)的福音,也將是中國(guó)廠(chǎng)商的一個(gè)大機(jī)遇,區(qū)別就在于是否能夠很好的把握。

      Netezza:只怕數(shù)據(jù)不夠大

      大數(shù)據(jù)的概念和云計(jì)算一樣,不是新近出現(xiàn)的。但是它又如一陣風(fēng),悄悄進(jìn)入到各大會(huì)議和論壇中,進(jìn)入人們的視線(xiàn)。過(guò)去大數(shù)據(jù)單指體積龐大,現(xiàn)在以更全面的眼光來(lái)看,大數(shù)據(jù)更加多樣化、速度接近實(shí)時(shí),不僅包括非結(jié)構(gòu)化數(shù)據(jù),而且還有結(jié)構(gòu)化數(shù)據(jù)。

      在眾多企業(yè)用戶(hù)眼中,理想的大數(shù)據(jù)數(shù)據(jù)管理和分析平臺(tái)應(yīng)該像電燈開(kāi)關(guān)一樣簡(jiǎn)單、可靠和直接,能夠快速處理人們幾乎無(wú)法想象的工作量。這也是IBM Netezza致力于為用戶(hù)提供的。在IBM Netezza亞太區(qū)市場(chǎng)營(yíng)銷(xiāo)總經(jīng)理Timothy Young看來(lái),大數(shù)據(jù)為公司帶來(lái)的不應(yīng)該是挑戰(zhàn),相反應(yīng)該是機(jī)遇,他笑著表示,“我們只怕數(shù)據(jù)不夠大,數(shù)據(jù)量越大,就越能從中提取出用戶(hù)有價(jià)值信息?!辈灰?,IBM通過(guò)“沃森”超級(jí)問(wèn)答系統(tǒng)讓我們窺見(jiàn)到大數(shù)據(jù)分析的未來(lái)。沃森也是工作負(fù)載優(yōu)化系統(tǒng)的終極范例,它通過(guò)分析非結(jié)構(gòu)化數(shù)據(jù)能夠在幾秒鐘內(nèi)找到問(wèn)題答案。

      業(yè)界專(zhuān)家曾表示,“一體機(jī)”是實(shí)現(xiàn)大數(shù)據(jù)的最優(yōu)異的方式之一,一體機(jī)能將主機(jī)、存儲(chǔ)整合在一個(gè)標(biāo)準(zhǔn)的工業(yè)機(jī)柜里,預(yù)裝操作系統(tǒng)、數(shù)據(jù)庫(kù),同時(shí)預(yù)裝相關(guān)的工具軟件。Netezza作為一體機(jī)概念的提出者,優(yōu)勢(shì)并非來(lái)自最強(qiáng)勁最昂貴的IT組件,而是將合適的組件組裝起來(lái)并將性能發(fā)揮到極致——這恰恰為眾多具有大數(shù)據(jù)分析需求的企業(yè)提供了嶄新的機(jī)遇。甲骨文CEO Larry Ellison曾這樣表示:“Netezza是Exadata的靈感來(lái)源之一?!?/p>

      “對(duì)于企業(yè)而言,產(chǎn)品的優(yōu)劣有很多衡量方式。IBM 軟件集團(tuán)大中華區(qū)Netezza 銷(xiāo)售總監(jiān)肖冰與記者分享了IBM的‘4S’標(biāo)準(zhǔn),即Speed(速度)、Simple(簡(jiǎn)單)、Scalability(可擴(kuò)充性)和Smart(智能)——設(shè)備管理和分析數(shù)據(jù)的速度是用戶(hù)首要需求;讓行業(yè)用戶(hù)更容易掌握設(shè)備的操作,決定產(chǎn)品能否被廣泛應(yīng)用;優(yōu)秀的可擴(kuò)充性,保證了處理數(shù)據(jù)量增長(zhǎng)的需求;架構(gòu)方式布局靈活,更是產(chǎn)品穩(wěn)定高效運(yùn)行的決定性因素——正是這四個(gè)標(biāo)準(zhǔn)決定了公司的市場(chǎng)競(jìng)爭(zhēng)力和領(lǐng)導(dǎo)力。獨(dú)特架構(gòu)直擊“大數(shù)據(jù)”

      在精要的“4S”標(biāo)準(zhǔn)之上,是產(chǎn)品獨(dú)特的系統(tǒng)架構(gòu)設(shè)計(jì)模式:其大規(guī)模并行處理(MPP)流將多核CPU與FPGA加速流技術(shù)引擎(FASTTM)結(jié)合,能夠提供連那些非常昂貴的系統(tǒng)都無(wú)法匹配甚至接近的性能——這些獨(dú)特的技術(shù)使得Netezza在當(dāng)前“一體機(jī)”市場(chǎng)中處于領(lǐng)先。

      IT圈內(nèi)的人都知道,一個(gè)好的系統(tǒng)架構(gòu)設(shè)計(jì),在很大程度上決定了這款產(chǎn)品的成敗,對(duì)于處理大數(shù)據(jù)來(lái)說(shuō),這個(gè)原則顯得尤其重要。因此當(dāng)對(duì)一個(gè)大型數(shù)據(jù)集進(jìn)行操作時(shí),除非絕對(duì)需要,否則不輕易移動(dòng)數(shù)據(jù)。Netezza將這一原則發(fā)揮至極致,利用現(xiàn)場(chǎng)可編程邏輯門(mén)陣列(FPGA)組件盡早的將多余的數(shù)據(jù)從數(shù)據(jù)流中過(guò)濾掉,以減少其對(duì)硬盤(pán)空間的占用,并將下游組件如CPU、內(nèi)存和網(wǎng)絡(luò)從多余的數(shù)據(jù)處理中解放出來(lái),從而使系統(tǒng)性能有了根本性的顯著提高。

      最后,肖冰與記者分享了Netezza的架構(gòu)特點(diǎn),它結(jié)合了SMP(對(duì)稱(chēng)多處理)和MPP(大規(guī)模并行處理)的優(yōu)點(diǎn),建立了一個(gè)能以極快的速度分析PB量級(jí)數(shù)據(jù)的設(shè)備。該架構(gòu)中的每一個(gè)組件,包括處理器、FPGA、內(nèi)存和網(wǎng)絡(luò)連接都經(jīng)過(guò)了精心的挑選和優(yōu)化,在硬盤(pán)物理?xiàng)l件許可的情況下,以最低的成本和能耗快速地處理數(shù)據(jù)。它通過(guò)軟件協(xié)調(diào)這些組件以流水線(xiàn)的方式對(duì)數(shù)據(jù)進(jìn)行并發(fā)操作,從而充分獲取和利用每個(gè)MPP的節(jié)點(diǎn)上最大吞吐量。除了將性能提高幾個(gè)數(shù)量級(jí)以外,這個(gè)平衡的架構(gòu)還能夠?yàn)槌^(guò)1000的并發(fā)處理流提供線(xiàn)性可擴(kuò)展性,以及非常低的總體擁有成本。

      在Timothy Young看來(lái),大數(shù)據(jù)為公司帶來(lái)的不應(yīng)該是挑戰(zhàn),相反應(yīng)該是機(jī)遇。

      大數(shù)據(jù)的“專(zhuān)用”數(shù)據(jù)庫(kù)

      人們談及“大數(shù)據(jù)”有兩層含義:一個(gè)是數(shù)據(jù)總量大,普通企業(yè)的數(shù)據(jù)總量也可以進(jìn)入PB級(jí);而另一個(gè)含義是指數(shù)據(jù)類(lèi)型復(fù)雜,除了傳統(tǒng)的結(jié)構(gòu)化數(shù)據(jù)之外,更大量的數(shù)據(jù)類(lèi)型是郵件、博客、微博等。

      對(duì)數(shù)據(jù)庫(kù)而言,這些都似乎不是什么好事,因?yàn)檫@意味著對(duì)數(shù)據(jù)庫(kù)的處理能力提出了更高的要求。

      傳統(tǒng)數(shù)據(jù)庫(kù)“遇阻”

      Joydeep Das看來(lái),大數(shù)據(jù)時(shí)代,應(yīng)該是專(zhuān)項(xiàng)的數(shù)據(jù)庫(kù),解決專(zhuān)項(xiàng)的問(wèn)題。

      不管是不是在云的環(huán)境下,數(shù)據(jù)庫(kù)永遠(yuǎn)都要解決兩個(gè)問(wèn)題:一個(gè)是怎樣快速地把數(shù)據(jù)吸收進(jìn)來(lái),然后把它變成數(shù)據(jù)庫(kù);另外一個(gè)問(wèn)題是怎樣把數(shù)據(jù)庫(kù)里面的數(shù)據(jù)分析出來(lái),讀出來(lái),把結(jié)果返回庫(kù)里。

      究其本質(zhì),以上二者要解決的是一個(gè)問(wèn)題,即如何快速地將數(shù)據(jù)在需要的時(shí)候進(jìn)行存取。以Sybase IQ為例,在數(shù)據(jù)快速入庫(kù)這個(gè)方面,近年來(lái)已有諸多改進(jìn)。比如增加了多種數(shù)據(jù)表加載的方式,通過(guò)一些復(fù)制服務(wù)器,能隨時(shí)把數(shù)據(jù)復(fù)制到IQ里面來(lái)的機(jī)制,這些實(shí)際縮短了數(shù)據(jù)從產(chǎn)生到進(jìn)入數(shù)據(jù)庫(kù)的時(shí)間。

      除了有從數(shù)據(jù)庫(kù)里面讀取數(shù)據(jù)的方式以外,還有根據(jù)流數(shù)去進(jìn)行分析判斷結(jié)果的一個(gè)方式,比如CEP。這個(gè)方式并不要求數(shù)據(jù)已經(jīng)持久化了才可以去做分析,它是隨著數(shù)據(jù)的流動(dòng),可以隨時(shí)地做分析。它解決了用戶(hù)的問(wèn)題,縮短了時(shí)間。

      列式數(shù)據(jù)庫(kù)在數(shù)據(jù)分析、海量存儲(chǔ)、BI這三個(gè)領(lǐng)域有自己獨(dú)到的優(yōu)勢(shì),已經(jīng)得到了業(yè)內(nèi)專(zhuān)家的認(rèn)可。傳統(tǒng)行式數(shù)據(jù)庫(kù)在大數(shù)據(jù)領(lǐng)域“受阻”有目共睹,列式數(shù)據(jù)庫(kù)代表了大數(shù)據(jù)領(lǐng)域很多新的技術(shù)方向。這個(gè)新的方向是和傳統(tǒng)的數(shù)據(jù)庫(kù)非常不同,但是用戶(hù)卻經(jīng)常被一些傳統(tǒng)數(shù)據(jù)庫(kù)衡量指標(biāo)來(lái)要求。

      舉例來(lái)說(shuō),比如果農(nóng)在山上每天采果子,他們的目的是要把這些果子運(yùn)出來(lái)賣(mài)掉。傳統(tǒng)的方式是修了路,把果子從山上一點(diǎn)點(diǎn)運(yùn)下來(lái),然后賣(mài)出去?,F(xiàn)在他們的果子多了,想更快的賣(mài)出去的話(huà),他們想的方法是怎么樣把路拓寬,或者車(chē)怎么樣開(kāi)得快。所以果農(nóng)的新問(wèn)題是,“告訴我旋轉(zhuǎn)的半徑是多少”、“你開(kāi)的最小的拐彎半徑是多少”?,F(xiàn)在給他提供一個(gè)方案就是,不需要車(chē),而是用一個(gè)索道,把果子從上面直接滑到山下面。所以用戶(hù)提供給廠(chǎng)商的指標(biāo),很可能是毫無(wú)意義的。

      具體到技術(shù)層面,隨機(jī)讀取對(duì)OLTP數(shù)據(jù)庫(kù)來(lái)說(shuō)很重要,為什么?是因?yàn)檫@是它查找數(shù)據(jù)的方式。從行式數(shù)據(jù)庫(kù)數(shù)據(jù)的擺放方式就可以知道,它的擺放是按行來(lái)放的,一行里面只有一個(gè)收入數(shù)據(jù)。用戶(hù)如果要對(duì)所有人的收入進(jìn)行分析歸類(lèi),就必須在全磁盤(pán)查找。

      所以Random Seek對(duì)行式數(shù)據(jù)庫(kù)來(lái)說(shuō)非常重要。但是對(duì)列式數(shù)據(jù)庫(kù)來(lái)說(shuō),這個(gè)詞并不重要。因?yàn)樗械氖杖攵挤旁谝黄鹆?,是sequential read順序讀?!捌鋵?shí)所有硬盤(pán)的順序都差不多,只有Random Seek讀才會(huì)有差別,7200轉(zhuǎn)和15000轉(zhuǎn)可能會(huì)差一倍,現(xiàn)在最高速的也就是2萬(wàn)轉(zhuǎn),但誰(shuí)會(huì)用2萬(wàn)轉(zhuǎn)的盤(pán)呢?沒(méi)多少人用,因?yàn)樗哪芎姆浅4?,而且穩(wěn)定性非常低。但是Random Seek或者隨機(jī)讀這個(gè)速度來(lái)突破數(shù)據(jù)倉(cāng)庫(kù)的效率的話(huà),對(duì)Sybase來(lái)說(shuō),這是一個(gè)錯(cuò)誤的路線(xiàn)。我們有更好的方式,把數(shù)據(jù)合理的擺放,通過(guò)順序讀這樣一個(gè)非常優(yōu)秀且低廉就是順序讀的技術(shù),用戶(hù)便可以成倍、成十倍的提高這個(gè)分析讀”,Sybase公司分析產(chǎn)品管理部總監(jiān)Joydeep Das說(shuō)。

      為大數(shù)據(jù)量體裁衣

      在Joydeep 看來(lái),大數(shù)據(jù)時(shí)代,應(yīng)該是專(zhuān)項(xiàng)的數(shù)據(jù)庫(kù),解決專(zhuān)項(xiàng)的問(wèn)題?!北热鏢ybase ASE,用來(lái)解決OLTP這樣的一些事務(wù)性的數(shù)據(jù)的應(yīng)用是非常適合的。我們還有一個(gè)小型的數(shù)據(jù)庫(kù),叫Sybase SQL Anywhere,用來(lái)解決一些嵌入式的應(yīng)用,比如可能嵌入在一些ATM機(jī),可能嵌入在一些導(dǎo)彈里,或者在一些硬件設(shè)備里面。它的應(yīng)用場(chǎng)景其實(shí)也非常廣,但是它解決的是一類(lèi)移動(dòng)或者是比較小型的應(yīng)用。最后就是Sybase IQ,就是列式數(shù)據(jù)庫(kù),它解決的是一些專(zhuān)門(mén)的用于分析領(lǐng)域的應(yīng)用?!?/p>

      這并不意味著傳統(tǒng)的數(shù)據(jù)庫(kù)是一個(gè)過(guò)時(shí)的技術(shù),只是不同數(shù)據(jù)庫(kù)有不同的專(zhuān)用領(lǐng)域。

      傳統(tǒng)的行式數(shù)據(jù)庫(kù),設(shè)計(jì)初衷就是為了解決幾行數(shù)據(jù)的一些實(shí)時(shí)或并發(fā)的操作。而現(xiàn)在的數(shù)據(jù)倉(cāng)庫(kù)或分析領(lǐng)域,往往遇到的是在集列上,需要觸及很多很多行,是完全不同的應(yīng)用場(chǎng)景。在這樣的應(yīng)用場(chǎng)景里面,行式數(shù)據(jù)庫(kù)卻是非常不好用,它沒(méi)有辦法像列式數(shù)據(jù)庫(kù)這樣,只在幾列上面非常高效的去把分析完成。這是這兩類(lèi)技術(shù)之間的一個(gè)很大的差別。

      據(jù)介紹,Sybase IQ 15.3,其設(shè)計(jì)正是為了滿(mǎn)足企業(yè)不斷增長(zhǎng)的多樣化的分析需求。相比于傳統(tǒng)的“行式存儲(chǔ)”的關(guān)系型數(shù)據(jù)庫(kù),它在進(jìn)行分析查詢(xún)時(shí),傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)需要緩慢地讀取整個(gè)表的每一行,這種讀取方式通常會(huì)阻塞I/O通道、內(nèi)存和磁盤(pán),而它僅需讀取查詢(xún)所需的列,其垂直分區(qū)策略不僅能夠支持大量的用戶(hù)、大規(guī)模數(shù)據(jù),還可以提交對(duì)商業(yè)信息的高速訪(fǎng)問(wèn),其速度可達(dá)到傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)的百倍甚至千倍。

      另外,它所采用的Multiplex技術(shù),充分利用了單個(gè)服務(wù)器(節(jié)點(diǎn))在執(zhí)行特定功能時(shí)可進(jìn)行磁盤(pán)存儲(chǔ)共享并通用的優(yōu)勢(shì)。也就是說(shuō),存儲(chǔ)是共享的、壓縮的、列分區(qū)存儲(chǔ)的,它們通過(guò)一條高速的光纖通道與Multiplex架構(gòu)中的所有服務(wù)器節(jié)點(diǎn)互聯(lián)。這些服務(wù)器節(jié)點(diǎn)既可以作為數(shù)據(jù)讀節(jié)點(diǎn)也可以作為寫(xiě)節(jié)點(diǎn)(或者兩者都是)運(yùn)行,支持所有連接到共享數(shù)據(jù)源的并發(fā)的數(shù)據(jù)加載和查詢(xún)。這一技術(shù)使得它可以在大量的使用場(chǎng)景中游刃有余,比如快速的并行分析和報(bào)表,同時(shí)支持高速的實(shí)時(shí)數(shù)據(jù)加載、批量數(shù)據(jù)集成任務(wù)、即席客戶(hù)端加載和查詢(xún)等等。

      容量和效率的“內(nèi)斗”

      對(duì)于大數(shù)據(jù)有很多看法?;趶目蛻?hù)那里了解的工作負(fù)載要求,NetApp的看法是,將大數(shù)據(jù)分為三大類(lèi),即:大分析(Big Analytics),幫助獲得洞見(jiàn)。高帶寬(Big Bandwidth),幫助走得更快。大內(nèi)容(Big Content),不丟失任何信息。

      絕對(duì)數(shù)據(jù)量退居“二線(xiàn)”

      目前很多試圖應(yīng)對(duì)大數(shù)據(jù)挑戰(zhàn)的IT經(jīng)理們把更多注意力都放在了信息的量上,而忽視了信息管理的其他方面,對(duì)此,NetApp大中華區(qū)系統(tǒng)技術(shù)及專(zhuān)業(yè)服務(wù)部總監(jiān)何英華表示,不論在傳統(tǒng)數(shù)據(jù)中心建設(shè),還是在先進(jìn)的“云計(jì)算”數(shù)據(jù)中心架構(gòu)設(shè)計(jì)中,我國(guó)大中型企事業(yè)單位用戶(hù)和一些領(lǐng)先的集成商,對(duì)數(shù)據(jù)使用、數(shù)據(jù)存儲(chǔ)和數(shù)據(jù)管理工作等諸多方面的關(guān)注,早已遠(yuǎn)遠(yuǎn)超出了單純的“存儲(chǔ)容量、存儲(chǔ)介質(zhì)”甚至“存儲(chǔ)訪(fǎng)問(wèn)協(xié)議”的范疇。

      舉例來(lái)說(shuō),何英華團(tuán)隊(duì)中的咨詢(xún)顧問(wèn)專(zhuān)家多次表示,早在8~9年前,當(dāng)PATA磁盤(pán)剛剛在企業(yè)存儲(chǔ)系統(tǒng)市場(chǎng)展露頭角的時(shí)候就已經(jīng)發(fā)現(xiàn),在與那些高水平的用戶(hù)進(jìn)行交流時(shí),他們最為關(guān)注的不是PATA,或者隨后出現(xiàn)的SATA本身。換句話(huà)說(shuō),除了ATA介質(zhì)所帶來(lái)的單盤(pán)高密度存儲(chǔ)特性,用戶(hù)最為關(guān)注的反而是附加在大容量存儲(chǔ)系統(tǒng)上面的一系列存儲(chǔ)優(yōu)化功能,如:RAID-DP、DeDup、FlexClone等技術(shù)上。這個(gè)發(fā)現(xiàn)恰好對(duì)“數(shù)據(jù)量”和“管理、使用”在關(guān)注程度上的差異提供了一個(gè)十分明顯的對(duì)比。剛才提到的這些技術(shù),也正是“大數(shù)據(jù)”概念下,實(shí)現(xiàn)“數(shù)據(jù)分析”、“優(yōu)化數(shù)據(jù)帶寬”、“理順數(shù)據(jù)組織方式”的前提和基礎(chǔ)??陀^地講,隨著“大數(shù)據(jù)”概念的提出,越來(lái)越多的IT管理者對(duì)“數(shù)據(jù)分析”、“數(shù)據(jù)帶寬”、“內(nèi)容合理組織”等話(huà)題的關(guān)注,不是“忽如一夜春風(fēng)來(lái)”,而恰恰是由來(lái)已久了。他們對(duì)絕對(duì)數(shù)據(jù)量的關(guān)注,已經(jīng)逐漸退居到從屬地位了。

      先求“最大公約數(shù)”,再求“最小公倍數(shù)”

      何英華:用戶(hù)對(duì)絕對(duì)數(shù)據(jù)量的關(guān)注,已經(jīng)逐漸退居到從屬地位了。

      當(dāng)提到“大數(shù)據(jù)”概念的時(shí)候,有兩個(gè)值得思考的問(wèn)題:當(dāng)性能不再是關(guān)鍵需求時(shí),存儲(chǔ)容量對(duì)公司究竟有多重要?這兩個(gè)有分歧的要求能在同一市場(chǎng)、解決方案和設(shè)備中共存嗎?何英華的發(fā)現(xiàn)是,當(dāng)今的環(huán)境下,尤其是“云計(jì)算”、“大數(shù)據(jù)”等概念層出不窮的特定“語(yǔ)境”下,穩(wěn)定/可靠性、性能、容量/高密度容量、多手段數(shù)據(jù)保護(hù)仍然是幾乎每一個(gè)客戶(hù)所關(guān)注的。雖然他們各自關(guān)注的重點(diǎn)不同,但是把這些要素放到一起,它們之間并不是有分歧的,或者說(shuō),它們彼此應(yīng)該是互為因果、互為支撐的。比如說(shuō),沒(méi)有長(zhǎng)期的歷史數(shù)據(jù)積累,也就無(wú)從談到客觀、準(zhǔn)確的數(shù)據(jù)分析預(yù)測(cè);沒(méi)有準(zhǔn)確、迅速的數(shù)據(jù)挖掘過(guò)程,也就無(wú)從談到有效、到位的決策輔助支撐。在日益復(fù)雜的應(yīng)用要求下,將不同的要素加以合理擺放、分別解決,十分重要。

      何英華笑著談到了一家中國(guó)頂級(jí)在線(xiàn)數(shù)據(jù)服務(wù)商的CIO,他曾經(jīng)這樣對(duì)NetApp的銷(xiāo)售和技術(shù)人員說(shuō)——“面對(duì)紛繁復(fù)雜的業(yè)務(wù)需求,進(jìn)而需要翻譯成恰當(dāng)?shù)募夹g(shù)需求時(shí),不妨用一種簡(jiǎn)便又不簡(jiǎn)單的方法來(lái)處理,那就是,先求‘最大公約數(shù)’,再求‘最小公倍數(shù)’,給出適當(dāng)安全余量,明確步驟,加以實(shí)現(xiàn)”。

      事實(shí)上,“云計(jì)算”、“大數(shù)據(jù)”的核心需求發(fā)端于在線(xiàn)服務(wù)和互聯(lián)網(wǎng)行業(yè),它們“開(kāi)放”、“共享”、“快捷”的行業(yè)特性,不僅改寫(xiě)了技術(shù)發(fā)展的進(jìn)程,也定義了很多技術(shù)發(fā)展的趨勢(shì)。當(dāng)然,在傳統(tǒng)的電信、金融服務(wù)領(lǐng)域,對(duì)這些用戶(hù)而言,毋庸置疑,擺在他們面前的,是大量的數(shù)據(jù)、大量的設(shè)備、大量的管理維護(hù)工作量,但是不意味著“性能、穩(wěn)定/可靠性、多手段數(shù)據(jù)保護(hù)”等要素不重要。用戶(hù)應(yīng)該采用一系列的技術(shù)手段、定制一系列的管理規(guī)程,來(lái)規(guī)范各個(gè)要素的相互關(guān)系,或者說(shuō),做到“平衡”,一種有所側(cè)重的“平衡”。

      在部署中發(fā)現(xiàn)、解決問(wèn)題

      “大數(shù)據(jù)”系統(tǒng)的部署過(guò)程確實(shí)是一個(gè)發(fā)現(xiàn)問(wèn)題、解決問(wèn)題的過(guò)程,對(duì)不同的用戶(hù),不同的應(yīng)用,NetApp都有成型的不同的解決方案集供他們參考。

      在大數(shù)據(jù)部署的過(guò)程中,何英華和他的團(tuán)隊(duì)發(fā)現(xiàn)常見(jiàn)的問(wèn)題往往有:

      對(duì)現(xiàn)有業(yè)務(wù)條件和未來(lái)業(yè)務(wù)目標(biāo)定位模糊,熱議但缺乏審視,就好像中國(guó)IT行業(yè)幾乎一夜之間都在談?wù)摗霸朴?jì)算”,都在談?wù)揝aaS、軟件即服務(wù)一樣。中國(guó)有句話(huà),放在這里可能不是特別貼切,不過(guò)這句話(huà)說(shuō)“老吾老以及人之老”,“幼吾幼以及人之幼”,說(shuō)得是尊老愛(ài)幼之道,對(duì)數(shù)據(jù)中心建設(shè)而言呢?應(yīng)該也是,先建設(shè)好自己的數(shù)據(jù)中心,再去給別人提供數(shù)據(jù)中心外包服務(wù)?;蛘哒f(shuō),以良好的基礎(chǔ),提供適度的服務(wù)。否則,“云計(jì)算”、“大數(shù)據(jù)”的建設(shè)可能流于形式。

      參考國(guó)外先進(jìn)案例時(shí),疏忽于適用性檢查。NetApp的用戶(hù)中不乏搜索、線(xiàn)上視頻、線(xiàn)上音樂(lè)等行業(yè)的領(lǐng)軍企業(yè)。這些用戶(hù)也很樂(lè)意向他們學(xué)習(xí)、取經(jīng),這都是好事。不過(guò)有時(shí)大家容易關(guān)注光鮮亮麗的方面,疏于比較彼此之間的差異。

      關(guān)注概念本身、技術(shù)選項(xiàng)本身大于關(guān)注“平衡”的全局等。有這些問(wèn)題,本身是正常的。因?yàn)檫@個(gè)時(shí)代決定了用戶(hù)的很多動(dòng)向都是帶有“試驗(yàn)”性質(zhì)的。我們的建議是明確定義自己的需求,以開(kāi)放的心態(tài)多與同行、廠(chǎng)商、集成商、行業(yè)專(zhuān)家進(jìn)行探討,共同分析問(wèn)題、解決問(wèn)題。

      讓大數(shù)據(jù)在“云端”奔跑

      進(jìn)入“大數(shù)據(jù)”時(shí)代,出現(xiàn)了不少新興的數(shù)據(jù)挖掘技術(shù),使得對(duì)數(shù)據(jù)財(cái)富的儲(chǔ)存、處理和分析變得比以往任何時(shí)候都更便宜、更快速了。只要有了超級(jí)計(jì)算環(huán)境,那么大數(shù)據(jù)技術(shù)就能被眾多的企業(yè)所用,從而改變很多行業(yè)經(jīng)營(yíng)業(yè)務(wù)的的方式。

      目前很多試圖應(yīng)對(duì)大數(shù)據(jù)挑戰(zhàn)的IT經(jīng)理們把更多注意力都放在了數(shù)據(jù)的量上,談到大數(shù)據(jù),數(shù)據(jù)量固然是重要且必要,但不是唯一必要的條件,在信息管理及流程管理等方面也是不容忽視的,。未來(lái)的數(shù)據(jù)將呈指數(shù)級(jí)增長(zhǎng),如果過(guò)度地將重心放在數(shù)據(jù)量問(wèn)題上了,大數(shù)據(jù)的權(quán)重給得太高,可能導(dǎo)致決策短視,阻礙企業(yè)信息架構(gòu)擴(kuò)張以滿(mǎn)足不斷變化的業(yè)務(wù)需要。

      對(duì)于“大挑戰(zhàn)”,業(yè)內(nèi)專(zhuān)家表示,可以從三個(gè)層面來(lái)看待,首先從技術(shù)方面來(lái)說(shuō),大數(shù)據(jù)的存儲(chǔ)和分析是沒(méi)有問(wèn)題的,服務(wù)器的性能可以滿(mǎn)足數(shù)據(jù)裝載、加工、提煉和分析的要求。第二個(gè)挑戰(zhàn),多結(jié)構(gòu)化的數(shù)據(jù)是需要有人才來(lái)了解新類(lèi)型的數(shù)據(jù),而人才的培養(yǎng)和訓(xùn)練機(jī)制對(duì)每一個(gè)業(yè)者及企業(yè)都是一個(gè)挑戰(zhàn)。一般來(lái)說(shuō),多結(jié)構(gòu)化數(shù)據(jù)不可能經(jīng)過(guò)一次提煉就得到結(jié)果,可能需要周而復(fù)始重復(fù)針對(duì)數(shù)據(jù)做出一連串提煉加工,才能分析出來(lái)有用的信息,讓企業(yè)使用并產(chǎn)生價(jià)值,也就是說(shuō),分析的工具是要能被重復(fù)使用,好像是主程序呼叫子程序,在主程序?qū)⒉煌膮?shù)傳給子程序,就可以得到所所需要的結(jié)果。所以合適的工具是加速人才培育的一種方法。最大的挑戰(zhàn)是要分析哪一類(lèi)的數(shù)據(jù)?做什么樣的提煉?提煉出的信息如何產(chǎn)生業(yè)務(wù)的價(jià)值,產(chǎn)生業(yè)務(wù)價(jià)值以后怎么樣導(dǎo)入到整個(gè)企業(yè)的流程管理層面。大數(shù)據(jù)面臨著大挑戰(zhàn),不過(guò),如果企業(yè)可以解決這些問(wèn)題,并且從中吸取經(jīng)驗(yàn),那這些大挑戰(zhàn)就是機(jī)遇。

      云計(jì)算和大數(shù)據(jù)是當(dāng)前兩個(gè)相伴而生的重要趨勢(shì)。企業(yè)的IT環(huán)境越來(lái)越龐大,IT系統(tǒng)的管理和維護(hù)越來(lái)越復(fù)雜,企業(yè)IT投資的70%以上都用于IT系統(tǒng)本身的管理和維護(hù),只有不到30%的投資用在了企業(yè)的業(yè)務(wù)發(fā)展上。云計(jì)算技術(shù)可以實(shí)現(xiàn)I T資源的自動(dòng)化管理和配置,降低IT管理的復(fù)雜性,提高資源利用效率。對(duì)IT企業(yè)來(lái)說(shuō),需要按照云計(jì)算技術(shù)的特點(diǎn)轉(zhuǎn)變業(yè)務(wù)模式,以服務(wù)的方式提供IT技術(shù)。

      “云計(jì)算和大數(shù)據(jù)不是對(duì)立的,因?yàn)樵朴?jì)算是一個(gè)使用的模式,為企業(yè)提供了一些便利性和使用方面的經(jīng)濟(jì)實(shí)惠,因?yàn)槭前葱璺?wù)?!盩eradata天睿公司大中華區(qū)產(chǎn)品技術(shù)及業(yè)務(wù)支持副總經(jīng)理張錦滄表示,“一個(gè)很大的企業(yè),本身就有非常多的數(shù)據(jù),他們的數(shù)據(jù)是建在自己的一個(gè)平臺(tái),也是一個(gè)云的計(jì)算,是沒(méi)有被外部人使用的。不一定是大數(shù)據(jù)就一定要在云計(jì)算上面做建制和實(shí)施的,是可以有選擇性的。云計(jì)算使大量數(shù)據(jù)集中,對(duì)中小企業(yè)的使用來(lái)講,除了使用個(gè)體的公司自己的數(shù)據(jù)之外,還可以跨產(chǎn)業(yè)或者是跨公司進(jìn)行宏觀的分析?!盩eradata天睿公司的另一個(gè)專(zhuān)業(yè):企業(yè)數(shù)據(jù)倉(cāng)庫(kù)解決方案,它是集合企業(yè)內(nèi)不同業(yè)務(wù)部門(mén)的數(shù)據(jù),來(lái)達(dá)成單一視圖, 現(xiàn)在企業(yè)數(shù)據(jù)倉(cāng)庫(kù)也可以和大數(shù)據(jù)分析整合,讓企業(yè)的分析視角更廣、更全面。

      云計(jì)算的大趨勢(shì)已毋庸置疑,而正當(dāng)它被企業(yè)逐漸認(rèn)識(shí)和部署的時(shí)候,業(yè)界領(lǐng)袖們又將目光瞄向了下一個(gè)目標(biāo)——大數(shù)據(jù)?,F(xiàn)在,是IT創(chuàng)新者重新思考的時(shí)候了,通過(guò)云計(jì)算與大數(shù)據(jù)的碰撞,最終會(huì)為企業(yè)帶來(lái)多少“價(jià)值”,從而獲得更多隱藏在大數(shù)據(jù)中的機(jī)會(huì)。

      張錦滄:對(duì)IT企業(yè)來(lái)說(shuō),需要按照云計(jì)算技術(shù)的特點(diǎn)轉(zhuǎn)變業(yè)務(wù)模式,以服務(wù)的方式提供IT技術(shù)。

      “機(jī)會(huì)”在“集成”

      不久前,F(xiàn)acebook宣布其用戶(hù)量目前已超過(guò)7.5億,每天的分享次數(shù)達(dá)40億。這是一個(gè)非常巨大的數(shù)據(jù)。

      根據(jù)IDC的預(yù)測(cè),從2009年到2020年,數(shù)據(jù)總量將增長(zhǎng)44倍,達(dá)到35ZB。在海量的數(shù)據(jù)面前,對(duì)于以數(shù)據(jù)為中心的企業(yè)而言,數(shù)據(jù)的質(zhì)量至關(guān)重要。

      不久前,世界電信產(chǎn)業(yè)界富有權(quán)威性的中立咨詢(xún)顧問(wèn)公司Ovum公布了一份題為“優(yōu)化企業(yè)應(yīng)用:數(shù)據(jù)連接”的最新研究報(bào)告指出:“無(wú)論應(yīng)用平臺(tái)的架構(gòu)有多么精良,或開(kāi)發(fā)團(tuán)隊(duì)的效率有多高,在基礎(chǔ)數(shù)據(jù)及其管理策略存在缺陷的情況下,所有為改進(jìn)應(yīng)用管理和交付所做的努力都將是徒勞無(wú)功的?!睖?zhǔn)確地指明了數(shù)據(jù)蔓延和劣質(zhì)數(shù)據(jù)是導(dǎo)致不良應(yīng)用程序管理和性能的罪魁禍?zhǔn)祝敝傅土拥臄?shù)據(jù)與實(shí)施或運(yùn)行應(yīng)用程序的初衷“背道而馳”。

      簡(jiǎn)單來(lái)說(shuō),沒(méi)有良好的數(shù)據(jù),沒(méi)有更加良好的數(shù)據(jù)管理策略,用于業(yè)務(wù)應(yīng)用的投資將隨著應(yīng)用組合在企業(yè)內(nèi)的增長(zhǎng)和擴(kuò)展而日漸縮水。對(duì)于期望在擴(kuò)大的企業(yè)范圍內(nèi)利用交易數(shù)據(jù)和和社交媒體數(shù)據(jù)的企業(yè)來(lái)說(shuō),實(shí)施一個(gè)大數(shù)據(jù)集成平臺(tái)是當(dāng)務(wù)之急。這意味著各組織機(jī)構(gòu)必須有效地管理數(shù)據(jù)生命周期的每個(gè)階段,運(yùn)用信息生命周期管理、數(shù)據(jù)質(zhì)量、數(shù)據(jù)服務(wù)、主數(shù)據(jù)管理和其它規(guī)則與技術(shù),以便優(yōu)化性能并提高其業(yè)務(wù)應(yīng)用組合的投資回報(bào)率。

      Informatica公司主席兼首席執(zhí)行官Sohaib Abbasi指出:云計(jì)算、社交計(jì)算和移動(dòng)計(jì)算這些特大趨勢(shì)目前已相互交匯,在接下來(lái)的五年當(dāng)中,計(jì)算機(jī)行業(yè)將因此而發(fā)生改變。而這些趨勢(shì)也正在把數(shù)據(jù)集成提升為最重要的戰(zhàn)略性技術(shù)之一。

      這些趨勢(shì)決定著最重要的業(yè)務(wù)需要。全球化要求企業(yè)現(xiàn)代化以保持競(jìng)爭(zhēng)力;行業(yè)整合要求在合并后能成功地集成;增長(zhǎng)需要以客戶(hù)為中心和靈活性;運(yùn)營(yíng)效率要求優(yōu)化業(yè)務(wù)流程,包括外包;治理則需要相應(yīng)的企業(yè)風(fēng)險(xiǎn)和合規(guī)項(xiàng)目。

      所有這些業(yè)務(wù)需要都要求IT部門(mén)提供關(guān)鍵數(shù)據(jù)。但I(xiàn)T部門(mén)卻常常提供不了這些數(shù)據(jù),因?yàn)閿?shù)據(jù)擱置在多個(gè)系統(tǒng)中,包括部署在內(nèi)部的系統(tǒng)和云系統(tǒng)。毫無(wú)疑問(wèn),數(shù)據(jù)是決定這些業(yè)務(wù)變革是成功還是失敗的關(guān)鍵。這就促使很多垂直行業(yè)領(lǐng)域和世界各地的企業(yè)都渴望成為以數(shù)據(jù)為中心的企業(yè),而數(shù)據(jù)集成則比以往都來(lái)得更現(xiàn)實(shí)、更優(yōu)先、更緊迫。

      在過(guò)去40年中,關(guān)系型技術(shù)架構(gòu)是為了管理結(jié)構(gòu)化交易數(shù)據(jù)而優(yōu)化的。而現(xiàn)在出現(xiàn)了一種新的架構(gòu),是用來(lái)管理大數(shù)據(jù)的(包括社交互動(dòng)數(shù)據(jù))。這個(gè)新的架構(gòu)就是Hadoop。對(duì)于大社交數(shù)據(jù)而言,只有Hadoop的并行處理才能提供尚可接受的性能。要全部釋放社交媒體的好處,其挑戰(zhàn)就是要能把關(guān)系型交易和社交互動(dòng)這兩個(gè)環(huán)境集成起來(lái)。

      正是清楚認(rèn)識(shí)到數(shù)據(jù)集成在“大數(shù)據(jù)”時(shí)代的機(jī)遇重重,今年6月,Informatica成功地推出了創(chuàng)新的Informatica 9.1 for Big Data,這是專(zhuān)門(mén)為大數(shù)據(jù)而構(gòu)建的統(tǒng)一數(shù)據(jù)集成平臺(tái)。這個(gè)平臺(tái)的開(kāi)發(fā)目標(biāo)非常明確,這就是將海量數(shù)據(jù)帶來(lái)的挑戰(zhàn)轉(zhuǎn)化為重大機(jī)遇。軟件在大數(shù)據(jù)集成的三個(gè)方面提供了創(chuàng)新和全新功能:

      與海量交易數(shù)據(jù)的連接。9.1版本提供的一個(gè)全新關(guān)系/數(shù)據(jù)倉(cāng)庫(kù)設(shè)備包可將該連接擴(kuò)展到專(zhuān)為大數(shù)據(jù)定制的解決方案。不僅如此,它通過(guò)與OLTP和在線(xiàn)分析處理(OLAP)數(shù)據(jù)存儲(chǔ)的本地連接,提供了對(duì)高流量的交易數(shù)據(jù)的訪(fǎng)問(wèn),最大可達(dá)拍字節(jié)。

      與海量交互數(shù)據(jù)的連接。借助于產(chǎn)品所提供的與新型社交媒體的連接器,訪(fǎng)問(wèn)如 Facebook、Twitter、LinkedIn 和其它媒體等新數(shù)據(jù)源。將數(shù)據(jù)收集范圍擴(kuò)大到企業(yè)所在行業(yè)的新興價(jià)值數(shù)據(jù)集,包括設(shè)備和傳感器、CDR、海量圖像文件。

      海量數(shù)據(jù)處理。Informatica 9.1提供了新連接功能,可讓I T部門(mén)將來(lái)自任何來(lái)源的數(shù)據(jù)輸入Hadoop,同時(shí)從Hadoop中抽取數(shù)據(jù)發(fā)送給任何目標(biāo)。此外,該連接還允許對(duì)Hadoop中的數(shù)據(jù)應(yīng)用Informatica數(shù)據(jù)質(zhì)量、數(shù)量探查和其它技術(shù)。對(duì)于在Hadoop系統(tǒng)內(nèi)外合并交易和交互數(shù)據(jù)的企業(yè)來(lái)說(shuō),這些功能提供了全新的可能性。

      猜你喜歡
      數(shù)據(jù)量數(shù)據(jù)庫(kù)用戶(hù)
      基于大數(shù)據(jù)量的初至層析成像算法優(yōu)化
      計(jì)算Lyapunov指數(shù)的模糊C均值聚類(lèi)小數(shù)據(jù)量法
      高刷新率不容易顯示器需求與接口標(biāo)準(zhǔn)帶寬
      寬帶信號(hào)采集與大數(shù)據(jù)量傳輸系統(tǒng)設(shè)計(jì)與研究
      電子制作(2019年13期)2020-01-14 03:15:18
      數(shù)據(jù)庫(kù)
      關(guān)注用戶(hù)
      關(guān)注用戶(hù)
      數(shù)據(jù)庫(kù)
      關(guān)注用戶(hù)
      數(shù)據(jù)庫(kù)
      格尔木市| 石泉县| 南木林县| 阳城县| 巴林左旗| 宁津县| 天水市| 邯郸县| 永修县| 行唐县| 河曲县| 吉林省| 舒城县| 南汇区| 兰溪市| 肥西县| 太谷县| 太原市| 平凉市| 读书| 大英县| 云阳县| 广元市| 库尔勒市| 建平县| 泸定县| 彭州市| 平江县| 临夏市| 始兴县| 六盘水市| 毕节市| 九龙坡区| 许昌市| 泸定县| 周至县| 灌南县| 简阳市| 手游| 石狮市| 连城县|