英特爾攜手Cloudera為數(shù)據(jù)分析提速

夏添

作為數(shù)據(jù)洞察產(chǎn)生過程中最重要的一環(huán)，數(shù)據(jù)分析的速度、精準度、可擴展度，以及數(shù)據(jù)分析應(yīng)用的普適度都是企業(yè)衡量數(shù)據(jù)分析平臺的重要標準。而英特爾與Cloudera則計劃在這一領(lǐng)域攜手并進，從硬件和軟件全面加速數(shù)據(jù)分析應(yīng)用。

“目前90%的數(shù)據(jù)量，都是過去兩三年時間產(chǎn)生的，尤其是到2020年的時候會有500億互聯(lián)設(shè)備，他們會產(chǎn)生10000ZB的數(shù)據(jù)量?！?英特爾公司軟件與服務(wù)事業(yè)部副總裁、系統(tǒng)技術(shù)和優(yōu)化部門大數(shù)據(jù)技術(shù)總監(jiān)馬子雅女士表示，“大數(shù)據(jù)的價值就是通過對大量數(shù)據(jù)進行分析，可以給我們帶來更好的商業(yè)洞察力。英特爾在這方面已經(jīng)做了很多年，我們最終目標是希望任何大數(shù)據(jù)用戶能夠在英特爾的平臺上，他們的數(shù)據(jù)洞察力最好，數(shù)據(jù)分析速度最快捷也最方便?！?/p>

為了實現(xiàn)大數(shù)據(jù)目的，英特爾在硬件層面—無論從網(wǎng)絡(luò)、存儲還是運算—做了大量的創(chuàng)新，英特爾對很多大數(shù)據(jù)項目進行了優(yōu)化，保證他們能夠在英特爾的平臺上實現(xiàn)性能的大幅度提升。此外，英特爾也持續(xù)和Hadoop和Spark等大數(shù)據(jù)開源項目開展合作，希望推動開源未來的技術(shù)進一步提升和英特爾的黏和度。

“英特爾也推出了一些開源項目，比如TAP，Trusted Analytics Platform等用來加速基于云的分析應(yīng)用程序開發(fā)的項目。英特爾和很多業(yè)界同行、客戶有很多的合作關(guān)系，來幫助他們加速大數(shù)據(jù)和數(shù)據(jù)分析以及機器學習在英特爾平臺上的部署，實現(xiàn)商業(yè)價值。”馬子雅表示。

由于硬件性能和軟件優(yōu)化對大數(shù)據(jù)應(yīng)用生態(tài)的發(fā)展有重要作用，在數(shù)字服務(wù)經(jīng)濟時代，要借助數(shù)據(jù)分析技術(shù)更快地完成大規(guī)模機器學習與深度學習，從而更好、更精準地指導商業(yè)決策，仍需進一步的軟、硬件創(chuàng)新與優(yōu)化。為此，作為全球計算力創(chuàng)新的引領(lǐng)者，英特爾在加強至強處理器、至強融核處理器以及固態(tài)盤、FPGA等技術(shù)和產(chǎn)品創(chuàng)新的同時，也一直支持開源社區(qū)的創(chuàng)新和發(fā)展、并與Cloudera這樣業(yè)界領(lǐng)先的Hadoop數(shù)據(jù)管理軟件與服務(wù)提供商進行深入合作，在英特爾開放架構(gòu)硬件產(chǎn)品技術(shù)上進行不斷優(yōu)化，使系統(tǒng)平臺運算、分析能力實現(xiàn)不斷提升。

而英特爾面向?qū)崟r數(shù)據(jù)分析最快的處理器至強E7 v4、面向大數(shù)據(jù)應(yīng)用橫向擴展的最新處理器至強E5 v4，以及最新的非易失性存儲技術(shù)3D XPoint等工作，都為大數(shù)據(jù)應(yīng)用帶來新的價值。有的客戶通過遷移到新一代的英特爾的硬件技術(shù)，大數(shù)據(jù)的機組性能提高7倍。

英特爾在未來希望把物聯(lián)網(wǎng)和終端的數(shù)據(jù)分析進行更多的結(jié)合，尤其是物聯(lián)網(wǎng)越來越發(fā)展的情況下，英特爾將關(guān)注如何把數(shù)據(jù)收集和商業(yè)決定實時結(jié)合在一起，以及如何提升機器學習模塊的可擴展性，如何縮短機器學習的周期等領(lǐng)域。

在深度學習方面，英特爾也做了大量的努力—包括至強處理器的優(yōu)化、機遇至強融核（Xeon Phi）的計算密集型的工作及FPGA等其他的硬件創(chuàng)新，有些工作目前已經(jīng)有了非常好的進展。目前，英特爾深度學習解決方案在系統(tǒng)的擴展性方面相較競爭對手有較大的領(lǐng)先性，在京東、奇虎等互聯(lián)網(wǎng)用戶中已經(jīng)有豐富的案例。馬子雅介紹，在未來的18個月中，英特爾會推出至強融核（Xeon Phi）和FPGA的最新版解決方案，為機器學習用戶提供更好的體驗。

英特爾對于當下數(shù)據(jù)分析技術(shù)發(fā)展與應(yīng)用現(xiàn)狀的洞察，以及對自身大數(shù)據(jù)創(chuàng)新策略的解析，與Hadoop之父、Cloudera公司首席架構(gòu)師Doug Cutting的想法不謀而合?！爱斣絹碓蕉嗟拇髷?shù)據(jù)應(yīng)用在數(shù)據(jù)中心部署的今天，英特爾和Cloudera雙方的合作非常成功，在許多的領(lǐng)域，我們的工程師共同合作，保證Hadoop能夠非常好地在英特爾的硬件上運行?！彼榻B。

目前Cloudera的業(yè)務(wù)主要涵蓋在電信、金融、制造、基礎(chǔ)設(shè)施、零售等行業(yè)。在主要的免費發(fā)行版本中，基于Apache Hadoop的Cloudera商業(yè)發(fā)行版已經(jīng)占據(jù)70%以上的市場占有率。而在商業(yè)版本方面，在過去的18個月中，Cloudera在大型企業(yè)、電信、金融、制造以及零售等方面也有非常好的進展。

在Doug Cutting看來，Hadoop技術(shù)誕生、發(fā)展至今已有十年之久。而在這個不斷發(fā)展、快速發(fā)展的生態(tài)系統(tǒng)中，每一年開源社區(qū)中都會出現(xiàn)Spark、Impala那樣能夠提供更好功能的項目以替代原有的技術(shù)模塊。

“我們?nèi)砸獔猿旨夹g(shù)創(chuàng)新與開源分享，攜手英特爾這樣的合作伙伴一同推動、支持整個生態(tài)系統(tǒng)的發(fā)展，為機器學習、深度學習等數(shù)據(jù)分析應(yīng)提供性能最好、最穩(wěn)定安全的大數(shù)據(jù)應(yīng)用環(huán)境，以滿足金融、電信、制造、零售等不同行業(yè)用戶的特定應(yīng)用需求。”他表示。