Hadoop將更加隱形

凌琦

有人說，Hadoop死了。這種說法是不對的，Hadoop沒有死，因為Hadoop的內(nèi)容在提升。

Hadoop，正式誕生于2006年1月28日，距今已經(jīng)整整十年。它從根本上改變了企業(yè)存儲、處理和分析數(shù)據(jù)的方式。

Hadoop以一種開源的方式創(chuàng)建，十年前，誰也沒有料想到Hadoop能取得如今這樣的成就，而現(xiàn)在一切均已實現(xiàn)。

Hadoop之父Doug Cutting認為，Hadoop正處于蓬勃的發(fā)展期，而且這樣的蓬勃，至少還需要幾十年。

趨于隱性的Hadoop

眾所周知，2015年是Apache Hadoop標志性的一年。就在我們認為2015年就這樣過去了的時候，真正的Hadoop時代卻來臨了，我們還有很多事情需要繼續(xù)做下去。

我們看到，Apache Spark已經(jīng)成為主流，Kudu（孵化中）的全新儲存能力也加入進來，安全也更加卓越。難以想像，后面還會有什么驚喜，但這正是Hadoop的美妙之處：永不止步、無限可能。

2016年我們的期望是什么？當然，沒有人能未卜先知，但有幾件事，我們認為將可能會發(fā)生。

Hadoop將更加隱形，這不是一個新的觀點。早在去年，Cloudera聯(lián)合創(chuàng)始人兼首席戰(zhàn)略官Mike Olson在紐約Strata Hadoop世界大會的演講中提出這個說法。意思是，用戶真正在乎基于Hadoop的平臺和能達到的業(yè)務(wù)結(jié)果，而不是Hadoop本身。

這一觀點，有必要重新被提起。Hadoop之初的用例定位就是一個經(jīng)濟型的深度存儲和數(shù)據(jù)處理平臺，我們陸續(xù)看到如今大大小小的企業(yè)都在用這個平臺進行創(chuàng)新部署，涉及的應(yīng)用也越發(fā)廣泛。

比如，通信服務(wù)供應(yīng)商，像英國電信（BT），正在致力于構(gòu)建一些應(yīng)用，可以對客戶跨業(yè)務(wù)形成360度視角，重新調(diào)整了與客戶的交互行為方式；金融服務(wù)機構(gòu)，就像Northern Trust，優(yōu)化了其服務(wù)交付，對付款流程采取實時健康監(jiān)測。

一些跨行業(yè)的通用應(yīng)用也在革新，比如Countertack，就在為各行各業(yè)為安全擔憂的企業(yè)提供創(chuàng)新的網(wǎng)絡(luò)安全解決方案。

Hadoop不會消亡 更具包容性

有人說，Hadoop死了。這種說法是不正確的，Hadoop沒有死，因為Hadoop的內(nèi)容在提升。比如，Spark已經(jīng)是Hadoop整個生態(tài)環(huán)境當中非常重要的組成部分，它是內(nèi)存計算引擎。它未來會部分地替代原來的MapReduce。Hadoop是在不斷往前發(fā)展的。

隨著時間的推移，越來越多掌握Hadoop技術(shù)的人們進入工作崗位。除了獲得必要的技能，對于企業(yè)來講，更大的挑戰(zhàn)是如何判斷和評估Hadoop的最佳適用。

使用Hadoop來進行平臺重構(gòu)時，技術(shù)本身只是等式的一部分，眾多企業(yè)意識到他們同樣需要考慮人員及流程變動的因素，懂得如何去把握所有變化是一項十分艱巨的工作。

就自身而言，我們將盡可能地簡化產(chǎn)品。舉個例子，Cloudera Navigator Optimizer 讓工作負載更加可視化，有助于客戶了解如何最大化利用Hadoop平臺，減少開發(fā)時間并提高性能。它作為Cloudera 企業(yè)版的核心，獲得了大量用戶的信任，獲得了對數(shù)據(jù)前所未有的可視性。它提供必要的審計和數(shù)據(jù)保護，來滿足最嚴苛的規(guī)范限制。

有了唯一的全面的元數(shù)據(jù)基礎(chǔ)作支撐，Cloudera Navigator自動將各個平臺上的所有技術(shù)元數(shù)據(jù)，以及企業(yè)內(nèi)用戶定義的業(yè)務(wù)元數(shù)據(jù)整合成一個單一的、可搜索的儲存庫。通過這樣的不斷提升，Cloudera的技術(shù)也會更容易被客戶接納。

Hadoop技術(shù)不斷演進

Cloudera在整個生態(tài)圈里不斷推動Hadoop前進，不光是對已有系統(tǒng)的增強改進，更適用于商業(yè)和關(guān)鍵業(yè)務(wù)，同時，Hadoop技術(shù)本身也在不斷前進。

“物聯(lián)網(wǎng)”和“云計算”是大數(shù)據(jù)時代以來出現(xiàn)頻率非常高的詞匯，Cloudera的客戶長期以來一直活躍于物聯(lián)網(wǎng)領(lǐng)域。舉個例子，Vivint使用Cloudera為用戶提供物聯(lián)網(wǎng)解決方案，提升了家居聯(lián)網(wǎng)的同時，也改進了服務(wù)體驗。另一個例子，Omneo推動工業(yè)化物聯(lián)網(wǎng)領(lǐng)域，實時優(yōu)化供應(yīng)鏈，通過這種方法節(jié)省了1500萬美元～2000萬美元。

無論是升級用戶體驗，還是數(shù)據(jù)驅(qū)動產(chǎn)品，預(yù)計”物聯(lián)網(wǎng)“在未來，都會是各個領(lǐng)域人們的熱門話題。

對于Hadoop而言，我們覺得“云”將繼續(xù)走在前沿，因為數(shù)據(jù)越來越多地從本地遷移到云上。

在一個專門的研討會上提出，如何在AWS上成功部署生產(chǎn)環(huán)境？54%的調(diào)查者表示在云上，Hadoop的復(fù)雜性是導致他們不用云部署的原因。

這也是為什么我們要投資開發(fā)Cloudera Director這樣的工具來簡化云部署技術(shù)，我們也會持續(xù)提高整個平臺的易用性。例如新版Cloudera Director可支持AWS Spot Instance、Google虛擬機云端服務(wù)Preemptible VM、在Amazon S3上的Apache Hive和Apache Spark等，以降低基礎(chǔ)設(shè)施的作業(yè)成本，來提升如ETL的工作量。