本刊記者　張林仿

查禮：堅(jiān)持走“接地氣”的科研之路

本刊記者張林仿

對(duì)于從事“云計(jì)算”和大數(shù)據(jù)產(chǎn)業(yè)的人來(lái)說(shuō)，一年一度的中國(guó)大數(shù)據(jù)技術(shù)大會(huì)堪稱不容錯(cuò)過(guò)的盛會(huì)。迄今為止，原名Hadoop in China的中國(guó)大數(shù)據(jù)技術(shù)大會(huì)（Big Data Technology Conference，BDTC）已成功舉辦9屆，發(fā)展成為涵蓋各類大數(shù)據(jù)技術(shù)和應(yīng)用的探討、分享業(yè)界商業(yè)項(xiàng)目合作洽談和資源對(duì)接的綜合平臺(tái)，是亞太地區(qū)舉辦最早、規(guī)模最大、影響力最大、對(duì)技術(shù)和行業(yè)探討最專業(yè)和深入的大數(shù)據(jù)行業(yè)峰會(huì)。

而對(duì)于Hadoop in China的發(fā)起人——中國(guó)科學(xué)院計(jì)算技術(shù)研究所副研究員查禮來(lái)說(shuō)，最初組織大會(huì)的宗旨只是“想把最先進(jìn)的大數(shù)據(jù)開(kāi)源技術(shù)帶到國(guó)內(nèi)，帶到工程師的面前，同時(shí)建立起一個(gè)交流平臺(tái)，讓大家得以互通有無(wú)”。

從“網(wǎng)格”到“云計(jì)算”

偉人的一句話，往往標(biāo)志著一個(gè)時(shí)代的開(kāi)始。三十幾年前，鄧小平同志曾經(jīng)說(shuō)：“計(jì)算機(jī)普及要從娃娃抓起?！边@句話改變了許多人的一生，查禮，也算是其中之一。

上個(gè)世紀(jì)八九十年代，為了加快計(jì)算機(jī)的普及，許多中學(xué)開(kāi)設(shè)計(jì)算機(jī)課。由于不是高考所選科目，大多數(shù)人對(duì)這門(mén)課并沒(méi)有多少興趣，但這不包括查禮?！拔耶?dāng)時(shí)對(duì)計(jì)算機(jī)編程充滿了好奇，覺(jué)得很有趣?！辈槎Y認(rèn)為，“做科學(xué)研究必須要有好奇心，沒(méi)有好奇心就沒(méi)有科學(xué)研究的原動(dòng)力。”基于對(duì)計(jì)算機(jī)的濃厚興趣，他選擇在北京理工大學(xué)就讀計(jì)算機(jī)專業(yè)，并于2003年獲北京理工大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)系工學(xué)博士學(xué)位。

博士期間，為了提高學(xué)術(shù)水平，查禮來(lái)到中國(guó)科學(xué)院計(jì)算技術(shù)研究所，跟隨徐志偉研究員從事分布式系統(tǒng)方向的前沿研究工作。“當(dāng)時(shí)所里有一個(gè)‘國(guó)家網(wǎng)格’的項(xiàng)目，從‘九五’就開(kāi)始做了，我也全程參與?！辈槎Y所說(shuō)的“國(guó)家網(wǎng)格”是國(guó)家“863”項(xiàng)目，“網(wǎng)格”思想的初衷是希望通過(guò)軟件把十余個(gè)國(guó)家級(jí)高性能計(jì)算中心互聯(lián)起來(lái)，做到資源共享?！斑@種思想在當(dāng)時(shí)十分先進(jìn)，其實(shí)和后來(lái)‘云計(jì)算’的理念基本上是一樣的。只不過(guò)‘網(wǎng)格’的概念是由學(xué)術(shù)界先提出來(lái)的，而‘云計(jì)算’是工業(yè)界先提出來(lái)的，導(dǎo)致兩者后續(xù)的發(fā)展道路完全不一樣?！?/p>

雖然“云計(jì)算”與“網(wǎng)格”的理念相同，但它是由工業(yè)界率先提出的，這就注定了其與“網(wǎng)格”有很大區(qū)別?！啊W(wǎng)格’更多地偏向?qū)W術(shù)研究層面，而‘云計(jì)算’的外延則要廣得多。且與學(xué)術(shù)界對(duì)‘網(wǎng)格’研究的零星火花不同，工業(yè)界對(duì)于‘云計(jì)算’的參與度很深，直接帶動(dòng)了學(xué)術(shù)界的研究興趣，所以技術(shù)進(jìn)步就快得多，也實(shí)用得多?！睂?duì)于查禮來(lái)說(shuō)，科研的最終目的是要實(shí)用，而工業(yè)界的成果轉(zhuǎn)化要比學(xué)術(shù)界快得多。查禮評(píng)價(jià)自己：“我的科研之路從這里開(kāi)始就比較‘接地氣’了，比起單純的論文導(dǎo)向的研究工作，我更愿意解決工業(yè)界出現(xiàn)的實(shí)際問(wèn)題?！?/p>

從草根大會(huì)到領(lǐng)域峰會(huì)

這個(gè)機(jī)會(huì)很快到來(lái)了。2008年，查禮領(lǐng)導(dǎo)研究小組與Apache Hadoop開(kāi)源社區(qū)合作，發(fā)起并組織Hadoop in China大會(huì)。這一年，Hadoop in China成功舉辦第一屆草根大會(huì)。就是在這第一屆鮮為人知的草根大會(huì)上，查禮確定了一個(gè)研究方向，并向Apache Hive開(kāi)源項(xiàng)目貢獻(xiàn)了“行列混合式存儲(chǔ)結(jié)構(gòu)”—RCFile技術(shù)和實(shí)現(xiàn)代碼，該技術(shù)現(xiàn)已被Facebook、Yahoo！、阿里巴巴等公司廣泛采用。

“第一次大會(huì)上，我們請(qǐng)到了Yahoo！、百度、Facebook的人。當(dāng)時(shí)Facebook的工程師提到Hadoop和Hive在Facebook的應(yīng)用遇到了一些問(wèn)題——他們用600臺(tái)機(jī)器專門(mén)處理數(shù)據(jù)，但數(shù)據(jù)太多，存儲(chǔ)空間已接近飽和，而新的數(shù)據(jù)中心尚未交付。”查禮說(shuō)：“為了解決他們的問(wèn)題，我們合作研究出了一種新的半結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)格式：‘行列混合式存儲(chǔ)結(jié)構(gòu)’—RCFile技術(shù)和實(shí)現(xiàn)代碼。行列的組合存儲(chǔ)比原先節(jié)約了百分之二十的空間，為Facebook切換到新數(shù)據(jù)中心爭(zhēng)取到了一段時(shí)間，解決了他們的燃眉之急?！睘榇耍槎Y團(tuán)隊(duì)中的一名博士生直接被Facebook錄用，以幫助他們將生產(chǎn)系統(tǒng)的數(shù)據(jù)全面轉(zhuǎn)換為新的存儲(chǔ)格式。當(dāng)時(shí)，在大數(shù)據(jù)領(lǐng)域，做出這樣的成果，讓國(guó)外的大公司如此大規(guī)模地應(yīng)用，實(shí)屬鳳毛麟角。

中國(guó)的大數(shù)據(jù)時(shí)代已呼嘯而至，數(shù)據(jù)技術(shù)與數(shù)據(jù)經(jīng)濟(jì)的發(fā)展是持續(xù)實(shí)現(xiàn)大數(shù)據(jù)價(jià)值的支撐，深度應(yīng)用正將傳統(tǒng)“IT”從“后端”推向“前臺(tái)”。這種情況下，短短幾年，Hadoop in China大會(huì)的規(guī)模不斷擴(kuò)大，從草根大會(huì)向領(lǐng)域峰會(huì)邁進(jìn)。

對(duì)于查禮來(lái)說(shuō)，最讓他開(kāi)心的不是Hadoop in China大會(huì)規(guī)模的不斷擴(kuò)大，而是可以借助這個(gè)平臺(tái)接觸到工業(yè)界，了解他們所遇到的問(wèn)題，并研究出解決方法。

從工業(yè)界的角度來(lái)看，除了Facebook從中獲益之外，華為的變化也很大?！叭A為此前從不開(kāi)源，現(xiàn)在已經(jīng)能在Hadoop等開(kāi)源社區(qū)里做貢獻(xiàn)，從側(cè)面反映了開(kāi)源理念在中國(guó)慢慢得到認(rèn)可了?！?/p>

對(duì)于查禮在開(kāi)源社區(qū)方面所做的工作，計(jì)算所領(lǐng)導(dǎo)一貫是支持的。查禮說(shuō)：“現(xiàn)在我的同事做出成果，也有很多直接就開(kāi)源，畢竟開(kāi)放源碼是展示成果的最好途徑?！?/p>

從專利技術(shù)到“數(shù)據(jù)魔方”

2011年，查禮開(kāi)始與淘寶公司合作，幫助他們優(yōu)化“數(shù)據(jù)魔方”系統(tǒng)。“數(shù)據(jù)魔方”是淘寶官方出品的一款數(shù)據(jù)產(chǎn)品，主要提供行業(yè)數(shù)據(jù)分析、店鋪數(shù)據(jù)分析等。其中包含了品牌、店鋪、產(chǎn)品的排行榜，購(gòu)買人群的特征分析（年齡、性別、購(gòu)買時(shí)段、地域等）?！榜R云最早說(shuō)淘寶轉(zhuǎn)型為數(shù)據(jù)公司，就是憑這個(gè)產(chǎn)品才有的底氣?！?/p>

“要想做到這些分析，最大的技術(shù)挑戰(zhàn)就是數(shù)據(jù)量太大，對(duì)上百億的記錄做實(shí)時(shí)查詢，傳統(tǒng)的數(shù)據(jù)庫(kù)是完全做不到的。還有一個(gè)問(wèn)題就是時(shí)間范圍的限制，他們希望可以盡可能地?cái)U(kuò)大查詢操作的時(shí)間范圍。”計(jì)算所對(duì)于查禮去企業(yè)解決實(shí)際問(wèn)題的行為非常支持，于是查禮帶著2名學(xué)生在杭州的淘寶總部花了3個(gè)月來(lái)攻克這項(xiàng)技術(shù)難關(guān)。

“這個(gè)項(xiàng)目中我們遇到了很多困難，因?yàn)樘詫毜募夹g(shù)人員的能力已經(jīng)很高，他們解決不了的問(wèn)題其實(shí)已經(jīng)很難了。他們已經(jīng)在一條路上走到了極致，如果我繼續(xù)沿著這個(gè)思路走下去的話，是沒(méi)有出路的。”查禮坦言道：“所幸我們?cè)谶@方面曾經(jīng)做出過(guò)創(chuàng)新，有自己發(fā)明的專利技術(shù)，再做一些適配，才得以解決這個(gè)問(wèn)題。”查禮將“互補(bǔ)式聚簇索引技術(shù)”—CCIndex專利發(fā)明應(yīng)用到淘寶網(wǎng)的“數(shù)據(jù)魔方”產(chǎn)品中，用以支持實(shí)時(shí)多維區(qū)間查詢，最終啃下了這塊硬骨頭。

查禮的成果絕大多數(shù)都體現(xiàn)在實(shí)際應(yīng)用中，這也是他與其他高校和科研院所的研究人員最大的不同。他認(rèn)為，把科研論文寫(xiě)出來(lái)之后，并不是終點(diǎn)。他更傾向于再往前一步，將論文應(yīng)用到實(shí)際中。甚至在論文選題的時(shí)候，他就做好規(guī)劃，只選可以解決實(shí)際問(wèn)題并能夠最終落地的項(xiàng)目?！拔矣泻芏囗?xiàng)目的來(lái)源是在我去和一線開(kāi)發(fā)人員交流的時(shí)候產(chǎn)生的——我的問(wèn)題是來(lái)自實(shí)際的，那么我的研究成果就可以直接解決現(xiàn)實(shí)問(wèn)題。”

不管是科研還是教學(xué)，查禮都不愿意跟隨別人的既定模式去走。他自己探索培養(yǎng)學(xué)生的方式，認(rèn)為指導(dǎo)學(xué)生最重要的是要培養(yǎng)他們的科學(xué)素養(yǎng)?！爱?dāng)他們對(duì)自己研究的科學(xué)問(wèn)題有了一些新的想法，對(duì)科研有了興趣，才算真正入了門(mén)?！?/p>

“云計(jì)算”是新一代信息技術(shù)的重要發(fā)展方向，是我國(guó)新一代信息技術(shù)產(chǎn)業(yè)實(shí)現(xiàn)創(chuàng)新突破、跨越式發(fā)展的戰(zhàn)略機(jī)遇。查禮承擔(dān)過(guò)多項(xiàng)國(guó)家“863”重大專項(xiàng)、“863”國(guó)際合作、發(fā)改委專項(xiàng)和歐盟第六框架（FP6）國(guó)際合作課題，以及“863”計(jì)劃“中國(guó)云”一期和二期中與大數(shù)據(jù)系統(tǒng)相關(guān)的課題，曾獲2007年度和2012年度國(guó)家科技進(jìn)步獎(jiǎng)二等獎(jiǎng)。

對(duì)于這些成果的取得，查禮認(rèn)為，每個(gè)人都應(yīng)該找尋屬于自己的道路。而最適合他的，就是這樣一條與工業(yè)界聯(lián)系密切，“接地氣”的科研之路。他選擇了這條科研之路，在這條路上走了十余年，并將一直走下去。