云計算、大數(shù)據(jù)的氣象應(yīng)用初探

沈文海

氣象科學(xué)是一門實驗科學(xué)，氣象科學(xué)的理論都是由觀測數(shù)據(jù)的分析產(chǎn)生的。現(xiàn)在氣象的理論，是由過去一直到前不久的探測所得出來的信息對它們進行分析得出來的。

氣象數(shù)據(jù)概況

第一，氣象數(shù)據(jù)的總量大概是6到10個PB左右，但是增量是1個PB每年。行業(yè)大數(shù)據(jù)從體量上來看，氣象數(shù)據(jù)勉強算大數(shù)據(jù)行業(yè)。

第二，氣象數(shù)據(jù)不是來源于互聯(lián)網(wǎng)，而是氣象感知系統(tǒng)傳輸?shù)臄?shù)據(jù)。進入二十一世紀(jì)以來，氣象部門進行了長達近十年的觀測系統(tǒng)更新改造。觀探數(shù)據(jù)量迅猛增長。

可能大家都知道以前人工來進行觀測，但是由于人類居住條件以及人體所能承受的工作壓力的限制，使得觀測廠的設(shè)置是每個縣觀測一次，每三小時觀測一次，進入二十一世紀(jì)以后由人工觀測改為自動觀測，這個剛剛說的兩個線條沒有了，所以觀測站就由原來的將近3000個左右，每個縣大概是3000不到，觀測頻率猛增，由過去頻度三小時一次增加到現(xiàn)在五分鐘一次，所以數(shù)量倍數(shù)大概增加了670倍左右。觀測頻率將由現(xiàn)在五分鐘一次增加到一分鐘一次，增加很多。現(xiàn)在每天80個PB左右，未來一個TB每天。過去只是訊息采集，現(xiàn)在是終年觀測，觀測頻率和觀測點數(shù)大幅度增加，到2020年還準(zhǔn)備增加到將近300TB左右，這只是大概的統(tǒng)計數(shù)據(jù)。

第三是氣象衛(wèi)星，大家都知道在天空運行的衛(wèi)星數(shù)很多，現(xiàn)在日增量是2.1個TB，未來恐怕要10個TB。

第四就是數(shù)值預(yù)報模式產(chǎn)品，這個增量也是非常驚人的。除此之外還有高空大氣探測、閃電定位監(jiān)測、土壤監(jiān)測等。實際這不太嚴(yán)肅，整個氣象是由四大金剛撐起來的，如果四大金剛拿非洲的巨型野生動物加以比較，內(nèi)存數(shù)據(jù)從體量上來說就是小貓小狗。所以把四大金剛氣象數(shù)據(jù)生成了氣象大數(shù)據(jù)。

大家知道過去探測密度上相對來說欠缺一些，可能有一些細(xì)微方面的一些規(guī)律還沒有被發(fā)現(xiàn)，所以進入本世紀(jì)以來，氣象的觀測數(shù)據(jù)實際在內(nèi)容上沒有發(fā)生變化，只是在時空密度上有所增加，這有可能未來增加新的規(guī)律。所謂氣象大數(shù)據(jù)有可能會導(dǎo)致我們的一些新的氣象科學(xué)的新的突破，而這些確實需要海量數(shù)據(jù)處理，這是數(shù)據(jù)的概況。所以我們說大數(shù)據(jù)的參考應(yīng)用案例我們耳熟能詳，其實這不是大數(shù)據(jù)案例，是上世紀(jì)90年代中后期的案例，包括阿里巴巴預(yù)測2008年金融危機，以及奧巴馬競選，這些我們都分析過，實際上大數(shù)據(jù)統(tǒng)計方法無非是統(tǒng)計分析，而在十年前類似數(shù)據(jù)分析方法便已應(yīng)用氣象預(yù)測，所以目前預(yù)測到的所有分析方法在氣象界早已經(jīng)應(yīng)用多年了，這是我們一些傳統(tǒng)的成果。

因此如果原封不動套用現(xiàn)在大數(shù)據(jù)方法，很難產(chǎn)生作用。所以真正發(fā)揮作用是信息技術(shù)無法取代，至少在可預(yù)見的未來是無法取代氣象科學(xué)的。氣象科學(xué)需要新的科學(xué)創(chuàng)意，加上嚴(yán)禁的業(yè)務(wù)認(rèn)證，以及完整的認(rèn)證實現(xiàn)來共同產(chǎn)生。

為什么是氣象云

我們不是為了建云計算才造云，而確實是在信息化建設(shè)當(dāng)中遇到了問題，進入二十一世紀(jì)以來，整個在氣象部門內(nèi)部整體規(guī)劃和設(shè)計是比較欠缺的，同時十五十一五和十二五承擔(dān)了多個項目，而且是信息化領(lǐng)導(dǎo)小組，處在各個不是一個狀態(tài)，所以導(dǎo)致了業(yè)務(wù)系統(tǒng)復(fù)雜度大大增加了，服務(wù)器將近4000臺。有的甚至于把辦公室騰出來做機房，而自己去招待所租房間做辦公室。業(yè)務(wù)流程非常復(fù)雜，2012年統(tǒng)計大致情況，200個業(yè)務(wù)系統(tǒng)，情況沒有根本改變。業(yè)務(wù)流程系統(tǒng)化，業(yè)務(wù)功能系碎片化，業(yè)務(wù)系統(tǒng)煙筒化，這些問題亟待解決。

我把目前氣象信息系統(tǒng)比作大胖子，越來越胖，而且不加制止它還會繼續(xù)胖下去，已經(jīng)到了不可解決的，同時業(yè)務(wù)模式都是移到應(yīng)用端來進行處理和分析。

剛剛說數(shù)據(jù)近十幾年飛速增長，這個應(yīng)用和轉(zhuǎn)入造成了我們管理代價，產(chǎn)品可信度的代價都越來越高，所以問題已經(jīng)到了非解決不可的地步了。實際上我們想要做的就是這樣，把大胖子打造成這么一個健能者。目標(biāo)就是三高，高效率、高效益、高效能；途徑就是資源集約化、集成化、個性化。

運用大數(shù)據(jù)云計算以及移動互聯(lián)等現(xiàn)代信息技術(shù)通過集約資源，整合資源再造業(yè)務(wù)流程，主要是建設(shè)兩層氣象研究中心，其中整合業(yè)務(wù)資源，政務(wù)流程，改變集約化，移動化和最大化。然后結(jié)構(gòu)大概就是這樣，1加31加1，1是國家，31是省級，再加1就是備份，以私有云為主，公有云混合。在這里海量數(shù)據(jù)的分布式管理和處置、虛擬化移動應(yīng)用等大數(shù)據(jù)云計算和移動互聯(lián)等方面的技術(shù)將被有機應(yīng)用到平臺。這是我們的設(shè)想。

分布式存儲

剛剛最開始介紹地面觀測資料是我們氣象大數(shù)據(jù)四大金剛之首，這個數(shù)據(jù)是結(jié)構(gòu)化數(shù)據(jù)，按照我們應(yīng)用的傳統(tǒng)慣例都是要采用這種叫做數(shù)據(jù)庫來加以管理和應(yīng)用，而且現(xiàn)在成為行業(yè)當(dāng)中的一個使用慣例了。由于這些數(shù)據(jù)迅速的增長，用傳統(tǒng)的觀測數(shù)據(jù)庫根本無法實現(xiàn)這種全員的數(shù)據(jù)，所以說我們從去年開始進行了相關(guān)的探索，我們目標(biāo)就是探索分布式技術(shù)，用分布式數(shù)據(jù)庫來嘗試解決這些問題，解決的效果還是不錯的。我們用分布式關(guān)系數(shù)據(jù)庫來與現(xiàn)有的傳統(tǒng)關(guān)系數(shù)據(jù)庫進行比較，性能提高了10倍以上，可擴展性非常好。原來可比系統(tǒng)的十分之一，我們參比系統(tǒng)，上面是業(yè)務(wù)系統(tǒng)，我們這個6190毫秒，這個分布式是0.1秒，但是價格確是它的十分之一，所以我們的性價比，就是我們LE架構(gòu)提高了100倍以上。

氣象信息化需要思考的問題

各社會對氣象信息化提出了很多要求，電商方面、金融方面、決策服務(wù)、可穿戴移動設(shè)備等等都需要我們提供新的更加優(yōu)良，質(zhì)量更好的氣象服務(wù)。所有這一切都有賴于行業(yè)結(jié)合及深度應(yīng)用，而且數(shù)據(jù)共享是最關(guān)鍵的環(huán)節(jié)。

我們現(xiàn)在智慧城市最近是一個很熱的話題，同行當(dāng)中也有很多其他的數(shù)據(jù)，在智慧氣象方面氣象部門也有很多這方面的探索，未來氣象人也可能會是氣象部門現(xiàn)代化一個需要注意的點。這個業(yè)務(wù)從探測開始到智慧到參與等都需要感知、探測和判斷。

決策是政府和上級決策部門非常需要的，需要產(chǎn)品制作柔性化，服務(wù)個性化，以及業(yè)務(wù)之間的流動化。關(guān)鍵在氣象業(yè)務(wù)方面移動應(yīng)用有其特殊的含義或者特殊的意義，它逐步能夠?qū)崿F(xiàn)基層業(yè)務(wù)單位的業(yè)務(wù)系統(tǒng)。這個非常重要。因為現(xiàn)在氣象業(yè)務(wù)部門，特別是基層，人非常少，根本沒有力量維護傳統(tǒng)意義上的信息系統(tǒng)，包括數(shù)據(jù)庫服務(wù)器等，如果應(yīng)用方式一旦普及下來，這種單位就可以從繁重的系統(tǒng)維護當(dāng)中解決出來，而干專業(yè)人士干專業(yè)的事兒，同時為管理扁平化提供良好的工作環(huán)境。

總而言之，新的時代，氣象服務(wù)面臨眾多新的領(lǐng)域和新的服務(wù)要求，云端，云化資源，已經(jīng)在設(shè)計過程當(dāng)中。規(guī)范技術(shù)，就是數(shù)據(jù)規(guī)范，基礎(chǔ)架構(gòu)規(guī)范和軟件平臺規(guī)范。統(tǒng)一運維，呼聲很高，希望能夠在將來多元當(dāng)中實現(xiàn)。海量信息是充分發(fā)揮有效性，主要是及時發(fā)現(xiàn)，及時定位，準(zhǔn)確判斷和快速查處。智慧人影，敏捷決策，移動應(yīng)用，云計算等是我們未來需要重點思考的。