邱燕娜
欄目寄語:
為了強化云技術(shù),落地云應(yīng)用,彰顯云價值,微軟(中國)攜手中國計算機報舉辦了“微軟Cloud OS第二屆云創(chuàng)益大賽”。本屆大賽歷時111天,共吸引了6647位個人組選手回答了70,078道題,59支參賽團隊參賽,共計30多萬次官網(wǎng)訪問量,29,000多條官方微博互動。大賽為參賽者提供了一個了解、體驗和應(yīng)用微軟“全云”的平臺,同時也涌現(xiàn)出一批優(yōu)秀的團隊和作品。為了樹立“全云”時代的標(biāo)桿、表彰優(yōu)秀參賽團隊,本欄目將持續(xù)報道10支進入決賽圈的參賽團隊及其優(yōu)秀作品。
易維清借助微軟Windows Azure公有云服務(wù)構(gòu)建環(huán)境信息系統(tǒng),可以根據(jù)計算需求租用資源,不但快速滿足了看似不合理的復(fù)雜的環(huán)境信息系統(tǒng)的應(yīng)用需求,還有效降低了成本。
“不合理”需求
作為我國環(huán)境信息系統(tǒng)之一,中國重點流域水文預(yù)測預(yù)報系統(tǒng)隸屬于環(huán)保部的重點流域環(huán)境保護監(jiān)管項目,是北京易維清信息技術(shù)股份有限公司(簡稱易維清)與北京大學(xué)環(huán)境學(xué)院共同完成。當(dāng)前,水污染問題備受關(guān)注,只有清晰地劃分排污權(quán)責(zé),才能真正做到有據(jù)可依、有效管理,減少水污染。為此,自2012年起,環(huán)保部不斷加大投資,持續(xù)推進中國重點流域水文預(yù)測預(yù)報系統(tǒng)的建設(shè)。
中國重點流域水文預(yù)測預(yù)報系統(tǒng)具有探索性、公益性、示范性等特征,系統(tǒng)的建設(shè)不但難度很大,而且面臨很多限制。其建設(shè)難度主要體現(xiàn)在:
首先,環(huán)境領(lǐng)域很多科學(xué)研究工作具有前沿性,需求變動往往非常頻繁。有時候在研究過程中,相關(guān)研究人員經(jīng)常會推翻之前的所有做法,改變整體技術(shù)路線,導(dǎo)致需求發(fā)生顛覆性的變動。其次,環(huán)境信息系統(tǒng)的負(fù)載普遍波動很大,因為很多系統(tǒng)都涉及科學(xué)模型計算,而科學(xué)模型運算對磁盤、內(nèi)存和CPU有極高的要求。而在運算完成之后,系統(tǒng)僅執(zhí)行查詢、報表輸出等對負(fù)載要求不高的操作,負(fù)載馬上會回落至較低水平。中國重點流域水文預(yù)測預(yù)報系統(tǒng)還有一些特殊的情況。如果系統(tǒng)只是用來預(yù)測每月或每日的平均流量,計算時間超過30分鐘即可接受。但系統(tǒng)還肩負(fù)著應(yīng)急處置輔助決策的任務(wù)。當(dāng)出現(xiàn)環(huán)境突發(fā)事件的時候,需要在短時間內(nèi)模擬計算大量情景給決策者提供真正的幫助。這給計算資源提出很高要求。另外,我國環(huán)境信息系統(tǒng)的投資通常是多年滾動進行的,不會一次釋放,因此項目組需要嚴(yán)格控制成本,充分利用已有資源和已建成的大量系統(tǒng),同時還要避免重復(fù)性勞動。投資不大,而對計算資源的需求卻很高,需求還頻繁變動,環(huán)境信息系統(tǒng)往往會提出這樣看起來根本“不合理”的需求。
同時解決技術(shù)和成本問題
“用戶的所有要求一定是合理的!”易維清的項目負(fù)責(zé)人李楠介紹,易維清希望改變傳統(tǒng)的本地部署模式,而嘗試采用公有云服務(wù)來滿足中國重點流域水文預(yù)測預(yù)報系統(tǒng)運行的需求。為此,易維清項目組從系統(tǒng)的需求出發(fā),比較了當(dāng)前主流公有云服務(wù),綜合考慮開發(fā)效率、部署難度和價格等因素后選擇了Windows Azure,其中包括Virtual Machines、Web Sites、SQL Azure、Virtual Network、ArcGIS Server 10.2 (地理信息服務(wù)平臺)和Microsoft Visual Studio (編程開發(fā)平臺)。
為了更好地了解采用公有云的優(yōu)劣勢,易維清的項目組采用一臺服務(wù)器這種傳統(tǒng)模式與WindowsAzure托管模式進行簡單的成本效益分析。李楠告訴記者,在傳統(tǒng)模式下,針對系統(tǒng)的需求,他們最起碼要購置一臺4核服務(wù)器進行托管。而在通常情況下,項目初期經(jīng)費很難到位,項目組難免要先墊付資金。而采用WindowsAzure服務(wù),他們不用再采購服務(wù)器等硬件,這可以大幅降低項目初期的開發(fā)成本,還可避免資金墊付。而且,借助WindowsAzure便捷的技術(shù)與服務(wù)選擇、搭配和配置,項目組可以方便地按需租用資源,在大部分時間(99%的時間)內(nèi)系統(tǒng)在單核模式下運行即可,而只有極少數(shù)時間(1%的時間),也就是說進行模型計算時,才需要租用8核服務(wù)器的資源。易維清選擇WindowsAzure VM的伸縮技術(shù),可以同時解決技術(shù)和成本兩個棘手的問題,只有在有應(yīng)急需求時他們才需要增加CPU數(shù)量,平時系統(tǒng)則一直運行在低負(fù)載狀態(tài)。
采用WindowsAzure服務(wù)還可以從操作系統(tǒng)、SQL Server和日常運維等方面顯著降低成本。分析結(jié)果表明,采用Windows Azure,首年的系統(tǒng)運行成本可以降低94%。李楠認(rèn)為,從中長期來看,一方面要考慮到如果采用傳統(tǒng)模式,每年有10%的折舊;另一方面要考慮到如果采用WindowsAzure服務(wù),由于存儲負(fù)載等需求的增長,費用每年增長約10%,以5年來計算,使用WindowsAzure可以節(jié)省近80%。
搭建混合云優(yōu)化資源配置
基于數(shù)據(jù)安全的考慮,易維清采用的是混合云模式。易維清的做法是,將系統(tǒng)所涉及的所有數(shù)據(jù)保存在與公網(wǎng)隔離的內(nèi)網(wǎng)中,模型運算所需原始數(shù)據(jù)經(jīng)過處理后,通過ETL(數(shù)據(jù)抽取、轉(zhuǎn)換和加載)導(dǎo)入公網(wǎng)數(shù)據(jù)庫服務(wù)器。這套公網(wǎng)數(shù)據(jù)庫服務(wù)器和ETL方案正是之前其他項目的成果。模型馴化與參數(shù)率定工作,則由工作站推送至天河一號超級計算機平臺進行運算。
通過WindowsAzure的VPN功能將公網(wǎng)數(shù)據(jù)服務(wù)器引入WindowsAzure中組成混合云。通過轉(zhuǎn)換,降低參數(shù)率定后模型的算法復(fù)雜度,將新的算法從天河一號超級計算機平臺送入WindowsAzure中的模型運算虛擬機。使用Windows Azure虛擬機功能將用于模型計算的虛擬機和提供地理信息服務(wù)的ArcGIS Server部署在其中。使用Windows Azure Web Sites進行Web應(yīng)用程序的部署,形成用戶最終訪問的網(wǎng)站。模型計算虛擬機和ArcGIS Server虛擬機為網(wǎng)站提供服務(wù)調(diào)用。用戶通過網(wǎng)站進行數(shù)據(jù)的輸入、計算參數(shù)的設(shè)置和多種方式的數(shù)據(jù)查詢,模型計算和地理信息的處理都是由虛擬機在后臺完成。采用SQL Azure和通過VPN引入的SQL Server滿足數(shù)據(jù)庫需求。值得一提的是,系統(tǒng)的核心功能是計算,而無需大文件存儲功能,傳統(tǒng)關(guān)系型數(shù)據(jù)庫即可滿足數(shù)據(jù)更新要求。
李楠介紹,易維清的項目團隊還通過自主研發(fā)的系統(tǒng)開發(fā)中間件——易維清源代碼生成軟件形成了敏捷開發(fā)模式,以滿足需求的頻繁變動。項目組首先要在SQL management studio上搭建數(shù)據(jù)結(jié)構(gòu)模型;然后在中間件中完成功能設(shè)計,一鍵生成整個Visual Studio解決方案的源代碼;最后,通過Visual Studio進行二次開發(fā),完成測試和部署。通過這種開發(fā)模式,項目團隊可以較好地應(yīng)對突如其來的需求變動,同時又與WindowsAzure緊密結(jié)合起來提高生產(chǎn)和測試的效率。endprint