王琪+陸全華+史先娟+孫裔成
摘要:基于江蘇省農(nóng)產(chǎn)品質(zhì)量安全追溯管理平臺(tái)的云網(wǎng)絡(luò)服務(wù)由智能解析網(wǎng)絡(luò)和應(yīng)用云虛擬化服務(wù)兩部分構(gòu)成。智能解析網(wǎng)絡(luò)主要是用于方便內(nèi)外用戶(hù)就近訪(fǎng)問(wèn),云虛擬化服務(wù)主要是將傳統(tǒng)的前臺(tái)應(yīng)用與數(shù)據(jù)庫(kù)服務(wù)器的1+1模式調(diào)整為虛擬化N+N模式,動(dòng)態(tài)調(diào)度計(jì)算資源為各種情況下的突發(fā)訪(fǎng)問(wèn)提供額外支撐,提高平臺(tái)服務(wù)的可用性、健壯性和安全性。
關(guān)鍵詞:農(nóng)產(chǎn)品;質(zhì)量安全;追溯管理;云網(wǎng)絡(luò)服務(wù)
引言
隨著計(jì)算機(jī)技術(shù)的的發(fā)展和現(xiàn)代農(nóng)業(yè)生產(chǎn)服務(wù)方式的變革,農(nóng)產(chǎn)品的生產(chǎn)、運(yùn)輸、監(jiān)管、追溯等多個(gè)領(lǐng)域已經(jīng)跨入了信息化、物聯(lián)網(wǎng)化管理時(shí)代,一些地區(qū)的農(nóng)業(yè)生產(chǎn)領(lǐng)域已經(jīng)納入了全程可視可追溯化的信息系統(tǒng)管理范圍。借助云網(wǎng)絡(luò)服務(wù)技術(shù)的應(yīng)用高潮,許多平臺(tái)的使用管理需求變得越來(lái)越要求更智能、健壯、簡(jiǎn)單、便捷,這對(duì)傳統(tǒng)的IT運(yùn)維模式提出了新的問(wèn)題,給運(yùn)維人員也帶來(lái)了越來(lái)越高的挑戰(zhàn)。
長(zhǎng)期以來(lái),各類(lèi)系統(tǒng)提供服務(wù)的典型模式是一套系統(tǒng)配置一臺(tái)專(zhuān)用服務(wù)器與運(yùn)營(yíng)商網(wǎng)絡(luò)線(xiàn)路。在這種模式下,隨著網(wǎng)站、業(yè)務(wù)系統(tǒng)的用戶(hù)訪(fǎng)問(wèn)量增加必須不斷購(gòu)置增加新的服務(wù)器硬件與更高的網(wǎng)絡(luò)帶寬資源,服務(wù)器與帶寬資源投入的成本會(huì)隨著業(yè)務(wù)的規(guī)模擴(kuò)張不斷攀升,同時(shí)設(shè)備數(shù)量激增伴隨而來(lái)的機(jī)房空間、電力供應(yīng)、人員管理、時(shí)間成本也隨之膨脹。單臺(tái)服務(wù)器硬件的處理性能瓶頸無(wú)法實(shí)現(xiàn)突破,用戶(hù)海量突發(fā)訪(fǎng)問(wèn)情況下會(huì)造成系統(tǒng)無(wú)法處理導(dǎo)致癱瘓,空閑時(shí)的性能無(wú)法加以利用,空耗電力與管理成本造成巨大的資源浪費(fèi)。如同高校中的教務(wù)選課系統(tǒng)、鐵路公司的網(wǎng)上購(gòu)票系統(tǒng),每年僅在特定時(shí)間內(nèi)系統(tǒng)異常繁忙,無(wú)法滿(mǎn)足用戶(hù)訪(fǎng)問(wèn)要求,其余時(shí)間系統(tǒng)閑置,以至于投入的網(wǎng)絡(luò)帶寬與服務(wù)器資源嚴(yán)重浪費(fèi)。一方面用戶(hù)體驗(yàn)得不到有效保障,另一方面費(fèi)用投入過(guò)大造成業(yè)務(wù)系統(tǒng)可持續(xù)發(fā)展受到嚴(yán)重影響。
所以在系統(tǒng)部署的問(wèn)題上必須要考慮到未來(lái)可預(yù)計(jì)的訪(fǎng)問(wèn)量會(huì)呈數(shù)十倍的規(guī)模增加,如何避免類(lèi)似業(yè)務(wù)系統(tǒng)的困境出現(xiàn),已經(jīng)成為研究如何支撐它持續(xù)成功推廣應(yīng)用的重要課題。本文針對(duì)業(yè)務(wù)系統(tǒng)訪(fǎng)問(wèn)對(duì)象具有的變化性、分散性、不規(guī)律性等特點(diǎn),提出了一種基于云網(wǎng)絡(luò)服務(wù)平臺(tái)的農(nóng)業(yè)智能業(yè)務(wù)管理系統(tǒng)。本系統(tǒng)的關(guān)鍵技術(shù)是通過(guò)策略解析實(shí)現(xiàn)用戶(hù)就近訪(fǎng)問(wèn),保障訪(fǎng)問(wèn)速度;采用彈性資源計(jì)算分配算法,實(shí)時(shí)調(diào)整分配的計(jì)算能力,將繁忙時(shí)段的訪(fǎng)問(wèn)負(fù)載分擔(dān)到不同硬件中,將空閑時(shí)段的計(jì)算資源收回用于其他業(yè)務(wù)系統(tǒng)和服務(wù)計(jì)算中。
1研究背景與建設(shè)目標(biāo)
作者所在單位負(fù)責(zé)了江蘇省農(nóng)產(chǎn)品質(zhì)量安全追溯平臺(tái)的開(kāi)發(fā)與推廣應(yīng)用項(xiàng)目,在2013年本項(xiàng)目完成上線(xiàn)調(diào)試和培訓(xùn)推廣工作,平臺(tái)轉(zhuǎn)入正式運(yùn)行狀態(tài)。系統(tǒng)主要為各生產(chǎn)基地在農(nóng)產(chǎn)品的種植養(yǎng)殖、采集收納、加工生產(chǎn)、運(yùn)輸物流全部流程中提供數(shù)據(jù)采集記錄、代碼生成、各階段數(shù)據(jù)追溯功能,農(nóng)業(yè)監(jiān)管部門(mén)負(fù)責(zé)檢查數(shù)據(jù)錄入的真實(shí)性、完整性,非生產(chǎn)基地之外的農(nóng)產(chǎn)品將不被允許記錄在案,消費(fèi)者在購(gòu)買(mǎi)農(nóng)產(chǎn)品后掃描追溯碼可以追溯到其全部生產(chǎn)環(huán)節(jié)、具體日期、生產(chǎn)基地、每個(gè)環(huán)節(jié)負(fù)責(zé)人等所有信息,最終變“點(diǎn)監(jiān)管”為“鏈監(jiān)管”,形成“無(wú)法追溯來(lái)源不得上市,上市農(nóng)產(chǎn)品都可追溯”的市場(chǎng)準(zhǔn)入制度。
在系統(tǒng)規(guī)劃設(shè)計(jì)之初,系統(tǒng)僅限于鹽城部分地區(qū)試點(diǎn)使用,試點(diǎn)單位不超過(guò)30個(gè),總使用人數(shù)100余個(gè),使用并發(fā)數(shù)在30人左右,業(yè)務(wù)訪(fǎng)問(wèn)量小、并發(fā)數(shù)低,對(duì)系統(tǒng)性能和響應(yīng)速度方面的壓力并不大,所以政府采購(gòu)部署了兩臺(tái)機(jī)普通架式服務(wù)器(一臺(tái)前端web服務(wù)、一臺(tái)后端數(shù)據(jù)庫(kù))在鹽城農(nóng)委機(jī)房,由于預(yù)算有限沒(méi)有申請(qǐng)專(zhuān)線(xiàn),與鹽城農(nóng)委的20Mb辦公網(wǎng)絡(luò)共享帶寬使用。隨著業(yè)務(wù)擴(kuò)展,試點(diǎn)地區(qū)擴(kuò)大,使用基地變多,業(yè)務(wù)訪(fǎng)問(wèn)量和并發(fā)數(shù)都變大,逐步出現(xiàn)一些線(xiàn)路利用率高、服務(wù)器資源耗盡、響應(yīng)速度慢、卡頓和短暫無(wú)法上傳數(shù)據(jù)問(wèn)題,用戶(hù)抱怨連連。在追求極致、快速的互聯(lián)網(wǎng)+時(shí)代,這些投訴對(duì)于一個(gè)實(shí)時(shí)交互的業(yè)務(wù)系統(tǒng)比較致命的影響。在這種背景下,系統(tǒng)建設(shè)方要求在不影響業(yè)務(wù)使用的同時(shí)采取必要的技術(shù)手段改善用戶(hù)體驗(yàn),避免高延時(shí)和宕機(jī)服務(wù)停止的情況出現(xiàn)。本文就是以江蘇省農(nóng)產(chǎn)品質(zhì)量安全追溯平臺(tái)的遷移工作為實(shí)例,進(jìn)行相關(guān)工作研究和應(yīng)用部署。
在接受平臺(tái)優(yōu)化需求后,服務(wù)團(tuán)隊(duì)在通過(guò)一系列調(diào)研的基礎(chǔ)上,經(jīng)過(guò)商議討論,決定將將原有部署在鹽城的傳統(tǒng)業(yè)務(wù)服務(wù)器實(shí)行虛擬化,將服務(wù)資源遷移至單位所在的云服務(wù)平臺(tái)中。根據(jù)實(shí)際應(yīng)用現(xiàn)場(chǎng),將服務(wù)器采用P-V模式虛擬化,納入到虛擬化計(jì)算池中,突破原有物理服務(wù)器內(nèi)存和CPU計(jì)算能力限制,將計(jì)算池中的資源實(shí)現(xiàn)動(dòng)態(tài)按需分配,最大程度滿(mǎn)足峰值需求,在低峰期時(shí)計(jì)算資源收回。通過(guò)按照運(yùn)營(yíng)商IP地址段進(jìn)行策略域名解析,充分利用云服務(wù)中心的多運(yùn)營(yíng)商線(xiàn)路確保用戶(hù)能就近訪(fǎng)問(wèn),在某一條線(xiàn)路出現(xiàn)意外中斷或堵塞時(shí)觸發(fā)更新解析,將用戶(hù)流量引導(dǎo)至空閑網(wǎng)絡(luò)線(xiàn)路中。提高業(yè)務(wù)可靠性,利用虛擬化平臺(tái)的監(jiān)控技術(shù)確保虛擬機(jī)所在物理硬件出現(xiàn)故障時(shí)候迅速漂移至其余可用物理服務(wù)器中。
本項(xiàng)目的云網(wǎng)絡(luò)服務(wù)優(yōu)化目標(biāo)就是在不投人額外經(jīng)費(fèi)的前提下,充分利用現(xiàn)有資源實(shí)現(xiàn)平臺(tái)的整體遷移,確保農(nóng)產(chǎn)品質(zhì)量安全追溯平臺(tái)在高峰期能正常運(yùn)行、處理數(shù)據(jù),按需分配節(jié)約計(jì)算性能,增強(qiáng)系統(tǒng)容災(zāi)能力、提升用戶(hù)體驗(yàn)。
2農(nóng)產(chǎn)品質(zhì)量安全追溯平臺(tái)系統(tǒng)現(xiàn)狀分析
前期調(diào)研中我們前往系統(tǒng)部署所在地,一線(xiàn)觀察了生產(chǎn)基地?cái)?shù)據(jù)上傳、采集、防偽碼追溯使用、后臺(tái)監(jiān)管的全過(guò)程;軟件系統(tǒng)的架構(gòu)、數(shù)據(jù)庫(kù)部署方式、服務(wù)器運(yùn)行狀態(tài)、網(wǎng)絡(luò)的利用率情況。隨后與當(dāng)?shù)貐f(xié)助維護(hù)的工程師進(jìn)行交流溝通,與該平臺(tái)的使用者質(zhì)監(jiān)站與生產(chǎn)基地了解使用中的各類(lèi)問(wèn)題和反饋意見(jiàn)。最終將主要問(wèn)題癥狀羅列如下:
第一、用戶(hù)使用問(wèn)題。當(dāng)前系統(tǒng)(www.is-apqt.com)使用效率較高,在線(xiàn)人數(shù)峰值達(dá)到200人。使用體驗(yàn)不佳,其中速度慢、無(wú)響應(yīng)、軟件平臺(tái)宕機(jī)反饋的問(wèn)題出現(xiàn)次數(shù)較多,另外與部分農(nóng)殘儀接口數(shù)據(jù)不匹配,導(dǎo)致部分節(jié)點(diǎn)數(shù)據(jù)無(wú)法上傳成功。
第二、業(yè)務(wù)系統(tǒng)托管機(jī)房環(huán)境問(wèn)題。系統(tǒng)由于托管在鹽城市農(nóng)委的機(jī)房,該處機(jī)房屬于早期建設(shè),規(guī)劃空間小,預(yù)留機(jī)柜空間不足設(shè)備堆積嚴(yán)重,無(wú)精密空調(diào),服務(wù)器排氣量高溫度持續(xù)告警。綜合布線(xiàn)系統(tǒng)雜亂,沒(méi)有任何的標(biāo)識(shí)標(biāo)記,維護(hù)起來(lái)極度不便。
第三、網(wǎng)絡(luò)帶寬問(wèn)題。在數(shù)據(jù)上傳交互時(shí)候平均帶寬占用每人50Kb,峰值時(shí)候需要帶寬30Mb。本業(yè)務(wù)平臺(tái)的出口網(wǎng)絡(luò)只有一條,由鹽城電信公司的20Mb帶寬維持,一般情況下足夠使用。但這條線(xiàn)路并未給予專(zhuān)線(xiàn)專(zhuān)用,還需要與當(dāng)?shù)剞r(nóng)委的辦公上網(wǎng)共享使用,極容易造成網(wǎng)絡(luò)堵塞,造成外部訪(fǎng)問(wèn)速度慢延時(shí)高,電信出口一旦中斷,沒(méi)有冗余線(xiàn)路提供訪(fǎng)問(wèn),會(huì)造成全部中斷。
第四、業(yè)務(wù)系統(tǒng)所使用的服務(wù)器硬件資源問(wèn)題。平臺(tái)業(yè)務(wù)系統(tǒng)是通過(guò)政府采購(gòu)的兩臺(tái)HP機(jī)架式中檔服務(wù)器DL320,雙核CPU內(nèi)存為4GB,一臺(tái)作為前臺(tái),一臺(tái)作為數(shù)據(jù)庫(kù)。前臺(tái)利用率較高,而后臺(tái)相對(duì)空閑,其中后臺(tái)的空閑資源并不能釋放出來(lái)給予前臺(tái)支持。在上午9-11點(diǎn),下午3-5點(diǎn)使用高峰期時(shí),前臺(tái)服務(wù)器內(nèi)存耗盡,響應(yīng)速度緩慢。
第五、業(yè)務(wù)系統(tǒng)軟件兼容性開(kāi)發(fā)問(wèn)題。由于使用的手持農(nóng)殘儀采購(gòu)型號(hào)不一,每一款型號(hào)儀器都需要進(jìn)行額外開(kāi)發(fā)與平臺(tái)對(duì)接后才可以上傳數(shù)據(jù),與平臺(tái)對(duì)接的開(kāi)發(fā)需要加快進(jìn)度。
第六、業(yè)務(wù)系統(tǒng)安全性問(wèn)題。在調(diào)研中發(fā)現(xiàn),為了方便技術(shù)人員遠(yuǎn)程調(diào)試,開(kāi)發(fā)時(shí)候預(yù)留了遠(yuǎn)程桌面端口,密碼強(qiáng)度低,防火墻策略不嚴(yán)格。業(yè)務(wù)系統(tǒng)內(nèi)沒(méi)有安裝殺毒軟件,仍舊使用的32位的windows2003屬于已被淘汰的操作系統(tǒng),在簡(jiǎn)單掃描后發(fā)現(xiàn)病毒數(shù)量不少,服務(wù)器上曾經(jīng)出現(xiàn)過(guò)木馬入侵痕跡和被利用作為跳板實(shí)施網(wǎng)絡(luò)攻擊等犯罪行為。
3云服務(wù)方案設(shè)計(jì)
3.1設(shè)計(jì)原則
通過(guò)調(diào)研發(fā)現(xiàn)的問(wèn)題,團(tuán)隊(duì)經(jīng)過(guò)與用戶(hù)商議達(dá)成共識(shí),在現(xiàn)有條件無(wú)法得到顯著改善的情況下,最便捷的措施就是實(shí)現(xiàn)業(yè)務(wù)系統(tǒng)整體遷移“搬家”,將系統(tǒng)環(huán)境整體部署到單位所在的私有云網(wǎng)絡(luò)服務(wù)中,在不追加投資購(gòu)置硬件和改善機(jī)房條件的情況下,此方法的成本最低,改善效果最佳。同時(shí)明確了云服務(wù)方案部署實(shí)施的幾個(gè)原則:
一、避免長(zhǎng)時(shí)間中斷,一次性到位,使得用戶(hù)在遷移過(guò)程中無(wú)感知。
二、提升用戶(hù)體驗(yàn),業(yè)務(wù)承載能力顯著提升。
三、加固平臺(tái)安全,完善備案資料,避免造成非技術(shù)因素導(dǎo)致的中斷。
四、保證數(shù)據(jù)完整性,遷移前后數(shù)據(jù)一致。
3.2部署方案
在此原則基礎(chǔ)上,最終形成的云網(wǎng)絡(luò)服務(wù)部署設(shè)計(jì)方案如下:
一、基礎(chǔ)平臺(tái)準(zhǔn)備。在遷移前提前準(zhǔn)備好“新家”,把業(yè)務(wù)平臺(tái)所需的虛擬化服務(wù)器首先搭建完成。針對(duì)現(xiàn)有服務(wù)器硬件資源不足的問(wèn)題,將網(wǎng)站搬家后將搭建在云平臺(tái)服務(wù)器集群中,服務(wù)器虛擬化技術(shù)可以提供彈性性能分配機(jī)制,在網(wǎng)站繁忙時(shí)候提供所有資源128G內(nèi)存64核CPU處理能力,在網(wǎng)站空閑時(shí)將資源回收設(shè)置為8G內(nèi)存3核CPU,如圖1所示。
二、多運(yùn)營(yíng)商線(xiàn)路與域名策略解析準(zhǔn)備。針對(duì)現(xiàn)有網(wǎng)絡(luò)帶寬不足的問(wèn)題,將在網(wǎng)站搬家后得到解決,充分利用單位高帶寬網(wǎng)絡(luò)、多運(yùn)營(yíng)商冗余線(xiàn)路優(yōu)勢(shì)提供對(duì)外訪(fǎng)問(wèn)。所有用戶(hù)將通過(guò)互聯(lián)網(wǎng)訪(fǎng)問(wèn)云網(wǎng)絡(luò)服務(wù)平臺(tái),不會(huì)感覺(jué)到服務(wù)差異。同時(shí)申請(qǐng)新公網(wǎng)IP地址,其中移動(dòng)、聯(lián)通、電信各一個(gè),利用域名平臺(tái)提供的DNS服務(wù)進(jìn)行策略解析對(duì)外發(fā)布,根據(jù)用戶(hù)所在網(wǎng)絡(luò)情況來(lái)指定最佳網(wǎng)絡(luò)IP就近接人,如圖2所示。
三、業(yè)務(wù)系統(tǒng)安全加固準(zhǔn)備。部署前端網(wǎng)頁(yè)防火墻設(shè)備,采用反向代理技術(shù)進(jìn)行多域名對(duì)公網(wǎng)IP地址,節(jié)約地址資源,如圖3所示。在搬家后關(guān)閉所有對(duì)外遠(yuǎn)程端口、提升密碼強(qiáng)度、指定嚴(yán)格訪(fǎng)問(wèn)IP及操作控制權(quán)限、運(yùn)行64位windows2008操作系統(tǒng)版本。使用平臺(tái)自帶的趨勢(shì)防病毒底層殺毒軟件和服務(wù)漏洞補(bǔ)丁修復(fù)系統(tǒng),不需要安裝服務(wù)器中再安裝殺毒或補(bǔ)丁修復(fù)軟件等浪費(fèi)性能資源。
四、備案信息變更準(zhǔn)備。由于前期備案在本省其他城市運(yùn)營(yíng)商注冊(cè),在變更過(guò)程中涉及系統(tǒng)平臺(tái)主體更換、域名證書(shū)重新生成等具體事項(xiàng)。需要在搬家前將域名注冊(cè)賬戶(hù)進(jìn)行過(guò)戶(hù),變更域名證書(shū)所有權(quán),在云服務(wù)平臺(tái)所在地電信、移動(dòng)、聯(lián)通公司進(jìn)行備案成功后,隨后在鹽城市電信公司取消備案。該步驟將需要在正式遷移前完成,備案必須在工作日,且要考慮預(yù)留三天左右的時(shí)間待備案流程結(jié)束,否則會(huì)造成未備案或備案主體不正確被封閉80端口無(wú)法使用。
五、系統(tǒng)平臺(tái)及數(shù)據(jù)遷移準(zhǔn)備。遷移整體計(jì)劃采用“軟搬家”方式,將網(wǎng)站軟件、后臺(tái)數(shù)據(jù)、域名遷移到云服務(wù)網(wǎng)絡(luò)中。首先將前臺(tái)軟件部署到虛擬服務(wù)器中,最重要的是對(duì)后臺(tái)數(shù)據(jù)庫(kù)的數(shù)據(jù)進(jìn)行遷移。因?yàn)樯婕暗胶笈_(tái)數(shù)據(jù)量約有200 GB,方案中是采用夜間暫停前臺(tái)數(shù)據(jù)讀寫(xiě)操作,后臺(tái)一次性拷貝至新數(shù)據(jù)庫(kù)中。在數(shù)據(jù)備份完成后立即開(kāi)啟云服務(wù)平臺(tái)中的前臺(tái)服務(wù),再進(jìn)行正常的業(yè)務(wù)讀寫(xiě)操作,正式遷移到云服務(wù)平臺(tái)中對(duì)外提供服務(wù)。
4結(jié)論
在農(nóng)產(chǎn)品質(zhì)量安全追溯平臺(tái)遷移后,團(tuán)隊(duì)經(jīng)過(guò)多次測(cè)試,由于帶寬資源、計(jì)算資源充裕,用戶(hù)瀏覽、數(shù)據(jù)上傳國(guó)內(nèi)用戶(hù)基本能達(dá)到1.6-2.4Mb訪(fǎng)問(wèn)速度,延遲從原先的50-100ms改善至10-40ms,在2015年期間至今沒(méi)有出現(xiàn)計(jì)劃外的服務(wù)中斷故障。并發(fā)數(shù)峰值用戶(hù)最高達(dá)到400人次操作上傳,在抗壓性測(cè)試中,并發(fā)1000用戶(hù)時(shí)候系統(tǒng)服務(wù)均正常運(yùn)行。在大數(shù)量傳輸測(cè)試中,在外網(wǎng)不同地區(qū)分別5次上傳1GB文件時(shí)間約為20分鐘左右,上傳穩(wěn)定成功率高,穩(wěn)定運(yùn)行至今。由于利用了單位現(xiàn)有的云服務(wù)中心現(xiàn)有的線(xiàn)路與虛擬服務(wù)資源,節(jié)約硬件投資45萬(wàn),節(jié)約線(xiàn)路帶寬投資每年6萬(wàn)元。通過(guò)農(nóng)產(chǎn)品質(zhì)量安全追溯管理平臺(tái)的云網(wǎng)絡(luò)服務(wù)研究和應(yīng)用,使得我們通過(guò)這個(gè)案例對(duì)今后業(yè)務(wù)系統(tǒng)的建設(shè)推廣上有了更多的經(jīng)驗(yàn)和借鑒意義。