湖南省MICAPS 4.0分布式數(shù)據(jù)環(huán)境運(yùn)維方法與改進(jìn)

劉丹楓 施佳馳

摘 要：本文是對(duì)湖南省MICAPS 4.0分布式數(shù)據(jù)環(huán)境運(yùn)維方法的總結(jié)與歸納，詳細(xì)介紹了如何查看服務(wù)器監(jiān)控頁(yè)面、Cassandra與DPC集群狀態(tài)、資料達(dá)到情況，并對(duì)現(xiàn)有的運(yùn)維方法提出了改進(jìn)思路，本文可視為對(duì)氣自動(dòng)化運(yùn)維技術(shù)應(yīng)用的一次積極探索。

關(guān)鍵詞：MICAPS4.0，分布式數(shù)據(jù)環(huán)境，運(yùn)維方法。

1? MICAPS4分布式數(shù)據(jù)環(huán)境背景介紹

MICAPS是中國(guó)氣象部門(mén)氣象衛(wèi)星、天氣雷達(dá)和數(shù)值預(yù)報(bào)、站點(diǎn)實(shí)況等產(chǎn)品綜合應(yīng)用最強(qiáng)有力的業(yè)務(wù)技術(shù)支撐平臺(tái)，是中國(guó)氣象部門(mén)氣象預(yù)報(bào)最主要的預(yù)報(bào)業(yè)務(wù)系統(tǒng)。自1995年起至今，它已經(jīng)歷過(guò)4個(gè)版本的嬗變。MICAPS4作為其最新版本，首創(chuàng)海量數(shù)據(jù)分布式流式計(jì)算的前處理系統(tǒng)，衛(wèi)星雷達(dá)數(shù)據(jù)可實(shí)現(xiàn)毫秒級(jí)寫(xiě)入性能，數(shù)據(jù)訪問(wèn)性能相比傳統(tǒng)訪問(wèn)性能提升了兩個(gè)數(shù)量級(jí)。在氣象實(shí)時(shí)數(shù)據(jù)處理方面，MICAPS4首創(chuàng)從文件到數(shù)據(jù)庫(kù)，從集中式到分布式的解決方案，達(dá)到了國(guó)際先進(jìn)水平。

2016年11月，在國(guó)家氣象中心、國(guó)家氣象信息中心、清華大學(xué)的大力支持下，湖南省順利完成CIMISS-MICAPS4數(shù)據(jù)環(huán)境部署。分布式數(shù)據(jù)環(huán)境目前已正常運(yùn)行1000余天，可為預(yù)報(bào)員提供多源異構(gòu)資料的集中整合與分析顯示、為預(yù)報(bào)員呈現(xiàn)清晰的四維大氣結(jié)構(gòu)以及運(yùn)動(dòng)趨勢(shì)，為湖南省各級(jí)氣象部門(mén)提供高效、精準(zhǔn)的氣象數(shù)據(jù)服務(wù)。并且，分布式數(shù)據(jù)環(huán)境可支持長(zhǎng)達(dá)22天的模式實(shí)時(shí)數(shù)據(jù)存儲(chǔ)，目前已接入近10個(gè)模式系統(tǒng)數(shù)據(jù)，多達(dá)60個(gè)以上的模式空間層次，1700多個(gè)模式物理量。省級(jí)數(shù)據(jù)中心每分鐘訪問(wèn)量可達(dá)1049次，全天訪問(wèn)可達(dá)150萬(wàn)次。

數(shù)據(jù)分布式流式計(jì)算的前處理系統(tǒng)，針對(duì)集合預(yù)報(bào)數(shù)據(jù)可以實(shí)現(xiàn)“到達(dá)即可見(jiàn)”的效果，衛(wèi)星雷達(dá)數(shù)據(jù)可以實(shí)現(xiàn)毫秒級(jí)寫(xiě)入性能。其大規(guī)模擴(kuò)展物理集群的架構(gòu)，可以應(yīng)對(duì)高并發(fā)訪問(wèn)，解放市縣一級(jí)的數(shù)據(jù)維護(hù)負(fù)擔(dān)，湖南省所有 MICAPS4用戶可直連省級(jí)數(shù)據(jù)中心。

2? 湖南MICAPS4分布式數(shù)據(jù)環(huán)境檢查流程

湖南MICAPS4分布式數(shù)據(jù)環(huán)境日常巡檢主要查看Cassandra集群狀態(tài)、進(jìn)程是否存在、磁盤(pán)利用率、資源狀況、服務(wù)器上一次啟動(dòng)時(shí)間;查看DPC集群日志、進(jìn)程是否存在、磁盤(pán)利用率、資源狀況、服務(wù)器上一次啟動(dòng)時(shí)間等。

2.1? 查看服務(wù)器監(jiān)控頁(yè)面

MICAPS4.0數(shù)據(jù)應(yīng)用環(huán)境的網(wǎng)頁(yè)監(jiān)控共需要查看三個(gè)網(wǎng)頁(yè)內(nèi)容，分別是：查看CIMISS-MCP監(jiān)控頁(yè)面有沒(méi)有EI告警信息、查看http：//10.110.172.62：8080，確認(rèn)所有的Workers是否都存在且狀態(tài)正常、查看http：//10.110.172.62：4040，確認(rèn)所有Jobs的Submitted是否為最近一次計(jì)算集合預(yù)報(bào)的時(shí)間以及原始數(shù)據(jù)是否到達(dá)及時(shí)。

2.2? 查看Cassandra集群狀態(tài)

通過(guò)ssh方式登入到Cassandra服務(wù)器，切換到/home/micapsserver/cassandra/bin目錄，執(zhí)行命令：./nodetool status micapsdataserver，來(lái)查看集群運(yùn)行狀態(tài)，確保所有節(jié)點(diǎn)的狀態(tài)都是UN（UN = Up Normal），保證負(fù)載基本均衡;使用df –h命令，查看所有磁盤(pán)的利用率，確保長(zhǎng)期沒(méi)有變化（導(dǎo)入了新數(shù)據(jù)或者延長(zhǎng)了數(shù)據(jù)的保存時(shí)效等情況除外）;使用last reboot命令，查看服務(wù)器上一次啟動(dòng)時(shí)間，確保服務(wù)器沒(méi)有意外斷電或重啟;使用ps - ef | grep java命令，查看進(jìn)程號(hào)，確保Cassandra等進(jìn)程處于運(yùn)行狀態(tài)。

2.3? 查看DPC集群狀態(tài)

使用jps命令，查看進(jìn)程號(hào)，確保DPC（DPC.jar）、JobScheduler（JobScheduler.jar）等進(jìn)程處于運(yùn)行狀態(tài)。使用top命令，查看系統(tǒng)的資源狀況，進(jìn)入top后，可以使用x鍵高亮顯示，然后使用>鍵切換排序列，一般按照內(nèi)存使用率排序的話，DPC、JobScheduler等Java進(jìn)程會(huì)排在前幾位，便于查看;切換到/data/DPC/log與/data/JobScheduler/log，查看日志文件，確保當(dāng)前進(jìn)程工作正常。使用df –h命令，查看所有磁盤(pán)的利用率，確保長(zhǎng)期沒(méi)有變化;使用ps - ef | grep java命令，查看進(jìn)程號(hào)，確保DPC等進(jìn)程處于運(yùn)行狀態(tài)。

2.4? 查看資料達(dá)到情況

分布式數(shù)據(jù)環(huán)境里的資料來(lái)大多源于廣播衛(wèi)星CMACast下發(fā)，經(jīng)省級(jí)CIMISS接收后再分發(fā)至分布式數(shù)據(jù)環(huán)境各個(gè)DPC服務(wù)器的ftp接口目錄，現(xiàn)有ftp接口目錄接收資料如圖1所示。運(yùn)維檢查時(shí)需要查看接口目錄下的資料達(dá)到情況，由于接收資料繁多，因此檢查時(shí)需要耗費(fèi)較多時(shí)間。

3? 改進(jìn)方法思考

原有的MICAPS4分布式數(shù)據(jù)環(huán)境檢查流程比較繁瑣，對(duì)分布式數(shù)據(jù)環(huán)境進(jìn)行一次完整的檢查至少需要耗費(fèi)半個(gè)小時(shí)，因此可采用自動(dòng)化運(yùn)維方式對(duì)檢查流程進(jìn)行優(yōu)化。自動(dòng)化運(yùn)維方式可通過(guò)開(kāi)發(fā)監(jiān)控系統(tǒng)來(lái)實(shí)現(xiàn)，監(jiān)控系統(tǒng)采用C/S結(jié)構(gòu)，在服務(wù)器中部署通過(guò)python編寫(xiě)的監(jiān)控進(jìn)程，通過(guò)ssh、ftp等方式遠(yuǎn)程登入DPC與Cassandra集群，將檢查后的運(yùn)行結(jié)果情況寫(xiě)入到MySQL數(shù)據(jù)庫(kù)。通過(guò)桌面客戶端訪問(wèn)MySQL數(shù)據(jù)庫(kù)獲取集群運(yùn)行狀態(tài)。

4? 小結(jié)

本文是對(duì)湖南省MICAPS 4.0分布式數(shù)據(jù)環(huán)境運(yùn)維方法的總結(jié)與歸納，并對(duì)現(xiàn)有的運(yùn)維方法提出了大致的改進(jìn)優(yōu)化思路，下一步的工作是將改進(jìn)優(yōu)化思路通過(guò)程序開(kāi)發(fā)加以實(shí)現(xiàn)。