粟 毅,安小偉,姚 遠(yuǎn)
(云南省地震局,云南 昆明 650224)
目前,云南省地震局的測(cè)震波形數(shù)據(jù)普遍采用物理服務(wù)器安裝JOPENS軟件(吳永權(quán),黃文輝,2010)進(jìn)行匯集,這種方式是通過(guò)有線(xiàn)專(zhuān)線(xiàn)傳輸,將數(shù)據(jù)存儲(chǔ)在本地服務(wù)器,定期將波形文件備份至存儲(chǔ)設(shè)備,適用于較多臺(tái)網(wǎng)數(shù)據(jù)的傳輸和存儲(chǔ)。在有大規(guī)模臺(tái)網(wǎng)數(shù)據(jù)需要傳輸和存儲(chǔ)時(shí),中國(guó)地震局臺(tái)網(wǎng)中心為滿(mǎn)足測(cè)震波形數(shù)據(jù)管理的業(yè)務(wù)需求,選取基于Hadoop大數(shù)據(jù)技術(shù)的分布式文件系統(tǒng)HDFS和分布式計(jì)算Spark架構(gòu)進(jìn)行數(shù)據(jù)的存儲(chǔ)和計(jì)算研究(郭凱等,2017)。在小規(guī)模觀測(cè)項(xiàng)目或?qū)嶒?yàn)項(xiàng)目中,部分測(cè)震臺(tái)通過(guò)4G方式傳輸數(shù)據(jù),部分無(wú)人值守臺(tái)站通過(guò)定期人工讀取數(shù)采存儲(chǔ)卡方式提取數(shù)據(jù)。因此,在保障數(shù)據(jù)及時(shí)性、有效性、安全性上還存在不足,尤其是在數(shù)據(jù)的遠(yuǎn)程傳輸、數(shù)據(jù)匯集所需設(shè)備等方面。吳叔坤等(2006)研究廣東數(shù)字地震遙測(cè)臺(tái)網(wǎng)數(shù)據(jù)傳輸?shù)母鞣N方寸,總結(jié)得出IP/VPN傳輸具有無(wú)丟數(shù)誤碼、斷點(diǎn)續(xù)傳、經(jīng)濟(jì)實(shí)惠、安全可靠等特點(diǎn)。
Hyper-V是一款兼顧了安全性和性能要求的虛擬化產(chǎn)品。數(shù)據(jù)采用4G方式傳回區(qū)域中心服務(wù)器,通過(guò)VPN專(zhuān)線(xiàn)進(jìn)入云南省地震行業(yè)網(wǎng),掛載NAS存儲(chǔ)回傳數(shù)據(jù)(陽(yáng)小珊等,2012)。此方法適用于小規(guī)模臺(tái)網(wǎng)數(shù)據(jù)采集,可應(yīng)用在實(shí)驗(yàn)觀測(cè)項(xiàng)目中。本文主要探索服務(wù)器虛擬主機(jī)安裝FreeBSD系統(tǒng)(冉慧敏,史勇軍,2011)的波形數(shù)據(jù)文件匯集,以節(jié)約服務(wù)器設(shè)備資源、保障數(shù)據(jù)安全性,為測(cè)震數(shù)據(jù)傳輸、存儲(chǔ)等提供技術(shù)參考。
2017年,云南省地震局在小江斷裂帶附近新建20個(gè)測(cè)震觀測(cè)點(diǎn),在對(duì)其數(shù)據(jù)完成匯集和存儲(chǔ)時(shí)需要解決2個(gè)技術(shù)問(wèn)題:其一,區(qū)域中心數(shù)據(jù)接收虛擬服務(wù)器在行業(yè)專(zhuān)網(wǎng)內(nèi),與4G無(wú)線(xiàn)路由之間跨越2個(gè)獨(dú)立網(wǎng)絡(luò),因此需通過(guò)VPN方式建立2網(wǎng)之間的安全隧道以解決網(wǎng)絡(luò)連接問(wèn)題;其二,在服務(wù)器資源及存儲(chǔ)資源有限的情況下,利用服務(wù)器虛擬化技術(shù)共享服務(wù)器資源,同時(shí)使用NAS存儲(chǔ)系統(tǒng)解決數(shù)據(jù)存儲(chǔ)問(wèn)題。
首先在區(qū)域中心做測(cè)試,將測(cè)震儀器數(shù)采與路由器連接,建立4G無(wú)線(xiàn)路由與VPN之間的安全隧道并測(cè)試網(wǎng)絡(luò)連通,后配置虛擬機(jī)和安裝FreeBSD系統(tǒng)和Jopens軟件(冉慧敏,史勇軍,2011),并做好軟件與儀器數(shù)采配置,保證數(shù)據(jù)能傳輸?shù)教摂M服務(wù)器,最后配置NAS與FreeBSD系統(tǒng)之間的網(wǎng)絡(luò)連接,通過(guò)ISCSI掛載到系統(tǒng)分區(qū)中,修改Jopens數(shù)據(jù)存儲(chǔ)路徑到NAS設(shè)備,實(shí)現(xiàn)測(cè)震波形數(shù)據(jù)的非本地存儲(chǔ)(圖1)。
圖1 配置流程圖
本文涉及的遠(yuǎn)程數(shù)據(jù)傳輸是采用“四信”4G無(wú)線(xiàn)路由器做鏈路信道,測(cè)震儀器數(shù)采設(shè)備通過(guò)網(wǎng)線(xiàn)連接路由器,配置好路由器的IP地址映射,同時(shí)需開(kāi)啟路由器遠(yuǎn)程連接屬性,方便后期登陸進(jìn)行維護(hù)。路由器配置完成后需配置VPN專(zhuān)線(xiàn)路由器,將信道運(yùn)營(yíng)商私有地址通過(guò)VPN專(zhuān)線(xiàn)接入到云南省地震局行業(yè)專(zhuān)網(wǎng)。配置完成后,可在行業(yè)專(zhuān)網(wǎng)直接訪(fǎng)問(wèn)無(wú)線(xiàn)路由器和測(cè)震儀器數(shù)采設(shè)備WEB控制頁(yè)面,遠(yuǎn)程調(diào)整數(shù)采各項(xiàng)參數(shù)(圖2)。
在區(qū)域中心服務(wù)器上配置Hyper-V虛擬機(jī),此虛擬機(jī)僅支持Windows Server 2008 R2及以上服務(wù)器操作系統(tǒng)。配置時(shí)需注意,Hyper-V服務(wù)端默認(rèn)不支持FreeBSD網(wǎng)卡,在虛擬機(jī)客戶(hù)端需選擇舊版本網(wǎng)卡,在虛擬機(jī)資源分配時(shí)根據(jù)觀測(cè)點(diǎn)數(shù)量進(jìn)行配置,本次架設(shè)20個(gè)測(cè)震觀測(cè)點(diǎn),需2核以上CPU,5 G以上內(nèi)存,50 G以上硬盤(pán)。
本次數(shù)據(jù)接收服務(wù)器部署FreeBSD 11.1操作系統(tǒng),選擇最小化安裝,按系統(tǒng)默認(rèn)分區(qū)方式劃分分區(qū)表,安裝完成后進(jìn)行網(wǎng)絡(luò)配置,確保系統(tǒng)連通測(cè)震儀器數(shù)采設(shè)備。最后進(jìn)行SSH配置,允許遠(yuǎn)程SSH連接,方便后續(xù)遠(yuǎn)程操作使用。
通過(guò)JOPENS6.0軟件完成測(cè)震數(shù)據(jù)的接收、分析和存儲(chǔ),操作系統(tǒng)安裝完成后通過(guò)移動(dòng)硬盤(pán)或SSH工具將JOPENS安裝文件導(dǎo)入到系統(tǒng)/usr/目錄下準(zhǔn)備安裝。JOPENS 6.0軟件安裝可參照軟件說(shuō)明書(shū)進(jìn)行部署。
圖2 數(shù)據(jù)傳輸連接圖
本次應(yīng)用將數(shù)據(jù)存儲(chǔ)位置設(shè)為獨(dú)立NAS,也可使用專(zhuān)業(yè)存儲(chǔ)設(shè)備進(jìn)行存放。
首先配置NAS空間,NAS需接入到與主機(jī)相同網(wǎng)段,通過(guò)瀏覽器進(jìn)行訪(fǎng)問(wèn),建立ISCSI存儲(chǔ)空間(圖3),并獲取ISCSI target信息(圖4)。
圖3 建立ISCSI存儲(chǔ)空間
圖4 獲取ISCSI target信息
在FreeBSD系統(tǒng)配置ISCSI客戶(hù)端連接信息,如沒(méi)有安裝ISCSI程序需要進(jìn)行下載安裝,輸入make install clean自動(dòng)下載安裝,安裝完成后編輯/etc/rc.conf文件指定配置文件。
將NAS端獲取的ISCSI target信息寫(xiě)到/etc/iscsi.conf文件,創(chuàng)建ISCSI客戶(hù)端連接信息,添加如下內(nèi)容:
target0 { # nickname
targetaddress=10.53.208.234 —NAS存儲(chǔ)IP
TargetName=iqn.2017-09.com.thecus.n4810:iscsi.ynfzx.raid0
}
同時(shí)編輯/boot/loader.conf文件,開(kāi)啟ISCSI連接并制定配置文件存放位置,需添加如下內(nèi)容:
iscsi_initiator_load=”YES”
iscsi target config=“/usr/local/etc/iscsi/targets”
配置完成后執(zhí)行命令kldload iscsi_initiator,啟動(dòng)iscsi_initiator內(nèi)核,輸入命令建立連接iscontrol-t10.53.208.234-n target0(圖5),查看/var/log/message 記錄da1是否已連接。最后格式化新連接的分區(qū) newfs/dev/da1。
圖5 連接ISCSI
掛載da1分區(qū)到AWS模塊數(shù)據(jù)庫(kù)存儲(chǔ)目錄,需用戶(hù)自行創(chuàng)建該目錄并賦權(quán)。
# mount/dev/da1 /usr/home/tank
查看是否連接成功 df -h,會(huì)發(fā)現(xiàn)多出了一個(gè)da1分區(qū)并掛載到/usr/home/tank目錄。
最后用命令在FreeBSD系統(tǒng)根目錄下創(chuàng)建/online 目錄并賦權(quán),在掛載存儲(chǔ)的tank目錄下建立一個(gè)符號(hào)鏈接文件online到內(nèi)存磁盤(pán)。
#ln-sf/online/usr/home/tank/online —連接到存儲(chǔ)目錄
進(jìn)入到服務(wù)端JOPENS管理頁(yè)面,配置AWS模塊存儲(chǔ)路徑(圖6),修改為掛載的ISCSI路徑/usr/home/tank,保存后重啟wildfly服務(wù)。
最后查看波形文件是否寫(xiě)入到NAS存儲(chǔ)中(圖7)。
圖6 修改配置文件
圖7 查看波形文件
修改JOPENS客戶(hù)端配置文件jopens-config. properties,文件位置X:jopensconf將默認(rèn)存數(shù)路徑j(luò)opens.aws.archiveDir=/home/jopens/tank修改為存儲(chǔ)位置,如:/usr/home/tank,即完成了數(shù)據(jù)文件調(diào)用。至此,實(shí)現(xiàn)了虛擬機(jī)掛接NAS存儲(chǔ)測(cè)震波形數(shù)據(jù),接下來(lái),用戶(hù)可使用MSDP模塊調(diào)用波形數(shù)據(jù)進(jìn)行分析處理。
本文總結(jié)了利用Hyper-V虛擬化技術(shù)安裝FreeBSD系統(tǒng)運(yùn)行JOPENS6.0軟件實(shí)現(xiàn)4G無(wú)線(xiàn)測(cè)震波形數(shù)據(jù)匯集的方法,基于ISCIS技術(shù)實(shí)現(xiàn)了測(cè)震波形文件在NAS存儲(chǔ)系統(tǒng)上的匯集,結(jié)論如下:
(1)將各類(lèi)應(yīng)用部署在虛擬主機(jī)上,利用虛擬機(jī)自身的容錯(cuò)機(jī)制,可提升應(yīng)用的穩(wěn)定性。在分配虛擬機(jī)資源時(shí),可根據(jù)應(yīng)用的資源消耗靈活進(jìn)行分配,也可按應(yīng)用實(shí)際使用資源進(jìn)行后期調(diào)整。
(2)無(wú)線(xiàn)數(shù)據(jù)傳輸可作為無(wú)人值守臺(tái)站、流動(dòng)觀測(cè)臺(tái)、實(shí)驗(yàn)儀器數(shù)據(jù)接收等非常規(guī)的數(shù)據(jù)匯集使用。本文對(duì)利用VPN技術(shù)解決4G無(wú)線(xiàn)接入行業(yè)內(nèi)網(wǎng)的方法進(jìn)行了實(shí)踐。
(3)NAS具有網(wǎng)絡(luò)存儲(chǔ)方式簡(jiǎn)單、設(shè)備體量較小、便于數(shù)據(jù)移動(dòng)等特點(diǎn),要根據(jù)實(shí)際情況來(lái)選擇最優(yōu)化的方式。以NAS方式存儲(chǔ)測(cè)震波形數(shù)據(jù)并不是最優(yōu)化的方式,推薦還是存放于服務(wù)器本地硬盤(pán),定期做數(shù)據(jù)的導(dǎo)出和刪除工作。本文主要是以節(jié)約資源為主,為資源緊張的實(shí)驗(yàn)項(xiàng)目、小臺(tái)網(wǎng)等提出一種解決方式。
(4)本次臺(tái)站建設(shè)于2018年1月正式運(yùn)行,在系統(tǒng)運(yùn)行期間數(shù)據(jù)接收連續(xù)率為98%,網(wǎng)絡(luò)連接最大延遲約700 ms(臺(tái)站物理位置4G信號(hào)影響),運(yùn)行至今接收連續(xù)波形數(shù)據(jù)量600 G左右。系統(tǒng)整體運(yùn)行狀態(tài)良好,完全能夠滿(mǎn)足小臺(tái)網(wǎng)、實(shí)驗(yàn)項(xiàng)目等場(chǎng)景應(yīng)用。