于由美 劉小斌 江明 張超環(huán)
[摘 要] 目前,云平臺已應(yīng)用在各行各業(yè)中,國外知名油氣開發(fā)公司如斯倫貝謝、哈里伯頓等都建立了自己的云應(yīng)用系統(tǒng)?;赩Mware ESXI,搭建了某企業(yè)的私有云平臺,通過前期的推廣應(yīng)用,達到了預(yù)期的效果。隨著云平臺的逐步應(yīng)用,出現(xiàn)了云平臺后臺資源分配不均衡、研究成果備份策略差等實際問題。文章通過云平臺計算資源負載均衡技術(shù)研究及井工區(qū)與地震工區(qū)備份方法,并結(jié)合企業(yè)自身應(yīng)用的特點,提出了一種針對本企業(yè)私有云平臺的運維管理辦法。
[關(guān)鍵詞] 私有云,負載均衡,oracle數(shù)據(jù)庫備份,運維管理
doi : 10 . 3969 / j . issn . 1673 - 0194 . 2019. 07. 067
[中圖分類號] TP311 [文獻標識碼] A [文章編號] 1673 - 0194(2019)07- 0163- 03
0 前 言
隨著國內(nèi)各油田地質(zhì)與開發(fā)生產(chǎn)數(shù)據(jù)庫系統(tǒng)建設(shè)的日臻完善,各油田都在積極開展數(shù)據(jù)庫深度應(yīng)用,但其專業(yè)應(yīng)用系統(tǒng)與底層數(shù)據(jù)庫均非一體化,而是采用數(shù)據(jù)下載、格式轉(zhuǎn)換、軟件推送的模式開展研究工作,這一工作模式不但軟硬件資源無法充分利用,而且數(shù)據(jù)一致性難以保障,研究成果與機器捆綁,共享難。目前,國外知名油氣開發(fā)公司(如斯倫貝謝、哈里伯頓)基于統(tǒng)一的底層數(shù)據(jù)庫,建立了自己的云應(yīng)用系統(tǒng),能夠?qū)崿F(xiàn)遠程開展地震解釋、地質(zhì)建模等研究工作,研究人員不用關(guān)心軟件及數(shù)據(jù)在哪個地方,隨需即取。云平臺構(gòu)建完成之后,后期的運維管理是一項長期的工作,如何做好云的運維管理工作是每一個建設(shè)者必須考慮的問題。采用基于服務(wù)器集群的云平臺后臺部署模式,能夠保證云平臺計算節(jié)點運行的可靠性;采用基于瀏覽器的應(yīng)用模式,能夠保證用戶得到很好的應(yīng)用體驗。但如何保證云平臺能夠平穩(wěn)運行,如何保證研究成果的數(shù)據(jù)安全,是在云平臺運維過程中面臨的主要問題。
1 負載均衡
負載均衡(Load Balance,簡稱LB)是一種服務(wù)器或網(wǎng)絡(luò)設(shè)備的集群技術(shù)。負載均衡將特定的業(yè)務(wù)分擔給多個服務(wù)器或網(wǎng)絡(luò)設(shè)備,從而提高了業(yè)務(wù)處理能力,保證了業(yè)務(wù)的高可用性。目前,比較常見的負載均衡算法有:
(1)輪詢法:將請求按順序輪流地分配到后端服務(wù)器上,它均衡地對待后端的每一臺服務(wù)器,而不關(guān)心服務(wù)器實際的連接數(shù)和當前的系統(tǒng)負載。
(2)隨機法:通過系統(tǒng)的隨機算法,根據(jù)后端服務(wù)器的列表大小值來隨機選取其中的一臺服務(wù)器進行訪問。由概率統(tǒng)計理論可以得知,隨著客戶端調(diào)用服務(wù)端的次數(shù)增多,其實際效果越來越接近于平均分配調(diào)用量到后端的每一臺服務(wù)器,也就是輪詢的結(jié)果。
(3)源地址哈希法:源地址哈希的思想是根據(jù)獲取客戶端的IP地址,通過哈希函數(shù)計算得到的一個數(shù)值,用該數(shù)值對服務(wù)器列表的大小進行取模運算,得到的結(jié)果便是客服端要訪問服務(wù)器的序號。采用源地址哈希法進行負載均衡,同一IP地址的客戶端,當后端服務(wù)器列表不變時,它每次都會映射到同一臺后端服務(wù)器進行訪問。
(4)加權(quán)輪詢法:不同的后端服務(wù)器可能機器的配置和當前系統(tǒng)的負載并不相同,因此它們的抗壓能力也不相同。給配置高、負載低的機器配置更高的權(quán)重,讓其處理更多的請;而配置低、負載高的機器,給其分配較低的權(quán)重,降低其系統(tǒng)負載,加權(quán)輪詢能很好地處理這一問題,并將請求順序且按照權(quán)重分配到后端。
(5)加權(quán)隨機法:與加權(quán)輪詢法一樣,加權(quán)隨機法也根據(jù)后端機器的配置,系統(tǒng)的負載分配不同的權(quán)重。不同的是,它是按照權(quán)重隨機請求后端服務(wù)器,而非順序。
(6)最小連接數(shù)法:最小連接數(shù)算法比較靈活和智能,由于后端服務(wù)器的配置不盡相同,對于請求的處理有快有慢,它是根據(jù)后端服務(wù)器當前的連接情況,動態(tài)地選取其中當前積壓連接數(shù)最少的一臺服務(wù)器來處理當前的請求,盡可能地提高后端服務(wù)的利用效率,將負責合理地分流到每一臺服務(wù)器。
2 Oracle數(shù)據(jù)庫備份
各種因素可能會造成數(shù)據(jù)庫中災(zāi)難性的數(shù)據(jù)丟失,為了保證數(shù)據(jù)庫中數(shù)據(jù)的安全,必須采取必要的備份措施保證數(shù)據(jù)庫中數(shù)據(jù)免遭破壞。所謂數(shù)據(jù)備份技術(shù),就是讓數(shù)據(jù)能以某種特定的格式加以保留,以便在系統(tǒng)遭受災(zāi)害時能重新加以利用的一個過程。其目的就是為了使數(shù)據(jù)能重新利用,換句話說,數(shù)據(jù)備份的核心是能使數(shù)據(jù)恢復(fù),一個無法恢復(fù)的數(shù)據(jù)備份是毫無意義的[1]。數(shù)據(jù)庫備份是十分簡單,是在數(shù)據(jù)庫處于無法使用狀態(tài)時用于重建數(shù)據(jù)庫的重要信息拷貝。
常見的Oracle數(shù)據(jù)庫備份有三種方法:
(1)冷備份。冷備份是Oracle最簡單的一種備份,執(zhí)行冷備份前必須關(guān)閉數(shù)據(jù)庫,然后使用操作系統(tǒng)實用工具或者第三方工具備份所有相關(guān)的數(shù)據(jù)庫文件。
(2)熱備份。熱備份是當數(shù)據(jù)庫正在運行時進行數(shù)據(jù)備份的過程,執(zhí)行熱備份的前提是數(shù)據(jù)庫需運行在ARCHIVELOG模式,適用于7*24不間斷運行的關(guān)鍵應(yīng)用系統(tǒng)。
(3)Export導(dǎo)出數(shù)據(jù)庫對象。冷備份和熱備份都備份物理數(shù)據(jù)庫文件,因而被稱為物理備份。而export備份的是數(shù)據(jù)庫對象,因此被稱為邏輯備份。該方法通過Oracle實用工具Export利用SQL語句讀出數(shù)據(jù)庫數(shù)據(jù),并在操作系統(tǒng)層將數(shù)據(jù)和定義存入二進制文件。導(dǎo)出對于還原一個意外刪除的對象或還原這個對象的定義來說是很好的,因為脫機備份不能只還原一個對象,而聯(lián)機備份還原一個對象必須得還原該對象存在的數(shù)據(jù)文件,相對于導(dǎo)出這種備份形式來說要煩瑣很多,但是從導(dǎo)出中還原時,僅能得到導(dǎo)出文件中的內(nèi)容,不能從中向前回滾,所以導(dǎo)出數(shù)據(jù)庫這種備份方式只能作為聯(lián)機備份和脫機備份的一種補充。
3 方案設(shè)計
地質(zhì)綜合研究云平臺具備服務(wù)器資源、數(shù)據(jù)資源及軟件資源統(tǒng)一管理、專業(yè)應(yīng)用遠端隨需即取、跨平臺等技術(shù)特色。該平臺已在研究院、錦采、曙采等多家單位的勘探開發(fā)研究工作中得到了初步應(yīng)用,結(jié)束了資料靠下載、成果靠拷貝的低效工作模式,提升了一體化協(xié)同研究的技術(shù)能力,效果顯著。在推廣過程中,針對負載均衡算法不完善,數(shù)據(jù)備份僅限于用戶手工拷貝等問題,對勘探開發(fā)云平臺進行了技術(shù)升級。
3.1 云平臺計算資源負載均衡技術(shù)
通過分析前期云平臺實際應(yīng)用情況,將計算節(jié)點的連接數(shù)、CPU使用率、內(nèi)存使用率、圖卡使用率列為關(guān)鍵性能指標,并按影響程度打出分值,通過分值構(gòu)建性能指標矩陣,計算服務(wù)器的KPI權(quán)重值,編寫程序?qū)崿F(xiàn)計算節(jié)點四個關(guān)鍵性能指標在矩陣中的輪詢,使服務(wù)器按權(quán)值順序接受來自平臺用戶的服務(wù)請求,實現(xiàn)應(yīng)用的負載均衡。
不同的服務(wù)器可能機器配置和當前系統(tǒng)的負載并不相同,因此它們的抗壓能力也不盡相同,給配置高、負載低的機器配置更高的權(quán)重,讓其處理更多的請求,而低配置、高負載的機器,則給其分配較低的權(quán)重,降低其系統(tǒng)負載。經(jīng)論證,使用加權(quán)輪詢法,很好地處理這一問題,并將請求順序按照權(quán)重分配到后端。
基于上述算法,將權(quán)重值細化,基于云平臺服務(wù)器關(guān)鍵性能指標來構(gòu)建矩陣,再通過層次分析算法計算出服務(wù)器的KPI權(quán)重值,運用加權(quán)輪值算法,使服務(wù)器按權(quán)值順序接受來自平臺用戶的服務(wù)請求,實現(xiàn)應(yīng)用的負載均衡。將云平臺服務(wù)器的四項關(guān)鍵性能指標CPU、內(nèi)存、顯存、連接數(shù)組建矩陣,見表1。首先為四項關(guān)鍵性能指標按重要性打分,接著根據(jù)分值在矩陣中填寫比值,根據(jù)檢測的服務(wù)器相關(guān)信息套入矩陣,計算出服務(wù)器的KPI權(quán)重值,指導(dǎo)實現(xiàn)平臺服務(wù)器的負載均衡技術(shù),如圖1所示。
3.2 井工區(qū)及地震工區(qū)備份方法
地震解釋工作在地質(zhì)研究過程中起著至關(guān)重要的作用,在建立等時地層對比格架方面,通過三維地震資料解釋落實區(qū)域?qū)Ρ葮酥镜卣痦憫?yīng)特征,以地震資料為約束建立等時地層對比格架降低地層對比可靠性;在精細構(gòu)造解釋方面,通過三維地震資料解釋落實區(qū)塊斷層位置、產(chǎn)狀、延伸長度、組合關(guān)系等特征及地層產(chǎn)狀變化,井震結(jié)合實現(xiàn)區(qū)塊構(gòu)造精細解釋;在落實有利儲層分布方面,井震結(jié)合落實有利儲層地震反射特征,通過反射特征精細追蹤,落實有利儲層分布范圍,為井位部署及跟蹤提供依據(jù)。地震解釋成果以二進制文件存儲與磁盤或儲存于解釋軟件自帶的數(shù)據(jù)庫中,地震解釋成果的備份,對于地震工區(qū)的恢復(fù)十分必要。
通過自定義功能腳本,實現(xiàn)云平臺地震解釋應(yīng)用的井工區(qū)及地震工區(qū)重要數(shù)據(jù)文件定時自動增量備份及完整備份功能,提升用戶研究成果的安全性。
在應(yīng)用服務(wù)器層面設(shè)定定時任務(wù),自動調(diào)用編寫的備份腳本,完成云平臺地震解釋應(yīng)用的層位文件備份、井工區(qū)數(shù)據(jù)備份,實現(xiàn)數(shù)據(jù)的定時備份功能,還可以根據(jù)輸出的備份日志查看備份的文件是否成功完成,如圖2所示。
crontab定時備份
30 2 * * 6 /software/backup/hts_bak.sh
0 1 * * 7 /software/backup/prj_bak.sh
通過實現(xiàn)上述定時自動備份功能,使云平臺地震解釋用戶的研究成果和數(shù)據(jù)安全得到有效保障。
此外,還通過容災(zāi)備份系統(tǒng),對后臺成果數(shù)據(jù)進行TrueCopy備份。在災(zāi)難發(fā)生時,TrueCopy會對數(shù)據(jù)實施無縫保護,免除了一系列煩瑣的手工磁盤恢復(fù)的過程[2]。
4 總 結(jié)
本文介紹了地質(zhì)綜合研究云平臺后臺資源的運維管理方法,并結(jié)合生產(chǎn)實際,綜合運用自創(chuàng)的云平臺計算資源負載均衡技術(shù)和井工區(qū)及地震工區(qū)備份方法,完善了云平臺運行策略,通過項目推廣實施,實現(xiàn)了云平臺在油田公司12家單位地質(zhì)研究部門的初步推廣應(yīng)用。今后還將繼續(xù)完善勘探開發(fā)云平臺的功能,不斷豐富云平臺應(yīng)用,按需調(diào)整云平臺節(jié)點的分配方案,滿足云平臺用戶日??蒲猩a(chǎn)工作對云平臺資源的需求,并結(jié)合實際生產(chǎn)需求,進一步提高地質(zhì)研究工作的效率與質(zhì)量,為遼河油田增儲穩(wěn)產(chǎn)、降本增效提供有力的技術(shù)支持。
主要參考文獻
[1]劉艷.SAN環(huán)境下數(shù)據(jù)備份系統(tǒng)的設(shè)計與實現(xiàn)[D].重慶:重慶大學(xué),2008.
[2]劉小斌.基于SAN存儲的容災(zāi)備份系統(tǒng)[J].中國管理信息化,2015,18(13).