高原 張勇 寧劍 顧文杰 陳鵬

摘? ?要：針對傳統(tǒng)的主備切換方法只能支持雙機，僅支持心跳一種判斷標(biāo)準(zhǔn)，需要人工介入進行切換，且存在單點故障等問題，提出了一種基于細粒度應(yīng)用管理的多機主備冗余機制。該機制通過使用細粒度應(yīng)用管理、多種條件的故障檢測、分布式狀態(tài)轉(zhuǎn)換等技術(shù)，實現(xiàn)了多機主備冗余和資源充分利用，并且切換過程無需人工干預(yù)。最后通過多場景下的多次測試，驗證了本機制在功能、性能方面的良好表現(xiàn)。多機冗余機制已在國調(diào)、華北、江蘇等多個調(diào)控機構(gòu)得到了應(yīng)用。

關(guān)鍵詞：主備;冗余;故障檢測;心跳;切換

中圖分類號：TP3-05? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?文獻標(biāo)識碼：A

Design and Implementation of the Fine-grained Multi-machine

Redundancy Mechanism for Power Grid Dispatching and Control Systems

GAO Yuan1，2，3 ZHANG Yong4，NING Jian4，GU Wen-jie1，2，3，CHEN Peng1，2，3

（1.NARI Group Corporation（State Grid Electric Power Research Institute），Nanjing，Jiangsu 211106，China;

2.NARI Technology Development Co. Ltd. ，Nanjing，Jiangsu 211106，China;

3.State Key Laboratory of Smart Grid Protection and Control，Nanjing，Jiangsu 211106，China;

4. North China Branch of State Grid Corporation of China，Beijing 100053，China）

Abstract：The traditional active/standby switching methods can only support two machines，only support heartbeat for judging standard，manual intervention is required to perform the switch，have problems such as single point of failure and so on. A fine-grained multi-machine redundancy mechanism for power grid dispatching and control system is proposed. Through the use of fine grained application management technology，fault detection in a variety of conditions，distributed state transformation，this mechanism realizes the redundancy and resource utilization of multi-machine cluster. And there is no manual intervention during switch process. Finally，several experiments in different scenarios were conducted to verify the function and performance of the mechanism in this paper. The redundancy mechanism of this paper is adopted in the power grid dispatching and control system such as State Grid，North China，Jiangsu and so on.

Key words：active/standby;redundancy;fault detection;heartbeat;switch

隨著特高壓、互聯(lián)大電網(wǎng)的發(fā)展[1-3]，全網(wǎng)數(shù)據(jù)規(guī)模的急劇增長，電網(wǎng)數(shù)據(jù)處理相關(guān)的應(yīng)用也越來越豐富。智能電網(wǎng)調(diào)控系統(tǒng)向著集群化和服務(wù)化方向發(fā)展[4-5]。傳統(tǒng)的單機運行所有應(yīng)用的方式不再滿足要求。同時電網(wǎng)調(diào)控系統(tǒng)的實時特性也決定了對安全機制的高要求[6]。因此迫切需要一種適應(yīng)多機環(huán)境，切換快速的高可用冗余管理機制。

目前高可用管理機制的研究一般限于兩個節(jié)點的一主一備方式，并且有諸多局限性。如文獻[7中主備機配置相同的IP，采用心跳互相監(jiān)測，此方案下備機平時不工作，造成了一半的資源浪費，且只支持雙機互備。

文獻[8]中僅有主機對外提供服務(wù)，備機盡管不服務(wù)但CPU也在全速運轉(zhuǎn)，因為需從網(wǎng)絡(luò)收取同樣數(shù)量的報文。切換時需要人工操作控制臺。文獻[9]中由一個虛擬IP對外提供服務(wù)。但是同一時刻依然只能一臺主機提供服務(wù)。

文獻[10]描述了一種協(xié)商協(xié)議用于主備決策問題，但是僅設(shè)置了一個bit用于主備標(biāo)識，所以僅能用于雙機互備。文獻[11]采用類似的狀態(tài)字，但只適用于雙機，如果擴展為多機，所有設(shè)備的軟件都需更換。

文獻[12]描述了可用于兩個以上節(jié)點的數(shù)據(jù)服務(wù)系統(tǒng)的主備機切換方法。但是切換時需要獲取一個全局鎖，這樣就引入了一個中心節(jié)點，給系統(tǒng)帶來了單點故障問題。

文獻[13]用雙網(wǎng)的拓撲結(jié)構(gòu)對心跳進行了保護，但是軟件協(xié)議只支持雙機互備。文獻[14]提出了三重心跳，判斷條件更加豐富。但是主備切換仍然只支持雙機。

綜上所述，在解決主備切換問題時，現(xiàn)有文獻中的方法和策略存在以下不足：1）僅能支持兩個節(jié)點，并且僅有主機對外提供服務(wù);2）判斷條件單一，僅依據(jù)心跳是否存在;3）切換過程需要人工干預(yù);4）存在單點故障。

考慮到上述方案的不足，提出了一種適用于電網(wǎng)調(diào)控系統(tǒng)這類實時系統(tǒng)的多機主備冗余機制，使用細粒度的應(yīng)用管理方法提高了資源利用率，使用狀態(tài)同步技術(shù)支持多節(jié)點互備，基于多種切換條件，使用分布式的應(yīng)用狀態(tài)轉(zhuǎn)換技術(shù)完成自動的主備切換。

1? ?調(diào)控系統(tǒng)主備冗余功能和性能需求

智能電網(wǎng)調(diào)度控制系統(tǒng)是一種實時類系統(tǒng)，處理的數(shù)據(jù)量大，實時性和可靠性要求高，因此對其主備冗余提出了以下功能和性能需求：

1.1? ?多機主備冗余

系統(tǒng)僅兩臺服務(wù)器運行無論在性能和功能上都不滿足實時系統(tǒng)需求。如果兩臺服務(wù)器同時崩潰則系統(tǒng)功能將完全失去。因此迫切需要能支持多臺服務(wù)器的主備冗余機制。

1.2? ?資源充分利用

主機工作備機閑置的方案不能滿足大數(shù)據(jù)量處理的需求。且全部功能都在一個節(jié)點部署的方案，一旦主機崩潰，對系統(tǒng)瞬間造成的影響太大。因此需要兩臺以上服務(wù)器每臺都能提供部分服務(wù)的主備冗余機制。

1.3? ?多種切換條件

僅依賴心跳是否存在進行判斷不能滿足復(fù)雜系統(tǒng)的實際需求。因為可能存在心跳正常，但是應(yīng)用進程不正常的情況。因此系統(tǒng)需提供多種判斷條件進行主備切換。

1.4? ?無需人工干預(yù)

當(dāng)發(fā)現(xiàn)故障時由人工選擇一個節(jié)點切換為主機可以避免沖突，但時效性太差。電網(wǎng)調(diào)控系統(tǒng)需要實時自動切換主機的方案。

1.5? ?無需中心節(jié)點

設(shè)置全局鎖、仲裁節(jié)點或者協(xié)調(diào)節(jié)點的類似方案會給整個系統(tǒng)帶來單點故障，一旦中心節(jié)點故障，整個系統(tǒng)的冗余功能將失去。因此冗余管理方案不能設(shè)置中心節(jié)點。

2? ?調(diào)控系統(tǒng)主備冗余方案及關(guān)鍵技術(shù)

2.1? ?總體方案

調(diào)控系統(tǒng)多機主備冗余方案主要采用細粒度的應(yīng)用部署方法，并在各個節(jié)點間進行應(yīng)用狀態(tài)的同步和數(shù)據(jù)的同步，基于多種條件發(fā)現(xiàn)故障后，進行應(yīng)用狀態(tài)的轉(zhuǎn)換?？傮w架構(gòu)圖如圖1所示。

圖1中各個節(jié)點可以細粒度的部署多個應(yīng)用，同一個應(yīng)用在各個節(jié)點的實例中，僅有一個為主實例，其他為備實例。每個應(yīng)用的狀態(tài)通過心跳兼狀態(tài)報文發(fā)送到其他節(jié)點，應(yīng)用的數(shù)據(jù)通過消息報文進行同步。同時每個節(jié)點運行進程管理和網(wǎng)絡(luò)管理進行進程和網(wǎng)絡(luò)故障判斷，故障發(fā)生后通過狀態(tài)轉(zhuǎn)換技術(shù)選舉出新的主機進行應(yīng)用切換。本文描述的關(guān)鍵技術(shù)有效滿足了多機主備冗余、資源充分利用、多種切換條件、無需人工干預(yù)、無中心節(jié)點等需求。下面進行各項技術(shù)的詳細介紹。

2.2? ?細粒度應(yīng)用管理技術(shù)

調(diào)控系統(tǒng)中業(yè)務(wù)功能都以應(yīng)用的形式存在，應(yīng)用下屬一定數(shù)量的進程和數(shù)據(jù)庫表。啟動應(yīng)用即啟動了相應(yīng)的進程，系統(tǒng)中即具備了對應(yīng)的業(yè)務(wù)功能。本文的主備冗余機制不是以節(jié)點（即服務(wù)器）為單位，而是以應(yīng)用為單位。

基于應(yīng)用級別的主備冗余機制下每個節(jié)點都可運行某幾個應(yīng)用的主機，僅要求同一個應(yīng)用的主備不在同一個節(jié)點上。多個應(yīng)用的主備機可均衡部署在多個節(jié)點上，不僅限于兩個節(jié)點，如圖2所示。不會出現(xiàn)雙機互備時備機資源完全閑置的情況。

2.3? ?多條件故障檢測技術(shù)

本文的機制不僅僅使用心跳作為切換判斷依據(jù)。心跳存在并不能保證軟件功能正常。軟件故障檢測主要是檢測進程的狀態(tài)，可通過周期性檢測或主動匯報機制檢測到關(guān)鍵進程故障，進一步觸發(fā)進程所屬應(yīng)用的故障，最后根據(jù)2.5節(jié)中的算法觸發(fā)應(yīng)用主備切換。

同時本文還檢測網(wǎng)絡(luò)狀態(tài)，因為服務(wù)器和工作站可能連接在不同的接入層交換機，再連接一個核心交換機。這樣某個服務(wù)器的接入層交換機與核心交換機斷開，則其功能不能被工作站使用，因此需要特殊的網(wǎng)絡(luò)檢測模塊，如果檢測出它與核心交換機斷開則判斷為服務(wù)器斷網(wǎng)。

另外為了提高切換速度，本文故障冗余機制提供一種加速判斷網(wǎng)絡(luò)故障的方法。具體步驟是在第一次超時未收到心跳報文時，立刻主動向疑似斷網(wǎng)節(jié)點發(fā)出ping報文，不再等待后續(xù)心跳。例如連續(xù)進行3次ping操作，如果均未得到回復(fù)，則判斷疑似節(jié)點斷網(wǎng)。ping操作的時間間隔可配置。使用ping報文檢測比心跳更加準(zhǔn)確快速，因為是由對方節(jié)點的操作系統(tǒng)給出回復(fù)，而不是依賴用戶層程序發(fā)出的心跳。

2.4? ?應(yīng)用狀態(tài)同步技術(shù)

本文的主備冗余機制中，心跳不是判斷故障的唯一手段，但仍然是主要方法之一。但是對心跳技術(shù)做出了改進。不僅僅用于判斷節(jié)點是否在線，同時具備傳輸應(yīng)用狀態(tài)信息的功能。心跳報文中包括本節(jié)點的主機名、應(yīng)用名稱、應(yīng)用優(yōu)先級、應(yīng)用狀態(tài)、網(wǎng)絡(luò)狀態(tài)等信息。每個節(jié)點使用組播將心跳報文發(fā)出，避免產(chǎn)生過多的網(wǎng)絡(luò)連接。每個節(jié)點收到其他節(jié)點的心跳報文后將其他節(jié)點應(yīng)用狀態(tài)信息存儲在本節(jié)點共享內(nèi)存中，為2.5中介紹的狀態(tài)轉(zhuǎn)換提供信息來源。系統(tǒng)應(yīng)用狀態(tài)轉(zhuǎn)換時，每個節(jié)點自動根據(jù)自身的信息，通過一致的算法向同一個目標(biāo)狀態(tài)轉(zhuǎn)換，不需要中心節(jié)點參與，系統(tǒng)不存在單點故障。

2.5? ?分布式應(yīng)用狀態(tài)轉(zhuǎn)換技術(shù)

主備冗余機制為每個應(yīng)用設(shè)立了初始化、備機、主機、斷網(wǎng)、故障等狀態(tài)。處于主機狀態(tài)的應(yīng)用為調(diào)控系統(tǒng)其他模塊提供服務(wù)或持續(xù)的運行計算業(yè)務(wù)。備機狀態(tài)的應(yīng)用下的進程一般處于空轉(zhuǎn)狀態(tài)，但是可以實時接管業(yè)務(wù)，隨時升級為主機狀態(tài)。

如圖5所示，初始化是應(yīng)用所屬進程正在啟動的狀態(tài)。當(dāng)備機發(fā)現(xiàn)沒有其他主機且本機優(yōu)先級最高，則升為主機。當(dāng)主機發(fā)現(xiàn)有另一個主機且本機優(yōu)先級不是最高，則降為本機。斷網(wǎng)和故障為2.3中故障檢測后到達的狀態(tài)。主機斷網(wǎng)或故障后會有另一個備機實時升級為主機。故障或斷網(wǎng)恢復(fù)后首先變?yōu)閭錂C狀態(tài)。

優(yōu)先級根據(jù)數(shù)據(jù)庫中配置的節(jié)點順序產(chǎn)生，由于配置錯誤導(dǎo)致節(jié)點優(yōu)先級沖突時，本文主備冗余機制采用比較節(jié)點IP地址的方法決定是否升為主機，優(yōu)先級數(shù)值相同時IP數(shù)值越小則優(yōu)先級越高。

下面將結(jié)合示意圖具體描述一個主機切換的過程。

圖6中包括一個系統(tǒng)中的部分節(jié)點，即運行SCADA應(yīng)用的4臺服務(wù)器，每個服務(wù)器上運行了PUBLIC和SCADA應(yīng)用。它們的優(yōu)先級為1、2、3、4。表示sca1節(jié)點在應(yīng)用配置表中的SCADA條目中排名最靠前，sca2次之，其他節(jié)點同理。如果某一個時刻sca1的SCADA應(yīng)用下關(guān)鍵進程故障，則其上的SCADA應(yīng)用變?yōu)楣收蠣顟B(tài)，此時其他3個節(jié)點會立刻發(fā)現(xiàn)系統(tǒng)中沒有SCADA主機，然后根據(jù)自身節(jié)點的優(yōu)先級，sca2會自動升級為SCADA主機，sca3和4發(fā)現(xiàn)自身優(yōu)先級在剩余健康節(jié)點中不是最高，則繼續(xù)保持備機狀態(tài)運行。切換完成后的狀態(tài)如圖7所示。SCADA應(yīng)用的切換不影響PUBLIC應(yīng)用的狀態(tài)，體現(xiàn)了細粒度管理。本機制下系統(tǒng)只剩下一個節(jié)點也能正常運行，體現(xiàn)了多機冗余。

3? ?測試驗證和現(xiàn)場實施效果

功能測試通過模擬故障然后檢查系統(tǒng)最終的狀態(tài)驗證切換的正確性。性能測試通過編寫應(yīng)用狀態(tài)查詢工具，查詢共享內(nèi)存中某個應(yīng)用的實時狀態(tài)，并顯示狀態(tài)變化的時間點。最后展示了本文的多機冗余機制在現(xiàn)場實施的效果。

3.1? ?故障切換功能測試

故障切換功能測試分為關(guān)鍵進程故障和網(wǎng)絡(luò)故障兩種情況分別進行測試。如圖8（a）所示，系統(tǒng)中的4個節(jié)點上配置了PUBLIC、SCADA、DATA_SRV三種應(yīng)用。SCADA應(yīng)用在4個節(jié)點的優(yōu)先級分別是1、2、3、4。某一時刻人為將sysadm1節(jié)點的SCADA應(yīng)用下的關(guān)鍵進程停止，可觀察到如圖8（b）所示，sysadm1的SCADA應(yīng)用變?yōu)楣收蠣顟B(tài)，優(yōu)先級為2的sysadm2的SCADA應(yīng)用切換為主機，進程故障切換功能正確。

網(wǎng)絡(luò)故障切換測試前首先恢復(fù)各個節(jié)點的應(yīng)用狀態(tài)到圖8（a）的狀態(tài)。然后直接拔出sysadm1節(jié)點的兩根網(wǎng)線。如果圖9所示，sysadm1的應(yīng)用均變?yōu)閿嗑W(wǎng)狀態(tài)，sysadm2的PUBLIC、SCADA應(yīng)用自動切換為主機。網(wǎng)絡(luò)故障切換功能正確。

從圖8和圖9中可以看出DATA_SRV的主機始終在優(yōu)先級為2的節(jié)點上。這是因為本文的機制保證了第一個啟動的節(jié)點為主機，后續(xù)啟動的節(jié)點不會爭搶正常的主機。

3.2? ?故障切換性能測試

測試時選擇某個應(yīng)用下的某個關(guān)鍵進程，將程序文件改名，使用kill命令停止進程，對各個狀態(tài)變化的時間點進行相減得出性能數(shù)據(jù)，重復(fù)測試10次取得平均值如下表。

整個切換的過程是先由進程管理程序發(fā)現(xiàn)關(guān)鍵進程故障，然后把共享內(nèi)存中的進程故障標(biāo)志位置為1，然后主備冗余程序發(fā)現(xiàn)后置本機應(yīng)用故障標(biāo)志位為1并用組播發(fā)送出去，其他節(jié)點收到后由優(yōu)先級最高的備機自動升為主機，整個過程大約需要237ms。

3.3? ?網(wǎng)絡(luò)中斷引發(fā)的應(yīng)用切換測試

測試時直接拔除某個應(yīng)用主機所在服務(wù)器端所有網(wǎng)線，在將會升為主機的節(jié)點使用工具程序查詢時間點。對各個狀態(tài)變化的時間點進行相減得出性能數(shù)據(jù)，重復(fù)測試10次取得平均值如下表。

整個切換的過程是主備冗余程序發(fā)現(xiàn)某個節(jié)點心跳超時，心跳周期是可配置的，本文測試時設(shè)置為500 ms一個周期，3個周期收不到心跳則認(rèn)為超時。超時后立刻判斷相應(yīng)節(jié)點的應(yīng)用全部為故障，優(yōu)先級高的節(jié)點相應(yīng)的自動升為主機，整個過程大約需要1675 ms。

4? ?網(wǎng)絡(luò)配置方案和經(jīng)濟性分析

主備冗余算法既可以運行在單網(wǎng)環(huán)境也可運行在雙網(wǎng)環(huán)境。但是在單網(wǎng)環(huán)境下，服務(wù)器的一塊網(wǎng)卡損壞就會導(dǎo)致該節(jié)點離線。

如果運行在雙網(wǎng)冗余環(huán)境則系統(tǒng)的安全性將大大提升，任意服務(wù)器僅一塊網(wǎng)卡故障時仍然能夠正常運行，全系統(tǒng)狀態(tài)也不受影響。雙網(wǎng)冗余的網(wǎng)絡(luò)拓撲圖如下所示。

雙網(wǎng)卡冗余環(huán)境中每個節(jié)點安裝兩塊網(wǎng)卡，將每個節(jié)點的兩塊網(wǎng)卡分別接在兩臺交換機上，在網(wǎng)絡(luò)拓撲中將兩臺交換機相互級聯(lián)。此方案中兩臺交換機均配置IP地址，如果主機某塊網(wǎng)卡不能ping通交換機地址，則切換此網(wǎng)卡的工作IP地址到另一塊正常網(wǎng)卡，此時服務(wù)器仍然能正常工作。

從經(jīng)濟性角度分析，每個服務(wù)器需使用兩塊網(wǎng)卡，因為服務(wù)器一般自帶兩塊網(wǎng)卡或兩個網(wǎng)口，不需要額外增加成本。只需要增加一臺三層交換機。以背板帶寬較高的華為千兆三層交換機為例，價格約1萬元。除去級聯(lián)口和上行口外可連接22臺服務(wù)器，按照普通X86服務(wù)器5萬元左右計算，成本大約增加0.9%，但系統(tǒng)可靠性大大增加。并且本文算法不強制要求使用雙網(wǎng)結(jié)構(gòu)，單網(wǎng)環(huán)境也可運行，此時不增加系統(tǒng)成本。

5? ?結(jié)? ?論

論述并實現(xiàn)了電網(wǎng)調(diào)控系統(tǒng)中的一種多機主備冗余機制。該方法通過使用細粒度部署和分布式狀態(tài)轉(zhuǎn)換等技術(shù)，實現(xiàn)了對多機主備冗余、多種切換條件的支持，并且切換過程無需人工干預(yù)。最后的功能測試表明本機制能很好的管理多機之間的故障切換。性能測試表明，在確認(rèn)故障源后，切換過程非常迅速。該機制已經(jīng)在國調(diào)、華北、江蘇等多個調(diào)控實時系統(tǒng)中得到了應(yīng)用，其可靠性、穩(wěn)定性和性能能夠滿足現(xiàn)場的運行需求。

參考文獻

[1]? ? 艾琳，王超，陳為化. 三華特高壓同步聯(lián)網(wǎng)及其對調(diào)度方式的影響[J]. 能源技術(shù)經(jīng)濟，2011，23（5）：38—41.

[2]? ?汪際峰，沈國榮.大電網(wǎng)調(diào)度智能化的若干關(guān)鍵技術(shù)問題[J].電力系統(tǒng)自動化，2012，36（1）：10—16.

[3]? ? 姚建國，楊勝春，單茂華.面向未來互聯(lián)電網(wǎng)的調(diào)度技術(shù)支持系統(tǒng)架構(gòu)思考[J]. 電力系統(tǒng)自動化，2013，37（21）：52—59.

[4]? ? 辛耀中，石俊杰，周京陽，等.智能電網(wǎng)調(diào)度控制系統(tǒng)現(xiàn)狀與技術(shù)展望[J]. 電力系統(tǒng)自動化，2015，39（1）：2—8.

[5]? ? 孫名揚，高原，嚴(yán)亞勤，等.智能電網(wǎng)調(diào)度控制系統(tǒng)集群化技術(shù)[J]. 電力系統(tǒng)自動化，2015，39（1）：31—35.

[6]? ? 國家電網(wǎng)公司.Q / GDW 1680.41-2015.智能電網(wǎng)調(diào)度控制系統(tǒng)第4-1 部分：實時監(jiān)控與預(yù)警類應(yīng)用 電網(wǎng)實時監(jiān)控與智能告警[S]，北京，2015.

[7]? ? 張鑫，黃鑫.電網(wǎng)統(tǒng)一視頻監(jiān)控平臺部署方案及檢測技術(shù)研究[J]. 電力信息與通信技術(shù)，2015 ，13 （1）：15—20.

[8]? ? 吳娟，馬永強，劉影.一種基于主備機快速切換的雙機容錯系統(tǒng)[J]. 計算機應(yīng)用，2005 ，25 （8）：1948—1951.

[9]? ? 程艷芬. 實時系統(tǒng)雙機熱備份技術(shù)研究[J].計算機光盤軟件與應(yīng)用，2011 （2）：44—46.

[10]? 王江江，李志強，趙亮.雙機熱備系統(tǒng)的主備切換研究[J]. 鐵道通信信號，2015，51 （2）：11—12.

[11]? 楊玉成，繆萬勝，樂斌.系統(tǒng)主備份切換關(guān)鍵技術(shù)研究[J]. 航空電子技術(shù)，2013 （1）：20—23.

[12]? 朱建紅，陳柯.數(shù)據(jù)服務(wù)多節(jié)點主備切換設(shè)計方法[J]. 指揮信息系統(tǒng)與技術(shù)，2012 ，3（6）：55—57.

[13]? 王飛，曹桂均.雙機熱備系統(tǒng)心跳失效的防護方案[J]. 鐵路計算機應(yīng)用，2013 ，22 （3）：35—37.

[14]? 李江昀，童朝南，彭開香.基于Linux平臺的過程控制雙機熱備綜合解決方案[J].計算機工程與應(yīng)用，2005 ，41 （30）：218—220.