金安

摘要：隨著互聯(lián)網(wǎng)企業(yè)業(yè)務(wù)的持續(xù)增長，為降低運營風(fēng)險，容災(zāi)系統(tǒng)建設(shè)勢在必行。在闡述容災(zāi)系統(tǒng)概念的基礎(chǔ)上，針對企業(yè)業(yè)務(wù)與生產(chǎn)環(huán)境現(xiàn)狀，充分考慮到容災(zāi)系統(tǒng)的目標(biāo)與范圍，設(shè)計并實現(xiàn)了一套同城雙活容災(zāi)系統(tǒng)，并對事務(wù)沖突機制、高可用服務(wù)架構(gòu)、注冊發(fā)現(xiàn)與內(nèi)網(wǎng)DNS等關(guān)鍵技術(shù)要點進行了闡述。3次演練結(jié)果證明，該方案在設(shè)計的規(guī)定指標(biāo)內(nèi)，當(dāng)生產(chǎn)機房出現(xiàn)整體故障時，容災(zāi)系統(tǒng)可以在很短時間內(nèi)接管原機房的所有服務(wù)，有效保障了數(shù)據(jù)一致性及業(yè)務(wù)持續(xù)性。

關(guān)鍵詞：

容災(zāi)；RTO；PRO；NRO；軟件事務(wù)存儲

DOIDOI：10.11907/rjdk.181946

中圖分類號：TP319

文獻標(biāo)識碼：A 文章編號文章編號：1672-7800（2018）008-0149-04

英文摘要Abstract：With the continuous growth of an Internet business， the disaster recovery system construction is imperative to reduce the risk of operations. Based on the concept of disaster system， according to current situation of the enterprise business and production environment， and fully considering the goal and scope of the system， we design and implement a suitable set of dual city disaster recovery system for the company. In this paper， key technical points such as transaction conflict mechanism， HA service architecture， registration discovery and Intranet DNS are also explained. Three disaster recovery drill results prove that the scheme ensures the business continuity and data consistency effectively within the design indexes. The system can take over all services in a very short time when faults occur.

英文關(guān)鍵詞Key Words：disaster recovery system；RTO；RPO；NRO；software transactional memory

0 引言

隨著移動互聯(lián)網(wǎng)技術(shù)的發(fā)展，數(shù)據(jù)本身已成為企業(yè)生存與競爭的核心價值所在。據(jù)IDC報告預(yù)測，2020年全球數(shù)據(jù)量將從目前的8.6ZB增長到40ZB，其中我國占比為13%。因此，一個國家擁有的數(shù)據(jù)規(guī)模與數(shù)據(jù)分析能力將成為綜合國力的重要部分，對數(shù)據(jù)的存儲、處理、分析及使用也成為國家間、企業(yè)間新的競爭焦點[1]。

不可抗力與人為失誤等原因都會給企業(yè)帶來毀滅性打擊，從一份安盛公司的報告得出，80%以上的中小企業(yè)在遭受重大災(zāi)難后的18個月內(nèi)都面臨破產(chǎn)或業(yè)務(wù)難以為繼的困境，同時伴隨著巨額的財產(chǎn)和名譽損失，所以保障數(shù)據(jù)安全性與業(yè)務(wù)連續(xù)性已成為信息化工作的重中之重。文獻[2]-[3]基于IOE架構(gòu)設(shè)計并實現(xiàn)了容災(zāi)系統(tǒng)；文獻[5]-[6]采用CDP實時數(shù)據(jù)保護技術(shù)有效保障了業(yè)務(wù)的連續(xù)性。然而，對于大型互聯(lián)網(wǎng)系統(tǒng)，完全基于SAN網(wǎng)絡(luò)架構(gòu)已不能滿足大數(shù)據(jù)同步的需求。文獻[7]-[8]分別提出一種緩存寫操作重放技術(shù)與基于RS編碼技術(shù)的數(shù)據(jù)存儲方式，為本文容災(zāi)系統(tǒng)的數(shù)據(jù)同步與存儲提供了很好的參考；文獻[9]-[10]分析了國內(nèi)信息系統(tǒng)演練中存在的問題，從理論上完善了容災(zāi)演練建設(shè)制度。

本文以某互聯(lián)網(wǎng)公司為例，針對該企業(yè)業(yè)務(wù)特點，并考慮TCO因素，在規(guī)范化系統(tǒng)等級制度的基礎(chǔ)上，設(shè)計一種基于事務(wù)沖突機制與高可用架構(gòu)等技術(shù)特點的同城雙活容災(zāi)系統(tǒng)，并建立了一套良好的演練機制，以保障業(yè)務(wù)的連續(xù)性需求。

1 容災(zāi)系統(tǒng)概述

1.1 容災(zāi)系統(tǒng)定義與分類

容災(zāi)系統(tǒng)定義為：建立至少兩套以上功能相同的系統(tǒng)，相互之間可以進行健康狀態(tài)檢查與功能切換[11]。根據(jù)對系統(tǒng)的保護程度，容災(zāi)系統(tǒng)可分為數(shù)據(jù)級別與業(yè)務(wù)級別容災(zāi)。從地域建設(shè)模式來看，可分為同城容災(zāi)、異地容災(zāi)和兩地三中心容災(zāi)3種模式。

數(shù)據(jù)層容災(zāi)是業(yè)務(wù)層容災(zāi)的基礎(chǔ)，業(yè)務(wù)層容災(zāi)是數(shù)據(jù)層容災(zāi)的終極目標(biāo)，容災(zāi)建設(shè)應(yīng)以數(shù)據(jù)容災(zāi)為根本，以業(yè)務(wù)持續(xù)性為目標(biāo)，最終實現(xiàn)災(zāi)難發(fā)生時業(yè)務(wù)的平穩(wěn)過渡，并保證企業(yè)的安全生產(chǎn)[12]。

1.2 容災(zāi)系統(tǒng)恢復(fù)能力指標(biāo)

容災(zāi)系統(tǒng)恢復(fù)能力主要采用RTO、RPO、NRO 3個指標(biāo)作為評判依據(jù)[13]。RTO是容災(zāi)恢復(fù)的時間指標(biāo)，RTO越小，意味著容災(zāi)能力越強；RPO是指針對數(shù)據(jù)而言，恢復(fù)業(yè)務(wù)后所能容忍的數(shù)據(jù)丟失量；NRO是指災(zāi)難發(fā)生后，最終用戶通過備用網(wǎng)絡(luò)訪問災(zāi)備中心所需的時間[11]。三者時序關(guān)系如圖1所示。

事實證明，快速收斂聚合的網(wǎng)絡(luò)可以為業(yè)務(wù)與數(shù)據(jù)遷移提供可靠的傳輸路徑[14]。除DNS解析生效外，NRO都要做到超前于RTO，這點在本文的容災(zāi)演練中可以得到驗證。

2 同城雙活容災(zāi)系統(tǒng)方案設(shè)計與實現(xiàn)

2.1 業(yè)務(wù)與生產(chǎn)環(huán)境現(xiàn)狀

該互聯(lián)網(wǎng)企業(yè)平臺系統(tǒng)注冊賬號為5億以上，每天的活躍登錄用戶3 000萬左右，登錄TPS峰值20 000次以上，平均響應(yīng)時間40ms，登錄成功率為90%左右，業(yè)務(wù)涵蓋注冊、認證、登錄、風(fēng)控、計費、支付、客服與短信等系統(tǒng)，每天新增業(yè)務(wù)數(shù)據(jù)50G左右，日志量500T以上。該系統(tǒng)生產(chǎn)環(huán)境部署在A機房，其中有生產(chǎn)機器1 000臺以上，包括四七層代理轉(zhuǎn)發(fā)、業(yè)務(wù)、緩存、數(shù)據(jù)庫、消息隊列、日志流分析等集群。

雖然系統(tǒng)符合業(yè)界SOA規(guī)范，架構(gòu)可以橫向擴展，但是隨著業(yè)務(wù)增長需要不斷疊加模塊與機器的做法，機房一旦發(fā)生災(zāi)難，對業(yè)務(wù)和系統(tǒng)將帶來毀滅性打擊[15]。

2.2 容災(zāi)系統(tǒng)目標(biāo)與范圍

依據(jù)災(zāi)難恢復(fù)等級標(biāo)準，結(jié)合該企業(yè)互聯(lián)網(wǎng)業(yè)務(wù)量特點，對系統(tǒng)恢復(fù)的優(yōu)先級作出分類，將不可繞過服務(wù)均定義為核心系統(tǒng)，根據(jù)順序等級進行恢復(fù)。對于可繞過服務(wù)，可進行柔性降級處理或低等級容災(zāi)恢復(fù)。關(guān)鍵服務(wù)災(zāi)難恢復(fù)能力需達到6級，對應(yīng)RTO<30min，RPO=0，NRO

考慮到TCO與ROI指標(biāo)，決定采用同城雙活模式，按照業(yè)務(wù)策略比例共同對外提供服務(wù)，以避免系統(tǒng)閑置造成浪費，必要時可將對外服務(wù)能力提高到雙倍。在提高利用率的同時，可以降低系統(tǒng)切換時間，以減少災(zāi)難影響程度并降低用戶感知度[16]。

2.3 容災(zāi)系統(tǒng)方案設(shè)計

一個完整的容災(zāi)系統(tǒng)由數(shù)據(jù)備份、備用數(shù)據(jù)處理、備用網(wǎng)絡(luò)、備用基礎(chǔ)設(shè)施、技術(shù)支持、運行維護支持與災(zāi)難恢復(fù)預(yù)案7大技術(shù)管理要素組成[13]。對于大型互聯(lián)網(wǎng)系統(tǒng)而言，業(yè)務(wù)級容災(zāi)還涉及到業(yè)務(wù)監(jiān)控、配套安全、日志采集分析、權(quán)限控制與業(yè)務(wù)授權(quán)等，容災(zāi)設(shè)計難度遠大于傳統(tǒng)行業(yè)。

根據(jù)系統(tǒng)工程方法論，容災(zāi)可分為圖2中所描述的7大步驟。本文僅對方案設(shè)計、關(guān)鍵技術(shù)實現(xiàn)與容災(zāi)演練進行闡述。

該互聯(lián)網(wǎng)企業(yè)在上海有10大機房，平臺系統(tǒng)部署在生產(chǎn)A機房，為實現(xiàn)同城雙活容災(zāi)系統(tǒng)，除新建容災(zāi)B機房外，需將各大機房間的網(wǎng)絡(luò)形成環(huán)狀，機房之間用雙路裸光纖連接，即使AB機房兩路光纖中斷，網(wǎng)絡(luò)也可自動通過反向路由到達。由于機房數(shù)據(jù)同步量大，為保證數(shù)據(jù)同步的實時性，專線帶寬為4萬兆。

通過GSLB和SmartDNS系統(tǒng)對業(yè)務(wù)訪問流量進行AB機房雙活導(dǎo)入。LB和四七層代理可進行業(yè)務(wù)規(guī)則分流與邏輯控制，系統(tǒng)根據(jù)最小化功能特點細分為接入層、邏輯層、原子層、數(shù)據(jù)層與存儲層等集群。數(shù)據(jù)層涵蓋了緩存與落地數(shù)據(jù)，存儲介質(zhì)分為傳統(tǒng)/分布式存儲、HDFS集群與本地文件系統(tǒng)等。架構(gòu)設(shè)計如圖3所示。

3 容災(zāi)系統(tǒng)實現(xiàn)關(guān)鍵技術(shù)

3.1 數(shù)據(jù)同步備份與事務(wù)沖突算法

對于容災(zāi)系統(tǒng)而言，數(shù)據(jù)的一致性與延遲性問題是必須解決的技術(shù)問題。根據(jù)業(yè)務(wù)場景不同，數(shù)據(jù)同步分為兩種，雙機房讀寫分離與雙機房實時讀寫。為達到最佳同步效果，對于峰值壓力，在業(yè)務(wù)層將數(shù)據(jù)操作頻率放入隊列進行控制，以做到平滑過渡。另外，可以通過DB層透傳打標(biāo)事務(wù)的方式避免數(shù)據(jù)循環(huán)復(fù)制。除常用的同步技術(shù)外，借鑒業(yè)界經(jīng)驗，還實現(xiàn)了一種基于事務(wù)沖突的檢查方法，可較好地處理事務(wù)的并發(fā)邏輯同步[17]。

事務(wù)沖突機制借鑒Bloom Filter的原理，使用k個Hash函數(shù)，每個字符串與k個bit對應(yīng)，當(dāng)前位串中存儲元素超過一定誤判率下能夠容納的個數(shù)時，增加新的相同長度位串， 并將新元素加入到新位串中[18]。根據(jù)布隆過濾器原理與算法，經(jīng)過推導(dǎo)的最終公式如下：

k為Hash函數(shù)個數(shù)，m為位串長度，f為可以接受的錯誤率，n為f下長度為m的位串至多可容納的元素個數(shù)[19-20]。例如，如果錯誤率為8*10-5，則此時m應(yīng)大約為n的20倍，k大約為10個。為了比較事務(wù)讀寫集合是否存在交集， 通常通過事務(wù)的Signature（簡稱Sig）取交集加以判定。目前開源STM中實現(xiàn)的是RingSTM SW算法，其是基于Sig監(jiān)測事務(wù)沖突的，但系統(tǒng)中同時只允許一個事務(wù)寫Sig運行[21-22]。在本文中，事務(wù)每讀取或?qū)懭胍粋€共享變量時， 將該變量寫入讀或?qū)慡ig中， 當(dāng)進行沖突檢測時， 調(diào)用比較Sig函數(shù)對事務(wù)間讀寫集合的Sig進行比較， 便可迅速判定二者是否沖突。該優(yōu)化檢測算法將采用更有效的Hash函數(shù)與動態(tài)長度Sig降低誤判率，盡可能降低對存儲的需求，提高檢測效率，對于該算法本文不再贅述。

對于數(shù)據(jù)傳輸?shù)挠行蚺c完整性，分別采用管道技術(shù)與基于Hash算法快速定位時間戳的最早日志方式加以確保。為保證數(shù)據(jù)的正確性，也使用了本地回放機制與多重校驗機制。

為安全起見，數(shù)據(jù)庫采用安全協(xié)議SSHFS，通過備份中轉(zhuǎn)機備份數(shù)據(jù)到HDFS，中轉(zhuǎn)機與HDFS之間采用FUSE-DFS進行掛載。另外，定期將數(shù)據(jù)自動導(dǎo)入數(shù)據(jù)庫，用自動化工具自動校驗數(shù)據(jù)的正確性，并以報告的方式給出結(jié)果。

3.2 高可用服務(wù)架構(gòu)

為提高容災(zāi)系統(tǒng)的可靠性與靈活性，運維在匯聚層、機柜與電源等方面對相同服務(wù)的集群硬件進行容錯放置。軟件層次上應(yīng)對程序設(shè)置超時策略，以快速轉(zhuǎn)移故障并進行資源釋放，并使用消息隊列集群對服務(wù)進行異步調(diào)用。在訪問高峰期，為避免大量并發(fā)調(diào)用影響其它核心服務(wù)使用，采取柔性降級處理，以保證核心服務(wù)對外不中斷。對于業(yè)務(wù)調(diào)用失敗或重復(fù)調(diào)用的情況，業(yè)務(wù)層應(yīng)保證服務(wù)必須擁有冪等性屬性。對于TCP服務(wù)集群，只需在調(diào)用端配置幾個VIP即可做到雙機房之間的自動漂移，調(diào)用方只要嵌入調(diào)用SDK的相關(guān)接口即可。

3.3 注冊發(fā)現(xiàn)框架

容災(zāi)建設(shè)前，各個服務(wù)具有獨立的自我描述文件，在線上更新時除更新描述業(yè)務(wù)配置外，還需更新IP與端口等運維信息，導(dǎo)致維護時較為困難。為提高效率并實現(xiàn)容災(zāi)切換的便捷性，設(shè)計服務(wù)注冊發(fā)現(xiàn)系統(tǒng)如圖4所示。

注冊發(fā)現(xiàn)系統(tǒng)由注冊中心SRC、服務(wù)消費者SC與服務(wù)提供者SP 3部分組成，SRC管理各個服務(wù)與服務(wù)上下線策略等，SC需要向SRC獲取各注冊服務(wù)的信息，SP需要向SRC匯報自身服務(wù)的IP、域名與所在域等關(guān)鍵信息。域根據(jù)機房進行劃分，根據(jù)IP判斷所在的域。同一個IP既可以是SC，也可以是SP。SP可以屬于多個域，SC只能屬于一個域，SC通過SRC獲取某個域的服務(wù)及IP域名對應(yīng)列表。SC可以周期性地去SRC獲取配置文件，或根據(jù)被動通知完成配置文件更新，使配置文件可動態(tài)生成。

3.4 SmartDNS技術(shù)

為實現(xiàn)內(nèi)網(wǎng)域名的解析功能，需在雙機房搭建內(nèi)網(wǎng)域名服務(wù)器。對于內(nèi)網(wǎng)分配設(shè)置的子域，只能由內(nèi)網(wǎng)DNS進行權(quán)威解析，非約定的子域通過內(nèi)網(wǎng)DNS向外網(wǎng)權(quán)威服務(wù)器進行遞歸查詢，內(nèi)網(wǎng)DNS映射關(guān)系由平臺增加域名后推送更新。

為保證業(yè)務(wù)DNS客戶端的容錯性，業(yè)務(wù)模塊啟動時需備份當(dāng)前的配置文件，如果下拉配置失敗，以備份為準進行運行；對于大流量、短連接業(yè)務(wù)，開啟NSCD服務(wù)以減輕查詢壓力；當(dāng)機房災(zāi)難發(fā)生，根據(jù)定制好的域名切換場景策略，比如單域名、發(fā)布業(yè)務(wù)集、域名類別、業(yè)務(wù)策略等；在平臺中更新域名映射記錄并重啟業(yè)務(wù)服務(wù)，使域名新映射生效。解析流程如圖5所示。

4 容災(zāi)系統(tǒng)維護與切換演練

根據(jù)同城容災(zāi)場景與故障經(jīng)驗統(tǒng)計，本容災(zāi)切換可分為公網(wǎng)故障、專線故障與整體機房故障3種。對于公網(wǎng)故障而言，只需根據(jù)預(yù)先準備好的域名一鍵切換后等待權(quán)威和各級域名提供商更新即可，若涉及到CDN需回源操作；對于專線故障，需將容災(zāi)B機房的流量切換至生產(chǎn)A機房，同時停止B機房的VIP服務(wù)。對于整體機房故障而言，除需要按照外網(wǎng)故障時的步驟進行操作，還需將兩者機房交叉訪問的業(yè)務(wù)集群進行內(nèi)網(wǎng)域名的重新指向生效切換，以確保所有路由都在同一機房。

為了驗證預(yù)案及切換步驟的準確性、檢查組織流程制度的合理性并培訓(xùn)相關(guān)操作人員，企業(yè)組織了3次有序、全面的容災(zāi)切換演練。第一次為外網(wǎng)與專線故障演練，第二次為針對各個DB的單次演練，第三次是整體機房故障切換演練。對于第一次演練，發(fā)現(xiàn)1.2%左右的TCP集群客戶端SDK未能自動切換，主要由于客戶端未能及時更新SDK、部分SDK遺留容災(zāi)配置與調(diào)用方網(wǎng)絡(luò)配置等原因造成。對于C類域名，10分鐘內(nèi)生效50%，4小時內(nèi)生效90%，通過排查發(fā)現(xiàn)該現(xiàn)象與域名解析商的TTL有關(guān)；對于B類域名，10分鐘內(nèi)生效50%，半小時內(nèi)生效70%，排查發(fā)現(xiàn)該現(xiàn)象多為調(diào)用方綁定VIP導(dǎo)致。第二次演練逐步將所有DB切換到容災(zāi)機房，即將業(yè)務(wù)訪問的DB內(nèi)網(wǎng)域名更新至B機房，并將A機房相關(guān)的業(yè)務(wù)模塊重啟生效，主要發(fā)現(xiàn)的問題為一些業(yè)務(wù)模塊需禁寫數(shù)據(jù)庫配置才能切換生效、數(shù)據(jù)庫防火墻設(shè)置會導(dǎo)致業(yè)務(wù)模塊死鎖現(xiàn)象發(fā)生。第三次演練時間選擇在凌晨5～6點之間，整體回切選擇在3天后的同一時間段，以檢驗B機房能否真正承擔(dān)A機房的生產(chǎn)任務(wù)。演練結(jié)果表明，機房整體故障切換，對于關(guān)鍵服務(wù)，RTO為28min，RPO為0；對于非關(guān)鍵服務(wù)，RTO為36min，RPO幾乎沒有數(shù)據(jù)丟失，容災(zāi)B機房在A機房故障后完全可以單獨運行并提供服務(wù)，達到了方案的設(shè)計預(yù)期值。

5 結(jié)語

系統(tǒng)容災(zāi)與數(shù)據(jù)恢復(fù)一直是信息技術(shù)行業(yè)關(guān)注的焦點，本文以上海某互聯(lián)網(wǎng)企業(yè)為例，設(shè)計并實現(xiàn)了一種面向零數(shù)據(jù)丟失的容災(zāi)系統(tǒng)，基于優(yōu)化的事務(wù)沖突機制，有效保證了業(yè)務(wù)數(shù)據(jù)的一致性與較高的事務(wù)并發(fā)邏輯[23]。在系統(tǒng)建設(shè)完成后，按照預(yù)案要求與容災(zāi)場景進行了3次比較全面的容災(zāi)演練，確保了容災(zāi)系統(tǒng)預(yù)案規(guī)劃的有效性，規(guī)范了容災(zāi)組織流程與制度，培養(yǎng)了工作人員處理容災(zāi)故障時良好的心理素質(zhì)與工作能力，并檢驗了容災(zāi)系統(tǒng)的有效性[24]。另外，在發(fā)生故障時如何達到更加智能化的一鍵容災(zāi)切換從而降低RTO，以及優(yōu)化事務(wù)沖突機制算法以降低誤判率，是今后需要重點關(guān)注與研究的方向。

參考文獻：

[1] HU H，WEN Y，CHUA T，et al. Towards scalable systems for big data analytics： a technology tutorial[J]. IEEE Access，2014，2：652-687.

[2] 劉郁恒，楊龍剛.業(yè)務(wù)運營支撐系統(tǒng)雙活容災(zāi)建設(shè)方案研究[J].移動通信，2017，41（4）：88-92.

[3] 歐陽志成.容災(zāi)技術(shù)在電力企業(yè)的研究與應(yīng)用[J].產(chǎn)業(yè)觀察，2018（1）：32-34.

[4] 葉虹余.基于NAS架構(gòu)的數(shù)據(jù)容災(zāi)備份系統(tǒng)的統(tǒng)計與實現(xiàn)[J].軟件工程，2018，21（3）：44-46.

[5] 彭曄，劉曉壘，杜敏.CDP異地災(zāi)備系統(tǒng)的研究與實現(xiàn)[J].中國管理信息化，2013，16（21）：49-51.

[6] 劉辰，李俊，雷斌，等.大型企業(yè)在云網(wǎng)融合下的業(yè)務(wù)連續(xù)性保護研究與實現(xiàn)[J].世界有色金屬，2018（3）：199-201.

[7] 劉錦，劉曉潔，李濤，等.一種異地容災(zāi)系統(tǒng)的設(shè)計與實現(xiàn)[J].計算機應(yīng)用研究，2007，24（8）：294-296.

[8] 夏紅燕.信息網(wǎng)絡(luò)分布式數(shù)據(jù)容災(zāi)應(yīng)用研究[J].電腦知識與技術(shù)，2018，14（12）：36-38.

[9] 王暉，謝靜綺.“互聯(lián)網(wǎng)+”時代下檔案容災(zāi)演練問題的思考[J]. 蘭臺世界，2018（2）：65-67.

[10] 許昌軍，孫福國，曹玉龍.面向零數(shù)據(jù)丟失的滁州煙草數(shù)據(jù)中心災(zāi)備系統(tǒng)實踐[J]. 電腦與信息技術(shù)，2014，22（4）：33-36.

[11] 姚文斌，趙玲，王真，等.容災(zāi)信息系統(tǒng)的建模與仿真[J].北京郵電大學(xué)學(xué)報，2015，38（3）：50-53.

[12] 彭江強，李鋒，周龍.雙中心在企業(yè)容災(zāi)中的應(yīng)用[J].數(shù)據(jù)通信，2014，11（2）：66-70.

[13] 全國信息安全標(biāo)準化技術(shù)委員會. 信息安全技術(shù)——信息系統(tǒng)災(zāi)難恢復(fù)規(guī)范[M].北京：中國標(biāo)準出版社，2007.

[14] 齊貴霞，劉歡，王娟.電力通信網(wǎng)絡(luò)容災(zāi)系統(tǒng)建設(shè)研究[J].河北電力技術(shù)，2017，36（3）：57-59.

[15] 周華鋒，易仁波，王玉琴.南方電網(wǎng)一體化運行智能系統(tǒng)災(zāi)備建設(shè)模式初探[J].南方電網(wǎng)技術(shù)，2014，8（2）：9-14.

[16] 姚文斌，伍淳華.中國災(zāi)備標(biāo)準和產(chǎn)業(yè)發(fā)展現(xiàn)狀[J].中興通訊技術(shù)，2010，16（5）：24-28.

[17] 彭林，謝倫國，張小強.事務(wù)存儲中的一種自適應(yīng)沖突檢測算法[J].計算機工程與科學(xué)，2009，31（11）：69-71.

[18] 劉瑩，高富祥.軟件事務(wù)存儲中沖突檢測算法研究[J].東北大學(xué)學(xué)報：自然科學(xué)版， 2013，34（6）：774-777.

[19] 時磊，楊驊，王紅梅，等.基于布隆過濾器的事務(wù)存儲架構(gòu)中的告訴緩存[J].微電子學(xué)與計算機，2011，28（3）：140-143.

[20] 竇強，王勇.事務(wù)存儲系統(tǒng)中PGHB沖突檢測算法改進[J].電子學(xué)報，2010，38（1）：195-198.

[21] 彭林，謝倫國，張小強.事務(wù)存儲中的一種自適應(yīng)沖突檢測算法[J].計算機工程與科學(xué)，2009，31（11）：69-72.

[22] 石東旭.軟件事務(wù)存儲動態(tài)競爭管理策略[J].軟件導(dǎo)刊，2012，11（4）：6-8.

[23] 宋偉，楊學(xué)軍.基于事務(wù)回退的事務(wù)存儲系統(tǒng)的故障恢復(fù)[J].軟件學(xué)報，2011，22（9）：2248-2262.

[24] 陳思，李華峰，涂慶華，等.數(shù)字化校園異地容災(zāi)系統(tǒng)設(shè)計與實現(xiàn)[J].計算機與現(xiàn)代化，2014（4）：47-50.

（責(zé)任編輯：黃 ?。?/p>