翁錦陽，何萍，朱鐵兵

上海交通大學(xué)醫(yī)學(xué)院附屬瑞金醫(yī)院計算機中心，上海 200025

大型醫(yī)院信息系統(tǒng)的容災(zāi)設(shè)計和應(yīng)用

翁錦陽，何萍，朱鐵兵

上海交通大學(xué)醫(yī)學(xué)院附屬瑞金醫(yī)院計算機中心，上海 200025

容災(zāi)的實質(zhì)是通過各種容災(zāi)技術(shù)和手段保持信息系統(tǒng)業(yè)務(wù)的持續(xù)性。本文介紹了我院信息系統(tǒng)的容災(zāi)設(shè)計和10余年的運行經(jīng)驗，總結(jié)出了適合大型醫(yī)院使用的容災(zāi)系統(tǒng)設(shè)計方案，并詳細說明其了原理和實現(xiàn)過程。

醫(yī)院信息系統(tǒng)；容災(zāi)技術(shù)；存儲局域網(wǎng)

1 醫(yī)院信息系統(tǒng)的容災(zāi)目的和需求

當前，大型醫(yī)院已普遍建有醫(yī)院信息系統(tǒng)，并已成為醫(yī)院高效、有序開展醫(yī)療服務(wù)的基本保障。由于大型醫(yī)院全年365天、全天24h不間斷服務(wù)和高峰期業(yè)務(wù)并發(fā)量大的特點，一旦信息系統(tǒng)發(fā)生故障，整個醫(yī)院的業(yè)務(wù)將陷于癱瘓，因此對醫(yī)院信息系統(tǒng)的運行安全性和連續(xù)性提出了很高的要求。為此，醫(yī)院信息系統(tǒng)的容災(zāi)設(shè)計對于大型醫(yī)院來說顯得尤為重要。

醫(yī)院信息系統(tǒng)的容災(zāi)目的，不僅是確保數(shù)據(jù)的完整性，還要保障關(guān)鍵業(yè)務(wù)運行的持續(xù)性。即當醫(yī)院信息系統(tǒng)發(fā)生故障時，仍能夠不間斷地或盡可能快地恢復(fù)提供關(guān)鍵業(yè)務(wù)支持，并盡可能避免關(guān)鍵數(shù)據(jù)的丟失，以保證醫(yī)療業(yè)務(wù)的正常運行。

系統(tǒng)的容災(zāi)設(shè)計有兩個評價標準：恢復(fù)時間目標（RTO，在災(zāi)難發(fā)生后需要恢復(fù)的緊迫性）和恢復(fù)點目標（RPO，在災(zāi)難發(fā)生后恢復(fù)運轉(zhuǎn)時數(shù)據(jù)丟失的可容忍程度）。RPO針對的是數(shù)據(jù)丟失，而RTO針對的是服務(wù)丟失。即系統(tǒng)容忍丟失的數(shù)據(jù)量越小，RPO的值越??；系統(tǒng)服務(wù)的緊迫性要求越高，RTO的值越小。由于醫(yī)院承擔救死扶傷任務(wù)的特殊性，決定了醫(yī)院信息系統(tǒng)對RPO和RTO具有很高的要求。

2 醫(yī)院信息系統(tǒng)的容災(zāi)設(shè)計和實現(xiàn)

醫(yī)院信息系統(tǒng)有計算、傳輸和存儲三大核心資源。計算資源主要包括具有計算能力和業(yè)務(wù)處理能力的服務(wù)器。傳輸資源主要包括網(wǎng)絡(luò)和各類網(wǎng)絡(luò)交換設(shè)備。存儲資源主要包括存放數(shù)據(jù)的各類存儲設(shè)備。醫(yī)院信息系統(tǒng)的容災(zāi)設(shè)計重點就是要保護這三種核心資源。

2.1 計算資源的保護

計算資源的傳統(tǒng)容災(zāi)方式主要是通過采用服務(wù)器群集技術(shù)來實現(xiàn)的。以典型的三層架構(gòu)（一般將醫(yī)院信息系統(tǒng)架構(gòu)由上至下劃分為表示層、業(yè)務(wù)邏輯層和數(shù)據(jù)訪問層）分別獨立部署在服務(wù)器或服務(wù)器群集上運行為例介紹：

位于數(shù)據(jù)訪問層的數(shù)據(jù)庫服務(wù)器采用基于共享存儲的雙機熱備方式。兩臺數(shù)據(jù)庫服務(wù)器可以采用互備、主從、并行等不同的方式。在工作過程中，兩臺服務(wù)器將以一個虛擬的IP地址對外提供服務(wù)，依工作方式的不同，將服務(wù)請求發(fā)送給其中一臺服務(wù)器承擔。同時，服務(wù)器通過心跳線偵測另一臺服務(wù)器的工作狀況。當一臺服務(wù)器出現(xiàn)故障時，另一臺服務(wù)器根據(jù)心跳偵測的情況做出判斷，并進行切換，接管服務(wù)。這一過程可自動在短時間內(nèi)完成（分鐘級），對業(yè)務(wù)不會造成影響。由于使用共享的存儲設(shè)備，因此兩臺服務(wù)器實際上使用的是一樣的數(shù)據(jù)，由雙機或集群軟件對其進行管理。通過服務(wù)器群集的方式，能夠以較短的時間在部分計算資源發(fā)生災(zāi)難后恢復(fù)，保障業(yè)務(wù)系統(tǒng)持續(xù)穩(wěn)定地運行。

在上兩層中——業(yè)務(wù)邏輯層（應(yīng)用服務(wù)器）和表示層（頁面服務(wù)器）由于只提供應(yīng)用服務(wù)和用戶訪問界面，并不保存數(shù)據(jù)，一般不需要使用共享的存儲設(shè)備，而應(yīng)配置多臺服務(wù)器建立負載均衡機制：一是避免在這兩層上出現(xiàn)單點失效，實現(xiàn)容災(zāi)；二是可以為用戶提供更好的訪問質(zhì)量、提高服務(wù)器響應(yīng)速度。

對于服務(wù)器供電中斷這類故障，可通過UPS的冗余并聯(lián)實現(xiàn)快速甚至無縫的災(zāi)難恢復(fù)。UPS冗余并聯(lián)實現(xiàn)了若干UPS設(shè)備本身的災(zāi)難恢復(fù)，一旦主機故障停機，系統(tǒng)自動選擇作為從機（哪臺先開哪臺就是主機，而后開機的都是從機）運行的另一臺UPS接替主機的工作，保持供電不間斷。

2.2 傳輸資源的保護

傳輸資源的保護主要通過虛擬路由技術(shù)，以及雙鏈路冗余和負載均衡來保障系統(tǒng)容災(zāi)的RTO。虛擬路由技術(shù)中最具代表性的是VRRP（虛擬路由冗余協(xié)議），可將一組用于醫(yī)院信息系統(tǒng)服務(wù)器與客戶端通信的路由器協(xié)同工作，共同構(gòu)成一臺虛擬路由器。該虛擬路由器對外表現(xiàn)為一個具有唯一固定IP地址和MAC地址的邏輯路由器。處于同一個組中的路由器具有兩種互斥的角色：主控路由器和備份路由器。一個組中有且只有一臺處于主控角色的路由器，可以有一個或者多個處于備份角色的路由器。VRRP協(xié)議使用選擇策略從路由器組中選出一臺作為主控，負責ARP響應(yīng)和轉(zhuǎn)發(fā)IP數(shù)據(jù)包。組中的其它路由器作為備份角色處于待命狀態(tài)。當主控路由器發(fā)生故障時，備份路由器能在幾秒鐘的時延后升級為主路由器。由于此切換非常迅速而且不用改變IP地址和MAC地址，故對醫(yī)院信息系統(tǒng)客戶端用戶是透明的。

通過合理的網(wǎng)絡(luò)設(shè)計，也能到達備份和負載均衡雙重效果。比如讓兩臺路由器同時屬于互為備份的兩個組：在組1中路由器A為IP地址所有者；組2中路由器B為IP地址所有者。將客戶端1的默認網(wǎng)關(guān)設(shè)定為路由器A；客戶端2、客戶端3的默認網(wǎng)關(guān)設(shè)定為路由器B。這樣既分擔了設(shè)備負載和網(wǎng)絡(luò)流量，又提高了網(wǎng)絡(luò)可靠性。同樣可以利用如Port-channel等技術(shù)實現(xiàn)鏈路的冗余和負載均衡。

2.3 存儲資源的保護

存儲資源由于承擔保存醫(yī)院信息系統(tǒng)數(shù)據(jù)的功能，建議在數(shù)據(jù)庫服務(wù)器群集中采用雙存儲陣列作為共享存儲（雙鏈路雙控制器冗余的存儲陣列最佳），并以鏡像方式同步。這樣，即使作為共享存儲的其中一個盤陣離線，服務(wù)依然能夠無間斷運行。

此外，可利用連續(xù)數(shù)據(jù)保護技術(shù)（CDP）對醫(yī)院信息系統(tǒng)數(shù)據(jù)進行備份，此技術(shù)可以捕捉到一切文件級或數(shù)據(jù)塊級別的數(shù)據(jù)改動，可以對備份對象進行更加細化的粒度的恢復(fù)，可以恢復(fù)到任意時間點。硬盤部分，設(shè)置RAID容錯報錯，且有熱拔插功能，一旦硬盤毀損，立刻抽換硬盤，系統(tǒng)仍可正常運作，無需中斷或關(guān)機。

2.4 建立異地災(zāi)備中心

上述技術(shù)手段實現(xiàn)了醫(yī)院信息系統(tǒng)的本地容災(zāi)，但對于機房遭遇火災(zāi)等大型災(zāi)害，本地容災(zāi)則顯得無能為力。有鑒于此，應(yīng)當在數(shù)據(jù)中心所處的建筑之外建立異地災(zāi)備中心，將重要性高的應(yīng)用實現(xiàn)異地數(shù)據(jù)容災(zāi)。由于現(xiàn)在存儲局域網(wǎng)（SAN）的發(fā)展，使得數(shù)據(jù)備份過程可以在SAN中實現(xiàn)，以滿足異地容災(zāi)需求。數(shù)據(jù)中心和異地災(zāi)備中心直接通過專用存儲網(wǎng)絡(luò)進行連接，生產(chǎn)系統(tǒng)的數(shù)據(jù)實時地通過專用的存儲網(wǎng)絡(luò)傳輸?shù)綖?zāi)備中心存儲。由于數(shù)據(jù)的備份過程不經(jīng)過主機系統(tǒng)所在的網(wǎng)絡(luò)，因此不會對生產(chǎn)系統(tǒng)的網(wǎng)絡(luò)有任何影響。

雖然異地數(shù)據(jù)容災(zāi)可以保障在生產(chǎn)系統(tǒng)設(shè)備遭遇嚴重損壞情況下的數(shù)據(jù)完整性，但該方案的系統(tǒng)恢復(fù)時間較長，業(yè)務(wù)支持連續(xù)性較差，較適合對實時性要求相對較低的業(yè)務(wù)應(yīng)用，如出院結(jié)算服務(wù)、行政辦公服務(wù)等。

對實時性要求高的應(yīng)用，如門急診結(jié)算應(yīng)用，應(yīng)實現(xiàn)異地的應(yīng)用級容災(zāi)。即在異地災(zāi)備中心建立一套與生產(chǎn)系統(tǒng)相同的備用系統(tǒng)，不但通過SAN實現(xiàn)數(shù)據(jù)的備份，還應(yīng)搭建一套備用的應(yīng)用服務(wù)器，并與客戶端間采用雙網(wǎng)絡(luò)回路。即使數(shù)據(jù)中心主核心路由器完全停止工作，網(wǎng)絡(luò)線路仍可以快速切換到通向災(zāi)備中心的鏈路，客戶端程序也可以通過容災(zāi)系統(tǒng)的路由連接到備用數(shù)據(jù)庫，可使應(yīng)用系統(tǒng)得以在30s內(nèi)恢復(fù)運行，RTO值很小。

2.5 部署持續(xù)數(shù)據(jù)保護軟件

上述技術(shù)可以有效降低或防止自然災(zāi)害、設(shè)備損壞對醫(yī)院信息系統(tǒng)造成的破壞，但人為破壞（誤操作、蓄意破壞等）同樣會給醫(yī)院造成不亞于前兩者的損失，而上文提到的技術(shù)對此無能為力。

為防止此因素造成的破壞，需要在存儲資源和計算資源上部署持續(xù)數(shù)據(jù)保護軟件（CDP），它可以提供連續(xù)的恢復(fù)點，能夠存取任何時間點上的數(shù)據(jù)，而不僅僅針對那些由快照流程預(yù)先確定的特殊時刻。

3 醫(yī)院信息系統(tǒng)容災(zāi)的日常管理

除通過技術(shù)手段建立醫(yī)院信息系統(tǒng)容災(zāi)方案以實現(xiàn)信息系統(tǒng)高可用性之外，信息系統(tǒng)日常管理的重要性也不可忽視。平時應(yīng)定期對機房巡檢，通過查看設(shè)備狀態(tài)燈以及各類日志（包括操作系統(tǒng)、數(shù)據(jù)庫、服務(wù)器和存儲硬件監(jiān)視軟件、路由交換設(shè)備），分析系統(tǒng)當前的健康情況。對操作系統(tǒng)以及數(shù)據(jù)庫的用戶和密碼進行嚴格管理，及時刪除不再使用的帳戶，定期更改密碼。及時更新殺毒軟件病毒碼，不推薦被殺毒軟件掃描的目錄和文件（如數(shù)據(jù)庫系統(tǒng)和數(shù)據(jù)文件），應(yīng)當及時將其列入排除列表，以免嚴重影響系統(tǒng)性能和殺毒軟件誤刪文件后造成系統(tǒng)崩潰。定期進行災(zāi)難恢復(fù)演練，確認恢復(fù)點及容災(zāi)方案在發(fā)生各種故障后的可用性。綜上所述，日常的管理措施可以盡量減少系統(tǒng)故障點，防患于未然，避免不必要的系統(tǒng)恢復(fù)工作。

上述醫(yī)院信息系統(tǒng)的容災(zāi)方案，是筆者所在醫(yī)院的信息系統(tǒng)容災(zāi)建設(shè)10年發(fā)展的結(jié)晶，從最初的單服務(wù)器（定時備份）模式，發(fā)展到本地容災(zāi)（高可用、定時備份）模式，一直到現(xiàn)在的異地容災(zāi)（SAN、CDP）模式，取得了較好的實踐效果。我院在100余臺服務(wù)器、160余臺交換機、3600余臺計算機的規(guī)模下，已經(jīng)連續(xù)10年未發(fā)生全院性信息系統(tǒng)癱瘓事件。誠然，實現(xiàn)醫(yī)院信息系統(tǒng)的容災(zāi)需要較大的前期投入，但是相對于醫(yī)院信息系統(tǒng)因遭遇故障而丟失的數(shù)據(jù)、造成的惡劣社會影響和經(jīng)濟損失、事后恢復(fù)所需的大量人力和時間，這些投入還是相當值得的。

[1]李濤,劉曉潔,曾金全,等.信息系統(tǒng)容災(zāi)抗毀原理與應(yīng)用[M].北京:人民郵電出版社,2007.

[2]董民,周衛(wèi)東,沈慶國.路由器原理、操作及應(yīng)用[M].北京:國防工業(yè)出版,2006.

[3]鄒恒明.有備無患:信息系統(tǒng)之災(zāi)難應(yīng)對[M].北京:機械工業(yè)出版社,2009.

[4]王改性,師鳴若.數(shù)據(jù)存儲備份與災(zāi)難恢復(fù)[M].北京:電子工業(yè)出版社,2009.

[5]山德布.信息災(zāi)難恢復(fù)規(guī)劃[M].北京:清華大學(xué)出版社,2006.

[6]楊霜英,等.大型醫(yī)院網(wǎng)絡(luò)信息系統(tǒng)的安全保障策略[J].中國醫(yī)療設(shè)備,2009,24(10):36-38.

[7]張大勝.醫(yī)院數(shù)據(jù)存儲備份系統(tǒng)建設(shè)的經(jīng)驗與體會[J].醫(yī)學(xué)信息,2008,(12):2184-2186.

[8]方向東.淺談數(shù)據(jù)安全與數(shù)據(jù)備份存儲技術(shù)[J].科技資訊,2007,(31):113.

Disaster Tolerance Design and Application of Hospital Information System in Large Scale Hospitals

WENG Jin-yang, HE Ping,
ZHU Tie-bing
Computer Center, Ruijin Hospital of Shanghai Jiaotong University, Shanghai 200025, China

TP393.08

B

10.3969/j.issn.1674-1633.2011.01.018

1674-1633(2011)01-0059-02

2010-06-22

2010-10-26

作者郵箱：zjbyyd@sina.com

Abstract:The essence of disaster tolerance is to maintain the continuity of information system through a variety of disaster tolerance techniques and tools. This paper introduces the design and operating experience about disaster tolerance of HIS in our hospital, and summarizes the disaster tolerance design project in large hospitals, then detailedly expounds on its principle and realization.

Key words:HIS; disaster tolerance technology; storage local area network