高彭彭 陳佳佳

摘? 要：隨著“5G+”、“互聯(lián)網(wǎng)+健康醫(yī)療”、智慧醫(yī)療技術(shù)的不斷發(fā)展融合，醫(yī)療行業(yè)發(fā)展速度的加快，醫(yī)院各項業(yè)務(wù)正常運行對信息技術(shù)的依賴程度也越來越高。在此基礎(chǔ)上，如何構(gòu)建高效運行、架構(gòu)合理且安全的數(shù)據(jù)中心成為醫(yī)院面臨的重要挑戰(zhàn)。某縣級醫(yī)院采用超融合基礎(chǔ)架構(gòu)，科學(xué)評估超融合集群計算存儲資源，建設(shè)高度虛擬化、基于軟件定義下的數(shù)據(jù)中心基礎(chǔ)設(shè)施。不同于傳統(tǒng)的邏輯資源劃分，本文按照功能和區(qū)域?qū)?shù)據(jù)中心劃分為內(nèi)網(wǎng)計算存儲資源池、外網(wǎng)應(yīng)用資源池、桌面云資源池、安全資源池和容災(zāi)備份資源池共五大資源池，通過基于多資源池醫(yī)療數(shù)據(jù)中心建設(shè)實踐，有效提升全院業(yè)務(wù)系統(tǒng)性能，保障了醫(yī)院業(yè)務(wù)安全和連續(xù)性。

關(guān)鍵詞：多資源池? 數(shù)據(jù)中心? 資源需求? 超融合

中圖分類號：R197.3 ? ? ? ? ?文獻(xiàn)標(biāo)識碼：A? ? ? ? ? ? ? ? ? 文章編號：1674-098X（2021）02（c）-0127-05

Multi-resource Pooling Medical Data Center Construction Practice

GAO Pengpeng1? CHEN Jiajia2*

（1.People's Hospital of Helan County，Yinchuan， Ningxia Hui Autonomous Region， 750200 China; 2.People's Hospital of Helan County， Yinchuan， Ningxia Hui Autonomous Region， 750200 China）

Abstract： With the continuous development and integration of "5G+"， "Internet + health care"， and smart medical technology， the development of the medical industry has accelerated， and the normal operation of various hospitals' businesses has become increasingly dependent on information technology. On this basis， how to build a data center with efficient operation， reasonable structure and safety has become an important challenge facing the hospital. A county-level hospital adopted a hyper-converged infrastructure， scientifically evaluated hyper-converged cluster computing storage resources， and built a highly virtualized， software-defined data center infrastructure. Different from the traditional logical resource division， this paper divides the data center into five resource pools in accordance with functions and regions： intranet computing storage resource pool， extranet application resource pool， desktop cloud resource pool， security resource pool， and disaster recovery backup resource pool. Through the construction practice of medical data center based on multiple resource pools， the performance of the whole hospital's business system is effectively improved， and the safety and continuity of hospital business is guaranteed.

Key Words： Multi-resource pool; Data center; Resource demand; Hyper-convergence

隨著“5G+”、“互聯(lián)網(wǎng)+健康醫(yī)療”、智慧醫(yī)療技術(shù)的不斷發(fā)展融合，醫(yī)療行業(yè)發(fā)展速度的加快，醫(yī)院各項業(yè)務(wù)正常運行對信息技術(shù)的依賴程度也越來越高。通過信息化手段進(jìn)一步提高系統(tǒng)可用性和穩(wěn)定性，同時實現(xiàn)數(shù)據(jù)中心的節(jié)能減排[1]，有效降低中心運營成本，建設(shè)無單點故障和單點瓶頸、“永遠(yuǎn)在線”、可靈活擴(kuò)展的醫(yī)療數(shù)據(jù)中心是所有醫(yī)院信息中心管理者的努力目標(biāo)和方向。

2019年5月國家正式發(fā)布《信息安全技術(shù)網(wǎng)絡(luò)安全等級保護(hù)基本要求（GB/T 22239-2019）》標(biāo)準(zhǔn)，結(jié)合2018年4月國家衛(wèi)生健康委發(fā)布的《全國醫(yī)院信息化建設(shè)標(biāo)準(zhǔn)與規(guī)范（試行）》要求，醫(yī)院信息化基礎(chǔ)設(shè)施建設(shè)需以等級保護(hù)框架為基本要求，結(jié)合各種安全技術(shù)措施的組合，從外到內(nèi)構(gòu)建縱深、主動的防御體系，并對承載的EMR、HIS、LIS、PACS、CIS等核心業(yè)務(wù)系統(tǒng)進(jìn)行分層分域管理，從橫向到縱向保護(hù)醫(yī)療業(yè)務(wù)的穩(wěn)定運行和數(shù)據(jù)安全，有效應(yīng)對網(wǎng)絡(luò)安全事件，維護(hù)醫(yī)療數(shù)據(jù)的完整性、保密性和可用性的目標(biāo)。

1? 概述

自20世紀(jì)90年代末以來，醫(yī)院信息化分別經(jīng)歷了以財務(wù)收費為核心的醫(yī)院管理信息化階段，以業(yè)務(wù)系統(tǒng)建設(shè)支撐管理和臨床的醫(yī)院業(yè)務(wù)應(yīng)用導(dǎo)向階段，到目前以建設(shè)數(shù)據(jù)倉庫、臨床數(shù)據(jù)中心（CDR）以及醫(yī)院信息平臺的醫(yī)院互聯(lián)互通導(dǎo)向階段[2]。以數(shù)據(jù)為中心、整合資源服務(wù)臨床、決策和科研過程，提高醫(yī)院的科學(xué)化、規(guī)范化、精細(xì)化水平，正在成為當(dāng)前醫(yī)院信息化發(fā)展的重要方向。

某二級醫(yī)院是當(dāng)?shù)刈畲蟮墓⒎菭I利性綜合醫(yī)院，占地面積60畝，開設(shè)10大住院病區(qū)和30個門診科室，承擔(dān)縣區(qū)30萬人口的基本醫(yī)療和公共衛(wèi)生服務(wù)。醫(yī)院從2010年開始進(jìn)行信息化建設(shè)，其中基礎(chǔ)平臺設(shè)施經(jīng)歷了物理機(jī)階段、雙機(jī)熱備階段、服務(wù)器存儲虛擬化階段。目前全院信息系統(tǒng)業(yè)務(wù)子模塊包含HIS、LIS、EMR、OA、PEIS、HRP、院感等在內(nèi)的共21個系統(tǒng)、75個子模塊，數(shù)據(jù)庫主要有Oracel、SQL Server、MySql、DB2等，月新增容量約1T，目前數(shù)據(jù)總?cè)萘?1TB。終端硬件設(shè)備超過500個，服務(wù)器和存儲近30臺，而且因為前期信息化均處于分散投入、分批建設(shè)模式，導(dǎo)致硬件品牌有14個，其中存儲品牌4個，安全設(shè)備品牌6個，服務(wù)器品牌5個。核心業(yè)務(wù)通過VMware存儲雙活技術(shù)進(jìn)行冗余，同時通過Oracle RAC和Dataguard技術(shù)進(jìn)行數(shù)據(jù)庫的負(fù)載均衡和冗余備份。但是包括診間支付、院感管理、不良事件上報、心電系統(tǒng)等近15個業(yè)務(wù)系統(tǒng)在純物理機(jī)上運行，無容災(zāi)備份機(jī)制。

2? 醫(yī)院數(shù)據(jù)中心建設(shè)需求和目標(biāo)

隨著國家強(qiáng)基層和分級診療戰(zhàn)略的不斷深入和醫(yī)院新技術(shù)新業(yè)務(wù)的積極開展，為進(jìn)一步滿足轄區(qū)內(nèi)城鄉(xiāng)居民的就醫(yī)需求，分別新購包括MRI、CT、DR、彩超、電子胃腸鏡和腹腔鏡等多臺設(shè)備，三年內(nèi)日數(shù)據(jù)增長量呈爆炸式增長。移動護(hù)理、移動查房、質(zhì)控中心、院感中心等業(yè)務(wù)模塊緊密上線，信息系統(tǒng)對計算與存儲資源的需求呈指數(shù)增長，對數(shù)據(jù)中心基礎(chǔ)設(shè)施的擴(kuò)展性也提出了非常大的挑戰(zhàn)。

2020年初新冠疫情爆發(fā)，如何能第一時間快速上線新的業(yè)務(wù)系統(tǒng)，傳統(tǒng)線下診療方式持續(xù)向線上延伸，以前數(shù)據(jù)中心采取的縱向擴(kuò)展性能有限，即使考慮使用分級，需要額外購買軟件許可，成本開銷很大。同時雖然使用x86架構(gòu)服務(wù)器做虛擬化，但共享無保障，不同廠商品牌設(shè)備組合效果不好，也有IO瓶頸。

基于以上，醫(yī)院計劃新建以持續(xù)發(fā)展的臨床業(yè)務(wù)需求為導(dǎo)向，以動態(tài)擴(kuò)展為特征，結(jié)合分布式存儲和虛擬化云安全的基礎(chǔ)屬性，打造具有前瞻性和未來云化升級基礎(chǔ)的數(shù)據(jù)中心架構(gòu)。

建設(shè)目標(biāo)：

（1）無單點故障和無單點瓶頸;

（2）“永遠(yuǎn)在線”的業(yè)務(wù)系統(tǒng);

（3）跨軟/硬組建的深度分析能力;

（4）中心資源全面軟件定義;

（5）運維管理方便快捷。

3? 多資源池化數(shù)據(jù)中心建設(shè)實踐

3.1 醫(yī)院數(shù)據(jù)中心架構(gòu)選型

傳統(tǒng)醫(yī)院信息技術(shù)實施路徑正逐漸從物理部署方式向云化轉(zhuǎn)型，其實施路徑大致分為物理部署、虛擬化、云化（資源整合）與全面云化（業(yè)務(wù)敏捷）這個過程。本次數(shù)據(jù)中心項目建設(shè)是醫(yī)院數(shù)字化轉(zhuǎn)型的關(guān)鍵工程，將現(xiàn)有的虛擬化煙囪整合為資源池，實現(xiàn)統(tǒng)一管理、共享使用，簡化數(shù)據(jù)中心基礎(chǔ)架構(gòu)，為以后基于業(yè)務(wù)敏捷的云化架構(gòu)打下堅實的基礎(chǔ)。

超融合架構(gòu)技術(shù)是在一個設(shè)備單元內(nèi)同時具有云計算、網(wǎng)絡(luò)、數(shù)據(jù)存儲等資源，結(jié)合虛擬化技術(shù)，其中包括SSD緩存加速、重復(fù)數(shù)據(jù)消除、數(shù)據(jù)壓縮[3]、多副本存儲保證等業(yè)務(wù)連續(xù)性的一系列元素，最終形成一個統(tǒng)一的資源池型框架。超融合架構(gòu)（如圖1）在數(shù)據(jù)中心中承擔(dān)著計算資源池和分布式存儲資源池的作用[4]，極大簡化了數(shù)據(jù)中心基礎(chǔ)架構(gòu)，同時以軟件定義計算資源和多副本存儲方式實現(xiàn)業(yè)務(wù)數(shù)據(jù)無單點故障、無單點瓶頸，具備隨時分配、隨時擴(kuò)展、性能線性增長的能力。

目前超融合主流廠商主要有：Nutanix Acropolis Enterprise Storage、Vmware Vsan、Smart X ZBS、深信服 Asan、華為 FusionCube、華三UIS 等。

在本次數(shù)據(jù)中心規(guī)劃建設(shè)中，綜合醫(yī)院原有基礎(chǔ)設(shè)施基于VMware虛擬化技術(shù)，為保證技術(shù)延續(xù)性和成本控制，選擇VMware 的VSAN 7.0方案作為本次數(shù)據(jù)中心建設(shè)的基礎(chǔ)架構(gòu)選型。而VMware本身也是全球虛擬化和云計算基礎(chǔ)架構(gòu)的領(lǐng)導(dǎo)者，軟件原生集成計算、網(wǎng)絡(luò)和存儲虛擬化技術(shù)和自動化管理功能，具備非常強(qiáng)的兼容性和耦合性。

3.2 建設(shè)案例概述

3.2.1 超融合集群規(guī)劃原則

（1）同一個集群盡可能使用同類型服務(wù)器，硬件資源盡可能相同，尤其是CPU型號;

（2） 規(guī)劃集群規(guī)?？紤]資源冗余，CPU、內(nèi)存和存儲資源需額外規(guī)劃10%～20%的資源;

（3）考慮到資源冗余和集群高可用性，單個集群的節(jié)點數(shù)量要求最少4臺。

3.2.2 虛擬機(jī)計算資源需求計算

按照醫(yī)院未來業(yè)務(wù)發(fā)展，在不考慮AI等圖形資源消耗處理的情況下，非核心業(yè)務(wù)平均每個虛擬機(jī)需要資源為：4個vCPU，32GB 內(nèi)存，則25個業(yè)務(wù)系統(tǒng)需要100個vCPU和800GB內(nèi)存資源。核心業(yè)務(wù)EMR和HIS，需要至少一臺1應(yīng)用服務(wù)器和兩臺數(shù)據(jù)庫服務(wù)器做RAC，每臺服務(wù)器規(guī)劃計算資源16vCPU和64GB內(nèi)存，因此按照現(xiàn)有業(yè)務(wù)計算共需148vCPU和1T內(nèi)存。

考慮10%～20%的冗余度，則整個超融合平臺最佳配置為192vCPU，2304GB 內(nèi)存，考慮冗余節(jié)點，實際超融合平臺單節(jié)點配置CPU 48核，內(nèi)存576GB，共5臺服務(wù)器做超融合集群。

3.2.3 虛擬機(jī)存儲資源需求計算

虛擬機(jī)硬盤需求總量=vDISK*每個虛擬機(jī)需求數(shù)量，按照40個虛擬機(jī)設(shè)計，平均每個虛擬機(jī)規(guī)劃需要800GB硬盤，則需要32TB。

結(jié)合超融合vSAN虛擬存儲多副本設(shè)計原則，則整個超融合平臺硬盤需要裸容量64TB，按照20%冗余度設(shè)計，需要至少配置76TB總硬盤容量（5個節(jié)點），平均到每個節(jié)點則配置為19TB（8塊2.4TB 10K轉(zhuǎn)硬盤）。

超融合平臺采用5節(jié)點組成超融合集群，為醫(yī)院全院信息系統(tǒng)業(yè)務(wù)提供高性能計算、存儲資源，并滿足業(yè)務(wù)連續(xù)性和高可用要求。

3.2.4 網(wǎng)絡(luò)資源需求計算

網(wǎng)絡(luò)資源池在規(guī)劃時考慮未來云融合架構(gòu)的擴(kuò)展性，由傳統(tǒng)三層架構(gòu)改成二層架構(gòu)網(wǎng)絡(luò)，同時利用 “多合一”的網(wǎng)絡(luò)虛擬化技術(shù)支持設(shè)備間的冗余，通過“一分多”的虛擬網(wǎng)絡(luò)技術(shù)簡化系統(tǒng)運維。在本次項目實踐中，內(nèi)網(wǎng)核心交換機(jī)是兩臺華為CloudEngine 16804做網(wǎng)絡(luò)虛擬化，通過40GE光纖互聯(lián)提高核心鏈路利用率，同時實現(xiàn)負(fù)載均衡。數(shù)據(jù)中心網(wǎng)絡(luò)系統(tǒng)采用VxLan和SDN技術(shù)將網(wǎng)絡(luò)的控制層和數(shù)據(jù)轉(zhuǎn)發(fā)層相分離，實現(xiàn)網(wǎng)絡(luò)快速部署和流量可視化，同時可以快速定位故障點，配合使用虛擬端口組技術(shù)提高數(shù)據(jù)傳輸效率。

3.3 基于多資源池數(shù)據(jù)中心規(guī)劃

與傳統(tǒng)按照各類基礎(chǔ)設(shè)施進(jìn)行劃分邏輯資源池不同，本次項目按照業(yè)務(wù)功能和區(qū)域?qū)?shù)據(jù)中心劃分為內(nèi)網(wǎng)計算存儲資源池、外網(wǎng)應(yīng)用資源池、桌面云資源池、安全資源池和容災(zāi)備份資源池共五大資源池，如圖2，形成一個綠色、高效、一體化的醫(yī)院數(shù)據(jù)中心整體架構(gòu)。

3.3.1 內(nèi)網(wǎng)計算存儲資源池

承載內(nèi)網(wǎng)核心業(yè)務(wù)數(shù)據(jù)，通過5臺x86物理服務(wù)器，每臺2顆24核CPU、576G內(nèi)存和23TB存儲（含3.84TB SSD固態(tài)硬盤做緩存盤，19.2TB SAS硬盤做容量盤）。內(nèi)網(wǎng)計算存儲資源池可創(chuàng)建虛擬服務(wù)器40～50臺，存儲均采用多副本分布式存儲，有效保證高峰值訪問并發(fā)量和臨床業(yè)務(wù)連續(xù)性。即使其中某一臺物理服務(wù)器出現(xiàn)故障，業(yè)務(wù)數(shù)據(jù)會通過VMotion功能自動將應(yīng)用和數(shù)據(jù)一起漂移至其他服務(wù)器。在這個過程中，業(yè)務(wù)不受任何影響，終端使用用戶幾乎沒有感知。

3.3.2 外網(wǎng)應(yīng)用資源池

隨著“互聯(lián)網(wǎng)+健康醫(yī)療”和智慧醫(yī)院建設(shè)、移動支付業(yè)務(wù)的不斷推進(jìn)，大量內(nèi)部應(yīng)用系統(tǒng)需要和互聯(lián)網(wǎng)側(cè)數(shù)據(jù)作交互。為保障醫(yī)療數(shù)據(jù)安全，網(wǎng)絡(luò)基本架構(gòu)通常使用網(wǎng)閘設(shè)備做內(nèi)網(wǎng)和外網(wǎng)兩側(cè)的安全隔離，網(wǎng)閘采用非TCP/IP協(xié)議進(jìn)行基于端口的數(shù)據(jù)“擺渡”。與外網(wǎng)交互功能模塊和需求的日益增多，傳統(tǒng)購置純物理機(jī)做前置機(jī)一方面無法靈活擴(kuò)展和冗余，另一方面隨著前置機(jī)規(guī)模增大，資源浪費和管理困難度也隨著越來越大。

本次項目建設(shè)中對互聯(lián)網(wǎng)區(qū)域采用4節(jié)點超融合服務(wù)器，綜合外網(wǎng)區(qū)域應(yīng)用場景，大部分前置機(jī)業(yè)務(wù)對計算存儲資源性能要求不高，采取利舊升級方式，改造目前在用的物理服務(wù)器，形成完成外網(wǎng)區(qū)虛擬化集群，實現(xiàn)服務(wù)器資源的整合。

3.3.3 桌面云資源池

桌面云目前主要分RDV、IDV和VDI三種，不同的架構(gòu)模型均有自身的優(yōu)勢和應(yīng)用場景。桌面云技術(shù)將硬件虛擬化，達(dá)到達(dá)到按需分配、集中管理的模式。結(jié)合醫(yī)療行業(yè)背景，在本次項目中選擇VDI平臺構(gòu)建一站式桌面云資源池。采用兩臺高性能服務(wù)器，組建總?cè)萘窟_(dá)80核、512G內(nèi)存的主備桌面云資源池。在醫(yī)院內(nèi)網(wǎng)環(huán)境內(nèi)，使用ARM架構(gòu)下的瘦終端，接入桌面云系統(tǒng)獲得與傳統(tǒng)PC一致的使用體驗，不同科室不同業(yè)務(wù)部門靈活分配資源配置，同時實現(xiàn)高可用和高可靠性[5]。

3.3.4 安全資源池

安全資源池基于軟件定義技術(shù)將醫(yī)療系統(tǒng)所需要的各項安全能力統(tǒng)一集成到通用的硬件資源設(shè)施中。摒棄傳統(tǒng)的物理安全設(shè)備堆疊，采用虛擬安全資源池的方式，實現(xiàn)包括訪問控制、IPS入侵防御、WAF防護(hù)、網(wǎng)頁防篡改、安全審計、漏洞掃描在內(nèi)的各類安全組件，靈活配置、按需開啟，提高基礎(chǔ)資源利用率。在近幾年來國內(nèi)外信息安全事件層出不窮的大背景下，虛擬安全資源池升級擴(kuò)展也具有得天獨厚的優(yōu)勢，同時也簡化運維，提高信息中心管理工做效率，完成安全配置自動化部署和統(tǒng)一管理。

3.3.5 容災(zāi)備份資源池

由于醫(yī)院業(yè)務(wù)的特殊性，任何人為或自然因素所導(dǎo)致的應(yīng)用或系統(tǒng)中斷、丟失，都會造成醫(yī)院巨大的經(jīng)濟(jì)損失[6]，因此一套完整的容災(zāi)備份體系是醫(yī)院信息化建設(shè)需要重點考慮和規(guī)劃。本次項目在本院區(qū)結(jié)合Oracle RAC和DataGuard等技術(shù)實現(xiàn)數(shù)據(jù)庫快速切換和災(zāi)難性恢復(fù)，同時采用云端雙活主備機(jī)制，將數(shù)據(jù)中心和云端業(yè)務(wù)都是活動的狀態(tài)，并且實時同步。當(dāng)本地機(jī)房出現(xiàn)網(wǎng)絡(luò)或災(zāi)難性服務(wù)器故障時，終端訪問自動轉(zhuǎn)移至云端，整個過程無需人工操作，業(yè)務(wù)不受任何影響。云端災(zāi)備資源池通過萬兆光纖專線和本地數(shù)據(jù)中心直連，PRO和RTO趨向于零，支持任意時間節(jié)點的數(shù)據(jù)回退，實現(xiàn)對信息系統(tǒng)數(shù)據(jù)、應(yīng)用等整體容災(zāi)備份。

4? 結(jié)語

基于多資源池的醫(yī)療數(shù)據(jù)中心建設(shè)可以極大地滿足醫(yī)院在目前“互聯(lián)網(wǎng)+健康醫(yī)療”、移動支付、線上問診和網(wǎng)絡(luò)安全的發(fā)展需要，是傳統(tǒng)醫(yī)療行業(yè)在未來信息化建設(shè)發(fā)展中的有效嘗試和實踐，同時也實現(xiàn)了應(yīng)用部署敏捷化、運維自動化和統(tǒng)一管理的要求，有效提升全院業(yè)務(wù)系統(tǒng)性能，保障了醫(yī)院的業(yè)務(wù)連續(xù)性和穩(wěn)定性。

參考文獻(xiàn)

[1] 肖激雷，董建成.醫(yī)院私有云數(shù)據(jù)中心應(yīng)用探討[J].醫(yī)學(xué)信息學(xué)雜志，2016，37（12）：30-33.

[2] 李顥.醫(yī)療數(shù)據(jù)倉庫中數(shù)據(jù)抽取-轉(zhuǎn)換-加載（ETL）系統(tǒng)的研究與實現(xiàn)[D].北京：電子科技大學(xué)，2020.

[3] 陳雪峰，段勁宇，杜安瑞，等.超融合架構(gòu)在醫(yī)院現(xiàn)代化數(shù)據(jù)中心的應(yīng)用實踐[J].醫(yī)學(xué)信息學(xué)雜志，2018，39（12）：36-41.

[4] 高東平，李偉，王士泉，等.醫(yī)學(xué)大數(shù)據(jù)應(yīng)用信息系統(tǒng)策劃與設(shè)計[J].中華醫(yī)學(xué)圖書情報雜志， 2017，26（8）：1-7.

[5] 王珂.云平臺中的瘦終端協(xié)議的設(shè)計與實現(xiàn)[D].北京：電子科技大學(xué)，2018.

[6] 孔明軍，李芹，王瑜.醫(yī)院信息系統(tǒng)雙活容災(zāi)備份體系的實現(xiàn)探討[J].科技創(chuàng)新導(dǎo)報，2017，14（7）：129-130.

[7] 韓煜.醫(yī)院臨床數(shù)據(jù)中心構(gòu)建的思路分析[J].醫(yī)學(xué)信息，2020，33（17）：18-19.