曹凱

（山東大學(xué)齊魯醫(yī)院信息網(wǎng)絡(luò)中心 山東省濟(jì)南市 250000）

醫(yī)療信息化具有數(shù)據(jù)量龐大、數(shù)據(jù)安全等級(jí)高、高可靠性等特點(diǎn)，SDN 通過(guò)集中面板來(lái)控制復(fù)雜網(wǎng)絡(luò)拓?fù)渲械木W(wǎng)絡(luò)流量，提供了全面自動(dòng)化服務(wù)、中央策略控制功能下發(fā)和內(nèi)建安全性，比以往更輕松地?cái)U(kuò)展和增強(qiáng)數(shù)據(jù)中心能力，將Nutanix 超融合基礎(chǔ)架構(gòu)中的網(wǎng)絡(luò)功能虛擬化，幫助超融合系統(tǒng)連接或管理內(nèi)部流量、數(shù)據(jù)中心通信和數(shù)據(jù)中心外的網(wǎng)絡(luò)，實(shí)現(xiàn)基于SDN 的跨數(shù)據(jù)中心Nutanix 超融合雙活數(shù)據(jù)中心，該方案可以更小顆粒度進(jìn)行橫向擴(kuò)展，通過(guò)Veeam虛擬化備份系統(tǒng)進(jìn)一步提高醫(yī)院數(shù)據(jù)的安全性。通過(guò)該架構(gòu)系統(tǒng)的實(shí)際搭建與實(shí)施應(yīng)用，驗(yàn)證了技術(shù)可行性和成熟度，同時(shí)使得醫(yī)院的基礎(chǔ)設(shè)施邁上一個(gè)新的臺(tái)階。

1 硬件基礎(chǔ)架構(gòu)發(fā)展歷程

近10 年間，醫(yī)療信息化基礎(chǔ)設(shè)施架構(gòu)與其它行業(yè)的發(fā)展類(lèi)似，大致經(jīng)歷了四個(gè)階段：分散式架構(gòu)、整合式架構(gòu)、虛擬化架構(gòu)以及超融合架構(gòu)。隨著用戶(hù)對(duì)應(yīng)用的可用性、存儲(chǔ)性能、存儲(chǔ)容量等要求的提高，高度整合式的數(shù)據(jù)中心架構(gòu)逐漸變成主流，數(shù)據(jù)中心的存儲(chǔ)設(shè)備由直連存儲(chǔ)演變?yōu)榧惺降墓蚕泶鎯?chǔ)模式，服務(wù)器通過(guò)HBA 卡、SAN 交換機(jī)、FC 線(xiàn)纜與存儲(chǔ)設(shè)備連接，這種架構(gòu)有效地提高了存儲(chǔ)可用性、利用率、存儲(chǔ)設(shè)備的可管理性。

四種硬件架構(gòu)中，分散式架構(gòu)基本已被淘汰，整合式架構(gòu)目前仍用于計(jì)算性能要求高的業(yè)務(wù)場(chǎng)景中，例如HIS 數(shù)據(jù)庫(kù)。本文接下來(lái)對(duì)傳統(tǒng)SAN 架構(gòu)虛擬化與超融合架構(gòu)虛擬化進(jìn)行對(duì)比分析。如圖1 所示。

圖1： 醫(yī)療信息化硬件架構(gòu)

2 傳統(tǒng)SAN架構(gòu)與HCI超融合架構(gòu)虛擬化對(duì)比

隨著虛擬化技術(shù)的發(fā)展使用，數(shù)據(jù)中心內(nèi)的服務(wù)器體量規(guī)模逐漸減少，物理空間占用率高等問(wèn)題得到緩解，但隨之而來(lái)的是虛擬機(jī)數(shù)量的急劇膨脹與參數(shù)超配。消耗巨大存儲(chǔ)空間的同時(shí)，也使得整個(gè)虛擬化架構(gòu)看上去不協(xié)調(diào)，存儲(chǔ)架構(gòu)臃腫。傳統(tǒng)存儲(chǔ)虛擬化架構(gòu)中SAN 存儲(chǔ)陣列型號(hào)必須在存儲(chǔ)網(wǎng)關(guān)兼容性列表內(nèi)，同時(shí)隨著使用年限的增加，運(yùn)算、存儲(chǔ)品牌型號(hào)繁多，造成的維保與運(yùn)維壓力逐年遞增，傳統(tǒng)存儲(chǔ)設(shè)備受限于其架構(gòu)，在縱向及橫向擴(kuò)展能力方面缺乏靈活性。如表1、圖2 所示。

圖2： 傳統(tǒng)SAN 架構(gòu)虛擬化與HCI 超融合內(nèi)部架構(gòu)對(duì)比

表1： 傳統(tǒng)SAN 架構(gòu)虛擬化與超融合架構(gòu)的區(qū)別

3 基于SDN技術(shù)構(gòu)建HCI超融合雙活虛擬化平臺(tái)

通過(guò)跨數(shù)據(jù)中心的SDN 技術(shù)構(gòu)建滿(mǎn)足核心系統(tǒng)雙活要求的大二層網(wǎng)絡(luò)，為醫(yī)院構(gòu)建雙活數(shù)據(jù)中心建立堅(jiān)實(shí)基礎(chǔ)。

圖3 為醫(yī)院的基于SDN 構(gòu)建HCI 的超融合架構(gòu)雙活平臺(tái)邏輯架構(gòu)圖。

圖3： 基于SDN 網(wǎng)絡(luò)的HCI 超融合架構(gòu)圖

對(duì)于承載醫(yī)院核心系統(tǒng)的超融合平臺(tái)而言，要滿(mǎn)足跨數(shù)據(jù)中心的業(yè)務(wù)連續(xù)性的技術(shù)要求，需要底層網(wǎng)絡(luò)具備足夠的靈活性、可靠性，同時(shí)能夠保障在站點(diǎn)級(jí)別故障發(fā)生時(shí)，可以快速恢復(fù)業(yè)務(wù)系統(tǒng)，在保障業(yè)務(wù)連續(xù)性的同時(shí)，滿(mǎn)足醫(yī)療行業(yè)政策監(jiān)管需求。規(guī)劃數(shù)據(jù)中心網(wǎng)絡(luò)SDN 的目的，是為了方便業(yè)務(wù)與未來(lái)機(jī)架靈活規(guī)劃和滿(mǎn)足業(yè)務(wù)連續(xù)性的要求，通過(guò)SDN網(wǎng)絡(luò)為醫(yī)院核心系統(tǒng)提供良好的大二層支持能力，構(gòu)建健壯的數(shù)據(jù)中心核心網(wǎng)絡(luò)，解決傳統(tǒng)數(shù)據(jù)中心網(wǎng)絡(luò)的擴(kuò)展性、靈活性和運(yùn)維復(fù)雜度。

SDN 是Software Define Network 的縮寫(xiě)，就是軟件定義網(wǎng)絡(luò)，與傳統(tǒng)網(wǎng)絡(luò)不同的是，SDN 要求集中式控制，要求轉(zhuǎn)發(fā)和控制分離，要求網(wǎng)絡(luò)管理員可以直接操作設(shè)備的轉(zhuǎn)發(fā)行為，不強(qiáng)制使用任何網(wǎng)絡(luò)協(xié)議來(lái)控制轉(zhuǎn)發(fā)行為。SDN 中的軟件完全由管理員所在的組織設(shè)計(jì)，讓管理員可以隨心所欲地利用軟件來(lái)規(guī)劃自己網(wǎng)絡(luò)中的任意轉(zhuǎn)發(fā)行為，所以稱(chēng)為“軟件定義網(wǎng)絡(luò)”。SDN 不是一個(gè)具體詳細(xì)的技術(shù)，而是一個(gè)框架，一個(gè)網(wǎng)絡(luò)設(shè)計(jì)的理念。它的核心訴求是通過(guò)軟件控制網(wǎng)絡(luò)，實(shí)現(xiàn)網(wǎng)絡(luò)業(yè)務(wù)的自動(dòng)化編排。

Leaf 層交換機(jī)作為VXLAN 的分布式網(wǎng)關(guān)，配合超融合平臺(tái)實(shí)現(xiàn)跨數(shù)據(jù)中心的二層打通和更好的安全訪(fǎng)問(wèn)控制。整個(gè)SDN 網(wǎng)絡(luò)分為underlay 和overlay 兩個(gè)層面，采用了硬件overlay 技術(shù)架構(gòu)。Underlay 網(wǎng)絡(luò)就是Spine 和Leaf 之間的底層IP 網(wǎng)絡(luò)，是一個(gè)三層網(wǎng)絡(luò)，采用40Gb 高帶寬全互聯(lián)，所以橫向擴(kuò)展非常容易，適合超大型的數(shù)據(jù)中心，物理交換機(jī)上線(xiàn)基本做到了即插即用，使得網(wǎng)絡(luò)擴(kuò)容變得更加敏捷，當(dāng)物理的網(wǎng)絡(luò)設(shè)備之間的線(xiàn)路相互連接后，控制器會(huì)自動(dòng)向各個(gè)網(wǎng)絡(luò)節(jié)點(diǎn)自動(dòng)推送配置，完成underlay 網(wǎng)絡(luò)的搭建。這個(gè)過(guò)程幾乎是自動(dòng)實(shí)現(xiàn)的，當(dāng)一臺(tái)新的交換機(jī)上線(xiàn)后，只要將接入當(dāng)前的fabric 后，即可完成所有的網(wǎng)絡(luò)配置，設(shè)備上線(xiàn)后自動(dòng)生成網(wǎng)絡(luò)拓?fù)?，網(wǎng)絡(luò)可視化能力增強(qiáng)。應(yīng)用和業(yè)務(wù)網(wǎng)絡(luò)訪(fǎng)問(wèn)邏輯上都是通過(guò)Overlay 網(wǎng)絡(luò)來(lái)完成的，Overlay網(wǎng)絡(luò)實(shí)際上是和物理的網(wǎng)絡(luò)設(shè)備完全解耦的，overlay 網(wǎng)絡(luò)可以完全無(wú)視物理網(wǎng)絡(luò)，根據(jù)應(yīng)用需求靈活控制，負(fù)責(zé)進(jìn)行VXLAN 封裝的VTEP 全是在Leaf 節(jié)點(diǎn)物理交換機(jī)上，SDN網(wǎng)絡(luò)中負(fù)責(zé)主機(jī)接入的Leaf 交換機(jī)都是VTEP，可以支持任意的主機(jī)虛擬化平臺(tái)和技術(shù)。

規(guī)劃總體SDN網(wǎng)絡(luò)分為生產(chǎn)業(yè)務(wù)網(wǎng)和管理網(wǎng)兩套網(wǎng)絡(luò)，相互之間松耦合，生產(chǎn)管理網(wǎng)故障不會(huì)影響生產(chǎn)網(wǎng)的業(yè)務(wù)，生產(chǎn)管理網(wǎng)可以通過(guò)帶外管理來(lái)管理生產(chǎn)業(yè)務(wù)網(wǎng)和隔理網(wǎng)設(shè)備。

生產(chǎn)業(yè)務(wù)網(wǎng)規(guī)劃為多個(gè)POD，采用VXLAN 模型進(jìn)行評(píng)估，實(shí)現(xiàn)網(wǎng)絡(luò)資源池化、網(wǎng)絡(luò)設(shè)備故障自動(dòng)快速收斂、簡(jiǎn)單擴(kuò)展且零配置管理、能7X24 小時(shí)接受網(wǎng)絡(luò)接入、技術(shù)先進(jìn)成熟、更好的滿(mǎn)足醫(yī)院多中心“雙活”、“多活”的建設(shè)需求。

4 超融合雙活架構(gòu)設(shè)計(jì)

針對(duì)醫(yī)院數(shù)據(jù)中心信息化的持續(xù)建設(shè)，總體原則是立足現(xiàn)在，著眼未來(lái)，始終堅(jiān)持“從無(wú)到有、從有到優(yōu)、統(tǒng)籌規(guī)劃、分步實(shí)施”的策略。

在方案設(shè)計(jì)中我們遵循以下原則：

4.1 以業(yè)務(wù)需求為導(dǎo)向

技術(shù)架構(gòu)最終是為業(yè)務(wù)服務(wù)的，因此技術(shù)架構(gòu)的設(shè)計(jì)一定要以業(yè)務(wù)的需求為導(dǎo)向，充分考慮非功能需求，例如系統(tǒng)的重要程度、安全要求、業(yè)務(wù)連續(xù)性等。

4.2 動(dòng)態(tài)擴(kuò)展性

在IT 發(fā)展趨勢(shì)中，動(dòng)態(tài)基礎(chǔ)架構(gòu)已經(jīng)成為IT 基礎(chǔ)架構(gòu)的發(fā)展方向，可實(shí)現(xiàn)在IT 地運(yùn)營(yíng)過(guò)程隨時(shí)進(jìn)行資源動(dòng)態(tài)調(diào)整。

4.3 分布式一切

應(yīng)用系統(tǒng)的高可用性是保障服務(wù)等級(jí)的重要因素，在架構(gòu)設(shè)計(jì)中應(yīng)該充分借助軟件定義的分布式架構(gòu)滿(mǎn)足高可用性要求，實(shí)現(xiàn)系統(tǒng)架構(gòu)和平臺(tái)架構(gòu)的無(wú)單點(diǎn)故障、無(wú)單點(diǎn)瓶頸問(wèn)題，保障業(yè)務(wù)系統(tǒng)健壯性。

4.4 安全性

在系統(tǒng)設(shè)計(jì)中，安全性是一個(gè)非常重要的問(wèn)題，在架構(gòu)中需要考慮到虛擬化架構(gòu)內(nèi)外部的安全，包括數(shù)據(jù)安全等問(wèn)題，以保證整個(gè)系統(tǒng)長(zhǎng)期安全穩(wěn)定的運(yùn)行。

如圖4 所示，醫(yī)院內(nèi)網(wǎng)每個(gè)數(shù)據(jù)中心放置8 臺(tái)聯(lián)想HX超融合系統(tǒng)，外網(wǎng)每個(gè)數(shù)據(jù)中心放置4 臺(tái)聯(lián)想HX 超融合系統(tǒng)，跨數(shù)據(jù)中心內(nèi)外網(wǎng)各有2 個(gè)超融合集群，在虛擬化層是一個(gè)跨數(shù)據(jù)中心集群，集群整體接入到SDN 網(wǎng)絡(luò)，未來(lái)可無(wú)縫橫向擴(kuò)展，支持全閃和混閃的節(jié)點(diǎn)混合部署，兩個(gè)機(jī)房的超融合集群數(shù)據(jù)實(shí)時(shí)同步，當(dāng)兩方集群都正常時(shí)可實(shí)現(xiàn)業(yè)務(wù)虛擬機(jī)跨數(shù)據(jù)中心的在線(xiàn)遷移，而當(dāng)一方集群意外宕機(jī)，虛擬機(jī)則自動(dòng)切換到對(duì)端機(jī)房超融合集群中，整個(gè)過(guò)程可以控制在分鐘級(jí)別，在實(shí)際的應(yīng)用場(chǎng)景中，選擇RF=2（雙副本）數(shù)據(jù)保護(hù)機(jī)制已經(jīng)可以很好的滿(mǎn)足醫(yī)院數(shù)據(jù)安全的需要。

圖4

超融合是以虛擬機(jī)為管理單位，而不像存儲(chǔ)以磁盤(pán)卷為單位，每套集群可利用超融合本身豐富的保護(hù)機(jī)制對(duì)應(yīng)用虛擬機(jī)定義不同級(jí)別的保護(hù)，系統(tǒng)提供了大量智能的運(yùn)維管理工具和易于雙活切換操作的GUI 界面。超融合系統(tǒng)提供雙活數(shù)據(jù)中心模式部署，通過(guò)第三站點(diǎn)仲裁機(jī)制，實(shí)現(xiàn)雙活自動(dòng)化切換，磁盤(pán)節(jié)點(diǎn)故障不需要遠(yuǎn)端數(shù)據(jù)中心系統(tǒng)的數(shù)據(jù)恢復(fù)，在本地集群內(nèi)部數(shù)據(jù)重建，節(jié)省網(wǎng)絡(luò)流量。

超融合平臺(tái)自帶存儲(chǔ)層基于虛擬機(jī)粒度的備份功能Time Stream，用戶(hù)可以針對(duì)每個(gè)虛擬機(jī)設(shè)置不同的備份策略，包括備份調(diào)度計(jì)劃、備份顆粒度（最低1 分鐘）、備份保留周期，Time Stream 會(huì)自動(dòng)通過(guò)存儲(chǔ)快照方式對(duì)虛擬機(jī)進(jìn)行備份,與虛擬化層面的快照不同，存儲(chǔ)層面的快照不會(huì)影響虛擬機(jī)的性能，降低了數(shù)據(jù)丟失的風(fēng)險(xiǎn)，快照創(chuàng)建過(guò)程對(duì)于虛擬化軟件是完全透明的，配合Veeam 備份軟件，醫(yī)院實(shí)現(xiàn)了虛擬機(jī)的即時(shí)虛擬機(jī)恢復(fù)、CDP 持續(xù)數(shù)據(jù)保護(hù)和離線(xiàn)數(shù)據(jù)保護(hù)，可以很好的滿(mǎn)足醫(yī)療行業(yè)規(guī)范要求，如互聯(lián)互通評(píng)測(cè)關(guān)于本地備份、異地備份和災(zāi)備RPO/RTO 技術(shù)要求。

通過(guò)超融合雙活架構(gòu)能夠很好的解決數(shù)據(jù)中心單點(diǎn)問(wèn)題，任意一個(gè)機(jī)房意外斷電、計(jì)劃性維護(hù)或其他意外原因?qū)е聶C(jī)房?jī)?nèi)設(shè)備宕機(jī)，可以充分保障業(yè)務(wù)的連續(xù)性和數(shù)據(jù)的安全保護(hù)。

5 超融合平臺(tái)、SDN等新興技術(shù)對(duì)于醫(yī)院的收益

（1）超融合架構(gòu)在數(shù)據(jù)中心中承擔(dān)著計(jì)算資源池和分布式存儲(chǔ)資源池的作用，極大地簡(jiǎn)化了數(shù)據(jù)中心的基礎(chǔ)架構(gòu)，而且通過(guò)軟件定義的計(jì)算資源虛擬化和分布式存儲(chǔ)架構(gòu)實(shí)現(xiàn)無(wú)單點(diǎn)故障、無(wú)單點(diǎn)瓶頸、彈性擴(kuò)展、性能線(xiàn)性增長(zhǎng)等能力，同時(shí)簡(jiǎn)化了數(shù)據(jù)中心雙活實(shí)現(xiàn)的復(fù)雜度，運(yùn)維側(cè)的壓力得到大幅降低，業(yè)務(wù)系統(tǒng)的連續(xù)性得到更好的保障,硬件資源得到了更加充分的利用。

（2）軟件定義的另外一個(gè)收益是，只需要進(jìn)行簡(jiǎn)單的一鍵式升級(jí)，即可獲得新的功能或者性能的提升，使得醫(yī)院可以充分利用新技術(shù)提升基礎(chǔ)設(shè)施平臺(tái)的運(yùn)行效率。例如像Microsoft? SQL 數(shù)據(jù)庫(kù)這樣的傳統(tǒng)應(yīng)用程序是部署在使用單個(gè)磁盤(pán)和單個(gè)數(shù)據(jù)文件的三層架構(gòu)上的，這使得很難對(duì)它們進(jìn)行優(yōu)化來(lái)實(shí)現(xiàn) HCI 的最高性能，超融合平臺(tái)對(duì)處理這些類(lèi)型工作負(fù)載的 IO 請(qǐng)求方式進(jìn)行了改進(jìn)，對(duì)單個(gè)虛擬硬盤(pán)的請(qǐng)求現(xiàn)在被分發(fā)到核心數(shù)據(jù)路徑中的多個(gè)線(xiàn)程，有效地對(duì)單個(gè)虛擬硬盤(pán)進(jìn)行“分片”，從而使得這種類(lèi)型的工作負(fù)載獲得更好的支撐。

（3）超融合平臺(tái)支持豐富的數(shù)據(jù)服務(wù)，包括塊存儲(chǔ)服務(wù)、NAS 存儲(chǔ)服務(wù)等，同時(shí)具備重復(fù)數(shù)據(jù)刪除和壓縮功能，可以實(shí)現(xiàn)很好的存儲(chǔ)效率，同時(shí)實(shí)現(xiàn)對(duì)于超融合存儲(chǔ)資源的充分利用。

（4）結(jié)合SDN 網(wǎng)絡(luò)技術(shù)，實(shí)現(xiàn)了物理和虛擬網(wǎng)絡(luò)的可視化，日常運(yùn)維更輕松。

（5）對(duì)于關(guān)鍵業(yè)務(wù)數(shù)據(jù)庫(kù)的管理，可以通過(guò)數(shù)據(jù)庫(kù)引擎實(shí)現(xiàn)數(shù)據(jù)庫(kù)即服務(wù)，按照數(shù)據(jù)庫(kù)平臺(tái)最佳實(shí)踐一鍵式部署常用的數(shù)據(jù)庫(kù)高可用環(huán)境，如Oracle RAC，SQL Server Alwayson 等，并基于超融合自身的存儲(chǔ)技術(shù)實(shí)現(xiàn)關(guān)鍵業(yè)務(wù)數(shù)據(jù)庫(kù)的持續(xù)數(shù)據(jù)保護(hù)，一鍵式數(shù)據(jù)庫(kù)配置和數(shù)據(jù)副本管理服務(wù)，管理員能夠隨時(shí)配置、克隆、刷新、備份和恢復(fù)數(shù)據(jù)庫(kù)，使用自動(dòng)化服務(wù)取代耗時(shí)且復(fù)雜的數(shù)據(jù)庫(kù)操作，可以將資源更多的聚焦于核心業(yè)務(wù)，免除DBA 工作的各種煩惱，期待將來(lái)能更多的利用創(chuàng)新技術(shù)，輔助醫(yī)院信息化建設(shè)。