董曉睿，于宗一，管曉飛，曲 強(qiáng)，辛海燕

（青島大學(xué)附屬醫(yī)院 山東 青島 266003）

1 引言

大數(shù)據(jù)與醫(yī)療深度融合已成為國(guó)策，醫(yī)療大數(shù)據(jù)的發(fā)展改變了傳統(tǒng)的就診模式和醫(yī)院管理方式，為疾病早預(yù)防、早診斷和早治療提供了重要的手段，助力了整個(gè)醫(yī)療產(chǎn)業(yè)轉(zhuǎn)型升級(jí)。CT、核磁、PET-CT以及不計(jì)其數(shù)的小型設(shè)備每天產(chǎn)生的海量影像數(shù)據(jù)中蘊(yùn)含著巨大價(jià)值，如何永久歸檔這些數(shù)據(jù)是醫(yī)療大數(shù)據(jù)發(fā)展中必須解決的問(wèn)題。PACS是影像學(xué)與計(jì)算機(jī)科學(xué)的結(jié)合體，已成為影像科室的重要診療工具，隨著系統(tǒng)功能不斷演化拓寬，不少短板逐漸顯現(xiàn)，其中存儲(chǔ)空間問(wèn)題尤為嚴(yán)峻[1]。為高效、安全、長(zhǎng)期的歸檔并管理數(shù)據(jù)，可根據(jù)調(diào)用頻率由高到低將數(shù)據(jù)分為熱、溫和冷三類(lèi)數(shù)據(jù)，使用不同的存儲(chǔ)介質(zhì)歸檔這三類(lèi)數(shù)據(jù)以可發(fā)揮介質(zhì)各自的優(yōu)勢(shì)，在增大存儲(chǔ)空間的同時(shí)降低運(yùn)維成本。除硬件層面，采用相應(yīng)的管理系統(tǒng)也是提升整體性能的關(guān)鍵，新型異構(gòu)并行存儲(chǔ)軟件系統(tǒng)是一種將二級(jí)近線存儲(chǔ)和三級(jí)離線存儲(chǔ)進(jìn)行統(tǒng)一管理的智能化平臺(tái)，可最大化發(fā)揮異構(gòu)存儲(chǔ)的優(yōu)勢(shì)。

2 數(shù)據(jù)存儲(chǔ)現(xiàn)狀

PACS系統(tǒng)是專(zhuān)為醫(yī)療影像的全數(shù)字獲取、傳輸、歸檔、分析和查閱而設(shè)計(jì)的綜合性系統(tǒng)，已成為現(xiàn)代放射學(xué)實(shí)踐的基本技術(shù)和設(shè)施。在PACS數(shù)據(jù)中，就醫(yī)者信息和報(bào)告等占空間較小的文字類(lèi)信息保存于關(guān)系型數(shù)據(jù)庫(kù)服務(wù)器，而體量較大的圖像數(shù)據(jù)則保存至專(zhuān)用的對(duì)象存儲(chǔ)系統(tǒng)[2]。近些年影像數(shù)據(jù)量激增并持續(xù)呈增長(zhǎng)態(tài)勢(shì)，給存儲(chǔ)帶來(lái)巨大挑戰(zhàn)，主流PACS存儲(chǔ)具有一定擴(kuò)容性，可在有限范圍內(nèi)實(shí)現(xiàn)無(wú)縫容量擴(kuò)展，但卻無(wú)法實(shí)現(xiàn)從TB級(jí)到PB級(jí)的跨越。近3年青島大學(xué)附屬醫(yī)院每年產(chǎn)生近百TB的影像數(shù)據(jù)，以2019年為例，全院影像數(shù)據(jù)日均生成200 GB左右，1年內(nèi)的數(shù)據(jù)全部?jī)?chǔ)存至在線存儲(chǔ)，由于一級(jí)在線存儲(chǔ)采用固態(tài)硬盤(pán)，因此存儲(chǔ)設(shè)備運(yùn)維成本較高。當(dāng)PACS存儲(chǔ)系統(tǒng)檢測(cè)到在線數(shù)據(jù)容量超過(guò)預(yù)設(shè)閾值后，會(huì)自動(dòng)將在線數(shù)據(jù)遷移到近線網(wǎng)絡(luò)附屬存儲(chǔ)（NAS）歸檔，NAS磁盤(pán)目前已存儲(chǔ)百TB級(jí)的歷史數(shù)據(jù)。在未來(lái)幾年內(nèi)，即使采用高效的壓縮技術(shù)也無(wú)法完全解決數(shù)據(jù)量達(dá)到PB級(jí)后所帶來(lái)的空間壓力。隨著存儲(chǔ)技術(shù)的發(fā)展，PACS存儲(chǔ)的硬件架構(gòu)和軟件系統(tǒng)不斷迭代，圖1對(duì)比了傳統(tǒng)PACS異構(gòu)存儲(chǔ)硬件架構(gòu)和新型異構(gòu)存儲(chǔ)硬件結(jié)構(gòu)的不同，并展示了異構(gòu)并行存儲(chǔ)軟件系統(tǒng)與硬件架構(gòu)的關(guān)系。

圖1 新舊PACS異構(gòu)存儲(chǔ)硬件架構(gòu)對(duì)比

3 新型異構(gòu)存儲(chǔ)硬件架構(gòu)

使用不同介質(zhì)存儲(chǔ)熱數(shù)據(jù)、溫?cái)?shù)據(jù)和冷數(shù)據(jù)有利于兼顧性能與成本，可發(fā)揮各類(lèi)介質(zhì)的優(yōu)點(diǎn)以便建立高效的存儲(chǔ)模式。主流PACS存儲(chǔ)系統(tǒng)多采用“在線+離線”兩級(jí)或“在線+近線+離線”三級(jí)的存儲(chǔ)架構(gòu)，第一級(jí)在線存儲(chǔ)保存使用頻率較高的幾個(gè)月內(nèi)產(chǎn)生的在線熱數(shù)據(jù)，第二級(jí)近線存儲(chǔ)保存調(diào)用頻率中等的溫?cái)?shù)據(jù)，第三級(jí)存儲(chǔ)歸檔使用頻率較低的離線冷數(shù)據(jù)。一級(jí)存儲(chǔ)通常使用性能較高的閃存或固態(tài)盤(pán)，而二級(jí)或三級(jí)存儲(chǔ)使用成本相對(duì)較低的SATA盤(pán)，根據(jù)業(yè)務(wù)需求合理配比各級(jí)存儲(chǔ)容量，可使整個(gè)存儲(chǔ)系統(tǒng)達(dá)到性能和成本的最優(yōu)平衡。除閃存、固態(tài)和磁盤(pán)之外，隨著技術(shù)迭代更替，性能更優(yōu)的介質(zhì)不斷涌現(xiàn)，新型異構(gòu)三級(jí)存儲(chǔ)將充分利用新型存儲(chǔ)介質(zhì)，以便提升整體硬件架構(gòu)的性能與容量。

3.1 第一級(jí)存儲(chǔ)的改進(jìn)

第一級(jí)在線存儲(chǔ)強(qiáng)調(diào)數(shù)據(jù)的高速讀取和寫(xiě)入，新型異構(gòu)存儲(chǔ)架構(gòu)采用英特爾傲騰混合式固態(tài)盤(pán)，混合式固態(tài)盤(pán)將持久內(nèi)存與QLC 3D NAND固態(tài)盤(pán)整合到一塊PCB板上。持久內(nèi)存與傳統(tǒng)內(nèi)存相比有兩點(diǎn)優(yōu)勢(shì)，一是提供更大的存儲(chǔ)空間，最高可支持512 GB；二是可在斷電期間保存數(shù)據(jù)，非常適合作為固態(tài)盤(pán)的緩存，保證讀寫(xiě)低延遲。板載持久內(nèi)存為固態(tài)硬盤(pán)加速，理論上可大幅提升混合式固態(tài)盤(pán)的性能，同時(shí)持久內(nèi)存分擔(dān)了部分讀寫(xiě)任務(wù)，因此固態(tài)盤(pán)顆粒的壽命得以延長(zhǎng)。許多數(shù)據(jù)中心已開(kāi)始部署這款產(chǎn)品，中國(guó)聯(lián)通在“沃云”升級(jí)過(guò)程中，利用該存儲(chǔ)技術(shù)無(wú)縫快速提升了平臺(tái)的資源池，滿(mǎn)足了業(yè)務(wù)爆發(fā)式發(fā)展下對(duì)基礎(chǔ)存儲(chǔ)承載能力的新需求。

3.2 第二級(jí)與第三級(jí)存儲(chǔ)的融合

第二級(jí)近線存儲(chǔ)保存幾年以?xún)?nèi)的溫?cái)?shù)據(jù)，第三級(jí)存儲(chǔ)負(fù)責(zé)永久保存調(diào)取頻率較低的離線冷數(shù)據(jù)。受醫(yī)院規(guī)模和歷史數(shù)據(jù)量較小的影像，國(guó)內(nèi)部分醫(yī)院的PACS存儲(chǔ)系統(tǒng)未設(shè)置第三級(jí)離線存儲(chǔ)，而將所有歷史數(shù)據(jù)保存至第二級(jí)近線NAS磁盤(pán)中，但NAS不能滿(mǎn)足永久保存歷史數(shù)據(jù)的需求。部分醫(yī)院為PACS配備了第三級(jí)離線磁帶庫(kù)，但卻采用了分離式的二級(jí)與三級(jí)存儲(chǔ)，無(wú)形中增加了各級(jí)存儲(chǔ)間交互的開(kāi)銷(xiāo)。自1956年IBM發(fā)布首臺(tái)磁存儲(chǔ)以來(lái)，單存儲(chǔ)設(shè)備的容量已經(jīng)增加了10億倍，被廣泛用于數(shù)據(jù)存儲(chǔ)，但壽命短、功耗大、易干擾等問(wèn)題始終存在。光存儲(chǔ)誕生于1978年，具有壽命長(zhǎng)、穩(wěn)定性高、信息密度高、功耗低等優(yōu)點(diǎn)，使之得到迅猛發(fā)展，但讀寫(xiě)速度較慢且不可重復(fù)使用。新型異構(gòu)存儲(chǔ)硬件架構(gòu)采用SATA磁盤(pán)庫(kù)作為二級(jí)近線存儲(chǔ)介質(zhì)，三級(jí)存儲(chǔ)則用藍(lán)光光盤(pán)代替，并采用統(tǒng)一的軟件平臺(tái)管理第二級(jí)與第三級(jí)存儲(chǔ)，使磁盤(pán)庫(kù)與藍(lán)光光盤(pán)庫(kù)有機(jī)融合。松下藍(lán)光光盤(pán)庫(kù)作為一種成熟的技術(shù)，2020年已經(jīng)應(yīng)用于中央電視臺(tái)音像資料館特藏系統(tǒng)，該藍(lán)光光盤(pán)庫(kù)存儲(chǔ)介質(zhì)主要由藍(lán)光光盤(pán)組成，搭配少量本地磁盤(pán)作為緩存，根據(jù)業(yè)務(wù)需求可調(diào)整光磁空間比例。藍(lán)光光盤(pán)機(jī)柜由三種模塊構(gòu)成，分別是若干個(gè)盤(pán)匣裝載模塊、1～2個(gè)光驅(qū)模塊與1個(gè)機(jī)械臂模塊，三種模塊放置于同一個(gè)標(biāo)準(zhǔn)機(jī)柜中。設(shè)備可采用單機(jī)柜或多機(jī)柜的靈活部署方式安放于機(jī)房，藍(lán)光光盤(pán)庫(kù)除了壽命長(zhǎng)、穩(wěn)定性高、信息密度高、功耗低等優(yōu)點(diǎn)，對(duì)機(jī)房溫度濕度等環(huán)境因素要求較低[3]。盤(pán)匣裝載模塊由76個(gè)藍(lán)光盤(pán)匣組成，一個(gè)盤(pán)匣是最小物理存儲(chǔ)單元，包含12張專(zhuān)業(yè)歸檔級(jí)藍(lán)光光盤(pán)，單盤(pán)容量300 GB，保存數(shù)據(jù)可達(dá)百年之久，并支持多種RAID模式，單機(jī)柜可容納最多6個(gè)盤(pán)匣裝載模塊，若采用RAID0模式，單機(jī)柜容量可達(dá)1.6 PB。光驅(qū)模塊由多個(gè)驅(qū)動(dòng)器構(gòu)成，可同時(shí)讀寫(xiě)6張盤(pán)，最高讀速度為540 MB/s，寫(xiě)速度為375 MB/s。機(jī)械臂在柜體中上下移動(dòng)抓取光盤(pán)匣并運(yùn)至光驅(qū)模塊[4]，數(shù)據(jù)經(jīng)多臺(tái)光驅(qū)導(dǎo)入或?qū)С霰镜卮疟P(pán)緩存，以實(shí)現(xiàn)高效自動(dòng)轉(zhuǎn)存，圖2展示了由統(tǒng)一的異構(gòu)并行存儲(chǔ)軟件系統(tǒng)管理的融合了二級(jí)和三級(jí)存儲(chǔ)的異構(gòu)存儲(chǔ)硬件架構(gòu)，管理軟件運(yùn)行在單獨(dú)的冗余交換機(jī)中，業(yè)務(wù)交換機(jī)也具有冗余功能，負(fù)責(zé)利用業(yè)務(wù)網(wǎng)傳輸海量影像數(shù)據(jù)，管理交換機(jī)通過(guò)管理網(wǎng)連接第二級(jí)、三級(jí)存儲(chǔ)和管理軟件服務(wù)器。

圖2 融合二級(jí)近線與三級(jí)離線存儲(chǔ)的硬件架構(gòu)

4 異構(gòu)并行存儲(chǔ)軟件系統(tǒng)

異構(gòu)并行存儲(chǔ)軟件系統(tǒng)發(fā)揮了藍(lán)光存儲(chǔ)和磁盤(pán)存儲(chǔ)的優(yōu)勢(shì)，可解決數(shù)據(jù)傳輸量大、冷數(shù)據(jù)永久備份、存儲(chǔ)擴(kuò)展成本高等諸多問(wèn)題，實(shí)現(xiàn)了醫(yī)療影像大數(shù)據(jù)的分級(jí)存儲(chǔ)和協(xié)同管理。

4.1 軟件系統(tǒng)的優(yōu)勢(shì)

該軟件系統(tǒng)支持異構(gòu)存儲(chǔ)架構(gòu)與并行讀寫(xiě)模式，可將多臺(tái)存儲(chǔ)機(jī)柜融合為統(tǒng)一的虛擬存儲(chǔ)池，在無(wú)需用戶(hù)干預(yù)的情況下，將數(shù)據(jù)分布式儲(chǔ)存至各機(jī)柜中。該管理軟件可根據(jù)業(yè)務(wù)實(shí)際需求進(jìn)行配置與調(diào)參，通過(guò)存儲(chǔ)優(yōu)化算法，根據(jù)數(shù)據(jù)內(nèi)容、日期、體積等元數(shù)據(jù)標(biāo)簽將數(shù)據(jù)進(jìn)行歸檔，方便其在磁盤(pán)庫(kù)與藍(lán)光光盤(pán)庫(kù)間遷移。借助光盤(pán)高密度、易搬移的特點(diǎn)，該系統(tǒng)將單個(gè)或多個(gè)光盤(pán)匣組成一個(gè)最小邏輯單元。通過(guò)對(duì)邏輯單元的跨機(jī)柜管理，將離散的存儲(chǔ)介質(zhì)化為統(tǒng)一的虛擬存儲(chǔ)池，實(shí)現(xiàn)多機(jī)柜并行協(xié)作，以滿(mǎn)足非在線數(shù)據(jù)的讀寫(xiě)帶寬需求。近些年青島大學(xué)附屬醫(yī)院每年產(chǎn)生的PACS數(shù)據(jù)經(jīng)過(guò)RAID冗余處理需占用空間近百TB，若未來(lái)5年容量消耗以20%的速度遞增，僅需1臺(tái)42 U標(biāo)準(zhǔn)光盤(pán)庫(kù)即可滿(mǎn)足空間需求，單臺(tái)光盤(pán)庫(kù)雖減少了設(shè)備采購(gòu)成本與機(jī)房空間，卻無(wú)法發(fā)揮管理軟件多機(jī)柜協(xié)同的優(yōu)勢(shì)，會(huì)導(dǎo)致傳輸帶寬瓶頸。因此，可配置3臺(tái)藍(lán)光光盤(pán)庫(kù)，光盤(pán)庫(kù)均采用半高機(jī)柜，每個(gè)機(jī)柜由2個(gè)盤(pán)匣裝載模塊、1個(gè)光驅(qū)模塊與1個(gè)機(jī)械臂模塊組成，整個(gè)系統(tǒng)最高可支持18個(gè)光驅(qū)同時(shí)讀寫(xiě)，并發(fā)讀取速度可達(dá)1 620 MB/s，并發(fā)寫(xiě)入速度可達(dá)1 125 MB/s。管理軟件利用通用唯一識(shí)別碼（UUID）標(biāo)注最小邏輯單元[5]，將UUID與所存內(nèi)容的元數(shù)據(jù)關(guān)聯(lián)，可實(shí)現(xiàn)跨院區(qū)與地區(qū)的數(shù)據(jù)資產(chǎn)全域檢索、索引同步等智能管控。

4.2 管理軟件的構(gòu)成

圖3 中綠色部分展示了管理軟件與各級(jí)存儲(chǔ)的交互方式，該管理軟件由6個(gè)功能模塊構(gòu)成，分別是元數(shù)據(jù)管理、權(quán)限管理、數(shù)據(jù)應(yīng)用、系統(tǒng)運(yùn)維、數(shù)據(jù)接口與調(diào)度管理。元數(shù)據(jù)是描述數(shù)據(jù)的數(shù)據(jù)，為更好地理解數(shù)據(jù)并充分挖掘數(shù)據(jù)，元數(shù)據(jù)管理模塊描述了近線與離線數(shù)據(jù)的存儲(chǔ)位置、數(shù)據(jù)類(lèi)型、生命周期、空間大小等信息，為其他功能模塊提供數(shù)據(jù)基本信息，并實(shí)時(shí)向在線存儲(chǔ)系統(tǒng)同步數(shù)據(jù)索引庫(kù)[6]。由于備份數(shù)據(jù)規(guī)模龐大，利用訪問(wèn)控制策略對(duì)讀寫(xiě)操作進(jìn)行排隊(duì)和限制十分必要，權(quán)限管理模塊為數(shù)據(jù)安全提供保障，將用戶(hù)和用戶(hù)組作為最小顆粒度進(jìn)行管理，提供靜態(tài)權(quán)限管理和基于時(shí)間與事件的動(dòng)態(tài)權(quán)限管理，靜態(tài)權(quán)限管理為文件或文件夾設(shè)定固定的讀寫(xiě)權(quán)限，而動(dòng)態(tài)權(quán)限管理可按照預(yù)先設(shè)定的觸發(fā)事件實(shí)時(shí)變更目標(biāo)文件的權(quán)限，例如僅允許某段時(shí)間范圍內(nèi)的文件共享權(quán)限，該模塊還可為用戶(hù)和組設(shè)定優(yōu)先級(jí)。數(shù)據(jù)應(yīng)用模塊由Web端應(yīng)用組成，用戶(hù)可通過(guò)Web客戶(hù)端查找數(shù)據(jù)、提取數(shù)據(jù)、了解資產(chǎn)概況等，若開(kāi)通影像數(shù)據(jù)共享服務(wù)，則可實(shí)現(xiàn)膠片云端閱覽、避免數(shù)據(jù)孤島問(wèn)題出現(xiàn)。系統(tǒng)運(yùn)維模塊提供后臺(tái)管理工具，管理員可對(duì)存儲(chǔ)軟硬件狀態(tài)進(jìn)行監(jiān)控與配置調(diào)整。數(shù)據(jù)接口模塊向第三方在線存儲(chǔ)提供檢索、讀取和寫(xiě)入的標(biāo)準(zhǔn)接口，以兼容不同的在線存儲(chǔ)系統(tǒng)。調(diào)度管理模塊負(fù)責(zé)數(shù)據(jù)傳輸任務(wù)的調(diào)度工作，根據(jù)預(yù)先設(shè)定的優(yōu)先級(jí)和規(guī)則將傳輸任務(wù)合理排序。行業(yè)中以DICOM標(biāo)準(zhǔn)形式存儲(chǔ)數(shù)據(jù)，數(shù)據(jù)在各級(jí)存儲(chǔ)間遷移量巨大，數(shù)據(jù)遷移是PACS存儲(chǔ)系統(tǒng)中最棘手的問(wèn)題，傳統(tǒng)存儲(chǔ)系統(tǒng)中由于缺乏對(duì)多級(jí)存儲(chǔ)的統(tǒng)一管理[7-8]，數(shù)據(jù)交換僅能發(fā)生在在線存儲(chǔ)與近線存儲(chǔ)或近線存儲(chǔ)與離線存儲(chǔ)之間，不能越級(jí)傳輸，該管理軟件通過(guò)對(duì)二級(jí)和三級(jí)存儲(chǔ)的統(tǒng)一管理，使一級(jí)在線存儲(chǔ)可直接與二級(jí)近線存儲(chǔ)或三級(jí)離線存儲(chǔ)進(jìn)行交互，節(jié)省了傳輸帶寬并提高了讀寫(xiě)效率。所有軟件功能模塊通過(guò)硬件控制接口操控底層硬件，硬件接口不僅避免了開(kāi)發(fā)人員編寫(xiě)底層硬件代碼，規(guī)范了硬件調(diào)用規(guī)則，還支持未來(lái)軟件模塊的開(kāi)發(fā)，拓展了管理軟件的擴(kuò)展性。

圖3 異構(gòu)并行存儲(chǔ)軟件系統(tǒng)

5 總結(jié)

數(shù)據(jù)是數(shù)字時(shí)代的新石油，為保證PACS存儲(chǔ)系統(tǒng)長(zhǎng)久、高效、安全地備份醫(yī)療影像數(shù)據(jù)，采用三級(jí)異構(gòu)存儲(chǔ)硬件架構(gòu)和異構(gòu)并行存儲(chǔ)軟件系統(tǒng)的綜合存儲(chǔ)管理平臺(tái)利用了多種存儲(chǔ)介質(zhì)的優(yōu)點(diǎn)，提高了數(shù)據(jù)交互的效率，可有效管理PB級(jí)的存儲(chǔ)池，保證醫(yī)療影像數(shù)據(jù)的長(zhǎng)久、安全、可靠。醫(yī)療影像大數(shù)據(jù)建設(shè)的持續(xù)發(fā)展可為醫(yī)生提供便利的歷史數(shù)據(jù)回溯工具，便于追溯患者久遠(yuǎn)的影像資料、為醫(yī)療科研提供大數(shù)據(jù)依據(jù)、避免形成數(shù)據(jù)孤島，實(shí)現(xiàn)診斷、科研、數(shù)據(jù)共享等方面的共贏。