張建勛,徐 凱,邱宗國
(重慶理工大學 計算機科學與工程學院,重慶400050)
1989年,美國國立醫(yī)學圖書館建立了采集人體橫斷面CT、MRI和組織學數(shù)據(jù)的項目,名為“可視人體計劃”(visible human project,VHP)[1]?!翱梢暼梭w計劃”的立項、實施和開發(fā)具有重大意義。這樣的數(shù)據(jù)集在醫(yī)學史上是首創(chuàng),它改變了醫(yī)學可視化的模式,為計算機圖像處理和虛擬現(xiàn)實進入醫(yī)學敞開了大門。
在一些國家,家豬被作為研究人類疾病的生物醫(yī)學模型,但各國都還沒有自己的數(shù)字豬解剖圖像。為了解決這個問題,便于未來的研究和教育,“數(shù)字豬”項目應(yīng)運而生。中國重慶市畜牧科學研究院、第三軍醫(yī)大學和重慶理工大學正在著手研究世界上第一個“數(shù)字豬”。目前,數(shù)字豬項目已經(jīng)實現(xiàn)了良好的三維可視化效果,并建立了數(shù)字豬數(shù)據(jù)集。這套數(shù)據(jù)具有非常大的生物醫(yī)學研究價值,不僅可以用于解剖教學,還可以作為生長模擬、動物仿真等研究的基礎(chǔ)。
圖1說明了如何經(jīng)過4步流程將數(shù)字豬斷層圖像(輸入數(shù)據(jù)結(jié)構(gòu))轉(zhuǎn)化為最終的三維可視化圖像(輸出數(shù)據(jù)結(jié)構(gòu))。
圖1 三維可視化方法的流程
選取2頭5個月大的榮昌豬(一頭公豬和一頭母豬),處死并固定,在重慶第三軍醫(yī)大學附屬西南醫(yī)院進行CT斷層掃描以采集CT圖像,然后將尸體灌注后放入模中冷凍定型,以保持豬的姿勢。在低溫實驗室中,采用高精度程控銑床對冷凍后的尸體進行削切。數(shù)據(jù)采集時將高分辨率數(shù)碼相機與銑頭固定,對每次削切后的剖面進行攝像,采用TIF無損格式保存,共獲取高分辨率彩色圖像2 315幅。如圖2所示,CT樣本圖像相鄰斷面間距2.5 mm。如圖3所示,數(shù)碼相機樣本圖像相鄰斷面間距0.5 mm。
圖2 豬CT圖像樣本
圖3 豬彩色圖像樣本
1)基于特征的圖像配準方法[2]。首先提取圖像信息的特征,然后以這些特征為模型進行配準。此方法的主要優(yōu)點是計算量更小,速度更快,而且對圖像灰度的變化具有魯棒性,但對特征提取和特征匹配的錯誤比較敏感。
2)基于灰度的圖像配準方法。通常直接利用整幅圖像的灰度信息,建立兩幅圖像之間的相似性度量,然后采用某種搜索方法,尋找使相似性度量值最大或最小的變換模型的參數(shù)值。此方法能提高估計的精度和魯棒性,但計算量很大,速度較慢。
3)最大互信息圖像配準方法。這種方法的突出優(yōu)點為魯棒性好、配準精度高、人工干預(yù)少。但其配準過程復(fù)雜費時,當平移距離為像素的整數(shù)倍時會使目標函數(shù)產(chǎn)生局部極值。
表1為3種常用配準方法的比較。
表1 3種常用配準方法的比較
圖像配準是公認難度較大的圖像處理技術(shù),也是本項目中對圖像分割起著決定性作用的關(guān)鍵技術(shù)。
由于本項目中用來削切豬的高精度程控銑床最大加工尺寸只有50 cm,所以需要分段3次才能完成整個豬的削切工作。也就是說,每次削切完成后需將豬身體前移50 cm以便下一段削切,移動前后采集的豬彩色圖像可能會發(fā)生位移。對于發(fā)生位移的圖像,需要采用圖像配準技術(shù)進行校正位置。
這里采用基于圖像特征的配準方法,首先需要提取圖像中的特征點,然后根據(jù)提取的特征點用三角函數(shù)計算出圖像的旋轉(zhuǎn)角度,借助MatLab中的圖像處理函數(shù),編程實現(xiàn)圖像的旋轉(zhuǎn),然后進行圖像的平移操作,以達到配準的目的。圖4為其中某原始圖像與配準后圖像。
圖4 2幅豬彩色圖像
圖像分割就是根據(jù)區(qū)域內(nèi)的相似性以及區(qū)域間的差異性把圖像分割成若干區(qū)域的過程。
從醫(yī)學研究和應(yīng)用的角度來看,圖像分割的目的是將原始的圖像分成不同性質(zhì)的(如灰度、紋理等)區(qū)域,提取并進行三維重建,使其盡可能的接近解剖結(jié)構(gòu),為解剖學和病理學研究提供可靠依據(jù)。
由于本項目彩色豬切片圖像組織器官邊界錯綜復(fù)雜,傳統(tǒng)算法很難得到器官平滑、連續(xù)的初始輪廓線,這里利用GDI+技術(shù)在器官周圍人工添加標記點,并在目標周圍生成樣條插值曲線,以此曲線作為零水平集,建立窄帶,再利用M-S模型[3]完成目標的分割(圖5)。
圖5 豬切片圖像(箭頭指向肌肉輪廓線)
三維重建流程見圖6。
圖6 三維重建流程
數(shù)字豬切片器官輪廓數(shù)據(jù):原始數(shù)字豬橫斷面切片圖像經(jīng)重慶市畜牧科學院勾勒器官輪廓后形成的切片器官輪廓集,每個切片形成一個文件,包含該切片上各種器官輪廓,器官輪廓以輪廓曲線上插值點描述。
抽取器官輪廓:該步驟提取單個器官體在各切片上的輪廓,形成該器官體的輪廓邊界集。
對器官輪廓進行填充:該步驟進一步對切片上的器官體內(nèi)外部進行標識,尤其是找出器官體內(nèi)的空洞部分。
器官三維重建:該步驟是整個流程的關(guān)鍵。
輸出器官3DS模型:將重建后的模型按3DS文件格式輸出。
器官合成:將各器官合成成完整的數(shù)字豬模型。
三維數(shù)據(jù)集的重建和繪制問題,傳統(tǒng)上有2種方法:表面重建和體繪制[4]。根據(jù)數(shù)字豬的特點,這里采用表面重建方法。
5.2.1 基于斷層輪廓的表面重建
這種方法簡單且數(shù)據(jù)量小,但不是很直觀。除了以輪廓線表示物體外,還可以由輪廓重建物體的表面來表示。最早的方法是基于多邊形技術(shù),主要采用平面輪廓的三角形算法,用三角片面擬合這組表面輪廓的曲面。
5.2.2 基于體素(Voxel)的等值面重建
1)Cuberille方法。將三維圖像中的每一像素看成是空間中的一個六面體單元,即體素。在體素內(nèi)數(shù)據(jù)場具有相同的值,用邊界體素的6個面擬合等值面,即邊界體素中相互重合的面去掉,只把不重合的面連接起來近似表示等值面。這種方法的特點是算法簡單易行,便于并行處理;主要問題是會出現(xiàn)走樣。
2)Marching Tetrahedral方法。首先將立方體體素剖分成四面體,然后在其中構(gòu)造等值面,進行四面體剖分后,等值面在四面體中的剖分模式減少,算法實現(xiàn)簡單。常見的立方體剖分成四面體的方法有5個、6個和24個四面體剖分法。一般最常用的是5個四面體剖分法。
3)Dividing Cubes方法。逐個掃描每個體素,當體素的8個頂點越過等值面時,將該體素投影到顯示圖像上。如果投影面積大于一個像素的大小,則該體素被分割成更小的子體素,使子體素在顯示圖像上的投影為一像素的大小,每一子體素在圖像空間被繪制成一表面點。采用繪制表面點而不是繪制體素內(nèi)等值面片,從而節(jié)省了大量的計算時間。
標準的MC算法基本思想是逐個處理數(shù)據(jù)場的體元,分類出與等值面相交的體元,假設(shè)體元數(shù)據(jù)沿著體元的棱邊數(shù)據(jù)場呈線性變化,采樣線性插值計算出與等值面相交的體元的棱邊上的交點,根據(jù)體元8個頂點與等值面的相對位置,將這些交點按一定方式連接成等一個或多個三角面,作為等值面在體元內(nèi)的逼近表示。
MC算法首先對體元的8個頂點進行分類,以判定該頂點是位于等值面內(nèi)還是等值面外。再根據(jù)8個頂點的狀態(tài),確定等值面在體元內(nèi)部的連接方式。
本項目的器官分類采用手動分割,對器官進行分割后得到的三維數(shù)據(jù)集是二值數(shù)據(jù)(0表示背景,1表示需要重建的物體)。利用這些數(shù)據(jù)來構(gòu)造三維等值面時,等值面索引的構(gòu)造方式與標準的MC方式相同。但是等值面與立方體交點的計算,這里取立方體棱邊的中點作為等值面與立方體的交點,省去了線性插值的計算。這主要是考慮到圖像是二值的,沒有合適的閾值來進行求交;另一方面,通過中點來求交,最大的誤差為0.5個立方體。
用中點MC算法進行數(shù)字豬的三維重建后發(fā)現(xiàn)模型存在臺階現(xiàn)象。針對臺階出現(xiàn)的原因,這里改用Amira進行器官模型的三維重建及網(wǎng)格簡化,用3DSMAX對簡化后的網(wǎng)格進行平滑的方法來消除器官三維重建后的臺階現(xiàn)象。
方法流程分為3個階段:
1)在自編軟件VolViewer中,先抽取器官輪廓,然后進行填充,并依據(jù)器官的坐標集計算出包圍盒,該包圍盒的極值點坐標是全局坐標。
2)在Amira軟件中,將填充器官內(nèi)部后的數(shù)據(jù)集及器官包圍盒送入到Amira進行三維重建,由于切片層間差異較大,Amira建立的原始三維模型同樣有臺階現(xiàn)象,不過可以借助Amira網(wǎng)格簡化工具對原始模型進行網(wǎng)格簡化,能夠很好地消除臺階,但同時也會使模型產(chǎn)生很多菱角。這就需要用3DSMAX對簡化后的模型進行平滑。由于3DSMAX只對Amira模型數(shù)據(jù)的DFX文件支持,所以要將簡化后的模型導(dǎo)出成DFX格式。
3)在3DSMAX中,利用3DSMAX對DFX格式的簡化模型進行光滑,并導(dǎo)出成最后的3DS文件格式供后續(xù)的視景操作用。同時用該軟件也可以進行數(shù)字豬多器官的合成。
圖7 數(shù)字豬圖像
介紹了世界首個三維可視化數(shù)字豬的實現(xiàn)流程,給出了各流程的實現(xiàn)方法,最后對可視化效果進行分析并作出了合理的改進,使得三維可視化的效果更好。
目前,本項目已完成數(shù)字豬的三維可視化,建立了數(shù)字豬數(shù)據(jù)集和虛擬豬模型,并開發(fā)了網(wǎng)絡(luò)教學平臺。我們還將開展一些后續(xù)研究,包括生長模擬、動物仿真等。
致謝:本項目所用數(shù)字豬數(shù)據(jù)集由重慶市畜牧科學研究院和第三軍醫(yī)大學提供,特此感謝。
[1] 李七渝,張紹祥,林支付,等.中國數(shù)字化可視人腦基底核團的三維立體解剖與可視化[J].解剖學雜志,2008(6):845-847.
[2] 張建勛,劉羽.基于多分辨率圖像錐與Hausdorff距離的醫(yī)學圖像配準[J].重慶理工大學學報:自然科學版,2010(1):60-64.
[3] 楊長輝,張紹祥,王金勇,等.基于窄帶M-S模型的豬序列切片圖像的交互式分割[J].計算機科學,2009(1):234-238.
[4] 傅由甲,洪雄,張建勛,等.三維重建表面任意切面圖像提取及映射有效方法[J].計算機應(yīng)用研究,2009(9):3548-3565.