王鏡宇,郭際香
(四川大學(xué)計算機學(xué)院,成都 610065)
基于ITK醫(yī)學(xué)圖像配準(zhǔn)
王鏡宇,郭際香
(四川大學(xué)計算機學(xué)院,成都 610065)
圖像的配準(zhǔn)在圖像處理領(lǐng)域是一個基礎(chǔ)的熱門問題,迄今為止國內(nèi)外關(guān)于圖像配準(zhǔn)已經(jīng)產(chǎn)生大量的研究。醫(yī)學(xué)圖像的配準(zhǔn)是醫(yī)學(xué)圖像分析的必要前提,精準(zhǔn)的醫(yī)學(xué)圖像配準(zhǔn)能夠使得有診斷意義的點達(dá)到匹配從而幫助圖像分析。針對圖像配準(zhǔn)在醫(yī)學(xué)領(lǐng)域展開研究,實現(xiàn)基于ITK的醫(yī)學(xué)圖像配準(zhǔn)。
醫(yī)學(xué);圖像配準(zhǔn);ITK
圖像配準(zhǔn)的概念為將不同的時間、不同的傳感器或者成像設(shè)備在不同的條件下如不同天候條件、照度條件甚至是攝像位置和角度條件下獲取的兩幅或者多幅圖像進行匹配的一個優(yōu)化過程,它目前已經(jīng)被廣泛地應(yīng)用于遙感數(shù)據(jù)分析、計算機視覺、圖像處理等領(lǐng)域。配準(zhǔn)過程的一般流程如下:首先對帶配準(zhǔn)圖和參考圖進行特征提取,得到相應(yīng)的特征點;一般是通過相似性度量的方式找到能夠匹配的特征點對;然后通過得到的匹配特征點對參考圖和待配準(zhǔn)圖進行空間坐標(biāo)變換參數(shù);最后利用得到的坐標(biāo)變換參數(shù)進行參考圖和待配準(zhǔn)圖的配準(zhǔn)。由此可見,特征提取的過程是配準(zhǔn)技術(shù)能夠成功的關(guān)鍵,特征點提取的越準(zhǔn)確匹配的結(jié)果也會相應(yīng)的更加準(zhǔn)確。
圖像配準(zhǔn)在圖像處理領(lǐng)域是一個比較基本的功能和處理,國內(nèi)外的圖像處理在圖像配準(zhǔn)這一個領(lǐng)域迄今為止以及產(chǎn)生了相當(dāng)多的研究報告,其中也產(chǎn)生了很多圖像配準(zhǔn)的方法。對于國內(nèi)外圖像配準(zhǔn)的研究一言以蔽之:很多圖像配準(zhǔn)的方法都是針對特定使用范圍的領(lǐng)域的應(yīng)用,同時各種圖像配準(zhǔn)算法也具有各自的特點。例如計算機視覺中的物體和場景的匹配和飛行器定位過程中的地圖匹配,他們的圖像配準(zhǔn)過程主要依據(jù)其完成的功能因而被稱為目標(biāo)檢測與定位算法。
本文基于ITK開源的代碼實現(xiàn)了醫(yī)學(xué)圖像的配準(zhǔn)。
圖像配準(zhǔn)是將一幅圖像上的點映射到另一幅圖像上同源點的空間轉(zhuǎn)換過程。對配準(zhǔn)過程而言,基本輸入數(shù)據(jù)是兩幅圖:一幅被定義為參考圖f(X),另一幅被定意為待配準(zhǔn)圖m(X)[1]。X表示在N維空間中的一個位置。配準(zhǔn)被看成是一個找到把待配準(zhǔn)圖像映射到參考圖像隊列的最優(yōu)化問題。傳遞函數(shù)T(X)表示從參考圖像上的點到待配準(zhǔn)圖像上的點的空間映射關(guān)系。校對機被評估待配準(zhǔn)圖像在非網(wǎng)格位置的程度。成員路徑選擇提供了一種參考圖像被待配準(zhǔn)圖像配準(zhǔn)的程度。這種尺度形成了數(shù)量上的標(biāo)準(zhǔn),這種標(biāo)準(zhǔn)可以被優(yōu)化器通過尋找被傳遞的參數(shù)定義的空間去達(dá)到最優(yōu)化,該概念的表述可以參考文獻。
圖像配準(zhǔn)的基本過程如下:(1)確定配準(zhǔn)算法的誤差測度或者指定評估配準(zhǔn)效果相似度。(2)確定算法配準(zhǔn)過程所采用的變換模型一個變換模型,常用到的一些變換模型有:仿射變換、流體變換、彈性變換、剛體變換。(3)確定配準(zhǔn)算法所采用的插值策略,常用到的插值方案有:三線性插值、臨近差值、sinc插值。(4)尋找變換參數(shù)以最大化相似性測度。
圖像配準(zhǔn)的基本過程框架如下:(1)輸入配準(zhǔn)所需要的兩幅圖像,其中一幅為參考圖,另一幅為帶配準(zhǔn)圖片。(2)對參考圖的指定區(qū)域進行幾何坐標(biāo)變換得到新的區(qū)域。(3)通過插值方法得到浮動圖在對應(yīng)區(qū)域的坐標(biāo)。(4)相似性測度模塊計算參考圖和經(jīng)過插值的帶配準(zhǔn)圖之間的相似度。(5)將相似度輸入到優(yōu)化模塊中,通過重復(fù)執(zhí)行2~4步,進行迭代計算得到最終變換參數(shù)和最優(yōu)化的結(jié)果。(6)圖像配準(zhǔn)算法輸出浮動圖在相應(yīng)變換和插值方案下得到的經(jīng)過迭代優(yōu)化之后的待配準(zhǔn)圖。配準(zhǔn)過程是一個不斷優(yōu)化的過程,配準(zhǔn)過程中的每一次迭代,會得到相應(yīng)的更加優(yōu)的測度值,我們將該測度值與我們所預(yù)期的值進行比較,如果達(dá)到預(yù)期的數(shù)值則停止迭代優(yōu)化,得到最終配準(zhǔn)結(jié)果,或者我們也可以設(shè)置迭代配準(zhǔn)的上限,當(dāng)?shù)螖?shù)達(dá)到次數(shù)上限時算法結(jié)束。
ITK誕生于六位合作開發(fā)者開發(fā)的開源圖像配準(zhǔn)和分割工具,由于他們在開發(fā)這些源碼時的杰出貢獻,他們受到美國國立衛(wèi)生研究院國立醫(yī)學(xué)圖書管授予表彰[2]。這些先驅(qū)開發(fā)者們的共享最后被整理成為今天被大家所熟知的ITK,并形成了最基本的Insight Software聯(lián)盟。ITK的NIH/NLM項目經(jīng)理是Dr.Terry Yoo,他協(xié)調(diào)這六位合作者組建了Insight聯(lián)盟。聯(lián)盟成員中有三位是商業(yè)合作者,而另外三位來自學(xué)術(shù)機構(gòu)。在2002年的時候第一個正式的公共ITK發(fā)行版本出臺。ITK主要針對于醫(yī)學(xué)圖像領(lǐng)域內(nèi)的分割與配準(zhǔn)問題的開源軟件包。ITK封裝和實現(xiàn)了許多實用的算法醫(yī)學(xué)相關(guān)算法,常用的算法諸如閾值分割、區(qū)域生長、基于分水嶺的分割以及Fast Marching算法等。
ITK具有開源開放和面向?qū)ο蟮奶攸c,而且ITK具有非常多的類。開源的ITK軟件開發(fā)包中提供了很多用于醫(yī)學(xué)圖像分割和配準(zhǔn)的算法。ITK的開發(fā)使用了1998年以后ANSI C++標(biāo)準(zhǔn)庫里面的新特征,ITK的模塊的開發(fā)是基于范式編程的思想來實現(xiàn)的。不僅如此ITK還具有支持跨平臺開發(fā)的特性,ITK支持Windows、Unix和Linux等多種平臺下的開發(fā)。ITK的設(shè)計不僅將程序開發(fā)細(xì)節(jié)屏蔽起來,而且將一些實用的算法封裝起來,形成了豐富的算法庫,為相應(yīng)領(lǐng)域的開發(fā)工作提供了非常寶貴的資料。ITK很可惜的地方在于沒實現(xiàn)可視化功能,雖然ITK沒有可視化的功能,但是VTK實現(xiàn)了可視化的功能,在實際的醫(yī)學(xué)圖像處理系統(tǒng)中,一般采用ITK進行分割等等算法上的操作,再結(jié)合VTK對圖像進行可視化。除了VTK能夠可視化ITK的數(shù)據(jù)之外,QT技術(shù)也提供了控件顯示ITK的圖像數(shù)據(jù)。
ITK的主要特征還有:(1)ITK提供了通用的方式表示圖像(任意維度)和面片(非結(jié)構(gòu)化的),提供用于進行分割和配準(zhǔn)的算法,這種設(shè)計能夠非常方便醫(yī)學(xué)圖像數(shù)據(jù)的處理,當(dāng)然也能夠在其他領(lǐng)域應(yīng)用;(2)ITK沒有提供可視化接口因而無法單獨實現(xiàn)可視化,ITK提供最小化的文件接口;(3)ITK的設(shè)計和實現(xiàn)過程中采用了非常多的泛型編程技術(shù);(4)ITK采用智能指針維護對象的引用計數(shù)的內(nèi)存模型,用戶只需要工廠實例化對象而不必?fù)?dān)心內(nèi)存泄露;(5)ITK支持多線程并行處理;(6)ITK采用了命令/觀察者的設(shè)計模式用于事件的處理;(7)ITK采用了基于數(shù)據(jù)流的架構(gòu)進行組織,數(shù)據(jù)對象與數(shù)據(jù)處理對象之間連接形成管道的方式進行處理。
本節(jié)將實現(xiàn)基于ITK的二維醫(yī)學(xué)圖像的配準(zhǔn),一般的采用相似變換的配準(zhǔn)方法就能夠滿足醫(yī)學(xué)圖像之間的配準(zhǔn)。圖形之間的相似變換可以分解成平移、旋轉(zhuǎn)、縮放和翻轉(zhuǎn)的復(fù)合操作。相似變換可以視為仿射變換的特殊情況,可以講相似變換理解為仿射變換除去錯位變換這個因子之后的結(jié)果[3-4]。ITK中針對相似變換提供了itk::CenteredSimilarity2DTransform的類以完成配準(zhǔn)方案。本文中待配準(zhǔn)的圖片如圖1所示,其中左側(cè)為參考圖片右側(cè)為待配準(zhǔn)圖片。
使用ITK的醫(yī)學(xué)圖像配準(zhǔn)流程大致如下:首先分析配準(zhǔn)的圖像的維度以及像素相關(guān)信息,其次定義圖像配準(zhǔn)用到的變換模式以及相應(yīng)的優(yōu)化器、測度、差值器等組件,由上文可知針對相似變換類型可以采用itk::CenteredSimilarity2DTransform變換器以及相應(yīng)的組件。緊接著通過ITK的管道將變換模式組件,優(yōu)化器組件,測度組件和插值器四個基本組件連接至一起,值得注意的是并不是所有的組件之間都可以混合使用。此時對待配準(zhǔn)的圖像的像素變換區(qū)域做相應(yīng)的處理。最后設(shè)置變換模式組件,優(yōu)化器組件,測度組件和插值器四個基本組件的基本參數(shù)。由于圖像在配準(zhǔn)過程中會產(chǎn)生大量的數(shù)據(jù)信息,如果需要實時觀看輸出的數(shù)據(jù)可以采用Command/Observer的設(shè)計模式注冊一個回調(diào)函數(shù),這樣每次配準(zhǔn)數(shù)據(jù)的更新都會觸發(fā)回調(diào)函數(shù),從而將數(shù)據(jù)顯示在屏幕上。
配準(zhǔn)之后的效果如下圖圖2所示,其中左側(cè)圖片為配準(zhǔn)的結(jié)果,右側(cè)的圖片為重采樣的結(jié)果。從左側(cè)可以看出經(jīng)過相似變換之后的圖片重合到了一起,右下角的灰色部分可以看出經(jīng)過了待配準(zhǔn)圖經(jīng)過了旋轉(zhuǎn)與縮放等過程。右側(cè)的部分是重采樣的效果圖,重采樣的結(jié)果是灰色和輪廓,進一步說明了配準(zhǔn)的效果比較理想。
本文在研究分析了圖像配準(zhǔn)的相關(guān)技術(shù)理論之后,采用ITK開源代碼實現(xiàn)了醫(yī)學(xué)圖像的配準(zhǔn),并且對配準(zhǔn)的效果進行了簡單的分析。當(dāng)ITK配準(zhǔn)組件與觀察者模式相結(jié)合的時候能夠?qū)⒚恳徊降臄?shù)據(jù)顯示在屏幕上使得配準(zhǔn)的數(shù)據(jù)的變化能夠?qū)崟r的顯示。
圖1
圖2
圖3
圖4
[1]張劍戈,潘家普.醫(yī)學(xué)圖像配準(zhǔn)技術(shù)[J].上海交通大學(xué)學(xué)報醫(yī)學(xué)版,2003,23(2):180-182.
[2]Ibanez L,Schroeder W,Ng L,et al.The ITK Software Guide[J].Computational Statistics&Data Analysis,2005,21:231-256.
[3]羅述謙,呂維雪.醫(yī)學(xué)圖像配準(zhǔn)技術(shù)[J].國際生物醫(yī)學(xué)工程雜志,1999(1):1-8.
[4]李雄飛,張存利,李鴻鵬,等.醫(yī)學(xué)圖像配準(zhǔn)技術(shù)進展[J].計算機科學(xué),2010,37(7):27-33.
Medical Image Registration Based on ITK
WANG Jing-yu,GUO Ji-xiang
(College of Computer Science,Sichuan University,Chengdu 610065)
Image registration is a hot topic in the field of image processing,so far,many researches have been done on image registration both at home and abroad.Medical image registration is a necessary prerequisite for medical image analysis.Accurate medical image registration enables matching of diagnostic points and helps image analysis.Studies the fields of medical image registration,and realizes ITK medical image registration.
Medical;Image Registration;ITK
1007-1423(2017)05-0064-04
10.3969/j.issn.1007-1423.2017.05.015
郭際香(1981-),女,四川成都人,講師,研究方向為醫(yī)學(xué)大數(shù)據(jù)處理、計算機輔助手術(shù)設(shè)計與模擬等,E-mail:guojixiang@scu.edu.cn
王鏡宇(1991-),男,四川成都人,在校學(xué)生,研究方向為醫(yī)學(xué)數(shù)據(jù)處理
2016-11-29
2017-02-10
國家自然科學(xué)基金項目(No.61402305)、四川省應(yīng)用基礎(chǔ)研究計劃項目(No.2014JY0116)