李文強(qiáng) 田丹 張妍 劉大豪
摘? 要:綜合運(yùn)用數(shù)字圖像處理、圖形用戶(hù)界面設(shè)計(jì)、計(jì)算機(jī)視覺(jué)等多種技術(shù),基于MATLAB圖形用戶(hù)界面功能開(kāi)發(fā)了一種醫(yī)學(xué)影像處理平臺(tái),主要實(shí)現(xiàn)了醫(yī)學(xué)影像處理界面的搭建和各控件回調(diào)函數(shù)的設(shè)計(jì)。平臺(tái)主要分為五大模塊:底層處理模塊、加載噪聲模塊、圖像去噪模塊、圖像分割模塊和圖像三維重建模塊。實(shí)驗(yàn)結(jié)果表明,平臺(tái)設(shè)計(jì)具有良好的可視性和交互性,能充分挖掘醫(yī)學(xué)影像信息,便于醫(yī)生從多角度、多層次進(jìn)行觀察和分析,可為醫(yī)學(xué)診斷提供有力的信息支撐。
關(guān)鍵詞:圖像處理;圖形用戶(hù)界面;醫(yī)學(xué)影像
中圖分類(lèi)號(hào):TP391? ? ?文獻(xiàn)標(biāo)識(shí)碼:A
Abstract: This paper proposes a medical image processing platform by integrating a variety of technologies, such as digital image processing, graphical user interface design, and computer vision. Based on MATLAB (Matrix & Laboratory) graphical user interface function, this platform is designed to realize medical image processing interface construction and callback function. The platform is mainly divided into five modules: low-level processing module, loading noise module, image denoising module, image segmentation module, and image 3D reconstruction module. Simulation results show that with good visibility and interaction, the proposed platform can fully present medical image information, facilitate doctors to observe and analyze image information from multiple angles and levels, and provide reliable information support for medical diagnosis.
Keywords: image processing; graphical user interface; medical imaging
1? ?引言(Introduction)
醫(yī)學(xué)影像的信息化、數(shù)字化、智能化能有效提高醫(yī)學(xué)診斷的準(zhǔn)確性和治療的及時(shí)性[1]。醫(yī)學(xué)影像處理技術(shù)將科學(xué)計(jì)算中所產(chǎn)生的數(shù)字信息轉(zhuǎn)變?yōu)橹庇^的圖像或圖形形式,在醫(yī)療診斷、手術(shù)規(guī)劃、虛擬手術(shù)中均有著廣泛應(yīng)用[2]。
本文設(shè)計(jì)了一款醫(yī)學(xué)影像處理平臺(tái),通過(guò)進(jìn)一步擴(kuò)展可應(yīng)用于計(jì)算機(jī)輔助診斷領(lǐng)域[3]。在算法研究的基礎(chǔ)上,基于MATLAB的圖形用戶(hù)界面設(shè)計(jì)功能[4]最終搭建可視化平臺(tái),設(shè)計(jì)系統(tǒng)軟件包,使其具有友好的交互性,能夠完成對(duì)醫(yī)學(xué)影像進(jìn)行底層處理、噪聲加載、圖像去噪、圖像分割和三維重建等處理功能,獲取直觀的醫(yī)學(xué)影像立體結(jié)構(gòu)信息,從而分析感興趣區(qū)域指導(dǎo)診斷過(guò)程,輔助醫(yī)學(xué)診斷和治療。
2? ?國(guó)內(nèi)外現(xiàn)狀(Domestic and international status)
醫(yī)學(xué)影像處理是醫(yī)學(xué)、數(shù)學(xué)、計(jì)算機(jī)科學(xué)等多學(xué)科的交叉融合技術(shù),已經(jīng)成功應(yīng)用于指導(dǎo)醫(yī)療臨床實(shí)踐。對(duì)醫(yī)學(xué)切片圖像的處理,發(fā)達(dá)國(guó)家在20世紀(jì)80年代已開(kāi)展了相關(guān)研究,取得了一些研究成果。2003年,Lauterbur和Mansfied發(fā)明MRI技術(shù),獲得諾貝爾生理學(xué)或醫(yī)學(xué)獎(jiǎng)。21世紀(jì)以來(lái),隨著計(jì)算機(jī)硬件技術(shù)的不斷發(fā)展和對(duì)醫(yī)學(xué)圖像的要求越來(lái)越高,對(duì)三維醫(yī)學(xué)圖像的需求也變得越來(lái)越多[5]。IEEE TMI執(zhí)行主編MaxViergever教授領(lǐng)導(dǎo)荷蘭烏得勒支大學(xué)圖像科學(xué)中心建立了三套標(biāo)準(zhǔn)醫(yī)學(xué)圖像數(shù)據(jù)集。這一成果使得二維醫(yī)學(xué)圖像序列可以重建為三維醫(yī)學(xué)圖像。國(guó)內(nèi)對(duì)于醫(yī)學(xué)圖像研究相關(guān)項(xiàng)目的開(kāi)展,相對(duì)國(guó)外較晚,但在不斷快速發(fā)展中[6]。2017年,西安電子科技大學(xué)開(kāi)展了基于CT圖像的人工假體3D打印建模技術(shù)研究。2019年,中國(guó)科學(xué)院大學(xué)發(fā)表了“基于機(jī)器學(xué)習(xí)的醫(yī)學(xué)影像分割關(guān)鍵問(wèn)題研究及其在腫瘤診療中的應(yīng)用”。
3? 圖形用戶(hù)界面設(shè)計(jì)(Graphical user interface design)
目前很多醫(yī)學(xué)影像處理平臺(tái)只能用文本編程,需要使用者具有一定的編程水平,同時(shí)還存在重復(fù)編碼問(wèn)題。針對(duì)上述問(wèn)題,我們基于MATLAB圖形用戶(hù)界面設(shè)計(jì)功能開(kāi)發(fā)了一款能夠可視化編程的醫(yī)學(xué)影像處理平臺(tái)。本設(shè)計(jì)綜合運(yùn)用了數(shù)字圖像處理、圖形用戶(hù)界面設(shè)計(jì)、計(jì)算機(jī)視覺(jué)等多種智能技術(shù),可以為該領(lǐng)域的同學(xué)提供一個(gè)開(kāi)放的算法設(shè)計(jì)和二次開(kāi)發(fā)的工具。
MATLAB圖形用戶(hù)界面設(shè)計(jì)是一種提供人機(jī)交互功能的重要工具。圖形用戶(hù)界面由窗口、圖標(biāo)、菜單、文本、光標(biāo)、按鍵和對(duì)話框等多種圖形對(duì)象構(gòu)成。當(dāng)以某種方式激活這些控件對(duì)象時(shí),便能夠添加相應(yīng)的功能模塊。本文設(shè)計(jì)的醫(yī)學(xué)影像處理平臺(tái)重點(diǎn)和難點(diǎn)在于平臺(tái)界面的搭建和CALLBACK回調(diào)函數(shù)的設(shè)計(jì)。圖1中給出了本文設(shè)計(jì)的醫(yī)學(xué)影像處理平臺(tái)的默認(rèn)用戶(hù)界面。該平臺(tái)主要分為五大模塊:底層處理模塊、加載噪聲模塊、圖像去噪模塊、圖像分割模塊和圖像三維重建模塊。
在MATLAB圖形用戶(hù)界面中,添加“面板”控件用于對(duì)處理功能進(jìn)行分類(lèi);添加“axes”控件用于顯示醫(yī)學(xué)切片圖像及其處理效果;在底層處理面板中添加五個(gè)“按鈕”控件分別用于實(shí)現(xiàn)圖像旋轉(zhuǎn)、亮度調(diào)節(jié)、灰度化處理、圖像放大和還原功能;例如,當(dāng)單擊圖像旋轉(zhuǎn)按鈕時(shí),會(huì)彈出旋轉(zhuǎn)角度設(shè)置窗口,合理設(shè)置后,即可實(shí)現(xiàn)相應(yīng)的圖像旋轉(zhuǎn)功能;當(dāng)單擊圖像放大按鈕時(shí),選中原始圖像中的感興趣區(qū)域,雙擊即可實(shí)現(xiàn)相應(yīng)的圖像放大功能。圖2和圖3分別給出了旋轉(zhuǎn)角度為80°的圖像旋轉(zhuǎn)效果和圖像感興趣區(qū)域的放大效果。
在加載噪聲面板中添加了三個(gè)“按鈕”控件分別用于實(shí)現(xiàn)圖像中典型噪聲的加載。椒鹽噪聲是一種黑白亮暗斑噪聲。高斯噪聲是一種隨機(jī)噪聲,其幅度服從高斯分布。乘性噪聲與圖像有著相乘關(guān)系。點(diǎn)擊椒鹽噪聲按鈕,在彈出的設(shè)置框中輸入噪聲強(qiáng)度為0.02,圖4給出了對(duì)應(yīng)的處理效果。
在圖像去噪面板中添加“中值濾波”和“線性濾波”按鈕對(duì)圖像進(jìn)行去噪處理。中值濾波是一種非線性平滑技術(shù),它將像素灰度值設(shè)置為某個(gè)鄰域窗口內(nèi)所有像素的中值,讓周?chē)南袼刂到咏鎸?shí)值,從而消除孤立的噪聲點(diǎn)。與中值濾波相似,線性濾波也直接處理像素灰度,但采用線性平滑的方式。
在圖像分割面板中添加了分割算子按鈕。sobel算子是一種離散性差分算子,通過(guò)對(duì)圖像亮度函數(shù)梯度近似值的計(jì)算,實(shí)現(xiàn)圖像的邊緣檢測(cè)功能。圖像通過(guò)sobel算子的卷積處理,可以提取陡峭部分的單像素寬邊緣;對(duì)于邊緣模糊部分,通過(guò)sobel算子的多次重復(fù)操作,也可獲取較細(xì)邊緣,有利于提高定位精度。roberts算子利用對(duì)角線方向相鄰像素差分近似梯度幅值實(shí)現(xiàn)圖像邊緣檢測(cè)。用其檢測(cè)垂直邊緣的效果要優(yōu)于檢測(cè)傾斜邊緣,定位精度高,但對(duì)噪聲敏感,無(wú)法抑制噪聲對(duì)圖像產(chǎn)生的影響。圖5給出了基于sobel算子的圖像分割效果。
在圖像三維重建面板中設(shè)置了五個(gè)按鈕控件。清空窗口按鈕能夠?qū)⒃紙D像窗口和圖像處理效果窗口內(nèi)容進(jìn)行清空處理,進(jìn)而便于導(dǎo)入和展示Z軸切片和Y軸切片圖像。通過(guò)將醫(yī)學(xué)切片圖像進(jìn)行多層小波分解與重構(gòu),能實(shí)現(xiàn)圖像的三維重建及二次逼近功能。圖6和圖7分別給出了醫(yī)學(xué)腦圖像三維重建的效果示例及其二次逼近的效果示例。
本文的重點(diǎn)和難點(diǎn)還在于各功能控件CALLBACK回調(diào)函數(shù)的設(shè)計(jì)。右鍵單擊控件可以調(diào)用對(duì)應(yīng)控件的回調(diào)函數(shù)框架,在框架模板下即可編程實(shí)現(xiàn)相應(yīng)的控件功能。下面給出平臺(tái)搭建與功能設(shè)計(jì)的部分代碼:
4? ?結(jié)論(Conclusion)
本文基于MATLAB科學(xué)計(jì)算軟件設(shè)計(jì)了一款醫(yī)學(xué)影像處理平臺(tái)。該平臺(tái)主要分為五大模塊:底層處理模塊、加載噪聲模塊、圖像去噪模塊、圖像分割模塊、圖像三維重建模塊。模塊功能由簡(jiǎn)至繁,從二維影像的處理到三維影像的構(gòu)建,通過(guò)優(yōu)化計(jì)算,充分展示了醫(yī)學(xué)影像數(shù)據(jù)信息和特征。該設(shè)計(jì)綜合運(yùn)用了數(shù)字圖像處理、圖形用戶(hù)界面設(shè)計(jì)、計(jì)算機(jī)視覺(jué)等多種智能技術(shù),可應(yīng)用于醫(yī)學(xué)計(jì)算機(jī)輔助診斷領(lǐng)域,具有一定的研究意義。
本設(shè)計(jì)仍有不足之處,例如醫(yī)學(xué)影像三維重建功能不夠透視化,無(wú)法完全展示內(nèi)部構(gòu)造,這將成為我們后續(xù)的研究方向。
參考文獻(xiàn)(References)
[1] 朱翔宇,葛中芹,張冰清,等.基于圖像處理的醫(yī)學(xué)影像處理平臺(tái)系統(tǒng)設(shè)計(jì)[J].中國(guó)醫(yī)學(xué)物理學(xué)雜志,2017,34(04):388-392.
[2] 張玉芳,關(guān)天民,劉光孟,等.基于CT數(shù)據(jù)的醫(yī)學(xué)圖像處理系統(tǒng)設(shè)計(jì)[J].中國(guó)醫(yī)學(xué)物理學(xué)雜志,2019,36(09):1055-1062.
[3] 魏敏,王松,吳亞?wèn)|.醫(yī)學(xué)圖像可視化的視覺(jué)優(yōu)化方法[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào),2019,31(04):659-667.
[4] 郝勁波,徐仰彬,武戈,等.基于MATLAB GUI的聲速測(cè)量實(shí)驗(yàn)仿真及數(shù)據(jù)處理[J].大學(xué)物理實(shí)驗(yàn),2019,32(04):79-83.
[5] ChaudharyA, SankheshJ, SanchezA, et al. Cross-platform ubiquitous volume rendering using programmable shaders in VTK for scientific and medical visualization[J]. IEEE Computer Graphics and Applications, 2019,39(1):26-43.
[6] 吳長(zhǎng)嵩,廖一鳴,胡汪洋,等.無(wú)人機(jī)航拍圖像三維重建技術(shù)研究綜述[J].科學(xué)技術(shù)創(chuàng)新,2020(22):83-84.