丘赟立,蔣先剛,范德營
(華東交通大學基礎科學學院,江西南昌 330013)
多種搜索算法在醫(yī)學圖片彩色遷移上的應用與分析
丘赟立,蔣先剛,范德營
(華東交通大學基礎科學學院,江西南昌 330013)
通過對真彩圖像與灰色MRI(核磁共振圖像)切片在亮度及紋理等特征上進行配準而實現(xiàn)灰度MRI切片的彩色化,可以得到有效的符合真實人體器官組織的真彩仿真圖片。對多種搜索算法如窮舉法、隨機法、粒子群算法和遺傳算法與點鄰域亮度分布紋理和局部顏色結(jié)構分布相結(jié)合并應用于Welsh圖像彩色化的算法進行研究和分析。著重分析和修正遺傳算法在Welsh彩色化上的應用。該算法將源圖像塊和目標圖像塊的亮度特征以及紋理特征構成適應度函數(shù),并依據(jù)代數(shù)的增加而降低交叉和變異的概率以減少進化后期的跳躍性。其搜索的彩色特征種群經(jīng)過選擇、交叉和變異等操作后逐代進化而得到最終彩色化圖像點。最終彩色化的MRI切片的三維重構模型能多層次清晰地反映器官組織的分布和構造。
彩色模型;顏色遷移;遺傳算法;適應度函數(shù)
在現(xiàn)實生活中,人體的器官組織都是三維彩色實體,而醫(yī)學上常用的成像技術所產(chǎn)生的圖像都是灰色或區(qū)域性偽彩色。如果希望通過計算機仿真來協(xié)助手術的進行,就不能只靠直接生成的灰色切片圖像,而必須將這些切片轉(zhuǎn)換成彩色圖像并由此構造相應的三維仿真模型。在灰色圖像中,人體器官的不同組織也有可能呈現(xiàn)相同的灰度。如果想要得到符合人體的彩色圖像,就必須在真彩圖像和灰色圖像間建立起亮度、紋理和幾何的映射關系,并借此映射關系將真彩圖像中的顏色遷移到灰色圖像中。最后對彩色化的灰色圖像進行三維重構。這樣的三維模型具有多層次性,并且能對彩色遷移算法進行校驗和修正。
為了將彩色圖像中的顏色遷移至灰色圖像中,首先要為灰色圖像中的每個像素點尋找與彩色圖像相符合的像素點。對兩幅圖像的點進行配準的特征和方法有許多種,采用點鄰域和彩色分布的特征,以及窮舉法、隨機法、遺傳算法和粒子群算法等搜索方法,還對不同的特征和不同的搜索算法進行了組合、對比和分析。
灰色圖像的彩色化技術主要有兩種,包括偽彩色法以及顏色遷移。通常情況下,偽彩色的實現(xiàn)方法有兩種,分別是強度分層和灰度級-彩色變換。前者把灰色圖像的灰度由原來的256個等級重新分為N個區(qū)間Ri,i=1,2,…,N,并給每個區(qū)間Ri定義一種顏色,由此得到一幅基于原來灰色圖像的偽彩色圖像;后者在偽彩色的顏色增強上比前者更為有效。而彩色遷移是在真彩圖像和灰色圖像間建立映射關系并將真彩圖像中的顏色遷移至灰色圖像中的技術。為了合理地將顏色從真彩圖像中遷移至灰色圖像中,要為灰色圖像中每一個像素點在彩色圖像中尋找一個亮度等特征最相近的像素點,然后才將相應的顏色遷移至灰色圖像。為了從圖片中提取亮度和紋理等特征,本文先將圖片從RGB空間中轉(zhuǎn)換到Lαβ空間,在顏色遷移完畢之后,再從Lαβ空間轉(zhuǎn)換到RGB空間。
本文所使用的真彩圖像來自美國國家醫(yī)學圖書館。這些真彩圖像是一系列由數(shù)碼攝像而得到的人體間隔0.33~1.00 nm的二維真彩圖像,并且能夠真實有效地反映人體器官在各個切面的分布情況。本文在對真彩切片和灰色圖片在亮度和紋理特征的配準的基礎上進行顏色遷移,主要步驟包括遍歷灰色圖像中每個像素點,并為灰色圖像中每個像素點對彩色圖像的像素塊逐個掃描并選擇最匹配的像素塊,最后將相應的像素塊的顏色遷移至灰色圖像中。圖1(a)是人體腿部切片真彩圖像;圖1(b)是由MRI(核磁共振圖像)掃描得到的腿部切片灰色圖像,由于MRI切片和人體真彩圖像的成像效果不一樣,前者跟被檢對象的密度密切相關,后者則跟血液滲透程度和人體組織的自然構成成份密切相關,如脂肪在MRI切片中亮度低而在真彩圖像中亮度較高,所以要先將它們在亮度分布上進行映射變換;圖1(c)是MRI切片在灰度拉伸變換后得到的圖像;圖1(d)為對圖1(c)進行顏色遷移得到的圖像。
圖1 一張人體腿部灰度圖片彩色化的過程圖Fig.1 Color transfer process of a grey image of a human leg
本文采用的方法是Welsh彩色化算法[1-2],并著重研究和修正遺傳算法[3-4]以應用于Welsh彩色化算法。Welsh彩色化算法的原理是輸入一幅需要彩色化的灰色圖像和一幅彩色圖像;將兩幅圖像從RGB顏色空間轉(zhuǎn)換到各分量和亮度與顏色參數(shù)間相關性較小的Lαβ[5-6]顏色空間,該空間由Reinhard等人在1998年提出,然后利用遺傳算法對彩色圖像和灰色圖像的像素塊的亮度和紋理特征進行配準,將匹配的像素塊的顏色遷移至灰色圖像中,最后再將圖像從Lαβ空間轉(zhuǎn)換到RGB空間,得到彩色化后的圖像。
下面將介紹從RGB顏色空間轉(zhuǎn)換到Lαβ顏色空間的過程。
1)將RGB顏色空間轉(zhuǎn)換到基于人眼視覺特性定義的LMS顏色空間
式中:LLMS為長波通道;M為中波通道;S為短波通道。
2)將LMS空間轉(zhuǎn)換到對數(shù)空間,以消除空間的歪斜性(Skew)3
)將LMS空間轉(zhuǎn)換到Lαβ空間
式中:LLαβ是非彩色的亮度通道,α和β分別表示顏色的紅綠通道和黃藍通道。
將Lαβ顏色空間轉(zhuǎn)換到RGB顏色空間則可以通過上述方法的逆過程方便得到。
遺傳算法是一種模擬生物進化理論的自然選擇和遺傳機理的進化過程的計算智能模型,通過模擬自然界的進化過程而得到的搜索最優(yōu)解的方法。該算法首先生成初始種群,用設計好的適應函數(shù)對每一代種群的個體進行評價,適應函數(shù)是遺傳算法的擇優(yōu)標準,然后按照一定的概率執(zhí)行選擇操作、交叉操作和變異操作來產(chǎn)生新的種群,種群經(jīng)過若干代進化后使得算法收斂,得到問題的最優(yōu)解。遺傳算法主要考慮的問題包括初始種群的產(chǎn)生、適應函數(shù)的確定、遺傳算子(選擇算子、交叉算子和變異算子)的選取。遺傳算法的匹配點搜索方式包括2種,分別是在整幅彩色圖像中的全局搜索和在隨機選取的N個點中的局部搜索。
將遺傳算法應用到對彩色匹配點的搜索中能夠快速有效地得到最佳的顏色值。遺傳算法的初始種群的規(guī)模和分布對該算法的性能和收斂情況能產(chǎn)生很大的影響,初始種群在空間的均勻分布既可以提高算法的性能又能夠保證種群的多樣性以便得到全局最優(yōu)解。設置該算法的初始的代數(shù)計數(shù)器t=0,最大的進化代數(shù)T=10,并隨機生成M=200個個體作為初始種群。該算法的目的就是保留每一代中最優(yōu)的個體,而其他個體則參與交叉和變異過程并由此產(chǎn)生新的一代。考慮到搜索的有序性,本文將整幅彩色圖像分為n×n個子塊,并在每個子塊里產(chǎn)生一個初始的個體。與一般遺傳算法不同的地方是使用二進制格雷碼代替普通的二進制編碼以減少普通二進制編碼在基因變化的時候造成坐標的突變。
選擇操作是將選擇算子應用到種群中,其目的是在種群中保留優(yōu)秀的個體。選擇算子采用賭輪選擇法,即把適應度反序排列的個體按累積適應度篩選。交叉操作是將交叉算子應用到種群中,其目的是使得新一代群體繼承上一代的群體。使用單點交叉算子,交叉概率設為0.5。隨機生成數(shù)字,若小于交叉概率,則執(zhí)行交叉操作。為了使個體變化程度不致太大而偏離最優(yōu)解,使用的交叉算子只在低位上發(fā)生變化。變異操作是將變異算子應用到種群中,其目的是防止算法陷入局部最優(yōu)解。將變異概率設為0.005,即當隨機數(shù)小于0.005時,對個體執(zhí)行變異操作。為了防止群體的適應度在進化后期出現(xiàn)太大的跳躍性,對交叉概率和變異概率按公式(4)進行適當?shù)恼{(diào)整。
式中:pt為修正后的交叉或變異概率;p0為初始的交叉或變異概率;t為進化代數(shù);cp=0.9為修正系數(shù)。
當群體的進化代數(shù)達到預先設定的最大代數(shù)或適應度值達到指定程度的時候,算法終止進化,并將適應度最高的個體相應的顏色值輸出。
適應函數(shù)必須能夠有效地定量地反映每個個體在整個進化過程中的適應程度,在本文的研究中就是反映灰色圖像和彩色圖像的像素點在某一局部特征[7-8]的匹配相似程度。點鄰域分布特征采用亮度和紋理來衡量,以減小顏色在匹配的過程中產(chǎn)生的誤差。
本文對點鄰域分布的亮度特征定義為
式中:ΔL為亮度偏差;l0為彩色圖像中某像素點的鄰域的亮度平均值,σ0為彩色圖像中某像素點的鄰域的亮度標準差,l1為灰色圖像中某像素點的鄰域的亮度平均值,σ1為灰色圖像中某像素點的鄰域的亮度標準差,λ1和λ2分別是兩幅圖像的亮度均值偏差和標準差偏差的權重。而紋理特征則采用k=0.000 1的均勻性紋理特征。式中:F為適應度;α1為亮度參數(shù)的權重,α2為紋理參數(shù)的權重,且α1+α2=1。
考慮到匹配的彩色點往往與彩色源圖上的點的彩色局部分布具有一定的類似性而不必用窮舉的方法進行匹配搜索,且這種基于彩色局部分布樣本的方法[9]將更適應于快速的彩色遷移的匹配搜索。由于轉(zhuǎn)換后的彩色圖片的匹配首先從待匹配的點的左上角的點向右下進行,對應于當前點的轉(zhuǎn)換后彩色圖片的左上部分是已彩色化的區(qū)域,這個點P的左、上鄰域部分A0,B0,C0,D0的彩色分布與彩色源圖的一些區(qū)域具有類似性,故從對應于P點的彩色源圖像的點的右下角的點相鄰的點A開始進行搜索,如果對應的局部結(jié)構點的相應適應度(彩色值)小于一個閾值,則為彩色結(jié)構類似的搜索結(jié)果,否則依次搜索待匹配的點的上面,右上角,和左邊的點。如圖2所示,該方法首先根據(jù)A0和P的相對位置關系選取A2并計算A2的適應度,如果該適應度值小于指定閾值,則P的匹配目標點為A2。否則,依次判斷B2,C2,D2的適應度,如果滿足條件,則這個點選為匹配目標點,如果A2,B2,C2,D2的適應度值都大于指定的閾值,則要進行全局搜索或者隨機搜索。
用遺傳算法應用于隨機選取的N個點彩色適配值的搜索將比隨機選取的N個點的窮舉方式搜索的運算效率高,通過在彩色源圖上隨機選擇N=300點,將這300個點以適應度綜合函數(shù)公式(5)計算并排序,基因編碼選擇這個序號,彩色源圖像與灰色圖像的點適應度差越小表示它們越匹配?;蚪M群體個數(shù)為10,進化代數(shù)為6,交叉概率仍然取為0.5,變異率仍然選擇為0.005。也就是在遺傳算法循環(huán)計算的每代中從這300個顏色中選擇10個彩色得到這一代的最優(yōu)值,下一代的適配值的選取是有序有理的選擇而不是窮舉和隨機的,同時每個遺傳算法的運算次數(shù)是被彩色化的灰色圖像點的個數(shù),故隨機定點選取與遺傳算法相結(jié)合將有效提高彩色遷移的運算效率。
圖2 基于彩色局部分布搜索匹配點的方法Fig.2 Searching method based on local color distribution
實驗系統(tǒng)中的開發(fā)平臺采用Delphi 7,計算機的硬件運行環(huán)境是intel酷睿2雙核p8700,2.53 GHz的CPU,4 GB的內(nèi)存。顏色遷移實驗圖片的分辨率為256×256,彩色遷移算法的效率比較實驗的匹配特征包括用匹配點的亮度的鄰域的紋理統(tǒng)計和用已搜索彩色分布樣本兩種,搜索方法包括窮舉,彩色點隨機選擇,粒子群算法和遺傳算法和這些方法的組合。這些特征和搜索方法的比較都用Welsh算法的全局彩色化的算法進行。
通過實驗可知,在灰色圖像彩色化的算法中利用彩色分布特征選取待上色點的匹配目標點,不僅能保證算法的有效性,還可以大幅度提高算法的效率。窮舉算法所需要的時間最長,隨機算法是通過在彩色源圖上隨機采樣N個點而代表彩色源圖的彩色種類,在這N個點中選取最佳適應度點的顏色值,其顏色傳遞的真實性和耗時取決于采樣點的多少,本實驗中取隨機采樣點數(shù)N=300。而智能算法中包括粒子群算法和遺傳算法,其效率更高。粒子群算法也屬于全局優(yōu)化方法,它沒有遺傳操作如交叉和變異,而是根據(jù)自己的速度來決定搜索。對不同特征和搜索算法的比較中可知,隨機取點搜索算法結(jié)合遺傳算法的搜索效率是最高的。而且由于算法是用Delphi實現(xiàn)的,跟國內(nèi)外大部分利用Matlab進行的研究相比,具有更強的靈活性和更高的效率。結(jié)合不同彩色分布特征和不同的搜索算法得到如表1所示的顏色遷移的效率比較。
為了顯示基于灰色切片和彩色切片的不同的三維重構比較效果,在灰度切片重構的直接體繪制中采用亮度傳遞函數(shù)傳遞,而在彩色切片重構中采用與彩色向量及梯度相關的傳遞函數(shù)為
表1 基于不同特征和搜索方法的顏色遷移的效率比較Tab.1 Efficiency comparison of color transfer based on different features and search method
式中:T是一個控制閾值;ω是考慮顏色的梯度的權衡的一個調(diào)節(jié)參數(shù);c和g表示點的顏色向量和梯度;光學模型中傳遞函數(shù)o表達為數(shù)據(jù)場中的一點的顏色和梯度等對重構模型的影響程度。
圖3(a)是基于灰度切片的重構模型,圖3(b)是基于顏色遷移后的強調(diào)紅黃色和灰白色偏肌肉和骨結(jié)構彩色要素的重構模型,圖3(c)是基于顏色遷移后的強調(diào)灰白色偏骨質(zhì)的彩色要素的重構模型,由此可見彩色切片在顏色向量和梯度值取不同權重的條件下更能多層次、多選擇地反映人體組織器官的客觀構造和人們所需的器官三維細節(jié)。
圖3 基于灰色和強調(diào)不同彩色要素切片的三維重構效果圖Fig.3 Reconstructed 3D color model of slices based on grey and other colors
國內(nèi)外有許多關于遺傳算法的文章,但大部分都是由Matlab實現(xiàn)的,許多參數(shù)是不可調(diào)的,算法的實現(xiàn)和調(diào)用方式也不能修改,而且沒有應用到醫(yī)學研究上。本文的原創(chuàng)性主要體現(xiàn)在實驗工程是由Delphi編碼實現(xiàn)的,而且跟醫(yī)學研究緊密結(jié)合。實驗工程中的每一個算法的參數(shù)都是可調(diào)的,而且相應的實現(xiàn)和調(diào)用方式也可以根據(jù)實際需要進行相應的修改。本文將遺傳算法引入圖像彩色化中,利用圖像塊的亮度和紋理特征值構成的適應度函數(shù)并對此進行匹配顏色搜索,進行顏色遷移后得到彩色化的圖像,在匹配方法的選擇上,隨機選擇N個樣本點比窮舉方法明顯提高了10倍左右的搜索效率,且基本含蓋所有的匹配彩色總類,采用粒子群算法的彩色遷移速度是隨機匹配算法的3倍左右,粒子群算法在一定程度上是反映了遺傳算法的思想,而隨機匹配算法是在有限彩色分群基礎上的窮舉方法,如果用遺傳算法求解隨機匹配算法中的最優(yōu)值,其匹配顏色搜索的速度是最快的,它將是粒子群算法的1倍左右,進一步的研究將放在粒子群算法和遺傳算法組合求解匹配顏色搜索上,在這些彩色仿真切片的基礎上,通過彩色向量和梯度相關的傳遞函數(shù)得到方便可調(diào)的三維模型,并使得上色后的醫(yī)學器官的組織在顏色和空間分布上的連續(xù)性和自然性。
[1]陳倩.一種改進的Welsh灰度圖像彩色化算法[J].武漢理工大學學報,2009,31(22):151-153.
[2]LIU X P,WAN L,LIN S,et al.Intrinsic colorization[J].ACM Trans on Graphics,2008,27(5):1521-1529.
[3]牛曉霞,胡正平,劉博.競爭選擇多彩色圖像自適應顏色遷移算法[J].計算機工程與應用,2009,19(1):119-200.
[4] KOZA J R.Genetic programming:on the programming of computers by means of natural selection[M].Cambridge,USA:MIT Press,1992:45-49.
[5] REINHARD E,ASHIKHMIN M.Color transfer between images[J].IEEE Computer Graphics and Applications,2001,21(5):34-40.
[6]TAMURA H,MORI S,YAMAWAKI T.Textural features corresponding to visual perception[J].IEEE Trans on System Man and Cybernetics,1978,8(6):460-472.
[7]吳曉燕,劉希玉,徐慶.基于改進遺傳算法的分形圖像編碼[J].計算機工程,2010,36(5):205-206.
[8]朱黎博,孫韶媛,谷小婧.基于彩色擴散與彩色傳遞的圖像著色算法[J].中國圖像圖形學報,2010,15(2):200-205.
[9]李建明,葉飛,于守秋.一種快速灰度圖像彩色化算法[J].中國圖象圖形學報,2007,12(3),536-537.
Application andAnalysis of Multi-searchingAlgorithms to Color Transter between Medical Images
Qiu Yunli,Jiang Xiangang,F(xiàn)an Deying
(School of Basic Sciences,East China Jiangtong University,Nanchang 330013,China)
This paper researches transferring a gray MRI slice into a colorful one that is valid and matches the human organs through registering the features of brightness and textures between the true colorful and the gray images.This paper probes a Welsh color transfer algorithm based on the combination of several searching methods,and the features of brightness within the neighborhood of a pixel and local color distribution.It particularly analyzes and modifies GA to adapt to the Welsh color transfer algorithm.This method will use the brightness and texture features of source and target images as the fitness function,and decrease the probability of crossover and mutation when the population evolves to avoid the mutation of the fitness of the population in later stage of evolution.The population which is used for searching by color features evolves through selection,crossover and mutation to get the fittest individual.3D color model reconstructed from the colorized slices can clearly reveal multi-level structure and distribution of human organs.
color model;color transfer;genetic algorithm;fitness function
TP391.41
A
1005-0523(2012)03-0061-06
2012-02-21
丘赟立(1987-),男,碩士研究生,主要研究方向為數(shù)字圖像處理與三維重構。