趙 菲 盧煥章 張志勇
(國(guó)防科技大學(xué)ATR國(guó)防科技重點(diǎn)實(shí)驗(yàn)室 長(zhǎng)沙 410073)
紅外場(chǎng)景中的艦船目標(biāo)的分割一直是國(guó)內(nèi)外極為關(guān)注的熱點(diǎn)問(wèn)題,因?yàn)樗羌t外制導(dǎo)武器在海面背景下可靠捕獲、識(shí)別艦船目標(biāo)的重要基礎(chǔ)和前提。為了實(shí)現(xiàn)紅外海面背景條件下的紅外艦船目標(biāo)自動(dòng)檢測(cè),多年來(lái)眾多學(xué)者都進(jìn)行了相關(guān)的研究,并提出了許多方法[1-9];其中基于全局閾值進(jìn)行分割的方法因其實(shí)現(xiàn)簡(jiǎn)單(不需要輸入?yún)?shù),不需要監(jiān)督)、計(jì)算量小和性能較穩(wěn)定等優(yōu)點(diǎn)被廣泛實(shí)際應(yīng)用[1-4]。Otsu[10]方法是閾值分割中的經(jīng)典方法,但因其未考慮目標(biāo)局部的灰度分布情況,因而在復(fù)雜場(chǎng)景中無(wú)法得到滿意的結(jié)果。文獻(xiàn)[1]和文獻(xiàn)[2]采用2維直方圖并分別以最大2維熵和最大2維類(lèi)間方差為準(zhǔn)則進(jìn)行紅外艦船的分割。文獻(xiàn)[3]采用Otsu方法對(duì)海面紅外圖像進(jìn)行迭代分割,通過(guò)預(yù)先設(shè)定的門(mén)限結(jié)束分割過(guò)程并得到最終的分割結(jié)果。文獻(xiàn)[4]通過(guò)迭代擴(kuò)大預(yù)分割區(qū)域并使用Otsu方法進(jìn)行艦船的分割。
這些基于閾值的算法中均假設(shè)艦船目標(biāo)的能量高于背景能量(即已知目標(biāo)和背景能量強(qiáng)度關(guān)系)情況下通過(guò)設(shè)定相應(yīng)的閾值提取高灰度的艦船。實(shí)際中波紅外探測(cè)器獲取圖像的過(guò)程中易受環(huán)境的影響,在不同的光照條件下,艦船在中波紅外波段成像后的灰度既有可能高于背景,也有可能低于背景,即目標(biāo)呈現(xiàn)雙極性的特點(diǎn),因此基于已知目標(biāo)和背景能量強(qiáng)度關(guān)系這一假設(shè)的方法將無(wú)法正確地提取出艦船目標(biāo)。
通過(guò)對(duì)實(shí)際紅外圖像的分析可知,雖然目標(biāo)灰度是否高于背景無(wú)法預(yù)先確定,但艦船目標(biāo)總會(huì)在局部范圍內(nèi)具有一定的顯著性,即艦船內(nèi)部的變化較小,同時(shí)艦船與局部區(qū)域的背景之間存在一定差異?;谶@一成像特點(diǎn),為保證在艦船目標(biāo)呈現(xiàn)“雙極性”的情況下能夠正確地提取出艦船目標(biāo),本文提出了一種新的紅外艦船閾值分割方法。算法的基本思想是首先對(duì)原始紅外圖像進(jìn)行合適的變換,從而突出圖像中艦船目標(biāo)區(qū)域,擺脫已有的基于閾值的分割方法對(duì)于“已知目標(biāo)和背景能量強(qiáng)度關(guān)系”的這一假設(shè)條件;隨后對(duì)變換后的圖像采用閾值分割的方法提取出潛在的目標(biāo)區(qū)域,然后在潛在的目標(biāo)區(qū)域內(nèi)進(jìn)行迭代分割直至分隔出完整的目標(biāo)。
本文結(jié)構(gòu)安排如下:第2節(jié)詳細(xì)敘述了基于多尺度局部方差-熵變化量增強(qiáng)艦船目標(biāo)的算法;第3節(jié)詳細(xì)敘述了2維直方圖的構(gòu)建和基于最大化2維熵準(zhǔn)則的2維直方圖分割;第4節(jié)將提出的算法應(yīng)用于實(shí)測(cè)中波紅外圖像,在分析算法效果的基礎(chǔ)上,引出了對(duì)艦船目標(biāo)區(qū)域的精分割算法,并給出了最終的分割結(jié)果,最后給出了結(jié)論。
一幅典型的艦船目標(biāo)灰度低于背景灰度的紅外圖像如圖1所示。從圖中可以看出,除煙囪排氣口處由于熱量很高表現(xiàn)出較高的灰度值,艦船目標(biāo)主體部分灰度明顯低于天空背景和海面背景。對(duì)于此類(lèi)圖像,基于“目標(biāo)灰度高于背景”這一假設(shè)的算法無(wú)法正確提取艦船目標(biāo)。觀察圖像可知,艦船目標(biāo)能量雖然較低,但在局部背景中具有較強(qiáng)的顯著性,即艦船在局部范圍內(nèi)與背景有較大差異。正是基于這一特點(diǎn),本文采用基于多尺度局部方差-熵變化量對(duì)整幅圖像進(jìn)行描述,從而在描述圖像中突出艦船主體部分。
圖1 典型目標(biāo)灰度低于背景灰度的紅外艦船圖像
圖像局部熵和局部方差作為圖像紋理描述的手段可以有效地表征圖像局部窗口內(nèi)灰度分布的復(fù)雜情況,但是其作用效果與所選擇的尺度有關(guān),當(dāng)尺度較小或較大時(shí)都可能無(wú)法正確地反映局部區(qū)域內(nèi)灰度分布的變化情況,而且單尺度的局部熵會(huì)造成目標(biāo)區(qū)域的擴(kuò)散[11],這種擴(kuò)散隨尺度的增大將越發(fā)明顯,進(jìn)而會(huì)導(dǎo)致錯(cuò)誤的結(jié)果。局部熵的計(jì)算如式(1)所示,式中H(x,R)代表以x為中心的局部區(qū)域R內(nèi)的熵,p(g,x,R)代表以x為中心的局部區(qū)域R內(nèi)灰度g出現(xiàn)的概率。
局部方差的計(jì)算如式(2)所示,式中D(x,R)代表以x為中心的局部區(qū)域R內(nèi)的方差,i,j代表區(qū)域R內(nèi)像素的坐標(biāo),g(i,j)代表像素(i,j)的灰度值,SR代表區(qū)域R內(nèi)的像素總數(shù)。
當(dāng)局部區(qū)域R大小發(fā)生變化時(shí),相對(duì)平坦的背景而言,其熵和標(biāo)準(zhǔn)差隨尺度的變化較小,而顯著性的區(qū)域(如艦船目標(biāo)等)在尺度變大時(shí)會(huì)逐漸將區(qū)域外的數(shù)據(jù)包含進(jìn)局部區(qū)域R內(nèi),因此其局部熵和局部方差都會(huì)有明顯變化。以圖1中的艦船尾部和天空背景為例,圖2(a)和圖2 (b)分別展示了艦船尾部和天空背景的局部圖像(21×21),圖 2(c)表現(xiàn)了圖2(a)和圖2(b)隨尺度變化局部熵的變化情況;圖2(d)表現(xiàn)了圖 2(a)和圖 2(b)隨尺度變化局部方差的變化情況;圖2(e)表現(xiàn)了圖2(a)和圖2(b)隨尺度變化局部方差與熵乘積的變化情況。從圖中可以看出,作為艦船區(qū)域,其局部熵和方差隨尺度變化所產(chǎn)生的變化量要明顯大于平緩的天空背景。正是基于多尺度局部熵和方差的這一特點(diǎn),本文提出使用多尺度方差熵的變化量來(lái)突出紅外場(chǎng)景中的艦船區(qū)域,即使用多尺度下的方差與熵乘積的最大與最小值之差來(lái)表征圖像中的所有像素,進(jìn)而達(dá)到增強(qiáng)艦船區(qū)域的目的?;诙喑叨染植糠讲?熵的紅外圖像變換如式(3)所示。
圖2 局部方差、局部熵和局部方差與熵的乘積隨尺度的變化關(guān)系
多尺度的設(shè)置需要根據(jù)艦船目標(biāo)的大小進(jìn)行選擇??紤]本文中涉及的艦船目標(biāo)的尺寸以及計(jì)算量,通過(guò)多組實(shí)驗(yàn)表明,以5個(gè)尺度(即3×3, 5×5, 7×7, 9×9, 11×11)對(duì)圖像進(jìn)行分析可以得到較好的結(jié)果。選取上述的5個(gè)尺寸對(duì)圖1進(jìn)行多尺度局部方差-熵變化量的計(jì)算后,其結(jié)果如圖3所示。從圖3中可以看出,在原圖中灰度低于背景的艦船區(qū)域的灰度經(jīng)變化后已經(jīng)明顯高于背景區(qū)域,通過(guò)這樣的變換可以擺脫閾值分割算法對(duì)于“目標(biāo)與背景強(qiáng)度關(guān)系已知”的依賴(lài),這為后續(xù)采用統(tǒng)一的閾值方法對(duì)艦船目標(biāo)進(jìn)行分割提供了基礎(chǔ)。
從圖3可以看出,經(jīng)過(guò)多尺度局部方差-熵變化量的變換后,圖像中的艦船得到了有效的增強(qiáng),但圖像中的其它區(qū)域如海天過(guò)渡區(qū)域等也得到了增強(qiáng),這部分內(nèi)容的增強(qiáng)對(duì)于閾值分割是不利的,尤其當(dāng)艦船區(qū)域與海天過(guò)渡區(qū)域很近時(shí),經(jīng)閾值分割后可能會(huì)連接為一體。圖4展示了使用Otsu方法[10]和最大2維熵[2]方法對(duì)圖3進(jìn)行分割的結(jié)果。
圖3 圖1的多尺度局部方差-熵變化量變換結(jié)果
經(jīng)典最大2維熵的分割算法基于圖像原始灰度和局部灰度均值為統(tǒng)計(jì)指標(biāo)構(gòu)建了2維直方圖,在考慮鄰域分布的基礎(chǔ)上,以最大化2維熵為準(zhǔn)則對(duì)圖像進(jìn)行分割可以得到比1維直方圖更好的分割結(jié)果。文獻(xiàn)[12]提出一種改進(jìn)的紅外圖像2維Otsu分割算法用來(lái)分割圖像,但其依然是假設(shè)目標(biāo)灰度高于背景。根據(jù)海面紅外艦船圖像的特點(diǎn),本文提出一種新的基于多尺度局部方差-熵變化量和梯度方向方差的2維直方圖,并以最大化2維熵為準(zhǔn)則確定相應(yīng)的2維分割門(mén)限完成閾值分割。
梯度方向的定義為
式中g(shù)_y和g_x分別代表y方向和x方向的梯度。由于熱輻射從天空過(guò)渡到海面的過(guò)程中海天過(guò)渡區(qū)域的灰度變化趨勢(shì)基本相同,因此在該區(qū)域內(nèi)的梯度方向基本上一致;艦船目標(biāo)區(qū)域內(nèi)部較為平緩,梯度方向較為一致;而在艦船邊緣處會(huì)存在較強(qiáng)的灰度變化,存在梯度方向的劇烈變化。圖1的梯度方向圖如圖5所示,圖中用白色方框標(biāo)識(shí)出了艦船區(qū)域?qū)?yīng)的梯度方向,從圖中可以看到,過(guò)渡區(qū)域的梯度方向較為平緩,而艦船區(qū)域附近的梯度變化較大,相對(duì)過(guò)渡區(qū)域?qū)?huì)擁有較大的梯度方向方差。以梯度方向方差為指標(biāo)將能夠有效的區(qū)分艦船區(qū)域和過(guò)渡區(qū)域。
圖4 圖3的分割結(jié)果
圖5 圖1的梯度方向圖
以此為出發(fā)點(diǎn),本文以多尺度局部方差-熵變化量和梯度方向方差為衡量指標(biāo),構(gòu)建一種新的2維直方圖,并以最大2維熵法確定最佳門(mén)限?;?維最大熵法選定的多尺度局部方差-熵變化量的門(mén)限s和梯度方向方差的門(mén)限t,將2維直方圖分為4個(gè)區(qū)域,如圖6所示。圖中區(qū)域1和區(qū)域3分別代表了圖像中的背景和目標(biāo)區(qū)域,區(qū)域2和區(qū)域4分別代表著過(guò)渡區(qū)域和噪聲。
圖6 2維直方平面圖
假設(shè)圖像2維直方圖為pij=cij/C,其中cij代表多尺度局部方差-熵變化量為i且梯度方向方差為j的像素個(gè)數(shù),C代表總像素個(gè)數(shù)。假設(shè)確定的門(mén)限如圖6中所示的s和t,那么像素屬于第1和第3區(qū)域的概率為
定義第1區(qū)域的2維熵為
同理,第3區(qū)域的2維熵為
那么圖像中背景和目標(biāo)的2維熵之和為s和t的函數(shù),其表示為
根據(jù)最大化 2維熵的準(zhǔn)則,s和t的最佳值(s*,t*)應(yīng)該是使式(8)達(dá)到最大時(shí)所確定的門(mén)限值。為求解 (s*,t*),往往需要窮舉所有的s和t的組合找到最佳的 (s*,t*),計(jì)算量十分巨大。為減少計(jì)算量,本文采用粒子群優(yōu)化算法[1,2]尋找最佳的 (s*,t*),并使用 (s*,t*)對(duì)多尺度局部方差-熵變化量與梯度方向方差構(gòu)成的2維直方圖進(jìn)行分割。分割后的圖像區(qū)域中可能存在孔洞,故采取形態(tài)學(xué)方法[13]對(duì)區(qū)域中的孔洞進(jìn)行填充。圖1經(jīng)過(guò)以上處理后的的分割結(jié)果如圖7所示。
從圖7中可以看出,紅外艦船區(qū)域已可靠地分割出來(lái),但同時(shí)還包括各種噪聲、海面雜波和海天線的影響。這些影響因素可通過(guò)對(duì)各個(gè)區(qū)域的識(shí)別(如利用面積、長(zhǎng)寬比、形狀等信息)加以剔除并最終獲得預(yù)期的艦船區(qū)域。
圖7 圖1的分割結(jié)果
為驗(yàn)證算法的有效性,本文選取了實(shí)際中波紅外探測(cè)器在不同環(huán)境下采集的紅外艦船圖像序列進(jìn)行了實(shí)驗(yàn)。本實(shí)驗(yàn)中分別選取了艦船灰度低于背景和艦船灰度高于背景的圖像進(jìn)行討論,實(shí)驗(yàn)圖像如圖8所示。從圖中可以看出,由于拍攝環(huán)境的不同,圖8(a)和圖8(b)中的艦船區(qū)域灰度明顯低于背景,圖8(c)中的艦船區(qū)域灰度高于背景,而圖8(d)中的艦船區(qū)域灰度略高于背景。本文算法對(duì)4種不同的中波紅外圖像分割結(jié)果如圖9中9(a1)-9(d1)所示。實(shí)驗(yàn)中本文選取了Otsu[10]和最大2維熵方法[2]進(jìn)行了結(jié)果對(duì)比,由于Otsu和最大2維熵方法都必須在已知目標(biāo)和背景能量強(qiáng)度關(guān)系的前提下進(jìn)行分割,因此在對(duì)圖8(a)和圖8(b)進(jìn)行分割時(shí)假設(shè)已知圖像中目標(biāo)灰度低于背景,Otsu方法和最大2維熵方法均設(shè)定閾值分割小于背景灰度的像素;對(duì)于圖 8(c)和圖8(d)則設(shè)定閾值分割灰度大于背景的像素。圖9(a2)-9(d2)是Otsu分割結(jié)果,9(a3)-9(d3)是最大2維熵的分割結(jié)果。
從實(shí)驗(yàn)結(jié)果中可以看出,本文算法在未知圖像中艦船目標(biāo)與背景灰度關(guān)系的情況下,均能大致分割出艦船區(qū)域;而Otsu方法僅對(duì)圖8(a)能夠較完整地分割出目標(biāo),最大2維熵方法僅對(duì)圖8(c)能夠較好的分割出目標(biāo),對(duì)于其它類(lèi)型的圖像,這兩種方法即使在已知目標(biāo)和背景灰度關(guān)系的情況下也無(wú)法獲得較好的分割結(jié)果。這是由于這兩種方法對(duì)于目標(biāo)區(qū)域的灰度與背景灰度的對(duì)比度較強(qiáng)的情況下才能獲得較好的效果,當(dāng)目標(biāo)的灰度的分布范圍嵌入背景灰度的分布范圍內(nèi)時(shí),兩種方法的分割效果無(wú)法達(dá)到預(yù)期效果。本文算法通過(guò)多尺度局部方差-熵變化量的變換增強(qiáng)了圖像中的目標(biāo)區(qū)域,使目標(biāo)區(qū)域在變化后能夠相對(duì)背景擁有較高的能量,因此可以在不同的實(shí)驗(yàn)圖像中獲得相對(duì)較好的結(jié)果。
圖8 實(shí)驗(yàn)圖像
圖9 分割結(jié)果對(duì)比
由于局部方差和熵運(yùn)算本身會(huì)帶來(lái)一定的擴(kuò)散效應(yīng),因此本文算法的分割結(jié)果并不能和原始圖像準(zhǔn)確地匹配,這一點(diǎn)從圖9的分割結(jié)果中也可以看出。為了獲得更準(zhǔn)確的分割結(jié)果,將上述的分割方法作為一種“粗分割”,通過(guò)“粗分割”獲得的區(qū)域作為粗分割區(qū)域來(lái)初步定位目標(biāo)區(qū)域,然后在目標(biāo)區(qū)域內(nèi)進(jìn)行“精分割”,進(jìn)而得到準(zhǔn)確的分割結(jié)果。本文以粗分割區(qū)域的包圍框向4個(gè)方向各外擴(kuò)10個(gè)像素,然后選取外擴(kuò)窗口內(nèi)的原始數(shù)據(jù)進(jìn)行再次分割。再次分割時(shí),首先對(duì)比粗分割區(qū)域包含的原始圖像數(shù)據(jù)的均值mR和外擴(kuò)窗口內(nèi)原始圖像數(shù)據(jù)的均值mW的關(guān)系,如果mR<mW則說(shuō)明目標(biāo)的灰度低于背景灰度,反之則說(shuō)明目標(biāo)的灰度高于背景灰度;隨后采取迭代Otsu分割的方式直至分割后的圖像面積小于粗分割區(qū)域面積或是和粗分割區(qū)域面積接近。采用上述方法對(duì)目標(biāo)區(qū)域進(jìn)行“精分割”的最終結(jié)果如圖10所示。從圖中可以看出,通過(guò)進(jìn)一步的迭代分割,可以準(zhǔn)確的獲得圖像中的艦船目標(biāo),得到了滿意的分割結(jié)果。
針對(duì)不同環(huán)境下中波紅外圖像中艦船目標(biāo)呈現(xiàn)“雙極性”的問(wèn)題,本文提出了一種全新的基于最大化2維熵的艦船目標(biāo)分割算法。算法使用多尺度局部熵方差熵變化量和梯度方向方差構(gòu)建2維直方圖,然后采用粒子群優(yōu)化算法尋找最大化2維熵的最優(yōu)閾值,最終獲得艦船目標(biāo)的大致區(qū)域;為獲得準(zhǔn)確的目標(biāo)分割結(jié)果,算法對(duì)目標(biāo)的局部區(qū)域進(jìn)行迭代分割,最終獲得準(zhǔn)確的分割結(jié)果。實(shí)驗(yàn)結(jié)果表明,本文算法能夠自適應(yīng)地分割紅外背景中的“雙極性”目標(biāo),并獲得較好的分割結(jié)果。
圖10 艦船目標(biāo)的局部迭代分割結(jié)果
[1]張?zhí)煨? 趙廣州, 王飛, 等. 一種快速遞歸紅外艦船圖像分割新算法[J]. 紅外與毫米波學(xué)報(bào), 2006, 25(4): 295-300.
Zhang Tian-xu, Zhao Guang-zhou, Wang Fei,et al.. Fast recursive algorithm for infrared ship image segmentation[J].Journal of Infrared and Millimeter Waves, 2006, 25(4):295-300.
[2]杜峰, 施文康, 鄧勇, 等. 一種快速紅外圖像分割方法[J]. 紅外與毫米波學(xué)報(bào), 2005, 24(3): 370-373.
Du Feng, Shi Wen-kang, Deng Yong,et al.. Fast infrared image segmentation method[J].Journal of Infrared and Millimeter Waves, 2005, 24(3): 370-373.
[3]何友金, 李凱永, 任建廣. 一種改進(jìn)的基于遞歸門(mén)限分析的紅外艦船目標(biāo)圖像分割方法[J]. 紅外與激光工程, 2007, 36(增刊): 267-270.
He You-jin, Li Kai-yong, and Ren Jian-guang. Improved method of infrared ship target segmentation based on recursive threshold analysis[J].Infrared and Laser Engineering, 2007, 36(Suppl.): 267-270.
[4]王鵬, 呂高杰, 龔俊斌, 等. 一種復(fù)雜海天背景下的紅外艦船目標(biāo)自動(dòng)檢測(cè)方法[J]. 武漢大學(xué)學(xué)報(bào)信息科學(xué)版, 2011,36(12): 1438-1441.
Wang Peng, Lü Gao-jie, Gong Jun-bin,et al.. An automatic target detection method for infrared ship in complex sea-sky background[J].Geomatics and Information Science of Wuhan University, 2011, 36(12): 1438-1441.
[5]徐海祥, 曹萬(wàn)華, 陳煒, 等. 無(wú)人機(jī)紅外艦船目標(biāo)分割[J]. 計(jì)算機(jī)工程與應(yīng)用, 2009, 45(8): 224-225.
Xu Hai-xiang, Cao Wan-hua, Chen Wei,et al.. Segmentation of unmanned aerial vehicle infrared ship target[J].Computer Engineering and Applications, 2009, 45(8): 224-225.
[6]嚴(yán)發(fā)寶, 鄒常文, 王璐, 等. 基于SUSAN算法和行列均值分割的海面艦船檢測(cè)[J]. 激光與紅外, 2011, 41(3): 324-327.
Yan Fa-bao, Zou Chang-wen, Wang Lu,et al.. Infrared warship target detection based on SUSAN algorithm and segmentation algorithm using the mean of image rows and columns[J].Laser and Infrared, 2011, 41(3): 324-327.
[7]鄒常文, 馮力天, 劉先志, 等. 基于多尺度局部方差的海面紅外艦船檢測(cè)[J]. 激光與紅外, 2011, 41(6): 697-699.
Zou Chang-wen, Feng Li-tian, Liu Xian-zhi,et al.. Infrared warship target detection based on multi-scale variance[J].Laser and Infrared, 2011, 41(6): 697-699.
[8]陶文兵, 金海. 基于均值漂移濾波及譜分類(lèi)的海面艦船紅外目標(biāo)分割[J]. 紅外與毫米波學(xué)報(bào), 2007, 26(1): 61-64.
Tao Wen-bing and Jin Hai. Ship infrared object segmentation based on meanshift filtering and graph spectral clustering[J].Journal of Infrared and Millimeter Waves, 2007, 26(1):61-64.
[9]高鴻啟, 沈?qū)W舉, 邵珺, 等. 基于小波變換方法的海上艦船目標(biāo)邊緣提取[J]. 兵工自動(dòng)化, 2009, 28(10): 12-14.
Gao Hong-qi, Shen Xue-ju, Shao Jun,et al.. Warship image’s edge abstraction based on wavelet transform[J].Ordnance Industry Automation, 2009, 28(10): 12-14.
[10]Otsu N. A threshold selection method from gray-level histograms[J].IEEE Transactions on Systems,Man,and Cybernetics, 1979, 9(1): 62-66.
[11]Deng He, Liu Jian-guo, and Chen Zhong. Infrared small target detection based on modified local entropy and EMD[J].Chinese Optics Letters, 2010, 8(1): 24-28.
[12]顧鵬, 張玉. 改進(jìn)的紅外圖像2維Otsu分割算法[J]. 中國(guó)圖象圖形學(xué)報(bào), 2011, 16(8): 1424-1428.
Gu Peng and Zhang Yu. Improved 2D Otsu segmentation algorithm for infrared image[J].Journal of Image and Graphics, 2011, 16(8): 1424-1428.
[13]Gonzalez R C, Woods R E, and Eddins S L. Digital Image Processing Using MATLAB[M]. London: Prentice Hall, 2005:274-276.