于藝銘, 金 典, 王 琪, 張 琪, 陳 茜, 王小菊
(南京林業(yè)大學 輕工與食品學院, 江蘇 南京 210037)
人類對外界信息的感知絕大部分來源于視覺,而圖像是各種觀測系統(tǒng)觀測客觀世界獲得的可以直接或間接作用于人眼而產生視覺的實體[1]。隨著圖像處理技術的發(fā)展,人類逐步使用計算機模擬出大腦識別圖像中特定目標的過程,將圖像轉化為更適于人眼觀察或者方便儀器檢測的數據[2]。在計算機視覺應用研究領域,圖像分割技術具有十分重要的地位。
圖像分割是指根據一定的相似性準則將圖像劃分成各具特性的區(qū)域[3],這些區(qū)域互不相交且每個區(qū)域應滿足特定區(qū)域的一致性條件,是計算機視覺、圖像處理[4,5]等領域的基礎性問題之一,是圖像分類、場景解析、物體檢測、圖像3D重構[2,6-8]等任務的預處理步驟。被廣泛應用于醫(yī)學影像分析、交通控制、氣象預測、地質勘探、人臉與指紋識別[4,9-12]等諸多領域。
常見的圖像分割算法有閾值分割法[13]、邊緣檢測法[14]、區(qū)域分割法[15]、直方圖分割法[6]等。其中,直方圖分割法是一種兼具效率與效果的分割方案,對于區(qū)域內亮度級相似且區(qū)域間亮度級不同的圖像具有較好的分割適用性。由于其操作簡便且效果顯著,基于該算法的改進及應用日益廣泛。如裴繼紅等[16]在該法基礎上提出了多閾值分割法,通過對模糊約束直方圖目標函數的優(yōu)化獲得最佳模糊約束劃分,根據最大隸屬度原則進行圖像多閾值化分割;馮惠揚等[17]基于該法提出了極值分析法,即對灰度統(tǒng)計直方圖中存在的各極值進行分析,從中選取最合適的閾值;Liao等[18]在該法基礎上修改了類間方差的計算公式,使其運行時間大大縮短。但這些研究大都從算法實現(xiàn)的復雜度方面進行改進,基本未考慮不同屬性目標對應閾值的分割效果,即該類算法對圖像不同目標區(qū)域間的亮度值差異具有較高要求,在處理復雜場景,尤其彩色圖像時其分割效果不盡理想。
本文提出了一種基于分通道直方圖的彩色圖像分割算法,采用的圖像均來源于USI-SIPI image database,引入亮度L通道、紅綠a通道及藍黃b通道3種分割依據,由于Lab三通道間具有不相關性,因此對其一通道進行處理分析不會影響另外兩通道的序列,解決了單一目標區(qū)域同時受多通道共同影響的弊端,通過Newton插值法進行擬合運算,可針對圖像色貌屬性差異的顯著程度進行自由選擇,并運用鄰域灰度值相匹配原則解決相鄰目標區(qū)域邊緣像素的準確匹配問題,分局部、分形態(tài)、分區(qū)域進行圖像中不同目標的提取,可實現(xiàn)亮度差異不明顯而色度差異顯著類圖像的良好分割。將該分割法應用于經典Reinhard色彩遷移算法中,將源圖像中感興趣的目標區(qū)域經分通道分割后分別進行色彩遷移變換,用以解決經典Reinhard色彩遷移算法對于圖像非目標區(qū)域的干擾、色彩誤傳及階調層次損失嚴重等問題,突破了傳統(tǒng)遷移算法只能整體著色的局限性,實現(xiàn)了分區(qū)域精準著色。
傳統(tǒng)灰度直方圖分割法首先將RGB圖像轉化為灰度圖像并獲取其灰度直方圖,依據待分割區(qū)域整體或部分信息的直方圖波峰及波谷定位圖像中的簇,選擇最適宜的閾值,將圖像按照選定的灰度級進行劃分。由于該法直接利用直方圖灰度級,計算方面十分簡單高效,依據其分割原理,如何選取最適宜閾值成為該算法的核心問題。
針對一維閾值分割算法適應性差,二維閾值分割算法復雜度高的問題,基于區(qū)域劃分的灰度直方圖綜合閾值分割算法[19]應運而生,該算法利用像素灰度以及鄰域均值組成二維空間,在此二維空間上利用區(qū)域劃分的方法來構造一維直方圖,再綜合最小誤差[20]、最大熵[21]及最大類間方差[22]3種經典的分割算法,構造新的閾值選取方法,最后利用獲取的閾值進行分割。
如圖1所示,(a)為源圖像,(b)為其所對應灰度直方圖,橫坐標L為源圖像包含的所有階調值,縱坐標N為源圖像各階調值對應的總像素數目。
灰度直方圖分割法是簡單且高效的分割方案,尤其當圖像不同語義信息之間差異較大時,能夠得到良好的分割效果。該算法雖優(yōu)勢較為顯著,但也有其局限性。一方面,當圖像中的灰度值差異不明顯或灰度范圍重疊時,可能出現(xiàn)過分割或欠分割的情況,另一方面,該法不關心圖像的色度及紋理特征,對于色彩或紋理差異顯著的圖像分割效果不佳。
(a) 源圖像(b) 灰度直方圖圖1 灰度直方圖樣例Example of grayscale histogram
本文提出了一種新的基于Lab分通道直方圖的分割算法,由于其三通道間具有不相關性,對其一通道進行處理分析不會影響另外兩通道的序列,解決了單一目標區(qū)域同時受多通道共同影響的弊端,具體如下:
導入待處理源圖像,將其sRGB模式轉換為Lab模式,分別獲取并存儲其L、a、b三通道矩陣值gL(x)、ga(x)、gb(x),將其數據類型由用于圖像顯示的8位無符號整型轉變?yōu)榭蛇M行統(tǒng)計運算的雙精度類型。使用imhist獲取圖像對應通道的直方圖,并使用Newton插值法對其進行擬合運算,如公式(1):
Nn(x)=f(x0)+f[x0,x1](x-x0)+f[x0,x1,x2](x-x0)(x-x1)+…+f[x0,x1,…,xn](x-x0)…(x-xn-1)
(1)
式中,xi為圖像階調值,Nn(x)為對應直方圖的n階牛頓插值多項式,f[x0,…,xi]為各階調值對應總像素數的均差,其計算方法如公式(2):
(2)
Newton插值法相對于Lagrange插值法具有承襲性的優(yōu)點,通過引入均差的概念,在增加額外插值點時,可利用之前的運算結果以降低運算量,提高算法運行效率。之后運用Nn(x)一階導數(決定單調性)等于0,二階導數(決定凹凸性)大于0的求解極小值點條件,分別獲得L、a、b三通道直方圖擬合曲線的最佳閾值。
對于相鄰目標區(qū)域邊緣像素的準確匹配問題,本文采用鄰域灰度值相匹配原則,設相鄰目標區(qū)域分別為A1、A2,計算當前像素Pi的灰度值Li和5×5領域內的方差值det(Di),將其與相鄰像素的特征點進行加權比較,設權值分別為λ1和λ2,找到與像素Pi的λ1×Li+λ2×det(Di)差值最大的像素(假設為Pj),則Pi與Pj分別隸屬于兩個目標區(qū)域,經實驗驗證,當λ1=0.73,λ2=0.27時邊緣像素分割效果最佳,如公式(3)所示:
{[0.73×Li+0.27×det(Di)]-[0.73×Lj+0.27×det(Dj)]}→maxPi∈A1,Pj∈A2
(3)
2.2.1區(qū)域L通道值差異顯著類圖像的分割
對于區(qū)域L通道值差異較為顯著的圖像,獲取其對應直方圖gL(x)并采用公式(1)及公式(2)進行Newton插值擬合運算,設L通道直方圖擬合函數為fL(x),點集{xL1、xL2…xLn}滿足公式(4)和(5):
(4)
(5)
對于L通道值較大區(qū)域目標的分割,采用鄰域灰度值相匹配原則,根據公式(3)選取適宜的xLi∈{xL1、xL2…xLn}滿足公式(6):
(6)
對于L通道值較小區(qū)域目標的分割,選取適宜的xLi∈{xL1、xL2…xLn}滿足公式(7):
(7)
式中,xLi∈[0,100]。
2.2.2區(qū)域a、b通道值差異顯著類圖像的分割
對于區(qū)域L通道值差異較小且a、b通道值差異較顯著的圖像,獲取其對應直方圖gk(x)并采用公式(1)及公式(2)進行Newton插值擬合運算,設a、b通道直方圖擬合函數為fk(x),點集{xk1、xk2…xkn}滿足公式(8)和(9):
(8)
(9)
對于中性灰色調區(qū)域目標的分割,采用鄰域灰度值相匹配原則,根據公式(3)選取適宜的xki、xkj∈{xk1、xk2…xkn}滿足公式(10):
(10)
對于a、b通道值較小區(qū)域目標的分割,選取適宜的xki∈{xk1、xk2…xkn}滿足公式(11):
(11)
對于a、b通道值較大區(qū)域目標的分割,選取適宜的xkj∈{xk1、xk2…xkn}滿足公式(12):
(12)
式中,xki、xkj∈[-128,127]。
色彩遷移[23]是圖像非真實感繪制和圖像編輯的重要技術,既可實現(xiàn)彩色圖像間的顏色遷移,又可為灰度圖像著色,是一類新興改變圖像色貌的方法。
本文將分通道直方圖分割法與經典Reinhard色彩遷移算法[24]結合,將源圖像中待分割目標區(qū)域分離后進行色彩遷移,較好地解決了經典Reinhard算法對于圖像非目標區(qū)域的干擾及色彩誤傳現(xiàn)象[25],實現(xiàn)了個性化的色彩遷移效果。方法如下:使用matlab2016a分別導入選定的源圖像(提供形狀輪廓)及參考圖像(提供色彩基調)并轉換為可進行統(tǒng)計運算的double類型。
綜合分析需進行色彩遷移的目標區(qū)域與背景區(qū)域亮度及色度差異,從公式(4)~(12)中選取最佳通道組合對目標區(qū)域進行分割,并將分割所得目標區(qū)域圖像及參考圖像轉換為Lab顏色模式。
使用mean2、std2等函數分別求得兩幅圖像在該模式下L、a、b三通道的均值與標準差,設目標區(qū)域圖像與參考圖像的三通道對應均值分別為μsL、μsa、μsb、μrL、μra、μrb,三通道對應標準偏差值分別為σsL、σsa、σsb、σrL、σra、σrb,并定義目標區(qū)域圖像與遷移結果圖像三通道對應L、a、b值分別為Ls、as、bs、L′、a′、b′。運用Reinhard算法完成目標區(qū)域圖像與參考圖像在Lab顏色模式下的色彩遷移變換,得到最終遷移結果圖像的L、a、b值(即L′、a′、b′):
(13)
(14)
(15)
之后將遷移結果圖像轉換為RGB顏色模式,數據類型轉換為用于圖像顯示的uint8類型,并使用imshow函數完成結果圖像的顯示。
將傳統(tǒng)灰度直方圖分割法與使用本文Lab分通道直方圖分割法所得目標區(qū)域進行效果比對,如圖2所示。由圖2(c)、圖2(e)可知,使用傳統(tǒng)灰度直方圖分割法所獲老鷹翅膀羽毛邊緣依舊殘存天空的藍色,即出現(xiàn)分割不徹底現(xiàn)象,相比之下,使用本文Lab分通道直方圖分割法所得羽毛邊緣效果更加自然、精細。
圖2傳統(tǒng)灰度直方圖法與Lab分通道直方圖法分割效果對比
Comparison of segmentation results between traditional gray histogram method and Lab sub channel histogram method
本文分別將基于L、a、b三通道直方圖的分割法應用于經典Reinhard色彩遷移算法中,并與傳統(tǒng)灰度直方圖法進行比較,結果如下。
3.2.1區(qū)域L通道值差異顯著的圖像處理分析
L通道直方圖適用于待分割區(qū)域與背景區(qū)域L通道值差異大于a、b通道值差異的源圖像,本文通過主觀判斷結合待分割區(qū)域與背景區(qū)域
L均值差異大于a、b均值差異來篩選,如圖3所示,圖3(a)為區(qū)域L通道值高反差類源圖像,該組實驗旨在對圖3(a)中與背景L通道值差異較為顯著的特定目標區(qū)域實施重上色操作,采用圖3(b)中色調為參考色彩,分別使用傳統(tǒng)灰度直方圖分割法、L通道直方圖分割算法處理后實施Reinhard色彩遷移變換,結果分別如圖3(c)、3(d)所示。
(a) L通道值差異顯著類源圖像 (b) 參考圖像 (c) 傳統(tǒng)灰度直方圖分割的Reinhard算法處理效果圖 (d) L通道直方圖分割的Reinhard算法處理效果圖 圖3 L通道值差異顯著的圖像處理分析Image processing analysis of significant difference in L channel value
經本文分割法與Reinhard法結合后的圖像,對目標建筑區(qū)域的分割精準程度、細節(jié)展現(xiàn)及色彩遷移效果均優(yōu)于傳統(tǒng)灰度直方圖分割法。圖4(a)與4(b)、圖5(a)與5(b)、圖6(a)與6(b)分別為源圖像L通道直方圖與擬合曲線、a通道直方圖與擬合曲線、b通道直方圖與擬合曲線,由圖知,該類型源圖像的a通道直方圖階調集中分布于區(qū)間[125,138],b通道直方圖階調集中分布于區(qū)間[120,145],且二者均未體現(xiàn)較強的閾值特性。相比之下,L通道直方圖在階調值為200的位置體現(xiàn)出顯著的閾值特性,在區(qū)間[0,200]、[200,255]分別較好展現(xiàn)了建筑與天空區(qū)域之間的亮度值差異,故該類型源圖像選用L通道分割處理效果最佳。
(a) 源圖像L通道直方圖 (b) L通道直方圖擬合曲線 圖4 源圖像L通道直方圖與擬合曲線L channel histogram and fitting curve of source image
(a) 源圖像a通道直方圖 (b) a通道直方圖擬合曲線 圖5 源圖像a通道直方圖與擬合曲線a channel histogram and fitting curve of source image
(a) 源圖像b通道直方圖 (b) b通道直方圖擬合曲線 圖6 源圖像b通道直方圖與擬合曲線b channel histogram and fitting curve of source image
3.2.2區(qū)域a通道值差異顯著的圖像處理分析
a通道直方圖適用于待分割區(qū)域與背景區(qū)域a通道值差異大于L、b通道值差異的源圖像,本文通過主觀判斷結合待分割區(qū)域與背景區(qū)域a均值差異大于L、b均值差異來篩選,如圖7所示,圖7(a)為區(qū)域a通道值高反差類源圖像,該組實驗旨在對圖7(a)中與背景a通道值差異較為顯著的特定目標區(qū)域實施重上色操作,采用圖7(b)參考圖像1和圖7(c)參考圖像2的色調為參考色彩,分別使用傳統(tǒng)灰度直方圖分割法、a通道直方圖分割算法處理后實施Reinhard色彩遷移變換,結果分別如圖7(d)、7(e)所示。
經本文分割法與Reinhard法結合后的圖像,對蝴蝶、葉片等不同目標區(qū)域的分割精準程度、細節(jié)展現(xiàn)及色彩遷移效果均優(yōu)于傳統(tǒng)灰度直方圖分割法。
(a) a通道值差異顯著類源圖像 (b) 參考圖像1 (c) 參考圖像2 (d) 傳統(tǒng)灰度直方圖分割的Reinhard算法處理效果圖 (e) a通道直方圖分割的Reinhard算法處理效果圖 圖7 a通道值差異顯著的圖像處理分析Image processing analysis of significant difference in a channel value
圖8(a)與8(b)、圖9(a)與9(b)、圖10(a)與10(b)分別為源圖像a通道直方圖與擬合曲線、L通道直方圖與擬合曲線、b通道直方圖與擬合曲線,由圖知,該類型源圖像的L通道直方圖在全階調范圍內表現(xiàn)出較為復雜的閾值情況,原因是感興趣目標區(qū)域內部及其與背景之間的亮度值差異變化情況均較為復雜,無法獲取精確的分割結果;其b通道直方圖階調集中分布于區(qū)間[125,132],且未體現(xiàn)出明顯的閾值特性。相比之下,a通道直方圖在階調值為115、137的位置體現(xiàn)出顯著的閾值特性,在區(qū)間[105,115]、[115,137]、[137,168]分別較好展現(xiàn)了葉片、背景、蝴蝶之間的色度值差異,故該類型源圖像選用a通道分割處理效果最佳。
(a) 源圖像a通道直方圖 (b) a通道直方圖擬合曲線 圖8 源圖像a通道直方圖與擬合曲線a channel histogram and fitting curve of source image
(a) 源圖像L通道直方圖 (b) L通道直方圖擬合曲線 圖9 源圖像L通道直方圖與擬合曲線L channel histogram and fitting curve of source image
(a) 源圖像b通道直方圖 (b) b通道直方圖擬合曲線 圖10 源圖像b通道直方圖與擬合曲線b channel histogram and fitting curve of source image
3.2.3區(qū)域b通道值差異顯著的圖像處理分析
b通道直方圖適用于待分割區(qū)域與背景區(qū)域b通道值差異大于L、a通道值差異的源圖像,本文通過主觀判斷結合待分割區(qū)域與背景區(qū)域b均值差異大于L、a均值差異來篩選,如圖11所示,圖11(a)為區(qū)域b通道值高反差類源圖像,該組實驗旨在對圖11(a)中與背景b通道值差異較為顯著的特定目標區(qū)域實施重上色操作,采用圖11(b)參考圖像1和圖11(c)參考圖像2的色調為參考色彩,分別使用傳統(tǒng)灰度直方圖分割法、b通道直方圖分割算法處理后實施Reinhard色彩遷移變換,結果如圖11(d)、11(e)所示。
經本文分割法與Reinhard法結合后的圖像,對天空、牧草農舍等不同目標區(qū)域的分割精準程度、細節(jié)展現(xiàn)及色彩遷移效果均優(yōu)于傳統(tǒng)灰度直方圖分割法。
(a) b通道值差異顯著類源圖像 (b) 參考圖像1 (c) 參考圖像2 (d) 傳統(tǒng)灰度直方圖分割的Reinhard算法處理效果圖 (e) b通道直方圖分割的Reinhard算法處理效果圖 圖11 b通道值差異顯著的圖像處理分析Image processing analysis of significant difference in b channel value
圖12(a)與12(b)、圖13(a)與13(b)、圖14(a)與14(b)分別為源圖像b通道直方圖與擬合曲線、L通道直方圖與擬合曲線、a通道直方圖與擬合曲線,由圖知,該類型源圖像的L通道直方圖在全階調范圍內表現(xiàn)出較為復雜的閾值情況,原因是感興趣目標區(qū)域內部及其與背景之間的亮度值差異變化情況均較為復雜,無法獲取精確的分割結果;其a通道直方圖階調集中分布于區(qū)間[121,141],且未體現(xiàn)出較為明顯的閾值特性。相比之下,b通道直方圖在階調值為125、136的位置體現(xiàn)出顯著的閾值特性,在區(qū)間[108,125]、[125,136]、[136,163]分別較好展現(xiàn)了天空、森林、牧草農舍之間的色度值差異,故該類型源圖像選用b通道分割處理效果最佳。
本文采用主、客觀評價對傳統(tǒng)灰度直方圖法與Lab分通道直方圖法的分割效果進行評價。
3.3.1主觀評價
(1) 對比圖2(c)與圖2(e)分割效果可知,使用傳統(tǒng)灰度直方圖分割法所獲老鷹翅膀羽毛邊緣依舊殘存天空的藍色,即出現(xiàn)分割不徹底現(xiàn)象,相比之下,使用本文Lab分通道直方圖分割法所得羽毛邊緣效果更加自然、精細。
(a) 源圖像b通道直方圖 (b) b通道直方圖擬合曲線 圖12 源圖像b通道直方圖與擬合曲線b channel histogram and fitting curve of source image
(a) 源圖像L通道直方圖 (b) L通道直方圖擬合曲線 圖13 源圖像L通道直方圖與擬合曲線L channel histogram and fitting curve of source image
(a) 源圖像a通道直方圖 (b) a通道直方圖擬合曲線
圖14源圖像a通道直方圖與擬合曲線
a channel histogram and fitting curve of source image
(2) 對比圖3(c)與圖3(d)效果可知,在傳統(tǒng)灰度直方圖分割的色彩遷移結果圖中,磚瓦之間依然有大量縫隙未經上色處理,表明傳統(tǒng)分割法對L通道值差異顯著目標區(qū)域出現(xiàn)分割不徹底的問題,相比之下,本文分割法對建筑區(qū)域的細節(jié)展現(xiàn)更佳,對其與天空的邊界劃分更為準確。
(3) 對比圖7(d)與圖7(e)效果可知,在傳統(tǒng)灰度直方圖分割的色彩遷移結果圖中,除目標蝴蝶區(qū)域外依舊有大量背景區(qū)域呈紫色,表明傳統(tǒng)分割法對a通道值差異顯著目標區(qū)域出現(xiàn)分割過度的問題,相比之下,本文分割法對蝴蝶、葉片、背景的邊界劃分更為準確。
(4) 對比圖11(d)與圖11(e)效果可知,在傳統(tǒng)灰度直方圖分割的色彩遷移結果圖中,除目標天空區(qū)域外,農舍屋頂及森林均呈現(xiàn)藍色,牧草亦有部分區(qū)域呈現(xiàn)藍色,表明傳統(tǒng)分割法對b通道值差異顯著目標區(qū)域出現(xiàn)分割過度的問題,相比之下,本文分割法對天空、森林、牧草農舍的邊界劃分更為準確。
3.3.2客觀評價
本文采用區(qū)域內部均勻性評價指標(RU),對傳統(tǒng)灰度直方圖分割法與Lab分通道直方圖分割法的性能進行定量評價。設Ri表示第i個區(qū)域,Ai為其面積,則分割圖像的均勻性測度(RU)為:
(16)
式中,C為歸一化因子,f(x,y)為通道值,n為第i個區(qū)域內的像素數。RU值越大,分割效果越好,算法性能也越好。分別對圖2(a)、3(a)、7(a)、11(a)進行兩種分割算法均勻性及執(zhí)行效率的評價,結果如表1。
由表1知,本文Lab分通道直方圖法分割結果的內部均勻指標(RU)均高于傳統(tǒng)灰度直方圖法,且由于采用Newton插值法代替?zhèn)鹘y(tǒng)Lagrange插值法,使得本文算法執(zhí)行效率均高于傳統(tǒng)灰度直方圖法,得到了較為理想的分割效果。
表1 傳統(tǒng)灰度直方圖、Lab分通道直方圖分割法均勻性評價指標(RU)及執(zhí)行效率(t)的比較
本研究在傳統(tǒng)灰度直方圖分割法的基礎上加以改進,分別引入具有序列不相關性的L、a、b通道3種分割依據,由于三通道間的不相關性,處理其一不會影響另兩通道序列,解決了傳統(tǒng)通道分割法中單一目標區(qū)域受多通道共同影響的弊端;且由于引入色度a、b通道,解決了傳統(tǒng)灰度直方圖分割法對灰度差異不明顯或灰度范圍重疊圖像出現(xiàn)過分割或欠分割等問題,分局部、分形態(tài)、分區(qū)域實現(xiàn)圖像中不同目標的提取。通過Newton插值法進行擬合運算,相對傳統(tǒng)Lagrange插值具有承襲性優(yōu)點,由于引入了均差的概念,在增加額外插值點時,可利用之前運算結果以降低運算量,提高執(zhí)行效率。之后,提出鄰域灰度值相匹配原則,經實驗獲取最佳權值進行加權運算,解決相鄰目標區(qū)邊緣像素準確匹配問題。實驗表明,本文算法不僅對區(qū)域亮度特征差異較大的圖像具有較好的分割效果,對于區(qū)域色度特征差異顯著于區(qū)域亮度特征差異的圖像,其分割效果及執(zhí)行效率明顯優(yōu)于傳統(tǒng)灰度直方圖分割法,極大提升了直方圖分割算法對不同類型圖像的適用性。
將本文分通道直方圖分割法與經典Reinhard色彩遷移算法結合,分別進行區(qū)域L通道值、a通道值和b通道值差異顯著圖像的處理分析,將源圖像中感興趣的目標區(qū)域分割后分別進行色彩遷移變換,較好地解決了經典Reinhard算法對于圖像非目標區(qū)域的干擾、色彩誤傳及階調層次損失嚴重等問題,突破了傳統(tǒng)遷移算法只能整體著色的局限性,實現(xiàn)了分區(qū)域精準著色。
今后,將對分通道直方圖法加以改進,嘗試將分通道思想應用于其他自適應分割算法中,尋求更加精確、高效的圖像分割方案。