鄧云輝, 孔祥陽,2, 彭群聶
(1.四川工程職業(yè)技術學院基礎教學部,四川 德陽 618000; 2.西北工業(yè)大學自動化學院,西安 710129;3.光電控制技術重點實驗室,河南 洛陽 471000)
目標成像過程中,由于光源環(huán)境與目標表面材質特性的綜合影響,目標圖像極易受鏡面高光的干擾。鏡面高光強度高、分布區(qū)域廣,掩蓋了目標表面原有的細節(jié)紋理、色彩特征,直接影響著檢測、識別跟蹤等視覺應用性能。現(xiàn)有的視覺處理算法[1-2]大多假定觀測目標表面為理想朗伯體面,將鏡面高光視為噪聲處理,其結果不可避免地出現(xiàn)大區(qū)域數(shù)據空洞以及邊緣細節(jié)丟失等問題。因此,如何實時有效分離抑制圖像鏡面高光分量具有較高的研究意義與應用價值。
目前國內外針對單幅圖像的鏡面高光抑制分離已開展了一些探究。文獻[3]基于亮度的非線性校正實現(xiàn)直方圖均衡拉伸,該方法僅利用亮度信息提高視覺效應,不具有場景普適性;文獻[4]發(fā)現(xiàn)在RGB色彩空間中,鏡面高光像素和漫反射像素近似T 形分布,進而采用主成分分析來分離鏡面高光分量;文獻[5-6]充分利用色度分布,提出高光-漫反射機制(Specular-Diffuse Scheme),擬估計漫反射分量強度,有效分離鏡面高光;文獻[7-8]則利用強度比和色度聚類來約束,逐步迭代消除鏡面高光分量的干擾;文獻[9]結合暗通道先驗,對色度、邊界聯(lián)合約束優(yōu)化,獲取漫反射分量強度的最優(yōu)估計,但算法復雜度高、實效性差。以上高光抑制方法均依賴于先驗信息與假設,或聚類分割等前期操作,雖能有效實現(xiàn)鏡面高光的分離抑制,但忽略了目標表面色彩、紋理和邊界等細節(jié)信息丟失問題,視覺特性受到嚴重影響。
針對現(xiàn)有高光抑制算法存在的不足,本文提出一種基于色度分析與L1加權正則約束的鏡面高光高效抑制算法。不依賴于過多先驗假設和前期操作,提出了MSF機制,準確有效抑制高光分量;結合色度分析與局部色彩相關性進行L1加權正則約束,融合變量分裂法快速優(yōu)化求解,高效保留了目標原有的紋理、色彩和邊緣等細節(jié)信息,進一步增強了高光抑制結果的視覺效應,其算法場景適應性強、計算復雜度低、易于工程實現(xiàn)。
根據文獻[10]的雙色反射模型,對于非勻質目標,光線在經該類物體表面發(fā)生反射時,會產生鏡面反射和漫反射效應,即在成像過程中,目標圖像中會同時存在鏡面高光分量與漫反射分量,且圖像總強度為二者的線性加權和,其強度表達式為
(1)
式中:I為圖像強度;x為二維坐標;Ω為光譜范圍;λ為波長;F(·)為材質光譜反射率函數(shù);q(·)為相機光譜響應函數(shù);E(·)為光源功率分布函數(shù);ρd,ρs分別代表漫反射分量和鏡面高光分量的加權因子,二者的權值分別與目標表面材質的理化特性和幾何分布有關。
定義漫反射分量強度D和鏡面高光分量強度S分別為
(2)
(3)
則式(1)可簡化為漫反射分量強度與鏡面高光分量強度的線性加權模型,即
I(x)=ρd(x)D(x)+ρs(x)S(x)。
(4)
基于中性界面反射的假設[5],鏡面高光分量的光譜能量分布等同于光源的光譜能量分布,且可見光波段范圍內光源能量密度恒定。則高光分量強度可近似等于環(huán)境光源強度(白光);而針對非均勻白光光源條件,可利用色彩恒常性算法進行歸一化估計,即有S=[255,255,255]T。
定義Imin(x)=min{Ir(x),Ig(x),Ib(x)},且Dmin(x)=min{Dr(x),Dg(x),Db(x)},則對于每個像素點x,滿足如下差分關系
(5)
由式(5)可知,最小差分圖像ΔI與鏡面高光分量強度S無關,而僅與目標表面的漫反射分量強度D有關,即可知該差分圖像能有效保持原漫反射分量的理化特性。但注意到差分圖像ΔI中必有一通道強度值為零,滿足ΔI≤D,可能導致高光抑制結果受噪聲影響嚴重,且易出現(xiàn)色彩失真、邊緣不連續(xù)等問題。為解決此問題,本文提出了一種快速高效的自適應中值無高光機制(MSF)來估計漫反射分量。該機制根據圖像強度分布特征進行自適應補償,解決了差分圖像零值問題,進而能有效地抑制噪聲的放大與色彩失真,具有較強的場景適應性。其表達式為
IMSF(x)=ΔI(x)+Cmed
(6)
式中,Cmed為目標圖像的自適應中值因子,其算式為
Cmed=median{Dmin(x)}x=1,2,…,N
(7)
式中,N為像素總數(shù)。結合式(6)、式(7)可知,中值無高光圖像IMSF在最小差分圖像基礎上,根據目標圖像的強度分布進行自適應中值強度補償,一方面能有效避免某通道強度零值而導致噪聲放大和色彩不連續(xù)等問題,另一方面亦能保持目標表面原有的紋理、結構等理化特征。
色度作為圖像色彩通道歸一化強度比,能有效反映目標表面的色彩及紋理分布。為探究上述MSF機制的準確性,本文對上述估計的IMSF進行色度空間轉換,其對應的色度圖像為
(8)
式中,Λ(x)=[Λr(x),Λg(x),Λb(x)]T。
針對場景一的目標圖像,圖1展示了本文估計的IMSF及相應的色度圖像與Yoon算法ISF及其色度圖像的效果對比。
圖1 場景一ISF,IMSF與色度圖像Fig.1 ISF,IMSF and chromaticity images of Scene 1
從圖1可以看出,場景中鏡面高光的存在,直接覆蓋了目標圖像真實色彩信息和紋理結構分布。其中,Yoon算法的ISF結果存在著明顯的色彩失真及邊緣不連續(xù)情況,同時其色度圖像受噪聲影響較為嚴重。而本文的IMSF結果作為漫反射分量的初始估計,能實現(xiàn)快速分離鏡面高光分量的同時,極大程度地保留了目標表面原本紋理結構特征及邊緣信息,且對應的色度圖像中噪聲及邊緣失真等問題也得到了有效抑制。
由1.2節(jié)可知,本文提出的IMSF是針對圖像全局進行逐像素處理,雖能獲取漫反射分量的有效估計,但忽略了目標表面的局部空間特性。對于復雜場景,可能導致鏡面高光分離后的結果中局部區(qū)域出現(xiàn)邊緣不連續(xù)、細節(jié)模糊等問題?;谥暗墓ぷ魈骄縖11],目標表面普遍存在空間局部色彩相關特性。因此,本文聯(lián)合色度分布與空間局部色彩相關性對估計的漫反射分量IMSF進行加權正則化約束,同時融合變量分裂法(Variables Splitting)實現(xiàn)L1正則項的快速優(yōu)化求解,有效恢復高光抑制后丟失的局部細節(jié)信息,進一步提高抑制結果的視覺效應。
對于漫反射分量 ,結合色度信息對其進行L1加權正則約束,則有
W(x,y)|D(x)-D(y)|?‖W°(H?D)‖1
(9)
式中:H為一階前向差分算子;?表示卷積; °表示矩陣乘積;D為漫反射分量強度;W為色度權重函數(shù)矩陣,其表達式為
(10)
由于目標表面局部空間色彩高度相關,由上式可知,對于同反射區(qū)域相鄰的兩像素x和y,色度差異小,其分配的權重函數(shù)W較大;而兩像素分別屬于邊界像素時,Λ(x),Λ(y)差值大,W→0,從而完全符合目標表面色彩局部分布特性。綜上,本文利用局部色彩相關性對漫反射分量D進行L1加權正則約束,其能量方程為
(11)
式中:λ為加權系數(shù);D0為漫反射分量的初始估計,即D0=IMSF。針對上式能量方程最小值問題,梯度下降法計算效率低,且易收斂于局部極小值。為提高算法實時性,本文融合變量分裂法,通過引入中間變量,將上述能量函數(shù)優(yōu)化問題轉化為獨立求解子變量問題,且其解收斂于原能量函數(shù)的最優(yōu)解。
引入ν臨時變量 ,則式(11)等效為
(12)
式中,β為變化系數(shù),可知當β→∞時,式(12)收斂于能量方程式(11)的最優(yōu)解。對于式(12)多變量優(yōu)化問題,本文采用交替迭代法進行求解,其優(yōu)化的具體過程如下。
1) 固定D,優(yōu)化ν。
針對式(12),固定D,則能量最小化方程為
(13)
類似一維變量的極值求解,目標函數(shù)式(13)等效為
(14)
式中,w,a和β已知,對上式直接求導,即可得
(15)
2) 固定ν,優(yōu)化D。
求解式(15)固定ν,則能量最小化方程為
(16)
可知式(16)為D的二次函數(shù),對其求導,則有
λ(D-D0)+β·HT?(H?D-ν)=0
(17)
式中,T為轉置。由于存在兩次卷積D,為方便計算,對上式進行傅里葉變換,將時域轉化為頻域求取D的最優(yōu)解,其表達式為
(18)
本文實驗以Intel i7 CPU,4 GB內存的處理機和Matlab為仿真平臺,以兩組不同場景的目標圖像作為實驗對象。該類目標由于表面光滑,具有鏡面高反射性,成像過程中受到了不同程度鏡面高光的影響,導致其紋理細節(jié)被掩蓋。根據高光抑制效果、色彩保真度、局部紋理細節(jié)信息及算法時效性等主客觀指標,對本文算法性能進行實驗探究,并與Yoon,Shen算法結果進行定量定性的對比分析。
針對場景一(fish),該目標圖像中存在大面積離散分布的鏡面高光區(qū)域,其對應的高光抑制結果及其局部紋理細節(jié)分別如圖2、圖3所示。
圖2 場景一高光抑制結果Fig.2 Highlight suppression results of Scene 1
圖3 局部紋理細節(jié)Fig.3 Local texture details of Scene 1
由圖2可知,針對場景一中存在的大區(qū)域鏡面高光,本文算法與現(xiàn)有算法均能獲得很好的分離抑制結果。但從圖3的局部細節(jié)中可看出,Yoon算法的抑制結果中出現(xiàn)了局部區(qū)域數(shù)據空洞,紋理細節(jié)丟失,并且色彩失真嚴重;Shen算法的抑制結果中,其魚眼部分區(qū)域出現(xiàn)邊緣不連續(xù),噪聲效應明顯;相比以上算法,本文提出的高光抑制算法有效結合中值無高光機制與L1正則約束,能高效地恢復目標表面原有的紋理結構特征,同時邊緣、色彩信息等細節(jié)信息得到極大程度的恢復。
針對于場景二的目標圖像(wood),不同物體的表面均受到了不同程度的鏡面高光影響,高光分布離散且強度差異大。其高光抑制結果如圖4所示。
圖4 場景二高光抑制結果Fig.4 Highlight suppression results of Scene 2
由圖4可以看出,Yoon算法的結果中,高光分離效果良好,但在邊緣處出現(xiàn)大區(qū)域的數(shù)據空洞,色彩畸變失真;Shen算法的結果由于聚類算法失效,其高光分離抑制效果顯然不足;而本文的抑制算法基于目標表面局部色彩相關性約束,有效避免了分離過程中出現(xiàn)數(shù)據丟失、色彩畸變、紋理結構模糊等問題,高光分量抑制結果更為精確徹底,視覺效應更為明顯。
以上兩組場景目標的圖像分辨率與算法運行時間對比如表1所示。
表1 目標圖像分辨率及算法時間
綜合以上視覺效應和算法時效性可知,本文提出的基于MSF機制與L1正則約束的鏡面高光抑制算法充分聯(lián)合圖像的強度分布與局部色彩相關特征,準確地實現(xiàn)了鏡面高光分量的分離,同時目標表面的紋理結構、邊緣、色彩等細節(jié)特征得到了有效恢復,噪聲得到有效抑制;同時算法不依賴分割、聚類等前期處理,算法可靠、場景適應性強,計算時效性優(yōu)異。
鏡面高光的分離抑制研究一直是跟蹤、識別等視覺應用中的難題。本文提出了基于色度分析與L1加權正則約束的鏡面高光抑制算法,不依賴于分割、聚類等前期處理,有效抑制了噪聲放大問題;提出MSF機制,結合色度分析和局部色彩一致性正則約束,同時融合變量分裂法進行快速優(yōu)化求解,實現(xiàn)了鏡面高光分量的精確分離抑制,極大程度保留了目標原有的邊緣、紋理、色彩等細節(jié)信息。相對于現(xiàn)有算法,本文算法在高光抑制結果的準確性和計算時效性上更為優(yōu)異。