朱加豪 唐嵐 瘳若冰
摘要:針對視頻中局部運動模糊圖像復(fù)原問題,首先運用RPCA將運動物體從圖像中分離出來,用傅里葉變換得到其頻譜圖,對頻譜圖進(jìn)行邊緣檢測和Hough Trans form,估算出PSF值,然后用維納濾波進(jìn)行圖像恢復(fù)并合成到背景中。從實驗結(jié)果可以看出,該方法能夠很好地分離圖像的前景和背景,并將恢復(fù)后的前景圖像融合到背景中,沒有振鈴效應(yīng)產(chǎn)生,取得了很好的復(fù)原效果。
關(guān)鍵詞:前背景分離;傅里葉頻譜;Hough Trans form;點擴(kuò)散函數(shù)估計;維納濾波中圖分類號:TP391文獻(xiàn)標(biāo)識碼:ADOI:10.3969/j.issn.l003-6970.2017.08.010
本文著錄格式:朱加豪,唐嵐,廖若冰.基于RPCA的局部運動模糊圖像的復(fù)原[J].軟件,2017,38(8):54-58
引言
圖像復(fù)原是數(shù)字圖像處理中的一個重要分支,也一直是圖像處理中的一個難點。視頻里常見的局部運動模糊圖像,運動模糊圖像是由于攝像設(shè)備和對象之間在曝光瞬間的相對運動造成的。如果采用全局模糊恢復(fù)算法進(jìn)行恢復(fù),會使得恢復(fù)圖像的背景產(chǎn)生較大的振鈴效應(yīng),這個時候就需要恢復(fù)局部模糊的區(qū)域,并將恢復(fù)后的區(qū)域融合到背景中,因此,需要研究局部運動模糊圖像的復(fù)原。目前,恢復(fù)局部運動模糊圖像的算法包括:維納濾波法、逆率波法和Richardson-Lucy算法等。這些恢復(fù)算法在計算過程中都需要得到運動物體PSF(即點擴(kuò)散函數(shù),用該指標(biāo)來衡量重建后的圖像的分辨率)的值,而PSF常常是未知量,所以本文針對這個問題,將運動物體與靜止背景進(jìn)行分離,先對PSF進(jìn)行估計[KM1],再利用經(jīng)典的算法進(jìn)行恢復(fù)。以往采用的局部模糊區(qū)域分割的方法,提取出的是包含運動物體的矩形區(qū)域,融合后必然造成圖像分層現(xiàn)象[15~16]。本文利用RPCA低秩矩陣恢復(fù)的方法,能夠很好地分離前景和背景,融合后將得到更好的恢復(fù)圖像。
1 分離前景和背景
1.1 RPCA
Robust PCA,又稱低秩矩陣恢復(fù)。視頻圖像序列的每一幀圖像像素值組成一個觀測矩陣。前景分布在圖像上的范圍比較小,所以前景像素組成的矩陣具有稀疏特性。而在穩(wěn)定的背景下,圖像序列幀與幀之間相似性很大,所以僅由背景像素組成的矩陣就具有低秩特性;視頻觀測矩陣就是低秩特性和稀疏特性矩陣的疊加,低秩矩陣恢復(fù)的過程就是前背景分離。已知觀測矩陣。其中低秩,稀疏且非零元素可以任意大,則可以優(yōu)化為:
其中rank(L)表示矩陣的秩,表示范數(shù)。對(1)式松弛變化轉(zhuǎn)化為一個易解決的問題:用込范數(shù)代替范數(shù),用核范數(shù)代替L的秩,
如下:
這是一個PCP凸優(yōu)化問題,在一定條件下,通過求解式(2)得到唯一的解(LQ+SQ)。文獻(xiàn)[18]給出主要結(jié)論定理:
若:L0是n*n矩陣,秩
是矩陣,隨機(jī)稀疏模式,基數(shù)其中,h表示低秩率,ps表示稀疏率,二者均為正常量。對于,PCP準(zhǔn)確恢復(fù)出的概率近乎為1。若矩陣為矩形矩陣,對入有與上述相同的結(jié)論。
2 點擴(kuò)散函數(shù)的估計
2.1 傅里葉變換
是的周期函數(shù),周期信號在滿足狄里赫利
條件即在一個周期內(nèi),周期信號必須絕對可積;(1)在一個周期內(nèi),周期號只能有有限個極大值和極小值;
(2) 在一個周期內(nèi),周期信號只能有有限個不連續(xù)點,而且,在這些不連續(xù)點上,的函數(shù)值必須是有限值;
(3) 能展開成傅里葉級數(shù),則有的傅里葉變換為如下:
其中,為時域變量,為頻域變量。將進(jìn)行傅
里葉逆變換得到,變換式如下:
令表示大小為的圖像,那么
就是它的二維離散傅里葉變換對,所以有二維離散傅里葉變換對:
正交變換:
反交變換:
其中,
和是空間變量,通常稱為頻率矩形,與輸入圖像大小一致。將結(jié)果先后進(jìn)行對數(shù)變換和中心化,得到傅里葉頻譜圖。
2.2 Canny邊緣檢測
2.2.1 Canny檢測原理
圖象邊緣檢測要能夠抑制噪聲并且確定出邊緣的位置。為了得到最優(yōu)化逼近算子,需要測度信噪比與定位乘積。主要有以下步驟:
(1)用高斯濾波器平滑圖象;
(2)用一階偏導(dǎo)的有限差分來計算梯度的幅值和方向;
(3)對梯度幅值進(jìn)行非極大值抑制;
(4)用雙閾值算法檢測和連接邊緣。
2.2.2 算法流程:
2.3 Hough Trans form
Hough Trans form是圖像處理中從圖像中識別幾何形狀的基本方法之一主要用來從圖像中分離出具有某種相N特征的幾何形狀,Hough Trans form通過曲線表達(dá)形式,利用了點與線的對偶性,將原始圖像空間的給定曲線變?yōu)閰?shù)空間的一個點。把檢測原始圖像給定曲線的問題轉(zhuǎn)化為參數(shù)空間的峰值檢測問題。也就是把檢測整體特性轉(zhuǎn)化為檢測局部特性。
下圖示展示了平面與面的轉(zhuǎn)換關(guān)系,其中是平面到原點的距離是直線與水平線夾角。
2.4 模糊角度和模糊長度的估計
將傅里葉頻譜圖做水平翻轉(zhuǎn),通過邊緣檢測和Hough Trans form得到亮點坐標(biāo),此坐標(biāo)值與運動模糊角度是一致的,文獻(xiàn)給出通過兩個亮點的坐標(biāo)和求解模糊長度和模糊角度的估算公式:
其中,是運動模糊圖像水平方向上的尺寸,是取整操作。
計算出較為精確的PSF值。
3 圖像恢復(fù)
3.1 維納濾波復(fù)原
維納濾波是一種使原圖像及其恢復(fù)圖像之間的均方差最小的有約束的復(fù)原方法優(yōu)點是適應(yīng)面較廣,不僅可應(yīng)用于標(biāo)量或向量的,也可應(yīng)用于連續(xù)的或離散的平穩(wěn)隨機(jī)過程。對某些問題,還可求出濾波器傳遞函數(shù)的顯式解,并進(jìn)而采用由簡單的物理元件組成的網(wǎng)絡(luò)構(gòu)成維納濾波器。這種濾波器的輸出與期望輸出之間的均方誤差為最小即:
其中,EG為數(shù)學(xué)又稱為期望算子。因此維納濾波也叫做最小均方差濾波。利用維納濾波器對運動模糊圖像進(jìn)行恢復(fù),得到復(fù)原圖象。
3.2 復(fù)原圖像與背景圖像合成
恢復(fù)了運動模糊圖像后,需要將其無分層地合成到背景圖像中去,經(jīng)過對圖像對象的分割、提取,經(jīng)過處理后最終合成出滿足要求的結(jié)果圖像。本文在運動物體分割過程中使用低秩矩陣恢復(fù),對物體的提取不會對背景產(chǎn)生明顯的干擾,所以可以將復(fù)原圖像與背景圖像進(jìn)行直接合成。
4 實例分析
本文在MATL AB平臺下驗證該方法,對一張含局部運動模糊的圖像進(jìn)行恢復(fù)。流程如下:
結(jié)果如下:
5 結(jié)論
本文提出一種針對視頻中產(chǎn)生的局部運動模糊圖像恢復(fù)的方法,首先將運動模糊物體圖像從背景圖像中提取出來,然后對運動模糊圖像進(jìn)行恢復(fù),最后將其與背景圖像進(jìn)行融合,形成完整的恢復(fù)圖像。結(jié)果表明此方法恢復(fù)后的圖像無明顯分層現(xiàn)象,背景圖像無振鈴效應(yīng)產(chǎn)生,具有良好的恢復(fù)效果。不足之處在于沒有討論噪聲對恢復(fù)過程的影響,算法的實時性還有待改善,具體到實際應(yīng)用中的實時處理能力也還需要進(jìn)一步的優(yōu)化算法。所以算法的綜合、自適應(yīng)以及硬件實現(xiàn)都是下一步要進(jìn)行的工作。