強(qiáng)鈺琦，閻若梅，郁文賢

(上海交通大學(xué) 先進(jìn)感知技術(shù)中心，上海 200240)

?

基于塊合成的視頻圖像去模糊算法的改進(jìn)

強(qiáng)鈺琦，閻若梅，郁文賢

(上海交通大學(xué) 先進(jìn)感知技術(shù)中心，上海 200240)

提出了一種對(duì)基于圖像塊合成的視頻圖像去模糊算法的改進(jìn)。該算法通過(guò)建立圖像模糊模型，并引入“幸運(yùn)度”來(lái)代表圖像的清晰程度，在當(dāng)前幀的時(shí)間窗內(nèi)使用基于圖像塊合成的方法來(lái)達(dá)到圖像去模糊的目的，文中對(duì)圖像塊的選擇用K-means聚類算法進(jìn)行改進(jìn)。通過(guò)對(duì)實(shí)驗(yàn)結(jié)果的分析，證明了改進(jìn)方法的有效性。

模糊模型；K-means；幸運(yùn)度

運(yùn)動(dòng)平臺(tái)拍攝得到的視頻通常會(huì)出現(xiàn)不同程度不同形式的模糊，引起模糊的原因有很多，其中相機(jī)抖動(dòng)是很重要的因素。盡管專業(yè)的攝像機(jī)在拍攝時(shí)常常會(huì)使用固定平臺(tái)，但在手持相機(jī)拍攝或是使用無(wú)人機(jī)這樣的運(yùn)動(dòng)平臺(tái)拍攝時(shí)，相機(jī)的抖動(dòng)不可避免。而拍攝視頻時(shí)相機(jī)的抖動(dòng)所產(chǎn)生的影響主要表現(xiàn)在兩個(gè)方面：首先，在觀看視頻時(shí)畫面的抖動(dòng)給觀測(cè)帶來(lái)困難；其次，在相機(jī)抖動(dòng)劇烈時(shí)視頻會(huì)產(chǎn)生嚴(yán)重的模糊。

盡管由Liu[1]和Grundman[2]提出的視頻穩(wěn)定系統(tǒng)能夠成功地使視頻內(nèi)容減小抖動(dòng)從而產(chǎn)生穩(wěn)定的畫面，由于相機(jī)抖動(dòng)而產(chǎn)生的模糊未加改善，因此，在穩(wěn)定的視頻中，圖像去模糊就成為了至關(guān)重要的課題。

對(duì)視頻圖像去模糊的最直接方法是找出模糊的幀，然后使用單幅圖像去模糊算法或是多圖像去模糊算法來(lái)實(shí)現(xiàn)視頻圖像的去模糊。單幅圖像去模糊研究算法近些年發(fā)展迅速，Krishnan[3]使用基于MAP的方法對(duì)圖像進(jìn)行盲去卷積，文章主要解決單一模糊核的圖像去模糊問(wèn)題，Harmeling[4]則對(duì)圖像進(jìn)行分塊并逐個(gè)求解模糊核從而解決了整幅圖像上模糊核不一致的問(wèn)題；Hirsch[5]直接用3D模糊核代替整幅圖像上隨空間變化的2D模糊核。

在多圖像去模糊中，Zhang H[6]先將圖像進(jìn)行配準(zhǔn)，再對(duì)圖像去卷積以得到清晰圖像，但對(duì)于運(yùn)動(dòng)物體所產(chǎn)生的模糊效果不佳；Zhang H[7]提出了一種自適應(yīng)耦合的算法，創(chuàng)造性地使用罰函數(shù)將清晰的圖像、模糊核以及噪聲進(jìn)行耦合，運(yùn)用多圖像盲去卷積的算法恢復(fù)出高質(zhì)量的圖像，但其在視頻圖像中的使用還有待研究；Park[8]因有相機(jī)陀螺儀提供的參數(shù)，并可因此求出模糊核，使用非盲去卷積能夠得到很好的效果；Li Y[9]提出了從運(yùn)動(dòng)模糊視頻中創(chuàng)建清晰全景圖的系統(tǒng)，這個(gè)系統(tǒng)在相鄰幀之間使用單應(yīng)性來(lái)建立運(yùn)動(dòng)模型，從而得到隨空間變化的模糊核。

然而，在實(shí)際應(yīng)用中，現(xiàn)存的方法很難達(dá)到理想的效果，主要有以下原因：首先，由于相機(jī)和物體的不規(guī)則運(yùn)動(dòng)，視頻圖像中的模糊核是隨時(shí)間和空間不斷變化的，現(xiàn)有的去模糊方法誠(chéng)然可以有效處理因相機(jī)運(yùn)動(dòng)而產(chǎn)生的模糊，卻無(wú)法在物體運(yùn)動(dòng)時(shí)獲得可靠而準(zhǔn)確的模糊核；其次，即便模糊核估計(jì)比較理想，去卷積過(guò)程對(duì)于異常值也是十分敏感的，噪聲或飽和像素常常會(huì)引起嚴(yán)重的振鈴效應(yīng)[10]；此外，前文所述的多圖像去模糊算法中雖然大部分會(huì)要求將輸入圖像配準(zhǔn)后再處理，但由于物體運(yùn)動(dòng)以及景深差異常常很難對(duì)圖像進(jìn)行精確的配準(zhǔn)；最后，視頻圖像去模糊要求時(shí)間相關(guān)，直接對(duì)單幅圖像進(jìn)行去模糊處理會(huì)很容易破壞圖像在時(shí)間上的相關(guān)性。

基于上述原因，本文提出了一種高效的基于圖像塊合成的視頻去模糊方法，可以避免因使用模糊核和去卷積方法而產(chǎn)生的不必要的影響。這種方法基于這樣一個(gè)前提：由于手的不規(guī)則運(yùn)動(dòng)而引起的相機(jī)抖動(dòng)所拍攝的視頻中必然存在一些幀因手的運(yùn)動(dòng)速度小而清晰，另外一些幀因手運(yùn)動(dòng)速度過(guò)大而模糊。通過(guò)適當(dāng)?shù)呐錅?zhǔn)和運(yùn)動(dòng)補(bǔ)償，清晰幀可以直接被用于恢復(fù)模糊幀。在建立圖像模糊模型時(shí)會(huì)估測(cè)模糊核，但僅用于匹配塊搜索時(shí)對(duì)于清晰像素的模糊模擬，而不是為了去卷積以得到最終的結(jié)果。本文使用模糊核來(lái)對(duì)清晰圖像塊進(jìn)行卷積以與模糊圖像塊進(jìn)行準(zhǔn)確的比對(duì)，這是十分關(guān)鍵的一步，因?yàn)橹苯邮褂孟袼夭顚⑶逦鷪D像塊與模糊圖像塊進(jìn)行比對(duì)常常會(huì)得不到最合適的待用圖像塊。

1　圖像模糊模型

1.1圖像模糊模型的建立

(1)

(2)

圖1　近似模糊模型示意圖

(3)

式中：T是[ti,ti+1]中的采樣率，在此設(shè)為20，τi是樣本的數(shù)量，在此代表占空比；bi為第i幀的模糊函數(shù)。這個(gè)模糊模型類似于[11]在全景圖生成中用到的多圖像去模糊方法，它也使用單應(yīng)性作為底層運(yùn)動(dòng)模型。然而，本文只是把這種模式看作是一種近似以應(yīng)對(duì)比全景更復(fù)雜的視頻，而這在以前的方法中是被視為精確模型的。要明確處理建模誤差，本文的方法是使用額外的局部搜索步驟用于對(duì)準(zhǔn)不同幀的圖像區(qū)域。

1.2“幸運(yùn)度”測(cè)量

在1.1節(jié)運(yùn)動(dòng)模型的基礎(chǔ)上，引入用于視頻幀的像素中的“幸運(yùn)度”測(cè)量，描述了相鄰的幀之間的像素的絕對(duì)位移。對(duì)于幀fi的一個(gè)像素x，其“幸運(yùn)度”被定義為

(4)

在實(shí)際的視頻拍攝中，由于運(yùn)動(dòng)所產(chǎn)生的模糊在圖像序列上會(huì)有相當(dāng)大程度的不同，本文主要研究由于運(yùn)動(dòng)而產(chǎn)生的圖像模糊，“幸運(yùn)度”將當(dāng)前圖像與前一幀和后一幀進(jìn)行比對(duì)，它的值很大時(shí)近似地認(rèn)為運(yùn)動(dòng)很小，此時(shí)的圖像很清晰，反之，當(dāng)它的值很小時(shí)，近似地認(rèn)為此時(shí)運(yùn)動(dòng)幅度很大，這時(shí)的圖像是模糊的。

1.3模糊函數(shù)估計(jì)

在用式(3)的模糊函數(shù)bi進(jìn)行去模糊之前，有兩個(gè)參數(shù)必須估算：?jiǎn)螌?duì)應(yīng)矩陣Hi和占空比τi。為了估計(jì)單對(duì)應(yīng)矩陣Hi，首先使用標(biāo)準(zhǔn)的KLT方法進(jìn)行特征跟蹤[12]，并使用追蹤的特征點(diǎn)來(lái)計(jì)算初始單應(yīng)性。

在去模糊的方法中，不僅需要估計(jì)相鄰幀之間的單應(yīng)性矩陣，也需要估計(jì)局部時(shí)間窗Wi=[i-M,i+M]中的任意兩幀的單應(yīng)性矩陣，此處M被設(shè)置為5。從第i幀到第j幀的單應(yīng)性矩陣被表示為Hij，其中j∈Wi。顯然圖3中Hi,i+1=Hi。非相鄰幀之間的單應(yīng)性矩陣的初始化和細(xì)化的方法與Hi相同。

請(qǐng)注意，與以前的方法不同，當(dāng)進(jìn)行視頻去模糊時(shí)不再對(duì)單應(yīng)性矩陣做進(jìn)一步更新。這是因?yàn)楣P者只將單應(yīng)性作為近似運(yùn)動(dòng)模型。在單應(yīng)性矩陣估計(jì)中出現(xiàn)的小誤差會(huì)通過(guò)在去模糊過(guò)程的匹配塊搜索來(lái)補(bǔ)償。

(5)

2　基于圖像塊合成的圖像去模糊

一旦獲得了fi的模糊函數(shù)bi，就可以使用能夠處理單應(yīng)性表示的非均勻模糊去卷積方法來(lái)計(jì)算清晰幀li[13]。然而，這種直接的方法在實(shí)踐中產(chǎn)生的結(jié)果不太令人滿意。此文改用臨近幀的“幸運(yùn)”的圖像塊來(lái)恢復(fù)li，從而避免去卷積過(guò)程中的波紋效應(yīng)。

2.1圖像塊去模糊

用fi,x表示幀fi上中心在像素x的n×n的圖像塊，在實(shí)現(xiàn)中，n=11。通過(guò)對(duì)位于時(shí)間窗Wi的臨近幀fj的清晰塊進(jìn)行加權(quán)平均，實(shí)現(xiàn)了對(duì)于fi,x的去模糊。即

(6)

(7)

先前去模糊方法的數(shù)據(jù)擬合項(xiàng)計(jì)算的是輸入模糊圖像與使用估計(jì)核生成的潛像的差值，權(quán)值ω(i,x,j,y)與它類似。在本文方法中，取自于fi的臨近幀fj的fj,y用估計(jì)的模糊函數(shù)進(jìn)行模糊處理后與輸入模糊圖像塊fi,x進(jìn)行比較，從而確定它對(duì)于要確定的塊li,x的貢獻(xiàn)。模糊塊bj,y與fi,x越匹配，權(quán)值ω(i,x,j,y)就會(huì)越高。因此，當(dāng)扭曲圖像塊fj,y與li,x很接近時(shí)，它在式(6)的加權(quán)平均中就有更大的貢獻(xiàn)。

(8)

2.2K-means聚類算法

本文使用K-means算法來(lái)優(yōu)化搜索匹配塊的效率和準(zhǔn)確度，K-means算法是很典型的基于距離的聚類算法，采用距離作為相似性的評(píng)價(jià)指標(biāo)，即認(rèn)為兩個(gè)對(duì)象的距離越近，其相似度就越大。該算法認(rèn)為簇是由距離靠近的對(duì)象組成的，因此把得到緊湊且獨(dú)立的簇作為最終目標(biāo)。初始類聚類中心點(diǎn)的選取對(duì)聚類結(jié)果具有較大的影響，因?yàn)樵谠撍惴ǖ谝徊街惺请S機(jī)地選取任意k個(gè)對(duì)象作為初始聚類的中心，初始地代表一個(gè)簇。該算法在每次迭代中對(duì)數(shù)據(jù)集中剩余的每個(gè)對(duì)象，根據(jù)其與各個(gè)簇中心的距離將每個(gè)對(duì)象重新賦給最近的簇。當(dāng)考察完所有數(shù)據(jù)對(duì)象后，一次迭代運(yùn)算完成，新的聚類中心μj被計(jì)算出來(lái)。如果在一次迭代前后，μj的值沒(méi)有發(fā)生變化，說(shuō)明算法已經(jīng)收斂。

算法過(guò)程描述如下：

1)隨機(jī)選取k個(gè)聚類質(zhì)心點(diǎn)為μ1,μ2，…,μk∈Rn。

2)重復(fù)下面過(guò)程直到收斂

{

對(duì)于每一個(gè)樣例i，計(jì)算其應(yīng)該屬于的類

(9)

對(duì)于每一個(gè)類，重新計(jì)算該類的質(zhì)心

(10)

}

2.3幀去模糊

要從幀fi中恢復(fù)清晰的幀li，可以簡(jiǎn)單地根據(jù)式(6)在fi的每一個(gè)像素處采用塊去模糊的方法并存儲(chǔ)去模糊的塊的中心像素。然而，由于li的像素并未強(qiáng)調(diào)空間相干性，這種方法在li的物體結(jié)構(gòu)中可能產(chǎn)生對(duì)不準(zhǔn)的現(xiàn)象。相反，采用基于塊拼貼的紋理合成的方法[14]來(lái)消除li中去模糊塊由于重疊產(chǎn)生的影響。

li(x)表示li在x處的像素值?？梢酝ㄟ^(guò)下式來(lái)確定li(x)

(11)

式中：li,x′是通過(guò)式(6)得到的，li,x′是li,x′在x處的像素值；Ωx是位于n×n的空間窗中像素中心在x的像素x′的集合；Z是歸一化因子，Z=∑x′∈ΩxZx′，其中Zx′=∑(j,y)∈Ωi，x′ω(i,x′,j,y)。fj,y(x)是扭曲圖像塊fj,y位于x處的像素值。如果對(duì)于fi中的每一個(gè)像素計(jì)算一個(gè)去模糊塊，那么對(duì)于fi除了沿圖像邊界區(qū)域的任何一個(gè)像素x的Ωx都會(huì)有n2個(gè)像素。因此，像素x將會(huì)被n2個(gè)在x處使用式(9)的加權(quán)平均得到的去模糊塊所覆蓋。為了加速幀去模糊的進(jìn)程，只對(duì)像素稀疏規(guī)則網(wǎng)格進(jìn)行塊去模糊。這種稀疏采樣也有助于避免因?qū)Χ鄠€(gè)塊進(jìn)行平均引起的過(guò)度平滑去模糊的結(jié)果。

由于對(duì)于匹配塊的局部搜索，去模糊方法可以成功地處理輕微移動(dòng)的物體，相比之下，在對(duì)大幅度運(yùn)動(dòng)的物體進(jìn)行去模糊處理過(guò)程中，物體幾乎不受影響。當(dāng)塊fi,x屬于fi的一個(gè)移動(dòng)物體時(shí)，這個(gè)物體的移動(dòng)將會(huì)產(chǎn)生與模糊函數(shù)bi不同的模糊，并在移動(dòng)較大時(shí)主導(dǎo)fi,x的真實(shí)模糊函數(shù)。在這種情況下，由于模糊函數(shù)的差異，局部塊搜索將無(wú)法在另一幀fj中搜索到用式(8)定義的滿足小擬合誤差的匹配圖像塊。另一方面，由于fi,x已經(jīng)因?yàn)槲矬w運(yùn)動(dòng)嚴(yán)重模糊，bi(fi,x)是fi,x輕微平滑后的結(jié)果，因此fi,x與bi(fi,x)的擬合誤差相對(duì)較小。因此fi,x是它自己的最佳匹配塊，由式(6)得到的清晰圖像塊li,x將與fi,x十分接近。

3　實(shí)驗(yàn)結(jié)果及分析

本文的方法建立在有清晰圖像存在的假設(shè)之上，圖2中示出幾組實(shí)拍視頻圖像的“幸運(yùn)度”曲線，“幸運(yùn)度”大于0.85時(shí)可以認(rèn)為這幅圖像是清晰的。盡管整組圖像的清晰度波動(dòng)較大，但從圖上仍可看出有相當(dāng)一部分清晰圖像存在，此外，同一幅圖像不同區(qū)域的模糊程度也不盡相同，被判定為模糊的圖像上也有清晰區(qū)域存在，因此可用于去模糊的清晰區(qū)域事實(shí)上具有相當(dāng)?shù)臄?shù)量。

圖2　實(shí)拍視頻圖像的“幸運(yùn)度”曲線

圖3示出具有代表性的一個(gè)去模糊的結(jié)果，圖3a為原圖像，圖3b為去模糊處理后的結(jié)果，圖3c示出原圖像的“幸運(yùn)度”，圖3d為去模糊處理后圖像的“幸運(yùn)度”，“幸運(yùn)度”越大，代表該像素點(diǎn)的清晰度越高。對(duì)比這4個(gè)圖，可以看出，去模糊處理后具有很好的結(jié)果。

圖3　實(shí)驗(yàn)結(jié)果示圖

本文引入K-means聚類算法改進(jìn)后的結(jié)果如圖4所示。能夠明顯看出改進(jìn)后的圖像效果更好，分析幾幅圖像的MSE，MSE為圖像的均方根誤差，用來(lái)衡量數(shù)據(jù)的變化程度，在此處將源圖像、去模糊后的圖像分別與清晰的圖像計(jì)算MSE，MSE越小，代表兩幅圖片越接近，可在一定程度上反映去模糊算法的好壞性，如表1所示。從表1可以看出，算法改進(jìn)后，圖像的清晰度改善了很多，證明了這種改進(jìn)對(duì)于算法是有一定效果的。

4　結(jié)論

圖4　改進(jìn)后的效果圖

近些年，圖像去模糊領(lǐng)域的發(fā)展已日臻完善，尤其是單幅圖像基于模糊核的去模糊的算法已被反復(fù)研究，受多圖像去模糊和紋理合成方法的啟發(fā)，本文提出了一種基于圖像塊合成的運(yùn)動(dòng)平臺(tái)視頻圖像去模糊方法[14]，避免了因模糊核的求解不準(zhǔn)而引起的振鈴現(xiàn)象等不良后果。實(shí)驗(yàn)證明這種方法不但能夠有效去除圖像的模糊，更重要的是在去模糊的過(guò)程中因?yàn)橐肓藞D像在時(shí)間窗上的關(guān)系，從而有效加強(qiáng)幀與幀之間的時(shí)間相關(guān)性，這對(duì)于視頻去模糊是極為有意義的，因此這種方法無(wú)論是對(duì)于理論還是實(shí)踐都有重要的參考和研究?jī)r(jià)值。然而由于此方法能夠運(yùn)用的一大前提是視頻中有清晰幀的存在，因此在例如視頻中的物體運(yùn)動(dòng)

表1MSE的結(jié)果

參考圖像結(jié)果圖像源圖像去模糊后的圖像改進(jìn)算法后的去模糊圖像清晰圖像21.491120.103715.8987

較快之類的某些特定的情況下無(wú)法得到較好的結(jié)果，還需要進(jìn)一步的研究和嘗試。

[1]LIUF，GLEICHERM，WANGJ，etal.Subspacevideostabilization[J].ACMtransactionsongraphics，2011(30)：1-4.

[2]GRUNDMANNM，KWATRAV.AutodirectedvideostabilizationwithrobustL1optimalcamerapaths[C]//Proc.CVPR. [S.l.]：IEEE，2011：225-232.

[3]KRISHNAND，TAYT，F(xiàn)ERGUSR.Blinddeconvolutionusinganormalizedsparsitymeasure[C]//Proc.CVPR. [S.l.]：IEEE，2011：233-240.

[4]HARMELINGS，HIRSCHM.Space-variantsingle-imageblinddeconvolutionforremovingcamerashake[J].Advancesinneuralinformationprocessingsystems， 2010(23)：829-837.

[5]HIRSCHM，SCHULERCJ，HARMELINGS，etal.Fastremovalofnon-uniformcamerashake[C]// 2011IEEEInternationalConferenceonComputerVision(ICCV). [S.l.]：IEEE，2011：463-470.

[6]ZHANGHC，CARINL.Multi-shotimaging：jointalignment，deblurringandresolution-enhancement[C]//Proc.CVPR. [S.l.]：IEEE，2014：374.

[7]ZHANGH，WIPFD，ZHANGY.Multi-imageblinddeblurringusingacoupledadaptivesparseprior[C]//Proc.IEEEComputerSocietyConferenceonComputerVisionandPatternRecognition. [S.l.]：IEEE，2013：1051-1058.

[8]PARKSH，LEVOYM.Gyro-basedmulti-imagedeconvolutionforremovinghandshakeblur[C]// 2014IEEEConferenceonComputerVisionandPatternRecognition(CVPR). [S.l.]：IEEE，2014：3366-3373.

[9]LIY，KANGSB，JOSHIN，etal.Generatingsharppanoramasfrommotion-blurredvideos[C]//Proc.IEEEComputerSocietyConferenceonComputerVisionandPatternRecognition. [S.l.]：IEEE，2010：2424 - 2431.

[10]CHOS，WANGJ，LEES.Handlingoutliersinnon-blindimagedeconvolution[C]//Proc.ICCV2011. [S.l.]：IEEE，2011：495-502.

[11]LIY，KANGSB，JOSHIN，etal.Generatingsharppanoramasfrommotionblurredvideos[C]//Proc.CVPR. [S.l.]：IEEE，2010：2424-2431.

[12]SHIJ，TOMASIC.Goodfeaturestotrack[C]//Proc.CVPR. [S.l.]：IEEE，1994：593-600.

[13]TAIYW，TANP，BROWNMS.Richardsonlucydeblurringforscenesunderaprojectivemotionpath[J].IEEEtransactionsonpatternanalysismachineintelligence，2011，33(8)：1603-1618.

[14]CHOS，WANGJ，LEES.Videodeblurringforhand-heldcamerasusingpatch-basedsynthesis[J].ACMtransactionsonGraphics(TOG)， 2012， 31(4)： 64.

強(qiáng)鈺琦(1991— )，女，碩士生，主研圖像解譯與評(píng)估；

閻若梅(1987— )，女，碩士生導(dǎo)師，主要研究方向?yàn)闄C(jī)器學(xué)習(xí)、圖像處理等；

郁文賢(1964— )，博士生導(dǎo)師，主研雷達(dá)目標(biāo)識(shí)別技術(shù)與導(dǎo)航。

責(zé)任編輯：閆雯雯

Algorithm improvement of video deblurring using patch-based synthesis

QIANG Yuqi， YAN Ruomei， YU Wenxian

(CenterforAdvancedSensingTechnology，ShanghaiJiaoTongUniversity，Shanghai200240，China)

An algorithm improvement of video deblurring for motion platform using patch-based synthesis is presented. This algorithm establishes a blur model， using patch-based synthesis from nearby frames to obtain a sharp frame. And “l(fā)uckiness” is introduced to represent a picture’s sharpness. The improvement focuses on the patch selection using K-means clustering algorithm. Experimental results show that the improvement can effectively achieve goals.

blur model； K-means； luckiness

TN949.27

ADOI：10.16280/j.videoe.2016.07.028

2015-09-06

文獻(xiàn)引用格式：強(qiáng)鈺琦，閻若梅，郁文賢. 基于塊合成的視頻圖像去模糊算法的改進(jìn)[J].電視技術(shù)，2016，40(7)：128-133.

QIANG Y Q， YAN R M， YU W X. Algorithm improvement of video deblurring using patch-based synthesis [J]. Video engineering，2016，40(7)：128-133.