王佳希,曹 寧,鹿 浩,陳 亮
(河海大學(xué) 計(jì)算機(jī)與信息學(xué)院,江蘇 南京 211100)
視頻在采集、傳輸和變換中很容易受到電子設(shè)備和場景環(huán)境的干擾,導(dǎo)致原視頻中混雜了噪聲干擾,嚴(yán)重影響了視覺效果,并且給對(duì)視頻進(jìn)一步的分析處理帶來了許多不便。由于噪聲將給視頻識(shí)別帶來很大干擾,造成誤判或漏判,所以消除或減少噪聲是視頻圖像預(yù)處理的關(guān)鍵。
自20世紀(jì)末以來,對(duì)高維信號(hào)進(jìn)行多方向多尺度分析成為研究熱點(diǎn),多尺度多方向特征變換在視頻處理方面得到了廣泛應(yīng)用,并取得了良好的去噪效果。2002年,Donoho在多分辨率Ridgelet思想的基礎(chǔ)上提出輪廓波Contourlet變換[1],它是一種真正的圖像二維表示方法,給圖像處理提供了多分辨率、多方向性的擴(kuò)展,但是有劃痕現(xiàn)象,缺乏平移不變性。2005年Yue Lu和Minh N.Do將多尺度金字塔和多方向?yàn)V波器組(NDFB)結(jié)合,提出了Surfacelet變換[2-3]。該變換能有效地捕獲和表示光滑表面信號(hào)的奇異性,具有平移不變性、完全重構(gòu)、低冗余、多尺度多方向等性質(zhì),這種變換在視頻等多維信號(hào)處理中可以獲得較好效果,非常適合視頻處理。本文提出基于Surfacelet變換視頻自適應(yīng)去噪方法。通過仿真實(shí)驗(yàn),驗(yàn)證該方法應(yīng)用在視頻處理方面可以獲得更好的視覺效果和有效地提高PNSR值,驗(yàn)證了該變換方法的優(yōu)越性。
1992年,Bamberger和Smith提出方向?yàn)V波器組DFB[4](Dimensional Directional Filter Banks)的概念,DFB能有效的對(duì)二維信號(hào)進(jìn)行方向分解。2005年Yue Lu和M.N.Do提出多維方向?yàn)V波器組NDFB的設(shè)計(jì)方法[2-3],多尺度分解和NDFB結(jié)合就構(gòu)成一個(gè)新的變換——Surfacelet變換。
Surfacelet變換的核心思想是基于高維方向?yàn)V波器組(NDFB)的。在實(shí)際應(yīng)用中,三維信號(hào)是最常見的,而且本文研究的視頻屬于三維信號(hào),所以本節(jié)簡介三維情形的NDFB,即3D-DFB[5]。
三維DFB頻域分割如圖1所示。
三維方向?yàn)V波器組對(duì)信號(hào)的分解,主要經(jīng)過兩個(gè)層次來完成:第一層次分解過程是由三通道非抽取濾波器組將輸入的三維信號(hào)的頻譜分解成3個(gè)沙漏型子帶來完成;第二層次分解,首先對(duì)三通道非抽取濾波器組的各輸出通道作三維頻率分解。一個(gè)信號(hào)由三維方向?yàn)V波器組的單個(gè)通道分解后得到個(gè)2l2+l3
圖1 三維DFB頻域分割Fig.1 The segmentation of 3DDFB in frequency domain
方向子帶,其中l(wèi)2表示第一個(gè)DFB的分解層數(shù),l3表示第二個(gè)DFB的分解層數(shù)。因此由3DFB分解后得到的方向子帶數(shù)一共為3×2l2+l3。NDFB運(yùn)用了一種簡單的、高效的樹形結(jié)構(gòu),可以對(duì)任何高維信號(hào)分解。
完整的Surfacelet變換是由方向?yàn)V波器組和多尺度分解組成完成的。該變換的多尺度分解采用一種新的塔式結(jié)構(gòu)來實(shí)現(xiàn)。Surfacelet變換結(jié)構(gòu)如圖2所示。
圖 2 中,s(w)表示反混頻濾波器,Di(w)(i=0,1)表示高通濾波器,li(w)(i=0,1)為低通濾波器,其中反混頻濾波器的作用是可以避免上抽樣操作帶來的混頻現(xiàn)象。將圖2中虛線框中的結(jié)構(gòu)遞歸的插入在an+1和sn+1后可以獲得更高尺度的分解。
Surfacelet變換自適應(yīng)閾值分3步確定:
1)對(duì)變換后不同尺度的噪聲標(biāo)準(zhǔn)差依次進(jìn)行估計(jì)。
首先,本文用中值估計(jì)法對(duì)第一層分解的噪聲標(biāo)準(zhǔn)差進(jìn)行估計(jì)計(jì)算[4-6]:
其中w(m,n,k)是第一層分解的高頻系數(shù),最精細(xì)尺度高頻子帶中,噪聲最大,根據(jù)這一層估計(jì)噪聲標(biāo)準(zhǔn)差是相對(duì)精確的。
其次,噪聲標(biāo)準(zhǔn)差在不同尺度上沿分解層數(shù)近似為指數(shù)分布[7],而同一尺度內(nèi)不同分解方向的噪聲標(biāo)準(zhǔn)差基本不變,由此得到各尺度的噪聲標(biāo)準(zhǔn)差估計(jì),第層的噪聲標(biāo)準(zhǔn)差:
圖2 Surfacelet變換結(jié)構(gòu)圖Fig.2 Surfacelet transform structure
2)根據(jù)不同尺度的噪聲標(biāo)準(zhǔn)差設(shè)置不同尺度的初始閾值。
閾值選取時(shí),對(duì)各尺度的噪聲先估計(jì)一個(gè)初始閾值,第層的初始閾值:
其中MNP為第層Surfacelet變換系數(shù)所在方向子帶的維數(shù)大小,σl為第層的噪聲標(biāo)準(zhǔn)差。
3)根據(jù)相同尺度內(nèi)系數(shù)的領(lǐng)域相關(guān)性對(duì)初始閾值λl進(jìn)行自適應(yīng)調(diào)整。
Surfacelet變換屬于去相關(guān)變換,但是視頻信號(hào)經(jīng)過該變換后的系數(shù)并非獨(dú)立的,分解的系數(shù)在相同尺度和相同方向子帶鄰域內(nèi)有著比較強(qiáng)的相關(guān)性。在這理論基礎(chǔ)上,對(duì)Surfacelet變換系數(shù)的閾值自適應(yīng)地調(diào)整。接下來就閾值的調(diào)整進(jìn)行介紹。
假設(shè) ci,j,k為 Surfacelet變換后的一個(gè)高頻系數(shù) ,Ai,j,k是 以高頻系數(shù) ci,j,k為中心的一個(gè) n×n×n 的鄰域窗口,n 的數(shù)值一般選定為 3、5、7、9 等。 令 s2i,j,k為該三維 鄰 域 窗 口 內(nèi) 變 換得 到的系數(shù)平方和,即
其中,
此處, 利用調(diào)整因子 μi,j,k來自適應(yīng)地調(diào)整 Surfacelet系數(shù)閾值。每個(gè)高頻系數(shù) ci,j,k,通過閾值調(diào)整后其自適應(yīng)閾值表示為:
本文算法采用軟閾值函數(shù)對(duì)變換系數(shù)進(jìn)行閾值處理,閾值公式為:
基于Surfacelet變換的視頻自適應(yīng)去噪算法充分利用了表面波變換域內(nèi)系數(shù)的鄰域間的相關(guān)性,并克服了Surfacelet閾值去噪算法通常只單獨(dú)考慮Surfacelet系數(shù)的不足,自適應(yīng)地調(diào)整每個(gè)Surfacelet系數(shù)的閾值。算法步驟如下:
1)對(duì)帶噪視頻圖像進(jìn)行Surfacelet變換。
2)設(shè)定第一層噪聲標(biāo)準(zhǔn)差 σ1=Median|(w(m,n,k))|/0.6745,然后根據(jù)不同尺度的噪聲標(biāo)準(zhǔn)差沿分解層次近似為指數(shù)分布,得到不同尺度的噪聲標(biāo)準(zhǔn)差 σl=σ1×e1-l1,2。
4)根據(jù)調(diào)整因子,對(duì)各尺度內(nèi)系數(shù)的初始閾值進(jìn)行調(diào)整,計(jì)算出各尺度各方向子帶系數(shù)的自適應(yīng)閾值。
5)利用得到的各個(gè)系數(shù)自適應(yīng)閾值,對(duì)各個(gè)子帶系數(shù)進(jìn)行軟閾值收縮處理。
6)對(duì)Surfacelet變換系數(shù)軟閾值收縮處理后作Surfacelet逆變換,得到去噪后的視頻。
本節(jié)將本文算法和其他一些現(xiàn)有的視頻去噪算法進(jìn)行對(duì)比,用數(shù)據(jù)評(píng)價(jià)標(biāo)準(zhǔn)和視頻直觀效果來展示本文算法的優(yōu)越性。
當(dāng)需要對(duì)去噪方法的降噪性能進(jìn)行定量評(píng)價(jià)時(shí),本文采用峰值信噪比(PSNR)來度量,其值越大對(duì)應(yīng)的去噪后視頻質(zhì)量也就越好。
PSNR的定義式為:
其中N是單幀視頻圖像像素?cái)?shù),MSE是單幀視頻圖像的均方差:
其中fl是重建后各像素的灰度值,f為原圖像各像素的灰度值。
實(shí)驗(yàn)條件:實(shí)驗(yàn)使用了圖3所示的視頻,大小為的Mobile視頻。仿真環(huán)境是在Matlab下實(shí)現(xiàn)的。
實(shí)驗(yàn)內(nèi)容:在上述實(shí)驗(yàn)條件下,針對(duì)圖3所示的Mobile視頻序列,將Visualshrinkage方法(Visual-SH)、硬閾值去噪方法和本文提出的自適應(yīng)閾值去噪方法分別應(yīng)用到Surfacelet變換域中進(jìn)行視頻去噪,用本文的自適應(yīng)去噪方法和上述的兩種方法進(jìn)行對(duì)比。
圖3 Mobile視頻序列Fig.3 Mobilevideosequence
對(duì)去噪算法的去噪性能在3.1已表明采用PSNR值來作客觀評(píng)價(jià),視頻是由圖像序列一幀幀構(gòu)成的,而PSNR值主要體現(xiàn)了圖像的質(zhì)量,因此本文采用去噪后視頻的各幀圖像PSNR的均值(AveragePSNR)作為客觀評(píng)價(jià)指標(biāo),。對(duì)Mobile測試視頻分別加入零均值,標(biāo)準(zhǔn)差為20、30、40的高斯白噪聲,去噪方法使用3.2實(shí)驗(yàn)內(nèi)容中提到3種視頻去噪的方法,對(duì)比的實(shí)驗(yàn)結(jié)果如表1所示。
表1 3種去噪方法的AveragePSNR值比較Tab.1 TheresultsAveragePSNRofthethreedenoisingmethods
從表1可知,視頻序列在受到不同等級(jí)程度高斯噪聲影響下,與其他兩種方法相比,本文算法得到的去噪后的視頻圖像的AveragePSNR都有了一定的提高。對(duì)于Mobile視頻序列,本文算法得到的平均PSNR值提高了0.5dB到1.3dB。此外,從表中可以看出,視頻受到噪聲污染程度越低,本文的自適應(yīng)去噪算法相比其他的視頻去噪算法的效果提高得越明顯。
圖4給出了經(jīng)本文提出的自適應(yīng)閾值去噪方法及其他兩種去噪方法對(duì)Mobile視頻序列去噪后的視覺效果圖像。圖像的選取均是視頻Mobile序列中的第182幀,所加的高斯噪聲的標(biāo)準(zhǔn)差為30。其中,圖4(a)為原始Mobile視頻圖像,圖4(b)為加了標(biāo)準(zhǔn)差為 30噪聲的視頻圖像,圖4(c)為利用 Visual-SH方法去噪得到的視頻圖像,圖 4(d)為采用硬閾值方法去噪得到的視頻圖像,圖4(e)為運(yùn)用本文提出的基于Surfacelet變換自適應(yīng)閾值去噪算法去噪后的視頻圖像。
從圖4(c)中可以看出,通過Visual-SH方法去噪的圖像由于去除力度過大出現(xiàn)了明顯的邊緣模糊現(xiàn)象;從圖4(d)中可以看出,通過ST-方法去噪后的圖像由于去除力度不夠出現(xiàn)有振鈴現(xiàn)象,在視頻圖像中還殘有較多的噪聲;圖4(e)給出了本文算法的去噪效果圖像,可以看出,該算法由于自適應(yīng)調(diào)整了Surfacelet變換后的各個(gè)系數(shù),很好的保留視頻圖像的細(xì)節(jié)信息和邊緣,有效的去除了視頻中的含有噪聲,該算法的去噪效果相比其他去噪算法更加突出。
圖4 Mobile視頻的去噪處理結(jié)果圖Fig.4 The results of the denoising methodsfor mobile video
本文提出了一種基于Surfacelet變換的視頻自適應(yīng)閾值去噪算法。根據(jù)Surfacelet變換的視頻信號(hào)的系數(shù)特性和噪聲分布特征,經(jīng)過Matlab仿真實(shí)驗(yàn)推導(dǎo)得到Surfacelet變換視頻自適應(yīng)去噪方法,充分考慮了Surfaclet變換域內(nèi)系數(shù)的鄰域相關(guān)性,對(duì)每個(gè)系數(shù)進(jìn)行自適應(yīng)收縮調(diào)整。本文的算法可以在濾除噪聲的同時(shí)保持圖像的細(xì)節(jié)信息。因此,相比其它現(xiàn)有的去噪方法,本文的算法可以很好地濾除視頻中噪聲同時(shí)有效地保持了圖像的紋理細(xì)節(jié)和邊緣信息,不僅在客觀評(píng)價(jià)指標(biāo)上有了顯著的提高,該算法在視頻的主觀視覺效果上也有了很好的改善。
[1]DO M N,Vetterli M.Thecontourlet transform:an efficient directional multiresolution image representation[J].IEEE Transaction on Image Processing,2005,14(12):2091-2106.
[2]Yue Lu,Do M N.3-D directional filter banks and surfacelets[C].Invited Paper,Proc.of SPIE conference on Wavelet Applications in Signal and Image Processing XI,San Diego,USA,2005.
[3]Yue Lu,Do M N.Multi-dimensional directional filterbanks and surfacelets[J].IEEE Trans.Image Processing.,2007,16(4):918-931.
[4]Bamberger R H,Smith M JT.A filter bank for the directional decomposition of images:Theory and design[J].IEEE Trans.Signal Process,1992,40(4):882-893.
[5]閆敬文,屈小波.超小波分析及應(yīng)用[M].北京:國防工業(yè)出版社,2008.
[6]Chang SG,Yu B,Vetterli M.Adaptive wavelet threshold for imagedenoising and compression [J].IEEE Trans.Image Process,2000,9(9):1532-1546.
[7]Yuan X H,Bucklles B P.Subband noise estimation for adaptive waveletshrinkage[C]//ICPR,Proceeding of the17th Internationa]Conference on PatternRecognition,2004.