用于電視系統(tǒng)的視頻噪聲檢測(cè)的優(yōu)化算法設(shè)計(jì)

方宏俊 ，宋 利 ，解 蓉

（1.美芯盟電子科技（上海）有限公司，上海 200233；2.上海交通大學(xué) 圖像通信與網(wǎng)絡(luò)傳輸研究所，上海 200240；3.未來(lái)媒體網(wǎng)絡(luò)協(xié)同創(chuàng)新中心，上海 200240）

目前，在數(shù)字電視的視頻圖像后處理中，噪聲會(huì)對(duì)視頻圖像的畫質(zhì)造成顯著的負(fù)面影響。因此，對(duì)于包含噪聲的視頻圖像，需要設(shè)計(jì)出一種可以用于電視機(jī)的準(zhǔn)確可靠的噪聲檢測(cè)方法，用以判定該視頻圖像中高斯白噪聲的水平。在當(dāng)前市面上的高端數(shù)字電視接收機(jī)系統(tǒng)中，許多數(shù)字圖像后處理的算法模塊（例如降噪模塊、運(yùn)動(dòng)估計(jì)模塊、圖像超分辨率模塊等）都依賴于一個(gè)準(zhǔn)確并且可靠的噪聲水平指標(biāo)來(lái)進(jìn)行相關(guān)處理。一旦視頻圖像的噪聲水平被噪聲檢測(cè)模塊準(zhǔn)確得到之后，其他相應(yīng)的圖像后處理模塊就可以依據(jù)該視頻圖像中的噪聲水平對(duì)畫質(zhì)進(jìn)行相應(yīng)的提升[1]。

視頻圖像的噪聲檢測(cè)通常包含兩種主流方法，一種是基于圖像內(nèi)部的噪聲檢測(cè)，也就是空間域的噪聲估計(jì)方法，另一種是基于兩幀或連續(xù)的多幀視頻圖像畫面進(jìn)行噪聲檢測(cè)，也就是時(shí)域上的噪聲估計(jì)方法。時(shí)域噪聲估計(jì)的方法在電視系統(tǒng)中的應(yīng)用需要占用更多的物理內(nèi)存以及消耗更多的運(yùn)算量。對(duì)于實(shí)時(shí)性要求很高的應(yīng)用場(chǎng)合，時(shí)域噪聲估計(jì)的方法需要特別注意圖像的全局運(yùn)動(dòng)量以及電影下拉碼流的準(zhǔn)確相位信息等。空間域噪聲估計(jì)的方法可以被定義為兩類，一類是基于平滑的空間域噪聲估計(jì)方法，另一類是基于宏塊的噪聲估計(jì)方法。在基于平滑的噪聲估計(jì)方法中，首先對(duì)畫面做一次平滑處理（例如使用均值濾波器的方法），假使原始的有噪聲的圖像和做過(guò)平滑濾波的圖像之間的差值被認(rèn)為是噪聲備選因子，然后把這些篩選出的噪聲因子與一個(gè)給定的閾值做比較，小于這個(gè)閾值的像素被認(rèn)為是噪聲。在基于宏塊的噪聲估計(jì)方法中，一個(gè)常見的空間域噪聲估計(jì)的方法是計(jì)算一組圖像宏塊的方差（類似于圖像的同質(zhì)化測(cè)量），并且取其中的最小宏塊方差的均值作為整幅圖像噪聲方差的估計(jì)結(jié)果[2]。但是這種空間域基于方差的測(cè)量方法往往會(huì)對(duì)低噪聲的圖像產(chǎn)生過(guò)高的估計(jì)，或者對(duì)于高噪聲的圖像和高紋理的圖像給出過(guò)低的噪聲檢測(cè)結(jié)果。因此，這種通過(guò)方差來(lái)檢測(cè)的方法更多地被用來(lái)檢測(cè)同質(zhì)化的宏塊。

文獻(xiàn)[3]給出了一種基于空間域的動(dòng)態(tài)噪聲檢測(cè)的方法，通過(guò)計(jì)算整幅畫面的均值和方差，并且將其結(jié)果通過(guò)直方圖統(tǒng)計(jì)的方式表現(xiàn)出來(lái)，從而根據(jù)直方圖分布特性定義出噪聲的水平。在文獻(xiàn)[4]中，重點(diǎn)闡述了一種空間域檢測(cè)和時(shí)域檢測(cè)組合的三維噪聲濾波器的方法，它可以被電視接收機(jī)用來(lái)提升其噪聲估計(jì)電路的效率。最近，還有一種新型的基于雙邊濾波器的方法被提出[5]，其主要包含了特征值保護(hù)的雙邊濾波器，以及物體的邊沿檢測(cè)兩塊主要的算法。在較寬的噪聲范圍條件下，這種方法可以展示出較好的魯棒性。

對(duì)于噪聲檢測(cè)方法的評(píng)價(jià)指標(biāo)[2]，通常來(lái)說(shuō)，噪聲檢測(cè)的方法對(duì)于高噪聲的圖像和一些紋理較多的圖像都比較困難。一些方法中使用設(shè)定的閾值來(lái)決定當(dāng)前點(diǎn)的差異是否是圖像中某個(gè)固定位置的邊沿。然而，在實(shí)時(shí)性要求較高的系統(tǒng)設(shè)計(jì)中，同時(shí)兼顧效率和精確度的情況下，目前還沒有找到一個(gè)好的方法來(lái)分辨各種噪聲水平和圖像細(xì)節(jié)。

本文介紹了一種用于電視機(jī)中的基于空間域和時(shí)域檢測(cè)相組合的噪聲檢測(cè)新方法，該方法在平坦的或運(yùn)動(dòng)紋理較多的區(qū)域都能給出可靠的噪聲估計(jì)結(jié)果。

經(jīng)過(guò)仿真驗(yàn)證，對(duì)于典型的圖像質(zhì)量而言（信噪比在20～50 dB范圍之間），該新算法在電視機(jī)系統(tǒng)中表現(xiàn)出較好的穩(wěn)定性和實(shí)用性。

1 視頻噪聲檢測(cè)算法設(shè)計(jì)

本節(jié)介紹了一種用于電視機(jī)的基于空間域和時(shí)域檢測(cè)相組合的噪聲檢測(cè)優(yōu)化算法設(shè)計(jì)。該方法通過(guò)兩種圖像結(jié)構(gòu)的分析器來(lái)提取出一幅畫面中亮度同質(zhì)的區(qū)域來(lái)進(jìn)行檢測(cè)。這兩種分析器為：紋理分析器，基于邊沿檢測(cè)的方法來(lái)提取圖像中紋理區(qū)域；同質(zhì)分析器，通過(guò)對(duì)圖像中噪聲和細(xì)節(jié)的差別給出相應(yīng)的權(quán)重來(lái)找出同質(zhì)的部分。噪聲檢測(cè)算法框圖如圖1所示。

圖1 視頻噪聲檢測(cè)算法架構(gòu)圖

1.1 空間域噪聲檢測(cè)器

本算法中對(duì)于空間域噪聲檢測(cè)的方法選用了一種常用的方法，即通過(guò)一組帶通濾波器來(lái)計(jì)算整個(gè)圖像中宏塊的方差。選取宏塊的尺寸為8×8像素塊，并且滑動(dòng)過(guò)每一個(gè)像素點(diǎn)。在選取最小的宏塊方差被認(rèn)為是整幅圖像的噪聲結(jié)果時(shí)，本方法選用中值濾波的方法，而不是均值濾波的方法。其目的是如果一個(gè)濾波結(jié)果相比于其他結(jié)果超出了設(shè)定的范圍，那么這個(gè)值不會(huì)對(duì)最終的噪聲檢測(cè)造成負(fù)面影響。在數(shù)字電視圖像后處理中，往往存在被前端播放器或信號(hào)源預(yù)先放大處理過(guò)的偽高清信號(hào)（up_scaled SD signal），因此，為了區(qū)分真實(shí)的高清信號(hào)和已經(jīng)被放大成高清信號(hào)的偽高清信號(hào)，空間域噪聲檢測(cè)模塊需要預(yù)先對(duì)圖像清晰度進(jìn)行檢測(cè)[6]，從而決定空間域噪聲檢測(cè)器的工作模式。

1.2 時(shí)域噪聲檢測(cè)器

對(duì)于實(shí)時(shí)性要求很高的視頻流時(shí)域噪聲檢測(cè)器，需要在連續(xù)的圖像中檢測(cè)出時(shí)域上的差異。同時(shí)，對(duì)于電影等片源，為了精確輸入圖像之間的檢測(cè)差異，電影下拉格式的檢測(cè)需要先于時(shí)域噪聲檢測(cè)模塊完成。與空間域噪聲檢測(cè)器類似的是，時(shí)域噪聲檢測(cè)器也是基于8×8像素的宏塊對(duì)時(shí)域（幀或場(chǎng)之間）的噪聲方差進(jìn)行平均處理。

1.3 對(duì)數(shù)化轉(zhuǎn)換

本文所述的噪聲檢測(cè)方法中，測(cè)得的噪聲等級(jí)使用對(duì)數(shù)化坐標(biāo)，而不采用線性坐標(biāo)。該方法與其他常見的噪聲等級(jí)檢測(cè)的表述方法[5]不同。其優(yōu)點(diǎn)是采用對(duì)數(shù)化坐標(biāo)的噪聲分布直方圖形狀，相對(duì)于不同的噪聲水平保持一致，如圖2所示。圖2a是噪聲信噪比SNR分別為45 dB和20 dB的線性坐標(biāo)分布，圖中高階噪聲等級(jí)（20 dB）的直方圖分布形狀不如低階噪聲等級(jí)（45 dB）緊湊。而在圖2b中，對(duì)同樣兩組噪聲使用對(duì)數(shù)坐標(biāo)分布，圖中這兩組噪聲的直方圖分布形狀是一樣緊湊的。

圖2 噪聲用對(duì)數(shù)化尺度表示的作用（截圖）

1.4 同質(zhì)化分析

同質(zhì)化分析是提取圖像中的價(jià)值權(quán)重部分進(jìn)行分析計(jì)算。價(jià)值權(quán)重模塊計(jì)算的是一個(gè)非線性的權(quán)重，其降低了噪聲檢測(cè)結(jié)果中較高的值，即

式中：p是功率因子，它定義的是權(quán)重函數(shù)的曲度；s是速度因子，它定義的是權(quán)重函數(shù)到達(dá)其最小值的速度。x的定義為

式中：vwoffset指的是價(jià)值權(quán)重，它定義了噪聲分布直方圖中價(jià)值權(quán)重開始下降的位置。如圖3所示，在估計(jì)的噪聲結(jié)果上，“價(jià)值權(quán)重”的作用是減少了由于圖像細(xì)節(jié)而產(chǎn)生的錯(cuò)誤高噪聲結(jié)果的影響。

圖3a中，一幅運(yùn)動(dòng)圖像中人為加入了55 dB的噪聲。

圖3b中，給出了檢測(cè)到的同質(zhì)化區(qū)域（用深色表示），它是空間域、時(shí)域復(fù)合模式噪聲檢測(cè)的結(jié)果。圖中白色區(qū)域?yàn)樵肼暀z測(cè)結(jié)果認(rèn)為高噪聲的區(qū)域，黑色區(qū)域?yàn)樵肼曒^少的區(qū)域。在這幅圖中，運(yùn)動(dòng)的細(xì)節(jié)區(qū)域，例如樹枝和垂直的大樓建筑物等結(jié)構(gòu)都在噪聲譜線上產(chǎn)生了很高的響應(yīng)（圖中亮區(qū)域）。而實(shí)際測(cè)量中，理想狀況下應(yīng)該測(cè)量沒有過(guò)多細(xì)節(jié)的平坦圖像區(qū)域，例如圖中的天空等。

圖3c中，其中直方圖上的點(diǎn)表示的是計(jì)算出的噪聲響應(yīng)分布。直方圖上左側(cè)的尖峰指示的是實(shí)際的噪聲，而右邊的尖峰是由于運(yùn)動(dòng)細(xì)節(jié)導(dǎo)致的。價(jià)值權(quán)重在圖中的左半邊有一個(gè)很大的值，并且往右半邊是逐漸下降的。其目的是基于這個(gè)曲線來(lái)減小右半邊由圖像運(yùn)動(dòng)細(xì)節(jié)導(dǎo)致的噪聲結(jié)果過(guò)高的影響。在最終的噪聲估計(jì)上，由價(jià)值權(quán)重的偏置量來(lái)指示價(jià)值權(quán)重從哪個(gè)位置開始下降。如果不引入“價(jià)值權(quán)重”的變量，那么噪聲估計(jì)的結(jié)果可能會(huì)很接近直方圖最右側(cè)的峰值。

圖3 同質(zhì)化分析舉例示意圖

1.5 紋理分析

相比于一些面向結(jié)構(gòu)的噪聲估計(jì)方法[1]，在圖像紋理細(xì)節(jié)區(qū)域的噪聲相對(duì)較難進(jìn)行檢測(cè)。很強(qiáng)的邊沿或者細(xì)節(jié)會(huì)導(dǎo)致在純空間域噪聲檢測(cè)中的錯(cuò)誤高響應(yīng)（如圖4所示），并且如果沒有采取特別的測(cè)量手段，則會(huì)因此導(dǎo)致過(guò)高的噪聲估計(jì)水平。同樣的，在時(shí)域噪聲檢測(cè)中，很強(qiáng)的運(yùn)動(dòng)細(xì)節(jié)也會(huì)導(dǎo)致錯(cuò)誤的高響應(yīng)，產(chǎn)生錯(cuò)誤的過(guò)高估計(jì)噪聲水平的作用。圖4a是輸入的動(dòng)態(tài)變化的多波群圖像，圖4b為對(duì)數(shù)化的噪聲計(jì)算結(jié)果。只有在對(duì)數(shù)化噪聲頻譜的水平中間部分才代表的是噪聲區(qū)域。左邊和右邊的亮區(qū)域均是由于多波群圖片的強(qiáng)垂直邊沿結(jié)構(gòu)導(dǎo)致的。

為了避免這類噪聲過(guò)高估計(jì)的情形發(fā)生，采用“紋理權(quán)重”來(lái)緩解強(qiáng)邊沿或者細(xì)節(jié)的影響，在噪聲估計(jì)上是壓制了圖像細(xì)節(jié)對(duì)估計(jì)結(jié)果的影響。

紋理權(quán)重分析模塊首先計(jì)算出一個(gè)初始的紋理權(quán)重值wt_initial，它是基于4組空間域?yàn)V波器的輸出結(jié)果運(yùn)算得出的，公式表達(dá)如下

圖4 強(qiáng)垂直邊沿在空間域噪聲檢測(cè)上產(chǎn)生的響應(yīng)頻譜

式中：wt_max是一個(gè)常數(shù)，sf1，…，sf4是濾波器組的輸出。

一個(gè)信號(hào)紋理權(quán)重（wt_initial）的初始值，在其結(jié)果上采用一個(gè)2×3的最小濾波器，計(jì)算出一個(gè)最終的紋理權(quán)重wt。其僅僅使用當(dāng)前宏塊的正上方和正左方的宏塊，加以2×3的最小濾波器去腐蝕初始紋理權(quán)重值，其目的是對(duì)于很強(qiáng)的垂直邊沿之類的紋理區(qū)域限制其在最終的噪聲檢測(cè)過(guò)程中的貢獻(xiàn)，如圖5所示。

圖5 紋理權(quán)重用以減輕強(qiáng)垂直邊沿的影響

1.6 噪聲計(jì)算

最后計(jì)算得出的結(jié)果信噪比SNR是由式（4）計(jì)算得到的結(jié)果經(jīng)過(guò)對(duì)數(shù)轉(zhuǎn)換和權(quán)重平均得出的。這個(gè)權(quán)重平均強(qiáng)調(diào)的是那些具有更低噪聲宏塊的貢獻(xiàn)度，所謂的更低噪聲指的是當(dāng)圖像中同時(shí)包含高噪聲和低噪聲的區(qū)域時(shí)，更看重低噪聲區(qū)域的貢獻(xiàn)度。實(shí)驗(yàn)結(jié)論也顯示低噪聲區(qū)域往往更接近于實(shí)際的噪聲水平，而高噪聲區(qū)域往往受到運(yùn)動(dòng)細(xì)節(jié)結(jié)構(gòu)因素的干擾。式（4）中的噪聲分子（noise_num）和噪聲分母（noise_denom）在算法框圖中的位置如圖1所示。

其中

而且，權(quán)重值w是由價(jià)值權(quán)重wv和紋理權(quán)重wt按照式（7）計(jì)算得出

式中：wmin是一個(gè)常數(shù)，它定義了最小權(quán)重下限。

有效宏塊的總數(shù)是由硬件模塊計(jì)算得出，標(biāo)記為valid_total，這個(gè)數(shù)值在“空間域時(shí)域復(fù)合模式”中軟件模塊將其作為“非靜止宏塊”的尺寸，而當(dāng)噪聲測(cè)量模式選擇“純時(shí)域”模式時(shí)，該數(shù)值將作為“靜止宏塊”的尺寸still_size。為此，軟件模塊還進(jìn)一步計(jì)算出靜止比率Rstillness來(lái)反映靜止區(qū)域的大小still_size和非靜止區(qū)域的大小nonStill_size的關(guān)系，具體公式如下

式中：函數(shù)Fstillness是由一個(gè)中值濾波和一個(gè)時(shí)域?yàn)V波器來(lái)得到，其作用是提高結(jié)果的穩(wěn)定性。

最終的信噪比水平SNRfinal是在SNRSP和SNRS＆T中進(jìn)行一個(gè)軟判決，其判決方法是根據(jù)靜止比率Rstillness來(lái)分配，如式（9）所示

盡管已經(jīng)考慮了如“價(jià)值權(quán)重”、“紋理權(quán)重”等很多方面，以及采用了空間域和時(shí)域相結(jié)合的測(cè)量方法，然而仍然還存在一些情況下計(jì)算出的噪聲結(jié)果與實(shí)際的噪聲水平有些偏差。尤其是在一些具有大面積細(xì)節(jié)內(nèi)容的運(yùn)動(dòng)場(chǎng)景中。因此，在測(cè)量算法中計(jì)算出一個(gè)可信度指標(biāo)來(lái)表征當(dāng)前噪聲結(jié)果的可靠程度，例如運(yùn)用于這種大面積細(xì)節(jié)的運(yùn)動(dòng)場(chǎng)景時(shí)，其可靠程度值就會(huì)下降。

可信度指標(biāo)是根據(jù)紋理權(quán)重的平均紋理宏塊總數(shù)txtW_total，計(jì)算出一個(gè)初始的可信度Conf值，公式如下

對(duì)于純時(shí)域測(cè)量模式的可信度結(jié)果用ConfSP來(lái)標(biāo)記，同樣，對(duì)于時(shí)域空間域復(fù)合模式的測(cè)量可信度用ConfS＆T來(lái)標(biāo)記。最終的可信度測(cè)量結(jié)果ConfS＆T是通過(guò)取這兩者的最大值來(lái)得到，然后對(duì)其使用一個(gè)中值濾波Fconf來(lái)增強(qiáng)其穩(wěn)定性，如

2 實(shí)驗(yàn)結(jié)果與分析

在如圖4所示的動(dòng)態(tài)多波群視頻碼流中人為添加20～55 dB不同等級(jí)的噪聲，軟件仿真結(jié)果和硬件實(shí)測(cè)結(jié)果的數(shù)據(jù)對(duì)比如表1所示。

表1 噪聲檢測(cè)實(shí)驗(yàn)數(shù)據(jù)

真實(shí)噪聲水平、硬件和軟件仿真三者的對(duì)比結(jié)果如圖6所示，該噪聲檢測(cè)算法的實(shí)際測(cè)量結(jié)果與真實(shí)的噪聲水平在20～50 dB區(qū)間內(nèi)完全吻合。

圖6 噪聲檢測(cè)實(shí)驗(yàn)結(jié)果對(duì)比

3 總結(jié)

本文介紹了一種基于時(shí)域和空間域的噪聲檢測(cè)算法，在算法的仿真設(shè)計(jì)過(guò)程和實(shí)際電視芯片應(yīng)用中，根據(jù)各種場(chǎng)景的特質(zhì)做了大量的動(dòng)態(tài)參數(shù)設(shè)計(jì)優(yōu)化?；诩y理分析器和同質(zhì)分析器的運(yùn)算，在平坦的或者運(yùn)動(dòng)的紋理較多的區(qū)域都能給出一個(gè)可靠的噪聲估計(jì)結(jié)果。從實(shí)際噪聲檢測(cè)的效果來(lái)看，相比較于僅通過(guò)時(shí)域檢測(cè)或僅通過(guò)空間域檢測(cè)的算法[7-8]，這種方法具備更高的可靠性、準(zhǔn)確度和實(shí)時(shí)性。

在芯片硬件設(shè)計(jì)實(shí)現(xiàn)中，通過(guò)采用軟件動(dòng)態(tài)切換時(shí)域和空間域的工作模式，以及采用硬件實(shí)時(shí)提供運(yùn)算結(jié)果的方法保證了在電視系統(tǒng)中進(jìn)行噪聲檢測(cè)的可實(shí)現(xiàn)性和易使用性，為數(shù)字電視圖像后處理模塊，尤其是數(shù)字降噪模塊，提供了及時(shí)準(zhǔn)確的參考依據(jù)。

[1] AMER A，DUBOIS E.Fast and reliable structure-oriented video noise estimation[J].IEEE Trans.Circuits and Systems for Video Technology，2005，15（1）：113-118.

[2] OLSEN S I.Estimation of noise in images:an evaluation[J].CVGIP：Graphical Model and Image Processing，1993，55（4）：319-323.

[3]BIDARTE U，EZQUERRA J A，ZULOAGA A，et al.VHDL modeling of an adaptive architecture for real-time image enhancement[C]//Proc.VHDL International Users Forum(VIUF).Orlando，F(xiàn)L，USA：IEEE Press，1999：94-100.

[4]HAAN G，OJO O A，KWAAITAAL-SPASSOVA T G.Automatic 2D and 3D noise filtering for high-quality television receivers[EB/OL].[2015-02-10].http://xueshu.baidu.com/s?ie=utf-8＆tn=SE_bai duxueshu_c1gjeupa＆wd=paperuri%3A%28c4f9c6500410d01b5b9 262ef70528ad7%29＆filter=sc_long_sign＆sc_ks_para=q%3DAuto matic%202-D%20and%203-D%20noise%20filtering%20for%20hi gh-quality%20television%20receivers.

[5] LIU C，F(xiàn)REEMAN W T，szeliski R，et al.Noise estimation from a single image[C]//Proc.IEEE Conference on Computer Vision and Pattern Recognition（CVPR），2006.[S.l.]：IEEE Press：901-908.

[6] 趙杰，裴建英，門國(guó)尊．一種改進(jìn)的圖像去噪與增強(qiáng)模型[J].電視技術(shù)，2013，37（23）：31-34．

[7] 章郡鋒，吳曉紅，黃曉強(qiáng)，等．基于暗原色先驗(yàn)去霧的改進(jìn)算法[J]．電視技術(shù)，2013，37（23）：192-195.