黃異嶸 李汶隆 劉川杰
摘 ?要:該文針對(duì)傳統(tǒng)視頻圖像去噪算法因閾值不準(zhǔn)確導(dǎo)致偽影等時(shí)域模糊問(wèn)題,提出了一種基于雙流網(wǎng)絡(luò)的視頻圖像去噪算法。該算法統(tǒng)籌考慮視頻圖像在時(shí)間通道與空間通道的關(guān)系屬性,通過(guò)效仿人體視覺(jué)過(guò)程,對(duì)視頻幀序列中的時(shí)序信息與空間信息進(jìn)行內(nèi)容理解,以幀間圖像絕對(duì)誤差均值MAD的方差來(lái)表征視頻序列在時(shí)空網(wǎng)絡(luò)中的動(dòng)靜屬性,并由此計(jì)算出動(dòng)態(tài)可變的去噪閾值,使采用的時(shí)空維度去噪算法更科學(xué)、更精準(zhǔn)。
關(guān)鍵詞:視頻圖像;閾值;雙流網(wǎng)絡(luò);去噪算法;方差
中圖分類(lèi)號(hào):TP391 ? ? ? ? ? ? 文獻(xiàn)標(biāo)志碼:A
0 引言
近年來(lái),隨著神經(jīng)網(wǎng)絡(luò)的迅速發(fā)展,對(duì)計(jì)算機(jī)視覺(jué)的研究也越來(lái)越深入,并且在視頻圖像數(shù)據(jù)處理方面,二者已緊密結(jié)合起來(lái),便于機(jī)器更好地理解圖像,基于圖像內(nèi)容理解的視頻圖像處理技術(shù)正得到廣泛應(yīng)用。
圖像在形成、傳輸、接收和處理過(guò)程中容易受到外界干擾,產(chǎn)生一些脈沖噪聲,從而在圖像中產(chǎn)生椒鹽噪聲,這會(huì)進(jìn)一步影響圖像分割、特征提取等后期圖像的應(yīng)用效果[2]。因此,提高信噪比是圖像處理的重要任務(wù)之一。
1 技術(shù)現(xiàn)狀
目前,傳統(tǒng)的視頻圖像去噪方法主要分為空域?yàn)V波、時(shí)域?yàn)V波和時(shí)空結(jié)合濾波3種??沼?yàn)V波常采用對(duì)相鄰像素點(diǎn)進(jìn)行加權(quán)平均的方式濾波,所以空域?yàn)V波去除噪聲的效果較差,并且會(huì)犧牲圖像高頻細(xì)節(jié)部分,使圖像產(chǎn)生失真。時(shí)域?yàn)V波由于考慮了視頻圖像在時(shí)間上的相關(guān)性,采用IIR濾波算法進(jìn)行幀間圖像的加權(quán)處理,圖像序列越相似,相關(guān)性越強(qiáng),去噪效果越好。但對(duì)于時(shí)空網(wǎng)絡(luò)維度的運(yùn)動(dòng)圖像,運(yùn)動(dòng)目標(biāo)會(huì)產(chǎn)生偽影等時(shí)域模糊現(xiàn)象[1]。時(shí)空結(jié)合濾波采用對(duì)視頻圖像中靜止部分進(jìn)行時(shí)域?yàn)V波,對(duì)運(yùn)動(dòng)部分圖像進(jìn)行空域?yàn)V波的方式,有效地解決了空域?yàn)V波去除噪聲較差和時(shí)域?yàn)V波運(yùn)動(dòng)目標(biāo)會(huì)產(chǎn)生偽影等時(shí)域模糊問(wèn)題[4]。
現(xiàn)有的時(shí)空濾波方法通常采用預(yù)測(cè)閾值法[6]來(lái)判斷圖像中的運(yùn)動(dòng)與靜止部分,當(dāng)幀間像素塊差值大于該閾值時(shí),該區(qū)域像素為運(yùn)動(dòng)塊,對(duì)該塊進(jìn)行空域?yàn)V波。當(dāng)小于該閾值時(shí),判斷該區(qū)域像素為靜止塊,對(duì)該塊進(jìn)行時(shí)域?yàn)V波。但現(xiàn)有方式存在2個(gè)問(wèn)題。1)在圖像靜止區(qū)域,當(dāng)噪聲較大時(shí),幀間像素塊差值仍然比較大,因此就會(huì)將該塊誤判為運(yùn)動(dòng)塊而進(jìn)行空域?yàn)V波。2)在視頻圖像運(yùn)動(dòng)區(qū)域,如果閾值選擇比較大,會(huì)將該塊判斷為靜止塊進(jìn)行時(shí)域?yàn)V波,從而導(dǎo)致圖像時(shí)域模糊。
針對(duì)傳統(tǒng)方法存在的各種問(wèn)題,該文重新設(shè)計(jì)一種基于雙流網(wǎng)絡(luò)[3]的視頻圖像去噪算法,統(tǒng)籌考慮視頻圖像在時(shí)空網(wǎng)絡(luò)之間的關(guān)系屬性,通過(guò)效仿人體視覺(jué)過(guò)程,對(duì)視頻幀序列中的時(shí)序信息與空間信息進(jìn)行內(nèi)容理解[5],以幀間圖像絕對(duì)誤差均值MAD的方差來(lái)表征視頻序列在時(shí)空網(wǎng)絡(luò)中的動(dòng)靜屬性,由此計(jì)算出動(dòng)態(tài)可變的去噪閾值,再使用基于時(shí)空維度的去噪手段。實(shí)驗(yàn)證明,該文所設(shè)計(jì)的基于雙流網(wǎng)絡(luò)的視頻圖像去噪算法,可以適配復(fù)雜多變的視頻場(chǎng)景,去噪后的圖像失真度更小,圖像更清晰。
2 雙流網(wǎng)絡(luò)視頻圖像去噪算法
2.1 基本思想
為了克服現(xiàn)有技術(shù)上的缺點(diǎn),該文提出了一種以雙流網(wǎng)絡(luò)為基礎(chǔ)思想的視頻圖像去噪算法。通過(guò)效仿人體視覺(jué)過(guò)程,對(duì)視頻信息進(jìn)行理解,在處理視頻圖像中的環(huán)境空間信息的基礎(chǔ)上,對(duì)視頻幀序列中的時(shí)序信息進(jìn)行理解。其基本思想是將單獨(dú)的視頻單幀作為表述空間信息的載體,其中包含環(huán)境、視頻中的運(yùn)動(dòng)與靜止的物體等空間信息網(wǎng)絡(luò)。光流信息作為時(shí)序信息的載體,用來(lái)理解運(yùn)動(dòng)的動(dòng)態(tài)特征,通過(guò)時(shí)間信息網(wǎng)絡(luò)中圖像的絕對(duì)誤差均值MAD,來(lái)表征視頻圖像在時(shí)間序列的運(yùn)動(dòng)狀態(tài),通過(guò)MAD的方差,動(dòng)態(tài)計(jì)算時(shí)間通道上視頻幀去噪閾值的大小,使視頻圖像的時(shí)空網(wǎng)絡(luò)信息表征更合理,算法實(shí)施效果更好。
2.2 算法建模
該文利用視頻圖像時(shí)間動(dòng)態(tài)特性和空間相對(duì)關(guān)系進(jìn)行建模,之后再對(duì)不同模型得到的結(jié)果進(jìn)行融合,主要過(guò)程如下。首先,計(jì)算去噪閾值權(quán)重。閾值權(quán)重的選擇將直接影響到網(wǎng)絡(luò)的收斂速度及效果,如何選擇一種合適的方式成為了該文首先需要解決的問(wèn)題。實(shí)際視頻圖像中多為白噪聲,服從均值為0、方差為δ的高斯分布,假設(shè)在一定時(shí)間范圍沒(méi)有運(yùn)動(dòng)出現(xiàn),圖像間的差異主要由噪聲引起,則有:
式中:當(dāng)前處理區(qū)域塊大小為16×16的像數(shù)塊,i與j分別代表像數(shù)塊中行與列編號(hào)。用當(dāng)前幀去噪閾值TH和MAD進(jìn)行比較并判斷,分離出動(dòng)靜視圖區(qū)域。
最后,通過(guò)遍歷一幀圖像,計(jì)算出空間信息網(wǎng)絡(luò)中的動(dòng)靜視圖區(qū)域,再利用形態(tài)學(xué)濾波算法,去除孤立屬性區(qū)域塊,更新視頻幀中動(dòng)靜區(qū)域。在時(shí)間信息網(wǎng)絡(luò)中,對(duì)靜止區(qū)域進(jìn)行IIR濾波,在空間信息網(wǎng)絡(luò)中對(duì)運(yùn)動(dòng)塊進(jìn)行空域?yàn)V波。
2.3 算法分析
和傳統(tǒng)算法相比,該文通過(guò)計(jì)算幀間圖像絕對(duì)誤差均值(MAD)的方差,以方差來(lái)表征當(dāng)前視頻序列在時(shí)間網(wǎng)絡(luò)信息中的運(yùn)動(dòng)狀態(tài)。使得在對(duì)每幀視頻圖像的去噪處理中,在空間網(wǎng)絡(luò)信息中能夠細(xì)分出運(yùn)動(dòng)區(qū)域和靜止區(qū)域,并分別進(jìn)行處理。在時(shí)間網(wǎng)絡(luò)中,通過(guò)視頻幀MAD的方差來(lái)計(jì)算閾值,動(dòng)態(tài)地分析視頻序列的運(yùn)動(dòng)屬性,使去噪閾值能夠與當(dāng)前的視頻應(yīng)用場(chǎng)景動(dòng)態(tài)適配。該文采用的去噪算法在實(shí)際工程應(yīng)用中,有效地解決了傳統(tǒng)算法在對(duì)復(fù)雜環(huán)境下的視頻圖像去噪而產(chǎn)生的偽影等時(shí)域模糊問(wèn)題,對(duì)后續(xù)基于視頻圖像的挖掘分析應(yīng)用具有較好的實(shí)際意義。
3 結(jié)語(yǔ)
為解決傳統(tǒng)去噪算法中不能很好地進(jìn)行視頻圖像理解而產(chǎn)生的圖像失真、模糊等問(wèn)題。該文重點(diǎn)闡述了利用時(shí)空雙流網(wǎng)絡(luò)對(duì)視頻圖像進(jìn)行內(nèi)容理解,動(dòng)態(tài)表征視頻序列在時(shí)空網(wǎng)絡(luò)中的運(yùn)動(dòng)屬性,在此基礎(chǔ)上進(jìn)行視頻圖像動(dòng)靜分離處理與融合。
該文基本思想在于,在時(shí)間通道中,以視頻幀MAD來(lái)表征視頻序列動(dòng)態(tài)特征,并用MAD方差來(lái)計(jì)算去噪閾值權(quán)重。在空間通道中,對(duì)單幀視頻圖像中的處理區(qū)域在時(shí)間通道中的運(yùn)動(dòng)特征進(jìn)行狀態(tài)分類(lèi),以此來(lái)確定時(shí)空網(wǎng)絡(luò)的濾波算法。在實(shí)際應(yīng)用場(chǎng)景中,特別針對(duì)復(fù)雜多變的視頻應(yīng)用這一業(yè)內(nèi)較難處理的業(yè)務(wù)場(chǎng)景,該文提出的算法,可動(dòng)態(tài)、快速地完成收斂,具有較好的場(chǎng)景適應(yīng)性。該文采用的基于雙流網(wǎng)絡(luò)的視頻處理基本思想,也可應(yīng)用于其他視頻圖像處理場(chǎng)景中。
參考文獻(xiàn)
[1]李朋,余諒.一種改進(jìn)的小波閾值去噪方法[J].現(xiàn)代計(jì)算機(jī),2016(7):72-75.
[2]劉冰,雪梅.基于連續(xù)小波閾值去噪算法的目標(biāo)檢測(cè)研究[J].現(xiàn)代計(jì)算機(jī),2017(14):64-68.
[3]湯鵬杰,譚云蘭.基于雙流混合變換CNN特征的圖像分類(lèi)與識(shí)別[J].井岡山大學(xué)學(xué)報(bào),2015,36(5):53-59.
[4]李竹林.數(shù)字圖像去噪算法的研究與應(yīng)用[D].延安:延安大學(xué),2015.
[5]陳曉.基于Shearlet變換和深度CNN的圖像去噪研究[D].南京:南京信息工程大學(xué),2018.
[6]王小玉.基于小波閾值的圖像去噪研究[D].哈爾濱:哈爾濱理工大學(xué),2016.