數(shù)字視頻降分辨率算法的濾波器設(shè)計(jì)

袁莉+初秀娟+王志國(guó)

摘 要： 數(shù)字視頻在不通終端上應(yīng)用時(shí)往往需要將分辨率降低到原始分辨率的1/2或1/4。因而需要有合適的算法改善降分辨率后圖像的清晰度，滿足用戶對(duì)顯示圖像質(zhì)量的要求?；谝曨l轉(zhuǎn)碼的需要，針對(duì)分辨率轉(zhuǎn)換算法中最常用的濾波與子采樣法，設(shè)計(jì)了一種用于濾波與子采樣法的5階數(shù)字濾波器，并在編譯器上進(jìn)行仿真驗(yàn)證與評(píng)估。仿真結(jié)果顯示，新濾波器表現(xiàn)出優(yōu)異的峰值信噪比，并且在分塊算法中依然優(yōu)異?？傊?，這里提出的方法不但復(fù)雜度適中，適應(yīng)性強(qiáng)，而且能夠高效、高質(zhì)量地完成數(shù)字視頻降分辨率。

關(guān)鍵詞： 視頻轉(zhuǎn)碼； 分辨率； 濾波與子采樣法； 濾波器

中圖分類號(hào)： TN913?34 文獻(xiàn)標(biāo)識(shí)碼： A 文章編號(hào)： 1004?373X（2015）20?0026?05

Design of filter for resolution reduction algorithm used in digital video

YUAN Li， CHU Xiujuan， WANG Zhiguo

（Suihua University， Suihua 152061， China）

Abstract： When the digital video is used in different terminals， the resolution is often reduced by a factor of 2 or 4， so a suitable algorithm is needed to improve the image sharpness after resolution reduction to meet user demands for image quality. In view of the need of video transcoding， a fifth?order digital filter used for filtering and sub?sampling method was designed， which was assessed and verified on interpreter. The simulation results show that the new filter has high PSNR （peak signal to noise ratio）， and is still excellent in the block algorithm. In short， the proposed method has moderate complexity and strong adaptability， and can achieve high efficiency and quality digital video resolution reduction.

Keywords： video transcoding； resolution； filter and sample； filter

各種數(shù)字視頻實(shí)際應(yīng)用在各種不同的終端設(shè)備上，如電腦、平板電腦、電視、手機(jī)等，他們支持不同分辨率和不同壓縮標(biāo)準(zhǔn)的視頻，因此經(jīng)常存在對(duì)同一視頻進(jìn)行不同分辨率間轉(zhuǎn)換的需求。例如使用手持終端設(shè)備接收觀看運(yùn)營(yíng)商提供的標(biāo)準(zhǔn)清晰度數(shù)字電視節(jié)目，往往需要將節(jié)目分辨率降低到原始分辨率的[12]或[14]。因而需要有合適的算法改善降分辨率后圖像的清晰度，滿足人們對(duì)顯示圖像質(zhì)量的要求。對(duì)于這樣的實(shí)際需求，濾波子采樣算法降分辨率的算法和物理結(jié)構(gòu)實(shí)現(xiàn)相對(duì)簡(jiǎn)單，適合在軟硬件系統(tǒng)中集成。但是此方法的濾波器設(shè)計(jì)尤為關(guān)鍵，需要大量的數(shù)學(xué)和信號(hào)系統(tǒng)相關(guān)的建模和演算。設(shè)計(jì)一個(gè)性能良好的濾波子采樣降分變率方法，并且進(jìn)行全面系統(tǒng)地測(cè)試，對(duì)分辨率轉(zhuǎn)換相關(guān)軟硬件設(shè)計(jì)有指導(dǎo)意義。另一方面，國(guó)內(nèi)外大部分算法都是在像素域分塊后在變換域（如AVS域、DCT域等）進(jìn)行，保證了速度但因?yàn)榉謮K操作引入了峰值信噪比（PSNR）的損失（稱之為塊效應(yīng)）。對(duì)塊效應(yīng)的分析評(píng)估可以在轉(zhuǎn)換速度與精度中找到平衡點(diǎn)，可以有效地指導(dǎo)以及優(yōu)化各種算法的設(shè)計(jì)和實(shí)現(xiàn)，為圖像領(lǐng)域未來(lái)的各種算法設(shè)計(jì)、程序設(shè)計(jì)和硬件設(shè)計(jì)都有深遠(yuǎn)影響。

本文基于視頻轉(zhuǎn)碼的需要，設(shè)計(jì)并實(shí)現(xiàn)了一種應(yīng)用于此方法的5階數(shù)字濾波器，并在編譯器上進(jìn)行仿真驗(yàn)證與評(píng)估，取得了令人滿意的結(jié)果。此濾波器在像素域8×8分塊后使用，表現(xiàn)依然良好。

1 濾波與子采樣法

濾波與子采樣法降分辨率基本過(guò)程如圖1所示。將圖像X的行與列看做數(shù)字序列，用一個(gè)系統(tǒng)函數(shù)對(duì)其濾波，濾去高頻分量，得到圖像Y，然后等間隔取出像素點(diǎn)組成新的圖像。

這個(gè)過(guò)程中濾波后得到的m×n像素圖像（見(jiàn)圖1中②）有[34]的像素是無(wú)用的，因?yàn)椴蓸又蝗14]的像素。所以只要確定了采樣點(diǎn)，則只需對(duì)采樣點(diǎn)進(jìn)行濾波即可，可以省去很多計(jì)算，過(guò)程如圖2所示。

注：①原始m×n像素圖像；②濾波后的m×n像素圖像；

③等間隔采樣；④合并成新的[m2×n2]圖像

圖1 濾波與子采樣法降分辨率（一）

注：①原始m×n像素圖像；②濾波與等間隔采樣同時(shí)進(jìn)行；

③合并成新的[m2×n2]像素圖像

圖2 濾波與子采樣法降分辨率（二）

綜上所述，濾波與子采樣降分變率方法的第1步為濾波，對(duì)于k階的濾波與子采樣降分變率方法，所用到的低通濾波器系統(tǒng)的方程為：

Y（n）=h0X（n）+h1X（n-1） + h2X（n-2） + … +hkX（n-k）

濾波與子采樣降分變率方法的第2步子采樣，及對(duì)變換后的Y等間隔采樣。對(duì)于m×n到[m2×n2]的降分辨率，則要求每2行取出1行，每2列取出1列，組成新的圖像。行與列可以分開(kāi)考慮成一維的序列，如果濾波器系統(tǒng)是[Y（n）=h0X（n）+h1X（n-1）+h2X（n-2）]的低通濾波器，輸入序列[X=x1，x2，…，xm]，則濾波后序列是：[Y=[h2+h1+h0x1h2+h1x1+h0x2h2x1+h1x2+h0x3+…][+h2xm-2+h1xm-1+h0xm]]。等間隔采樣，結(jié)果可以是如下兩種：

[Y= h2+h1+h0x1 h2x1+h1x2+h0x3 h2x3+h1x4+h0x5…；Y=h2+h1x1+h0x2 h2x2+h1x3+h0x4 h2x4+h1x5+h01x6…]

以1階濾波子采樣為例，像素域平均法是最簡(jiǎn)單形式。其實(shí)現(xiàn)為，每2×2矩陣的4個(gè)元素取均值，得到1個(gè)新的像素值，代替原來(lái)的4個(gè)像素。本質(zhì)是對(duì)行和列同時(shí)做1階低通濾波并采樣。在一個(gè)維度上，此低通濾波器的系統(tǒng)函數(shù)是：[H（z）=12+12z]，低通濾波系統(tǒng)的差分方程是：[Y（n）=12X（n）+12X（n-1）]。長(zhǎng)度為n的序列，濾波后得到的新序列長(zhǎng)度仍為n，對(duì)其進(jìn)行每2像素點(diǎn)取一點(diǎn)采樣，得到的[12n]像素序列即為降分變率后的序列。對(duì)于二維圖像，把系統(tǒng)函數(shù)[H（z）=12+12z]寫(xiě)作[H1D=1212]，則二維的系統(tǒng)函數(shù)為：[H=H1D×H1D=14141414]。在實(shí)際實(shí)現(xiàn)中，其實(shí)并不需要對(duì)每一個(gè)像素點(diǎn)進(jìn)行濾波得到[m×n]像素圖像再采樣，濾波只要對(duì)采樣點(diǎn)進(jìn)行即可。所以，像素域平均法降分辨率具體實(shí)現(xiàn)就是每2×2矩陣的4個(gè)元素取均值，得到1個(gè)新的像素值，代替原來(lái)的4個(gè)像素。

以2階濾波子采樣為例。對(duì)連續(xù)的一行中的3個(gè)點(diǎn)，或?qū)B續(xù)的3行進(jìn)行變換：[Y（n）=h0X（n）+h1X（n-1）+h2X（n-2）]。此濾波器系統(tǒng)函數(shù)：[H（z）=h0+h11z+h21z2]或?qū)懽鱗H1D=h0h1]。例如，取[H1D=121412]，此系統(tǒng)的頻率響應(yīng)如圖3所示，為一低通數(shù)字濾波器。二維具體實(shí)現(xiàn)，對(duì)每3×3個(gè)像素乘以如下矩陣得到一個(gè)新的像素點(diǎn)，即可同時(shí)完成對(duì)列和行的濾波，此時(shí)：

[H2D=h0h0h1h0h2h0h0h1h2h1h2h1h0h2h1h2h2h2]

如果：

[H1D=121412]

可知：

[H2D=1418141811618141814]

圖3 [H1D=12 14 12]的低通濾波器

2 濾波器設(shè)計(jì)

2.1 設(shè)計(jì)濾波器階數(shù)

簡(jiǎn)化考慮，先低通濾波再采樣，先只考慮空間一維，因?yàn)槎S只是2個(gè)一維變換的簡(jiǎn)單結(jié)合。首先討論不同階數(shù)濾波后的最佳采樣結(jié)果，以1～4階為例，這些階數(shù)的最小偏移情形如圖4所示。

圖4 不同階數(shù)無(wú)偏性最好的濾波采樣方式

因此，濾波之后必須選擇合理的采樣方法，盡可能減小圖像偏移。對(duì)于折半降分辨率，最好使用奇數(shù)階的低通濾波器來(lái)濾波。偶數(shù)階濾波后無(wú)論如何采樣，都會(huì)引起圖像中信息的偏移。

舉一個(gè)簡(jiǎn)單實(shí)例，圖5中①中背景是模擬圖像，·表示原采樣點(diǎn)（即數(shù)字圖像像素點(diǎn)），×表示新采樣點(diǎn)（降分變率后圖像像素點(diǎn)）。方框表示降分變率數(shù)字圖像一個(gè)采樣點(diǎn)（紅色×）所涵蓋的圖片信息。圖5中②為1階（或2抽頭，或像素平均值法）濾波，采樣點(diǎn)無(wú)偏；圖5中③為2階（或3抽頭），采樣點(diǎn)偏移；圖5中④為3階（或4抽頭），采樣點(diǎn)無(wú)偏；圖5中⑤為4階（或5抽頭），采樣點(diǎn)偏移。可以看出，對(duì)于二維情形，依然是奇數(shù)階的低通濾波器偏移較小?？紤]無(wú)偏性和算法復(fù)雜度，5階濾波（6抽頭）：Y（n）=h0X（n）+h1X（n-1）+h2X（n-2）+h3X（n-3）+h4X（n-4）+h5X（n-5），無(wú)偏移，濾波器特性較為理想。

圖5 不同濾波采樣法，模擬圖像-數(shù)字圖像-降分變率數(shù)字圖像關(guān)系

2.2 設(shè)計(jì)濾波器系數(shù)

理想的數(shù)字低通濾波器幅頻特性為矩形窗，如圖6所示。

圖6 理想的數(shù)字低通濾波器幅頻特性

根據(jù)傅里葉變換，空域Sa函數(shù)，則頻域?yàn)榫匦未?。?duì)Sa函數(shù)采樣，則可得到矩形窗的系統(tǒng)函數(shù)系數(shù)。不同的采樣疏密程度將得到不同的窗口寬度，如圖7所示。

嚴(yán)格來(lái)說(shuō)，可以采用FIR等方法，直接設(shè)計(jì)濾波器。采用有限沖擊響應(yīng)數(shù)字濾波器（FIR）設(shè)計(jì)步驟：

（1） 確定濾波器長(zhǎng)度 N=6，群時(shí)延[α=12N-1=][2.5]；

（2） 取截止頻率[ωc=π2]；

（3） 取矩形窗函數(shù)，過(guò)渡帶寬度[0.9×2πN]，則由[6=N=0.9×2πω通帶邊-ω阻帶邊]得：通帶<0.35π，阻帶>0.65 π；

（4） [hdn=sinπ2n-απn-α]，[ωn=R6n]是矩形窗函數(shù)，群時(shí)延[α=2.5]，所以[hn=hdn×R6n=][sinπ2n-2.5πn-2.5]，n=0，1，2，…，5；

（5） 取n=0，1，2，...，5 得到[hn]，系數(shù)歸一化，近似取整，得到：

[H1D=h0h1h2h3h4h5 =-0.090 0 0.150 1 0.450 2 0.450 2 0.150 1 -0.090 0 ≈-110320920920320-110 =120-23993-2]

如圖8所示，這個(gè)系統(tǒng)函數(shù)在[ωc=π2]處衰減為-5 dB，通帶起伏1 dB，阻帶衰減 <-15 dB，在5階濾波器中具有較好的低通特性。實(shí)質(zhì)上，[H1D=120-23993-2]正是前面討論到的對(duì)Sa函數(shù)的采樣，如圖7所示。

圖7 采樣疏密程度與窗口寬度的關(guān)系

圖8 [H1D=120-23993-2]的幅頻特性

3 算法評(píng)估與結(jié)果

3.1 測(cè)試材料

本文通過(guò)CIF格式與QCIF格式之間的分辨率轉(zhuǎn)換來(lái)測(cè)試算法。CIF與QCIF格式文件（擴(kuò)展名“.yuv”）每一幀圖像包含3個(gè)矩陣Y，Cb，CR1。每1個(gè)像素點(diǎn)由8 b整數(shù)（unsigned char）記錄。CIF與QCIF之間做分辨率轉(zhuǎn)換時(shí)，需要對(duì)Y，Cb，Cr矩陣分別做變換。

對(duì)于降分辨率結(jié)果的測(cè)試方式，除了編譯器下直接測(cè)試之外，也可以借助YUV Viewer等軟件。例如，在C++下，從測(cè)試文件中讀出若干幀圖像，變換后寫(xiě)入新文件，用YUV Viewer等軟件查看，可以驗(yàn)證正確性，并做定性分析。在做無(wú)偏性測(cè)試時(shí)，將有偏和無(wú)偏的輸出圖像寫(xiě)入連續(xù)的兩幀，通過(guò)YUV Viewer等軟件播放時(shí)，可以明顯感受到圖像偏移。

3.2 評(píng)估標(biāo)準(zhǔn)

通過(guò)某種參數(shù)來(lái)評(píng)價(jià)算法的結(jié)果是否合理。可以采用的參數(shù)很多，比如差值的絕對(duì)值的和，但是不同樣本間這個(gè)參數(shù)不夠明顯，不宜采用。通常采用峰值信噪比來(lái)評(píng)價(jià)算法輸出結(jié)果。峰值性噪比（Peak Signal Noise Ratio，PSNR）定義為[PSNR=10×log（2552MSE）]。其中：[MSE=（pixel-pixelR）2Size]；pixel，pixelR分別指被評(píng)價(jià)圖像像素點(diǎn)和參考標(biāo)準(zhǔn)圖像像素點(diǎn)；Size指圖像尺寸，寬×高。

算法輸出結(jié)果與參考標(biāo)準(zhǔn)對(duì)比，計(jì)算PSNR，用于評(píng)估算法。本文中的參考標(biāo)準(zhǔn)有兩種，由DCT域法降分辨率法生成。DCT域法降分辨率是通過(guò)DCT變換（離散余弦變換），在變換域內(nèi)進(jìn)行的降分變率過(guò)程。DCT系數(shù)的特點(diǎn)是圖像經(jīng)DCT變換后，大部分能量都保留在DCT矩陣的低頻帶（左上角矩陣），去除高頻系數(shù)，得到的左上角矩陣保持著圖像的大部分信息。再經(jīng)過(guò)逆DCT變換，可以得到低分辨率圖像。

參考標(biāo)準(zhǔn)1是全圖的二維DCT變換法，如圖9所示。參考標(biāo)準(zhǔn)1的算法計(jì)算量很大，尤其是對(duì)整體圖像做DCT變換和IDCT（Inverse DCT）變換（反DCT變換）的步驟，但是結(jié)果是較為理想的，僅用于算法對(duì)比，一般不用于實(shí)際的視頻降分辨率。

注：①二維DCT變換；②取低頻分量；

③形成僅含有低頻成分的DCT系數(shù)；④二維逆DCT變換；

⑤等間隔抽樣

圖9 參考標(biāo)準(zhǔn)1產(chǎn)生步驟：全圖的二維DCT變換法

參考標(biāo)準(zhǔn)2是DCT域8×8分塊算法，如圖10所示。實(shí)際的降分辨率算法中，為了降低算法復(fù)雜度，往往先對(duì)圖像進(jìn)行等大小分塊，然后對(duì)分割得到的小圖像分別進(jìn)行處理。參考標(biāo)準(zhǔn)2的算法計(jì)算量適中，但是結(jié)果較參考標(biāo)準(zhǔn)1稍差，可作為實(shí)際的視頻降分辨率算法。本文將其用于對(duì)像素域平均法、濾波與子采樣法的評(píng)估。

這種分塊的算法有時(shí)的確能大幅降低算法復(fù)雜度（尤其是DCT變換），然而它并不適用于全部算法，而且即使適用，分塊也會(huì)引起的圖像質(zhì)量變差，這種由分塊處理引起的圖像質(zhì)量下降稱作塊效應(yīng)。使用時(shí)，要綜合考慮計(jì)算復(fù)雜度和塊效應(yīng)，將圖像質(zhì)量的下降控制在合理、可接受的范圍內(nèi)。高階的濾波子采樣法不宜應(yīng)用分塊方法，因?yàn)闀?huì)有大量的濾波抽頭點(diǎn)在分塊以外。

注：①分割圖像；②分塊二維DCT變換；

③分塊取低頻分量，形成僅含有低頻成分的DCT系數(shù)；

④分塊二維逆DCT變換；⑤分塊等間隔抽樣；⑥組合圖像

圖10 參考標(biāo)準(zhǔn)2產(chǎn)生步驟：DCT域8×8分塊算法

3.3 像素域單幀對(duì)比測(cè)試

參加對(duì)比的算法：像素平均值法（1階濾波子采樣法）H=[1 1]；（5階）濾波子采樣法 H=[1 -5 20 20 -5 1]；（5階）過(guò)濾子采樣法H=[-2 3 9 9 3 -2]。測(cè)試圖像：3個(gè)不同文件的第一幀，CIF格式。參考標(biāo)準(zhǔn)1為QCIF文件Ref_DCT.yuv；參考標(biāo)準(zhǔn)2為QCIF文件Ref_DCT8.yuv。

從表1可看出，寬矩形窗H=[1 -5 20 20 -5 1]得到的降分辨率圖像的PSNR并不好，甚至不如1階濾波子采樣。原因是變換分辨率后保留了過(guò)多的高頻分量。而本文提出的H=[-2 3 9 9 3 -220]表現(xiàn)出優(yōu)異的PSNR。

表1 像素域單幀對(duì)比測(cè)試

3.4 塊效應(yīng)的影響

整塊濾波采樣對(duì)比 8×8分塊濾波采樣：4個(gè)yuv輸入文件（Bridge，F(xiàn)oreman，Mobile，Mother?daughter），分別連續(xù)測(cè)試前300幀。測(cè)試1：以整塊DCT變換為參考標(biāo)準(zhǔn)，比較PSNR；測(cè)試2：以8×8分塊DCT變換為參考標(biāo)準(zhǔn)，比較PSNR。測(cè)試數(shù)據(jù)如圖11所示。現(xiàn)在計(jì)算圖11中整塊與分塊結(jié)果的PSNR的差值的絕對(duì)值的最大值Max[ΔPSNR]，如表2所示?？梢钥闯?，在8×8分塊中，PSNR的變化并不多，在合理范圍之內(nèi)，說(shuō)明了這個(gè)5階濾波器在分塊算法中的適應(yīng)性。

3.5 綜合對(duì)比測(cè)試

測(cè)試對(duì)象為CIF圖像“Mobile.yuv”，一共300幀。要測(cè)試的算法包括：對(duì)整個(gè)圖像的像素平均值法H=[1 1] （8×8分塊后的像素平均值法與之相同）；對(duì)整個(gè)圖像的濾波子采樣法H=[-2 3 9 9 3 -2]；8×8分塊后的濾波子采樣法H=[-2 3 9 9 3 -2]。參考標(biāo)準(zhǔn)有2個(gè)：整個(gè)圖像的DCT變換法；8×8分塊DCT變換法。綜合對(duì)比測(cè)試的結(jié)果見(jiàn)圖12。

表2 Max[ΔPSNR]

圖12 多種算法對(duì)比測(cè)試數(shù)據(jù)

分析如下：首先像素平均值法在不同參考標(biāo)準(zhǔn)下質(zhì)量表現(xiàn)都是最差，其次結(jié)果也體現(xiàn)了算法分塊方式相同則結(jié)果接近的特點(diǎn)。本文提出的5階濾波[H1D=120-23993-2]子采樣法復(fù)雜度適中，結(jié)果令人滿意。此濾波方法在8×8分塊中表現(xiàn)依然良好。

4 結(jié) 語(yǔ)

本文基于視頻轉(zhuǎn)碼的需要，設(shè)計(jì)并實(shí)現(xiàn)了一種分辨率轉(zhuǎn)換的算法，著重研究了CIF格式到QCIF格式的分辨率轉(zhuǎn)換，并在編譯器上進(jìn)行仿真驗(yàn)證與評(píng)估。特別的，本文設(shè)計(jì)提出了一個(gè)性能良好的5階濾波[H1D=120-23993-2]子采樣降分變率方法，對(duì)分辨率轉(zhuǎn)換相關(guān)軟硬件設(shè)計(jì)有指導(dǎo)意義。

參考文獻(xiàn)

[1] RICHARDSON I E. The H.264 advanced video compression standard [M]. Hoboken， New Jersey： John Wiley & Sons， 2011.

[2] RAO K R， KIM D N， HWANG J J H. 264/MPEG?4 advanced video coding in video coding standards [M]. Berlin， Germany： Springer Netherlands. 2014.

[3] GAO W， MA S. video coding basic principle in advanced video coding systems [M]. Berlin， Germany： Springer International Publishing， 2014.

[4] 王崢，鄭江濱.基于 DCT 域的任意分辨率視頻可伸縮編碼[J].微電子學(xué)與計(jì)算機(jī)，2012（4）：45?48.

[5] 周晉.視頻編碼中自適應(yīng)插值濾波器的算法研究[D].西安：西安電子科技大學(xué)，2011.

[6] 石巍，胡海兵，邢巖.基于多分辨率控制算法的中頻有源電力濾波器[J].中國(guó)電機(jī)工程學(xué)報(bào)，2011（3）：47?51.