基于梯度的幀內(nèi)自適應(yīng)深度決策算法

施正城 張倩 景瑞海 崔鵬濤 王斌 嚴(yán)濤 黃繼風(fēng)

摘要： 提出了一種基于梯度的幀內(nèi)候選模式裁剪算法，通過自適應(yīng)深度劃分并利用空間信息來簡化幀內(nèi)預(yù)測過程，大大減少了計算復(fù)雜度.實驗結(jié)果顯示，所提出的算法對比HM16.7，可以減少35.25%的計算復(fù)雜度，且只有極小的編碼效率損失.

關(guān)鍵詞：

高效率視頻編碼； 高清、超高清視頻； 快速算法； 幀內(nèi)預(yù)測

中圖分類號： TN 919.8文獻標(biāo)志碼： A文章編號： 10005137（2018）02024805

Gradientbased and intraframe adaptive depth decision algorithm

Shi Zhengcheng1， Zhang Qian1*， Jing Ruihai1， Cui Pengtao1， Wang Bin1， Yan Tao2， Huang Jifeng1

（1.The College of Information，Mechanical and Electrical Engineering，Shanghai Normal University，Shanghai 200234，China；

2.School of Information Science and Technology，Jiujiang University，Jiangxi 332005，China）

Abstract：

To reduce this computational complexity，agradientbased clipping algorithm for intraframe candidatemode is proposed，which simplifies the intra prediction process by adaptive deep division and spatial information usage.Experimental results show that the proposed algorithm reduces the computational complexity by 35.25% compared with HM16.7 with only mininal loss of coding efficiency.

Key words：

high efficiency video coding； high definition，ultra high definition video； fast algorithm； intra prediction

收稿日期： 20171128

基金項目： 國家自然科學(xué)基金（61741111）；上海市自然科學(xué)基金（15ZR1431500，15ZR1430400）

作者簡介： 施正城（1993-），男，碩士研究生，主要從事視頻編碼方面的研究.Email：paws66cc@163.com

導(dǎo)師簡介： 張倩（1983-），女，副教授，主要從事視頻圖像處理與多媒體通信方面的研究.Email：qianzhang@shnu.edu.cn

*通信作者

引用格式： 施正城，張倩，景瑞海，等.基于梯度的幀內(nèi)自適應(yīng)深度決策算法 [J].上海師范大學(xué)學(xué)報（自然科學(xué)版），2018，47（2）：248-252.

Citation format： Shi Z C，Zhang Q，Jing R H，et al.Gradientbased and intraframe adaptive depth decision algorithm [J].Journal of Shanghai Normal University （Natural Sciences），2018，47（2）：248-252.

0引言

聯(lián)合視頻編碼工作組JCTVC組織在2013年發(fā)布了新一代視頻編碼標(biāo)準(zhǔn)高效率視頻編碼（HEVC）[1-2]，相比較于前一代標(biāo)準(zhǔn)H.264/AVC[3]，HEVC能夠更高效地編碼高清及超高清視頻.HEVC包含了眾多新技術(shù)，例如基于大尺寸四叉樹的分割結(jié)構(gòu)、新的幀內(nèi)預(yù)測模式、自適應(yīng)濾波器、殘差編碼結(jié)構(gòu)等等.這些新的技術(shù)在極大提高編碼效率的同時，也帶來很高的計算復(fù)雜度，尤其提高了編碼過程中的復(fù)雜度.

為了減少編碼復(fù)雜度，加快編碼過程，近年來學(xué)者們提出了許多快速幀內(nèi)預(yù)測算法.Zhao等[4]提出了相鄰塊最優(yōu)預(yù)測模式（MPM），并將其加入Rate Distortion Optimization（RDO）候選模式列表，利用空間上相鄰編碼單元（CU）的方向信息來進一步加快幀內(nèi)模式?jīng)Q策過程；Silva等[5]分析了當(dāng)前預(yù)測單元（PU）的紋理信息，排除部分幀內(nèi)預(yù)測方向，從而降低了幀內(nèi)預(yù)測的復(fù)雜度；Shen等[6]在分析圖像內(nèi)容相關(guān)性的基礎(chǔ)上，參照周圍CU的深度劃分當(dāng)前CU深度；Heindel等[7]提出了一種利用參考樣本的兩段式提前終止策略，來執(zhí)行快速編碼的算法；Min等[8]提出了基于指定全局和局部邊緣復(fù)雜度的HEVC幀內(nèi)CU快速決策算法，結(jié)合當(dāng)前CU和其四個子CU的邊緣復(fù)雜度決定當(dāng)前CU是否需要劃分；Wang等[9]提出了一種三步快速幀內(nèi)預(yù)測算法，使用CU分割預(yù)測和低精度的粗略模式?jīng)Q策（RMD）加速幀內(nèi)預(yù)測過程.Sun等[10]通過計算編碼樹單元（CTU）的絕對變換差值和（SATD），并以SATD為閾值，減少幀內(nèi)預(yù)測CU層次和幀內(nèi)預(yù)測方向數(shù)目，從而降低了幀內(nèi)預(yù)測復(fù)雜度.

上述算法在增加了編碼速度的同時也增加了編碼比特率.為了克服這一問題，本文作者提出了一種基于梯度的自適應(yīng)深度決策算法，以期降低算法的復(fù)雜度.

1HEVC幀內(nèi)預(yù)測概述

在HEVC中，視頻幀由一系列CTU構(gòu)成.CTU尺寸最大為64 pixels×64 pixels，最小為16 pixels×16 pixels.HEVC 的 CTU尺寸突破了16 pixels×16 pixels的限制，更加適合處理高清、超高清視頻，這也是 HEVC 編碼效率提升的重要原因.HEVC 編碼標(biāo)準(zhǔn)中將 CTU的葉節(jié)點定義為CU，編碼器根據(jù) CU 內(nèi)部視頻內(nèi)容的復(fù)雜程度，以四叉樹的方式將 CU 遞歸劃分為多個編碼單元.CU的尺寸可以遞歸劃分為64 pixels×64 pixels、32 pixels×32 pixels、16 pixels×16 pixels和8 pixels×8 pixels，其遞歸深度分別為0、1、2和3.PU包含幀內(nèi)預(yù)測模式信息和幀間的運動信息，是進行幀內(nèi)/幀間預(yù)測的基本單元.變換單元（TU）是對殘差數(shù)據(jù)進行變換和量化的基本單元.HEVC從預(yù)測方向的個數(shù)及判斷過程對幀內(nèi)預(yù)測進行擴展和深入.對于亮度分量，HEVC 有35種幀內(nèi)預(yù)測模式.

另外，HEVC采用了與H.264類似的RDO技術(shù)[11]，為每一種預(yù)測模式計算失真代價，有效地提高了編碼性能.首先對最大編碼單元（LCU）進行幀內(nèi)預(yù)測，定義此時的率失真為R0，然后將LCU劃分4個子CU，對每個子CU進行幀內(nèi)預(yù)測并算出率失真代價和為R1.如果R0

2本研究的快速幀內(nèi)模式選擇算法

2.1自適應(yīng)深度決策裁剪算法

HEVC原有的標(biāo)準(zhǔn)算法采用窮盡式CU劃分決策，但并不高效.大尺寸的CU具有較大的深度值，對應(yīng)于視頻中均勻分布的圖像或者運動平緩的區(qū)域；小尺寸的CU具有深度值，對應(yīng)于描述視頻圖像中的細(xì)節(jié)部分以及動作快速變化的區(qū)域.因此，CU的劃分深度應(yīng)根據(jù)圖像的具體內(nèi)容，如動作的變化度與紋理的豐富度，進行自適應(yīng)的調(diào)整.與此同時，空域臨近的CU間有很強的相關(guān)性.

當(dāng)前CU的深度與空域臨近的4個CU相關(guān)，分別是左（Left）、上（Up）、左上（LeftUp）以及右上（RightUp）4個CU，如圖1所示.

其中，N為當(dāng)前的已編碼CU個數(shù)，μi為權(quán)值系數(shù)，di為相應(yīng)的深度取值.左CU以及上CU的權(quán)值系數(shù)為0.35，左上CU以及右上CU的權(quán)值系數(shù)為0.15.

由（1）式計算當(dāng)前待編碼CU的深度值，將其分類[12]：（1）Dpre≤0.5，（2） 0.52.5.

利用CU的空間信息進一步簡化幀內(nèi)預(yù)測過程.由于RMD候選列表中的候選模式以代價函數(shù)值降序進行排列，Zhao[4]通過統(tǒng)計分析發(fā)現(xiàn)一個CU的最優(yōu)預(yù)測模式大概率等于候選模式列表中模式1或2.Shen[6]討論了當(dāng)RMD列表中的第一項、父CU的編碼模式和MPM均相等時，該模式很可能是當(dāng)前模式的最優(yōu)預(yù)測模式，無需再通過對RDO進行篩選.

通過定義預(yù)測模式序號小于等于2的所有模式為一組，Shen[12]對RMD候選模式序號的差異性做出了統(tǒng)計，結(jié)果顯示，90%的RMD候選模式可以歸類到上述定義的組別之中.即使是紋理復(fù)雜度較高或變化較大的編碼區(qū)域，編碼CU中涵蓋的主要邊緣類型大概率不超過2.于是將候選模式的序號差值小于等于2的模式縮減為一個CU代表所表征的紋理方向，從而達(dá)到對于RDO的進一步縮減.而當(dāng)候選模式序號差值大于2時，將通過下一小節(jié)的方法來減少RDO.

2.2基于梯度的幀內(nèi)預(yù)測算法

利用平面直角坐標(biāo)系和sobel算子計算當(dāng)前PU的像素梯度.定義pi，j為一個像素點，則像素的梯度向量Gi，j={Gxi，j，Gyi，j}，Gxi，j和Gyi，j分別代表像素梯度的水平和垂直信息，

3實驗結(jié)果及討論

利用HEVC標(biāo)準(zhǔn)測試軟件HM16.7對提出的算法進行評估.實驗平臺的硬件配置為：英特爾酷睿 i77500U（雙核）的CPU，主頻2.9 GHZ，內(nèi)存8 GBytes，操作系統(tǒng)Windows10.

本次測試中所采用的量化參數(shù)QP分別為22、27、32、37，其余所有的幀內(nèi)編碼參數(shù)均正確設(shè)定.實驗所用的測試序列為不同類別（Class）中不同場景的高清、超高清視頻序列，包括Class A （2 560 pixels×1 600 pixels），Class B （1 920 pixels×1 080 pixels） 和Class E （1 280 pixels×720 pixels）.采用平均碼流差（BDBR），平均峰值信噪比（BDPSNR）以及編碼時間節(jié)省比3個指標(biāo)，衡量和評價所提出的算法.其中，編碼效率由BDBR以及BDPSNR衡量，而編碼減少時間由下式衡量：

圖2給出了本算法與HM16.7標(biāo)準(zhǔn)算法在對序列ParkScene編碼后的率失真（RD）曲線.從圖2中可以看出所提算法較HM16.7標(biāo)準(zhǔn)算法只有可以忽略不計的編碼質(zhì)量損失.其余序列的RD曲線與當(dāng)前曲線均近似.

4總結(jié)

本文作者提出了一種HEVC幀內(nèi)快速模式選擇算法，包括：快速CU深度決策裁剪算法與基于梯度的幀內(nèi)預(yù)測算法.算法的評估由最新的HEVC參考軟件HM16.7完成.實驗結(jié)果表明，所提出的算法可以節(jié)省平均35.25%的總編碼時間，并且BDrate只增加了1.26%，BDPSNR減少了0.06 dB.

參考文獻：

[1]Bross B，Han W J，Ohm J R，et al.High Efficiency Video Coding （HEVC） text specification draft 9 [R].San Jose：Joint Collaborative Team on Video Coding，2012.

[2]Sullivan G J，Ohm J R，Han W J，et al.Overview of the High Efficiency Video Coding （HEVC） standard [J].IEEE Transactions on Circuits and Systems for Video Technology，2012，22（12）：1649-1668.

[3]Wiegand T，Sullivan G J，Bjontegaard G，et al.Overview of the H.264/AVC video coding standard [J].IEEE Transactions on Circuits and Systems for Video Technology，2003，13（7）：560-576.

[4]Zhao L，Zhang L，Ma S W，et al.Fast mode decision algorithm for intra prediction in HEVC [C].Proceedings of 2011 IEEE Visual Communications and Image Processing.Tainan：IEEE，2011.

[5]DaSilva T L，Agostini L V，DaSilvaCruz L A.Fast HEVC intra prediction mode decision based on EDGE direction information [C].Proceedings of the 20th European Signal Processing Conference.Bucharest：IEEE，2012.

[6]Shen L Q，Zhang Z Y，An P.Fast CU size decision and mode decision algorithm for HEVC intra coding [J].IEEE Transactions on Consumer Electronics，2013，59（1）：207-213.

[7]Heindel A，Pylinski C，Kaup A.Twostage exclusion of angular intra prediction modes for fast mode decision in HEVC [C].Proceedings of 2016 IEEE International Conference on Image Processing.Phoenix：IEEE，2016.

[8]Min B，Cheung R C C.Afast CU size decision algorithm for the HEVC intra encoder [J].IEEE Transactions on Circuits and Systems for Video Technology，2015，25（5）：892-896.

[9]Wang Y，F(xiàn)an X P，Zhao L，et al.A fast intra coding algorithm for HEVC [C].Proceedings of 2014 IEEE International Conference on Image Processing.Paris：IEEE，2014.

[10]Zhang Y F，Li Z，Li B.Gradientbased fast decision for intra prediction in HEVC [C].Proceedings of 2012 IEEE Visual Communications and Image Processing.San Diego：IEEE，2012.

[11]Sun H M，Zhou D J，Goto S.A lowcomplexity HEVC intra prediction algorithm based on level and mode filtering [C].Proceedings of 2012 IEEE International Conference on Multimedia and Expo.Melbourne：IEEE，2012.

[12]Shen L Q，Liu Z，Zhang X P，et al.An effective CU size decision method for HEVC encoders [J].IEEE Transactions on Multimedia，2013，15（2）：465-470.

（責(zé)任編輯：包震宇）