基于屏幕內(nèi)容的快速模式選擇算法

張瑩

摘要：屏幕內(nèi)容編碼是視頻編碼應(yīng)用的重要內(nèi)容，高效視頻編碼（HEVC）中屏幕圖像內(nèi)容編碼的擴(kuò)展方法主要有調(diào)色板模式和IntraBC（Intra Block Copy）模式，它們依據(jù)屏幕圖像內(nèi)容的特點(diǎn)提升了碼率，然而，也增加了編碼的復(fù)雜度和編碼時(shí)間。因此，提出一種針對(duì)于屏幕圖像內(nèi)容的快速模式選擇算法，該方法基于屏幕圖像內(nèi)容的像素平滑性，對(duì)于量化后顏色數(shù)量少的CU塊不進(jìn)行分割；并選擇最佳的三個(gè)預(yù)測(cè)模式與IntraBC模式作比較，決定是否進(jìn)行率失真優(yōu)化過(guò)程。實(shí)驗(yàn)結(jié)果顯示，與標(biāo)準(zhǔn)的HEVC擴(kuò)展方法相比，該方法在僅增加0.4%比特率的情況下，節(jié)省了35%的編碼時(shí)間。

關(guān)鍵詞關(guān)鍵詞：屏幕內(nèi)容編碼（SCC）；高效視頻編碼（HEVC）；模式選擇；顏色量化；編碼比特

DOIDOI：10.11907/rjdk.161252

中圖分類號(hào)：TP312文獻(xiàn)標(biāo)識(shí)碼：A文章編號(hào)文章編號(hào)：16727800（2016）007004803

0引言

HEVC（High Efficiency Video Coding）是繼H.264標(biāo)準(zhǔn)后新一代高效視頻編碼標(biāo)準(zhǔn)，其設(shè)計(jì)目標(biāo)是提供實(shí)時(shí)、低延遲、高質(zhì)量的視頻編碼標(biāo)準(zhǔn)。與H.264標(biāo)準(zhǔn)相比，HEVC能夠在主觀質(zhì)量不變的情況下降低50%的比特率。為了滿足更加廣泛的應(yīng)用需求，如無(wú)線顯示、云計(jì)算、汽車娛樂(lè)系統(tǒng)等。許多擴(kuò)展方法已經(jīng)加入到HEVC中，屏幕圖像內(nèi)容編碼方案就是其中重要的一部分。

提高屏幕內(nèi)容視頻編碼效率的工具中，調(diào)色板模式（Palette mode）和IntraBC（Intra Block Copy）模式是其中的兩個(gè)主要模式。調(diào)色板模式是一個(gè)基于顏色的預(yù)測(cè)方法，適用于顏色數(shù)目少的視頻序列編碼。IntraBC模式是一種類似于運(yùn)動(dòng)補(bǔ)償?shù)姆椒ǎㄟ^(guò)在當(dāng)前預(yù)測(cè)幀內(nèi)找到與當(dāng)前編碼單元（Coding Unit）匹配的已重建過(guò)的CU，并通過(guò)位移矢量（也叫做塊矢量）來(lái)表示。在典型的文字及圖形內(nèi)容為主的圖像中，有許多重復(fù)部分，因此IntraBC模式是屏幕圖像內(nèi)容編碼中的一種非常有效的模式。然而，HEVC擴(kuò)展方法在顯著提高編碼壓縮效率的同時(shí)，也導(dǎo)致了編碼復(fù)雜度和編碼時(shí)間的增加。

針對(duì)HEVC相比于上一代視頻編碼標(biāo)準(zhǔn)復(fù)雜度高的情況，學(xué)者提出了許多快速算法，嘗試減少幀內(nèi)預(yù)測(cè)過(guò)程編碼時(shí)間。Liu等提出了一種快速幀內(nèi)模式選擇算法，通過(guò)文本方向分析從而減少預(yù)測(cè)單元中的多種候選模式。Zhang等提出了一種基于編碼模式代價(jià)值來(lái)結(jié)束當(dāng)前編碼單元模式選擇和TU大小選擇的方法。Zhang提出了一種基于Sobel算子邊緣檢測(cè)技術(shù)的快速幀內(nèi)模式選擇算法。這些方法對(duì)于自然圖像編碼的編碼時(shí)間減少起到很大作用，但目前對(duì)于屏幕內(nèi)容圖像編碼時(shí)間減少的研究，仍沒(méi)得到廣泛關(guān)注。

本文提出一種針對(duì)屏幕內(nèi)容圖像特點(diǎn)而設(shè)計(jì)的基于預(yù)測(cè)單元紋理平滑和編碼比特的快速模式選擇算法。

1快速模式選擇算法

本文提出兩種方法以保持視頻編碼質(zhì)量損失可接受的情況下取得穩(wěn)定的效果來(lái)降低復(fù)雜度。首先，提出一種基于量化后顏色數(shù)目和預(yù)測(cè)單元紋理平滑的規(guī)則來(lái)決定當(dāng)前CU的分割模式。其次，利用各模式率失真代價(jià)（RDCost）間的關(guān)系決定是否跳過(guò)率失真優(yōu)化過(guò)程（RDO）繼續(xù)幀內(nèi)預(yù)測(cè)過(guò)程。算法流程圖如圖1所示。 1.1基于像素量化后顏色數(shù)目的分割模式選擇算法

對(duì)于屏幕內(nèi)容圖像序列，大部分區(qū)域是平滑且像素值大多相等，如圖2所示。因此，選擇當(dāng)前CU的預(yù)測(cè)模式作為此CU最優(yōu)預(yù)測(cè)模式，而不需要考慮下一層CU的預(yù)測(cè)模式，進(jìn)而跳過(guò)相應(yīng)分割過(guò)程。

對(duì)于除了8×8 大小的每個(gè)CU（8×8大小的CU在CU級(jí)別不能繼續(xù)分割），通過(guò)在下一層分割前進(jìn)行當(dāng)前CU像素值的量化來(lái)計(jì)算顏色數(shù)?；谶@種量化，在當(dāng)前預(yù)測(cè)塊顏色數(shù)Numbercolor< TH1的情況下，跳過(guò)分割過(guò)程，TH1設(shè)為2。其中Numbercolor通過(guò)如公式（1）計(jì)算，遍歷當(dāng)前CU中每個(gè)像素，若滿足公式（1），則Numbercolor的值加1。

其中，Pi是當(dāng)前像素值，Tj是經(jīng)過(guò)量化得到的顏色列表中的值。N×N是當(dāng)前CU大小，n是目前為止顏色列表中的數(shù)目。通過(guò)實(shí)驗(yàn)，TH2設(shè)為5。

1.2基于率失真代價(jià)的模式選擇算法

IntraBC模式對(duì)于文本和圖形區(qū)域內(nèi)容重復(fù)率高的編碼塊是高效的。因此，一個(gè)CU以IntraBC模式作為預(yù)測(cè)模式的可能性非常大。如圖3所示，在任意選取的6個(gè)SCC視頻序列中，平均超過(guò)74%的CU是IntraBC模式預(yù)測(cè)的。事實(shí)上，在屏幕內(nèi)容視頻幀中，IntraBC模式是被用為預(yù)測(cè)最頻繁的模式。同時(shí)，方向預(yù)測(cè)的時(shí)間比IntraBC模式的預(yù)測(cè)時(shí)間要長(zhǎng)，率失真優(yōu)化（RDO）相比于粗粒度模式選擇（RMD）過(guò)程的時(shí)間同樣如此。因此，若能跳過(guò)方向預(yù)測(cè)過(guò)程或率失真優(yōu)化（RDO）過(guò)程，幀內(nèi)預(yù)測(cè)復(fù)雜度將有效下降。

基于以上分析，本文提出的算法將IntraBC模式預(yù)測(cè)過(guò)程放在幀內(nèi)預(yù)測(cè)的第一位。如果能夠判斷IntraBC模式的編碼表現(xiàn)強(qiáng)于方向預(yù)測(cè)編碼表現(xiàn)，則跳過(guò)方向預(yù)測(cè)過(guò)程以節(jié)省編碼復(fù)雜度，繼而能夠減少編碼時(shí)間。但如何在方向預(yù)測(cè)過(guò)程開始前判斷出IntraBC模式的編碼性能更優(yōu)是能否跳過(guò)方向預(yù)測(cè)的關(guān)鍵。

本算法中采用IntraBC模式預(yù)測(cè)后的MAE（Mean Absolute Error，平均絕對(duì)誤差）值來(lái)決定是否跳過(guò)方向預(yù)測(cè)的過(guò)程。標(biāo)記值flagskip定義如下：

其中，MAEintraBC是IntraBC模式預(yù)測(cè)的MAE值，flagskip標(biāo)志當(dāng)值為true時(shí)，跳過(guò)方向預(yù)測(cè)；反之，正常進(jìn)行方向預(yù)測(cè)。TH3是MAEintraBC的閾值。MAE通過(guò)公式（3）表示：

其中，SADintraBC是IntraBC模式預(yù)測(cè)的SAD值，width值是當(dāng)前PU（Prediction Unit，預(yù)測(cè)單元）的寬度值，height值是當(dāng)前PU的高度值。閾值TH3定義如下：

經(jīng)RMD過(guò)程后，N個(gè)列表中的候選模式以哈德瑪變換代價(jià)值（SATD，sum of the absolute transform coefficient differences）為標(biāo)準(zhǔn)按照升序排列[7]，這些候選模式需要經(jīng)過(guò)完整的率失真優(yōu)化過(guò)程來(lái)選取最佳預(yù)測(cè)模式。最優(yōu)預(yù)測(cè)模式通過(guò)計(jì)算候選列表中各模式的率失真代價(jià)，最小率失真代價(jià)模式為最優(yōu)模式，率失真代價(jià)按公式（5）計(jì)算：

其中，D和R代表失真和圖像表示需要的比特?cái)?shù)，是拉格朗日乘數(shù)。候選模式列表中的前3個(gè)候選模式成為最佳模式的比例累積總和是90%[8]。這意味著大部分最佳預(yù)測(cè)模式是從排序前三位的候選模式中選擇的。

本文提出如下規(guī)則：若當(dāng)前CU率失真代價(jià)少于TH3，表示IntraBC模式編碼效果更佳。因此在幀內(nèi)預(yù)測(cè)過(guò)程中跳過(guò)方向預(yù)測(cè)模式和調(diào)色板預(yù)測(cè)模式。否則，若當(dāng)前CU率失真代價(jià)大于或等于TH3，繼續(xù)進(jìn)入原幀內(nèi)預(yù)測(cè)過(guò)程并保存IntraBC模式率失真代價(jià)值。經(jīng)粗粒度模式選擇過(guò)程后，得到N個(gè)候選模式（N的值隨著CU大小變化），其后選擇具有N個(gè)候選模式列表中的前3個(gè)模式作為比較模式，記做mode0，mode1，mode2。分別將此三種模式的率失真代價(jià)與IntraBC模式的率失真代價(jià)相比。若Min（Intra_Costmodei） > Intra_CostintraBC（i=0，1，2），則跳過(guò)率失真優(yōu)化過(guò)程并選擇IntraBC模式作為幀內(nèi)最優(yōu)預(yù)測(cè)模式。

2實(shí)驗(yàn)結(jié)果與分析

為了評(píng)估算法性能，實(shí)驗(yàn)在HEVC參考軟件HM-14.0+RExt-7.2+SCM-1.1上實(shí)現(xiàn)。實(shí)驗(yàn)平臺(tái)硬件配置為Intel Core i3-2120K CPU @ 3.30 GHz。每個(gè)屏幕內(nèi)容視頻序列采用50幀進(jìn)行編碼以驗(yàn)證算法有效性。實(shí)驗(yàn)所使用的視頻序列列表如表1所示。測(cè)試條件設(shè)置為全幀內(nèi)編碼[9]，QP（Quantization parameter，量化參數(shù)）值設(shè)為22，27，32，37。將本文算法實(shí)驗(yàn)結(jié)果與HEVC相比，以便于描述算法的更優(yōu)性能。實(shí)驗(yàn)結(jié)果如實(shí)驗(yàn)結(jié)果表明，編碼時(shí)間平均減少了35%，BD rate（比特率）平均增加0.4%，PSNR平均減少0.02。說(shuō)明本算法的編碼性能與HEVC算法相比，沒(méi)有明顯下降，且編碼復(fù)雜度大幅下降。

本文提出一種基于屏幕內(nèi)容視頻量化后顏色數(shù)目和IntraBC模式編碼有效性的快速模式選擇算法。一方面，對(duì)屏幕內(nèi)容視頻參考幀中每個(gè)CU中的像素值進(jìn)行量化，觀察視頻紋理的平滑性以決定是否進(jìn)行下一層分割；另一方面，計(jì)算IntraBC模式的率失真代價(jià)，與幀內(nèi)方向預(yù)測(cè)模式率失真代價(jià)相比，選擇性跳過(guò)幀內(nèi)預(yù)測(cè)過(guò)程或幀內(nèi)預(yù)測(cè)中率失真優(yōu)化過(guò)程。本算法在BD rate僅增加0.4%的情況下，編碼時(shí)間顯著節(jié)省了35%?；诹炕箢伾珨?shù)目和IntraBC模式編碼有效性的快速模式選擇算法是一個(gè)值得繼續(xù)研究的方向。

參考文獻(xiàn)：

SULLIVANG，OHMJ，HAN W， et al. Overview of the high efficiency video coding （HEVC） standard[J]. IEEE Trans. Circuits Syst，2012， 22（12）：16491668.

WIEGAND T，SULLIVAN G，J BJNTEGAARD， et al . Overview of the H.264/AVC video coding standard[J]. Circuits Syst. Video Technol， 2003，13（7）：560576.

D FLYNN， J SOLE， T SUZUKI. Range extensions draft 4.JCTVCN1005， 2013.

YINBO LIU， XINGANG LIU， BINFEI SHAO. Fast intra mode decision algorithm for HEVC based on texture direction.Computational Science and Engineering （CSE）， 2014.

HAO ZHANG ， ZHAN MA. Early termination schemes for fast intra mode decision in high efficiency video coding.Circuits and Systems （ISCAS）， 2013.

QIUWEN ZHANG，XINPENG HUANG，XIAO WANG.A fast intra mode decision algorithm for HEVC using sobel operator in edge detection based on texture direction[J].International Journal of Multimedia and Ubiquitous Engineering，2015，10（9）：8190.