趙利平,林濤,周開倫,胡珂立,林春梅
(1.紹興文理學(xué)院計算機科學(xué)與工程系,浙江 紹興 312000;2.同濟大學(xué)超大規(guī)模集成電路研究所,上海 200092)
隨著“寬帶中國”戰(zhàn)略和“互聯(lián)網(wǎng)+”行動計劃的實施,互聯(lián)網(wǎng)圖像編碼技術(shù)尤其是全色度互聯(lián)網(wǎng)圖像編碼算法成為圖像和視頻應(yīng)用領(lǐng)域(比如電視和電影的制作域等)的關(guān)鍵技術(shù)之一。全色度圖像,也稱4:4:4采樣格式的圖像,即不對色度分量進行下采樣(在用YUV(如YCbCr)色彩空間表示的圖像中,一個像素由3個分量構(gòu)成:一個亮度分量Y以及兩個色度分量U和V)。2017年3月,針對我國最新的第二代數(shù)字音視頻編解碼標準(the second generation of audio video coding standard,AVS2)[1-3]不支持 4:4:4 采樣格式圖像和視頻編碼的現(xiàn)狀,下一代AVS視頻編碼標準的需求V9.0[4]中提出了支持4:4:4采樣格式圖像和視頻編/解碼的需求,包括互聯(lián)網(wǎng)圖像視頻和屏幕混合內(nèi)容編碼等[5-14]。因此,基于AVS2標準的高效的全色度圖像編碼算法也是視頻編碼技術(shù)[16,17]的重要研究課題之一。
目前應(yīng)用最廣泛的主流圖像和視頻編碼算法與標準,如JPEG、MPEG-1、MPEG-2、AVS2基準檔次、H.264主要檔次和HEVC主要檔次都是采用 4:2:0采樣格式(即對每個色度分量進行4:1的下采樣)的編碼。事實上,幾乎所有實際應(yīng)用中,4:2:0采樣格式都不是圖像和視頻的原始格式,而是從 4:4:4采樣格式經(jīng)過色度下采樣后獲得的;與此對應(yīng),經(jīng)過編/解碼后的重構(gòu)的4:2:0采樣格式的圖像和視頻,也都要經(jīng)過色度上采樣轉(zhuǎn)換成 4:4:4采樣格式后才能顯示。因此,這些主流圖像和視頻編碼算法與標準對全色度圖像和視頻的整個編/解碼過程可以看成由色度下采樣、4:2:0采樣格式的編/解碼、色度上采樣這3部分組成。這些算法與標準對全色度圖像和視頻編/解碼過程簡稱為偽4:4:4編碼算法。參考文獻[11]針對已頒布的AVS2標準基準檔次不支持4:4:4采樣格式的視頻壓縮,提出了融合像素串匹配的AVS2全色度屏幕與混合內(nèi)容視頻編碼算法,同樣采用偽 4:4:4 編碼算法使 4:2:0 格式的 AVS2 幀內(nèi)預(yù)測編/解碼器能夠處理4:4:4格式的圖像和視頻。顯然,偽 4:4:4 編碼算法中色度下采樣和 4:2:0采樣格式的編/解碼都起到數(shù)據(jù)壓縮的作用。一方面,偽 4:4:4 編碼算法對輸入 4:4:4 采樣格式的圖像和視頻進行下采樣至 4:2:0采樣格式,色度下采樣本身就可以將比特數(shù)減少一半,達到2:1的壓縮比。這也是過去 30多年來,從 JPEG和MPEG-1甚至更早的國際電信聯(lián)盟(International Telecommunications Union,ITU)視頻編碼標準開始,4:2:0采樣格式圖像或視頻編碼算法一直占有主流地位的原因。另一方面,由于偽 4:4:4編碼算法的實際的圖像和視頻編碼總誤差由色度重采樣誤差和4:2:0采樣格式編/解碼誤差這兩部分組成,也會導(dǎo)致編碼效率較低。為了減少色度重采樣誤差,業(yè)界的一種主流做法是對色度分量進行線性插值。
為了更好地支持全色度(4:4:4采樣格式)圖像編解碼算法,國際上最新的視頻標準 HEVC(high efficiency video coding)的擴展檔次[18](簡稱 HEVC-RExt)對 4:4:4采樣格式的色度分量不進行色度重采樣算法,直接進行編/解碼,這種算法簡稱為全 4:4:4 編碼算法。顯然,全 4:4:4 編碼算法的總誤差等于編/解碼誤差。全 4:4:4編碼算法對于無損或幾乎無損的超高質(zhì)量的圖像或視頻的編碼,如計算機屏幕內(nèi)容編碼等,編碼效率比偽 4:4:4編碼算法更好。參考文獻[5-14]提出了基于串匹配算法的全色度屏幕內(nèi)容編碼算法[15]。
全色度自然圖像與屏幕內(nèi)容圖像[7,8,12]。具有不同的特征。以上算法對于全色度自然圖像的編碼存在以下局限性:一方面,全4:4:4編碼算法的比特率非常大,色度的峰值信噪比(peak signal to noise ratio,PSNR)不必非常高,降低了整體編碼效率;而偽4:4:4編碼算法的誤差較大,也降低了整體編碼效率;參考文獻[11]提出的融合像素串匹配的 AVS2全色度視頻編碼算法主要是對屏幕圖像很有效,對全色度自然圖像序列的編碼效率的提升效果不顯著;另一方面,全4:4:4編碼算法和參考文獻[11]中的算法需要增加編碼復(fù)雜度和對現(xiàn)有標準文本做較大的修改。
綜合以上考慮,本文在我國最新的 AVS2標準框架中,做了以下工作。
· 為了保持偽 4:4:4編碼算法低碼率的優(yōu)勢,將色度分量的上下采樣算法與編碼算法結(jié)合起來考慮,提出了一種在不同編碼階段采用不同色度采樣格式的全色度圖像編碼算法,稱為色度格式級聯(lián)編碼(multi-chroma format cascaded coding,MCFCC)算法。
· 為了進一步減少色度采樣誤差,通過在率-失真優(yōu)化(rate-distortion optimization,RDO)過程中使用帶權(quán)重的4:4:4采樣格式的失真計算方式和采用 4:4:4采樣格式的環(huán)內(nèi)濾波補償算法。
實驗結(jié)果表明:對于全色度自然圖像,提出的 MCFCC 算法比全 4:4:4 編碼算法、偽 4:4:4 編碼算法(包括加上線性插值方案)獲得的綜合編碼效率更高。與全4:4:4編碼算法和參考文獻[11]中算法相比的另一優(yōu)勢是:設(shè)計和實現(xiàn)全4:4:4或參考文獻[11]中編/解碼器,特別是硬件編/解碼器,很多模塊都需要“重起爐灶”,增加的設(shè)計和實現(xiàn)成本非常高;而MCFCC算法的軟件或硬件的編/解碼器實現(xiàn)和設(shè)計成本極低,完全復(fù)用 4:2:0編/解碼模塊(后處理部分僅擴大涉及的色度像素數(shù)目而不必對算法進行任何修改),以非常小的設(shè)計和實現(xiàn)成本代價可以很有效地提升編碼效率,具有較好的實際應(yīng)用價值。多色度格式級聯(lián)編碼算法基于AVS2提案[19]。
圖1給出了基于HEVC-RExt的全4:4:4編碼算法的全色度圖像或視頻編碼框架。
圖1 基于HEVC-RExt的全4:4:4編碼算法的全色度圖像編碼框架
對于輸入的4:4:4采樣格式的圖像或視頻,首先進行塊分割,HEVC[20]和AVS2[1]中都定義了3種塊分割單元,分別是編碼單元(coding unit,CU)、預(yù)測單元(prediction unit,PU)和變換單元(transform unit,TU)。最大的 CU 稱為LCU(largest coding unit)。一幀圖像可以認為是由互相不重疊的LCU組合而成,由于CU是二維對稱結(jié)構(gòu),對LCU的進一步分割是以遞歸四叉樹方式進行的。CU是最基本的二維對稱結(jié)構(gòu)編碼單位,各種編碼環(huán)節(jié)如幀內(nèi)預(yù)測、變換/量化、反變換/反量化、環(huán)路濾波以及熵編碼都是以分割單元為單位進行的。全4:4:4編碼算法中亮度分量與色度分量采用統(tǒng)一大小的CU進行編碼。
圖2給出了基于AVS2的偽4:4:4編碼算法的全色度圖像或視頻編/解碼框架。AVS2與HEVC-RExt均采用了基于分塊結(jié)構(gòu)的預(yù)測和變換的混合編碼(hybrid coding)結(jié)構(gòu)。與HEVC-RExt不同的是,目前 AVS2只支持 4:2:0采樣格式的幀內(nèi)預(yù)測、變換、量化、反量化、反變換、熵編碼、環(huán)內(nèi)濾波補償算法。采用偽4:4:4編碼算法使 4:2:0采樣格式的編/解碼器能夠處理 4:4:4采樣格式的圖像或視頻。具體而言,如圖2所示,對于編碼單元CUn,在進入AVS2編碼器前,將4:4:4數(shù)據(jù)經(jīng)過色度下采樣轉(zhuǎn)換成4:2:0數(shù)據(jù),再進入編碼器編碼并輸出圖像位流,編碼完成后,再把重建的 4:2:0的數(shù)據(jù)經(jīng)過色度上采樣轉(zhuǎn)換為 4:4:4格式的重構(gòu)圖像;解碼器對4:4:4采樣格式的圖像或視頻位流,采用 AVS2 4:2:0采樣格式的熵解碼、反量化、反變換、幀內(nèi)預(yù)測、環(huán)內(nèi)濾波補償?shù)?,?jīng)過色度上采樣轉(zhuǎn)換為4:4:4 格式的重構(gòu)圖像。偽 4:4:4 編碼算法在編碼前后進行色度下采樣和上采樣,在編碼的整個過程都是采用 4:2:0采樣格式的預(yù)測和編碼,因此稱為偽 4:4:4 編碼算法。
圖2 基于AVS2的偽4:4:4編碼算法的全色度圖像編解碼框架
為了減少色度采樣誤差,業(yè)界的一種主流做法是對于自然圖像的色度分量進行線性插值。圖3給出了基于線性插值上采樣算法的偽 4:4:4編碼算法。
如圖3所示,白點表示4:4:4采樣點,黑點表示 4:2:0 采樣點;下采樣時,4:2:0 采樣點由 4 個4:4:4采樣點取平均值獲得;上采樣時,采用線性差值方案,每個4:4:4采樣點由1個或2個或4個4:2:0采樣點的四舍五入的加權(quán)平均獲得。本文的線性插值上采樣算法對所有的 4:4:4采樣點主要分為四角點(比如a,見式(1))、邊界點(比如b、c、d,見式(2))和內(nèi)部點(比如e,見式(3))3種類型分別計算。其他各點的計算可用式(1)、(2)、(3)類似的方法獲得。
圖3 基于線性插值上采樣算法的偽4:4:4編碼算法
參考文獻[11]針對目前 AVS2不支持全色度4:4:4 格式的特點,設(shè)計與實現(xiàn)了一種融合 4:4:4 格式的像素串匹配編碼算法和4:2:0格式的幀內(nèi)、幀間預(yù)測編碼算法的全色度屏幕混合內(nèi)容編解碼框架與算法。該算法在軟件編碼復(fù)雜度增加 24%左右,硬件實現(xiàn)則需要設(shè)計全新的像素串匹配編碼器的高代價下,對于屏幕圖像序列類別,有損全幀內(nèi)配置Y分量的編碼效率可以提高56.1%,對于全色度屏幕混合內(nèi)容的編碼效率提升顯著。
顯然,偽4:4:4編碼算法和基于的線性插值方案的偽4:4:4編碼算法沒有將色度采樣與編/解碼作為一個整體來考慮導(dǎo)致編碼效率低;而全4:4:4編碼算法和參考文獻[11]中算法都需要增加較多的編碼復(fù)雜度,對現(xiàn)有AVS2文本做較大修改,還需要在實際應(yīng)用中付出完全重新設(shè)計編/解碼器的代價。MCFCC算法正是在這樣的背景下提出的。
圖4給出了基于AVS2的多色度格式級聯(lián)編碼算法的全色度圖像編/解碼框架。多色度格式級聯(lián)編碼算法簡稱MCFCC算法。MCFCC算法在不同的編碼階段采用不同的色度采樣格式,算法的主要步驟如下。
圖4 基于AVS2的多色度格式級聯(lián)編碼算法的全色度圖像編解碼框架
步驟1 在進入AVS2編碼器前,以CUn為處理單元,將原始的4:4:4采樣格式的色度分量值經(jīng)過色度下采樣,轉(zhuǎn)換成4:2:0的色度分量值。
步驟 2 對 4:2:0 的色度分量值進行 4:2:0 采樣格式的幀內(nèi)預(yù)測、變換, 量化、反量化、反變換、熵編碼等得到4:2:0采樣格式的色度預(yù)測補償值。
步驟3 對4:2:0采樣格式的色度預(yù)測補償值進行色度上采樣后產(chǎn)生 4:4:4采樣格式的色度預(yù)測補償值。
步驟4 對4:4:4采樣格式的色度預(yù)測補償值進行 4:4:4 的色度環(huán)內(nèi)濾波補償,產(chǎn)生 4:4:4 的色度重建值。
同理,解碼器也是在環(huán)內(nèi)濾波補償之前進行上采樣,再進行 4:4:4 的環(huán)內(nèi)濾波補償,產(chǎn)生 4:4:4的重建圖像。
圖5給出了MCFCC算法不同編碼階段采用不同的色度采樣格式??梢钥闯?,MCFCC算法與偽 4:4:4算法相同的地方在于編碼的大部分階段采用 4:2:0 采樣格式的編碼以保持偽 4:4:4 算法固有的低碼率的優(yōu)勢,不同的地方在于增加了上下采樣模塊、幀內(nèi)預(yù)測階段采用帶權(quán)重的4:4:4色度采樣格式的失真計算方式來進行率—失真最優(yōu)化和對色度分量預(yù)測補償值采用 4:4:4的色度分量環(huán)內(nèi)濾波補償算法。
MCFCC算法采用的色度下采樣算法是4:2:0格式的色度分量取4:4:4格式中4個像素的色度分量的平均值,而色度上采樣算法則是重復(fù)色度分量4次。
圖 5中Cx,y表示坐標位置為x和y的原始 4:4:4格式色度分量值、 DSCdx,dy表示坐標位置為dx和dy的4:2:0格式色度分量值表示向下取整。下采樣算法用式(4)表示:
同理,ComCx,y表示坐標位置為x和y的4:4:4格式色度分量預(yù)測補償值, ComDSCdx,dy表示坐標位置為dx和dy的4:2:0格式格式色度分量預(yù)測補償值。色度分量預(yù)測補償值上采樣算法用式(5)表示:
圖5 MCFCC算法不同編碼階段的不同色度采樣格式
AVS2中采用RDO模式選擇機制自適應(yīng)選擇最佳編碼模式。為了進一步減少色度采樣誤差對模式選擇的影響,采用帶權(quán)重的4:4:4色度采樣格式的失真(Distortion)計算方式,用式(6)表示:
對于大小為 w·h(w 為寬度,h 為高度)的 4:4:4采樣格式的CU,失真之和由亮度分量的失真之和和色度分量的失真之和組成。原始的 w·h個亮度分量 Lx,y(1≤x≤w, 1≤y≤h)與預(yù)測補償后的 w·h個亮度分量 ComLx,y的差的平方和為亮度分量的失真之和;原始的 w·h個色度分量值(包括 UV分量)Cx,y與預(yù)測補償后上采樣為4:4:4采樣格式的 w·h個色度分量 ComCx,y的差的平方和為色度分量的失真之和??偟氖д娌捎脦?quán)重的4:4:4色度采樣格式的失真計算方式,通過權(quán)重因子適當降低色度分量的編碼和下采樣失真的權(quán)重。本文色度分量的失真之和的權(quán)重因子λ為0.5。
AVS2的環(huán)內(nèi)濾波補償包括去塊效應(yīng)濾波(deblock filter,DF)、樣本自適應(yīng)偏移補償(sample adaptive offset,SAO)和自適應(yīng)環(huán)路濾波(adaptive loop filter,ALF)3 個步驟[1-3]。表 1 給出了 4:4:4采樣格式的環(huán)內(nèi)濾波補償與AVS2中4:2:0采樣格式的環(huán)內(nèi)濾波補償?shù)闹饕獏^(qū)別。可以看出,本文實現(xiàn)的 4:4:4采樣格式的環(huán)內(nèi)濾波補償主要涉及兩方面的修改:
· 涉及色度像素塊寬度和高度的地方,均在原來的基礎(chǔ)上擴大一倍;
· 對涉及色度像素塊的在圖像中的位置的變量進行相應(yīng)的位置修改。
具體而言,對于 DF算法,色度塊數(shù)目增加到原來的4倍,色度塊用到的像素數(shù)目也增加到原來的4倍;對于SAO算法,色度SAO單元大小從32×32擴展到64×64;同樣,色度ALF單元大小也從32×32擴展到64×64。
因DF、SAO、ALF的逐點(像素)操作都與色度塊大小本身和色度塊數(shù)目無關(guān),為了與AVS2的基準檔次標準文本等同,本文實現(xiàn)的4:4:4采樣格式的環(huán)內(nèi)濾波補償對于語法元素和熵編/解碼過程不做任何修改,因此是完全等同 AVS2標準中4:2:0的環(huán)內(nèi)濾波補償算法。
本文的測試數(shù)據(jù)采用AVS技術(shù)提案[19]使用的12幅不同互聯(lián)網(wǎng)應(yīng)用場景的原始RGB格式的數(shù)碼相機拍攝的自然圖像,轉(zhuǎn)換為8 bit YUV單幀序列[19]。12幅圖像的縮略圖(灰度圖)如圖6所示。
表1 4:4:4采樣格式的環(huán)內(nèi)濾波補償與4:2:0采樣格式的環(huán)內(nèi)濾波補償?shù)闹饕獏^(qū)別
為了便于說明本文算法的特性,將本文提出的算法及其比較的基準分為以下5種算法:
· 基于 HEVC-RExt的全 4:4:4 編碼算法,簡稱全 4:4:4,采用 HM16.6 的參考軟件[20];
· 基于 AVS2 RD17.0 的偽 4:4:4 編碼算法[11],簡稱偽4:4:4,上下采樣算法同MCFCC算法;
· 基于 AVS2 RD17.0 的線性插值偽 4:4:4 編碼算法,簡稱偽LI4:4:4,上下采樣算法采用圖3中的方案;
· 基于AVS2 RD17.0的多色度格式級聯(lián)編碼
算法[19],簡稱MCFCC算法;
· 參考文獻[11]提出的基于AVS2的串匹配算法,簡稱AVS2SM算法。
圖6 典型自然圖像序列
表2 編碼配置參數(shù)
表2給出了編碼參數(shù)配置。所有算法均采用有損編碼模式,分別采用HEVC-RExt通用測試條件的標準配置[21]和AVS2通用測試條件的標準配置[22]。其中,有損編碼模式分為兩組QP,分別是傳統(tǒng)QP組(記為QP組1):HEVC-RExt為{ 22,27,32,37 },AVS2 為{ 25,32,38,45 };超高質(zhì)量QP組(記為QP組2):HEVC-RExt為{ 2,7,12,17 },AVS2 為{ 0,5,12,18 }。使用all intra(AI,即全部圖像都是 I圖像)編碼圖像類型的配置。實驗環(huán)境配置為Intel Core CPU i7-2600K @3.40GHz (4處理器)、24 GB內(nèi)存、硬盤為1.4 TB的Win7 x64位操作系統(tǒng)的服務(wù)器。
性能評價主要包括算法編碼效率和算法復(fù)雜度兩方面。采用BD-rate[23](HEVC標準中根據(jù)兩種算法4個QP的比特率(bit-rate,單位為kbit/s)與峰值信噪比(peak signal to noise ratio,PSNR)數(shù)據(jù)形成的率失真(rate distortion,RD)曲線,計算兩種算法在相同 PSNR下比特率的變化情況,最后取平均值得到兩種算法編碼效率的比較結(jié)果)比較兩種算法有損編碼模式編碼效率的優(yōu)劣。BD-rate為負值表示相同 PSNR下比特率降低,編碼效率提高。由于偽 4:4:4、偽 LI4:4:4編碼算法、MCFCC算法和 AVS2SM算法中引入了 YUV4:4:4 與 YUV4:2:0 之間的色度下采樣和色度上采樣,采用基于CPSNR——一種綜合3個分量的PSNR的綜合BD-rate來衡量[24],該衡量方法已經(jīng)被AVS2標準采納。CPSNR為負值,表示綜合編碼效率提高。由于一幀圖像解碼時間太短,算法復(fù)雜度的比較主要用國際標準制定工作中通用的編碼運行時間的比值來衡量。
表 3給出了 QP組 1情況下全 4:4:4相對MCFCC、偽 4:4:4 相對 MCFCC、偽 LI4:4:4 相對MCFCC 3組編碼效率的比較結(jié)果。編碼效率比較中,每行數(shù)據(jù)表示一個序列,分別給出了AI配置下Y、U、V分量的BD-rate和基于CPSNR的3個分量(標記為 YUV)的綜合 BD-rate。最后一行給出了所有數(shù)據(jù)的平均編碼效率。
表3 MCFCC相對全4:4:4、MCFCC相對偽4:4:4、MCFCC相對偽LI4:4:4編碼效率比較(QP組1)
表4給出了QP組2情況下基于AVS2的偽4:4:4 相對 MCFCC、偽 LI4:4:4 相對 MCFCC 編碼效率比較結(jié)果。
表5給出了QP組1和QP組2情況下,基于AVS2 的偽 LI4:4:4 相對偽 4:4:4、MCFCC 相對偽4:4:4、AVS2SM 相對偽 4:4:4 算法性能比較。其中,EncTime表示編碼運行時間。
圖7給出了12個序列MCFCC算法和全4:4:4算法在不同 QP情況下獲得的平均 Y-PSNR和U-PSNR之差、Y-PSNR和V-PSNR之差的曲線。
表4 基于AVS2的MCFCC相對偽4:4:4、MCFCC相對偽LI4:4:4編碼效率比較(QP組2)
表5 偽LI4:4:4相對偽4:4:4、MCFCC相對偽4:4:4、AVS2SM相對偽4:4:4算法性能比較
圖7 MCFCC算法和全4:4:4算法Y-PSNR和U-PSNR、V-PSNR之差比較(QP組1)
從以上實驗結(jié)果可以得出以下結(jié)論。
從表3中可知,對于傳統(tǒng)QP組,MCFCC算法與全 4:4:4編碼算法相比,每個序列的 Y分量的編碼效率都有不小提升,U、V分量的編碼效率降低,但綜合編碼效率有提升。例如,RGB_OR_032序列的綜合BD-rate為-5.41%,所有序列的平均綜合 BD-rate平均值為-2.43%。因此,MCFCC算法比全4:4:4編碼算法取得的綜合編碼效率更高。MCFCC算法與偽4:4:4編碼算法相比,平均綜合編碼效率提升1.9%。MCFCC算法與偽LI4:4:4編碼算法的編碼效率相當,平均綜合編碼效率提升0.2%。
從表4中可知,對于超高質(zhì)量QP組,MCFCC算法與偽 4:4:4編碼算法相比,12個序列取得的綜合編碼效率大幅提升,平均綜合BD-rate平均值為-25.5%。MCFCC算法與偽LI4:4:4編碼算法相比,12個序列取得平均綜合 BD-rate平均值為-12.6%。
從表 5中可知,MCFCC算法、偽 LI4:4:4、AVS2SM 算法與偽 4:4:4算法相比的情況來看,MCFCC算法具有兼顧低編碼復(fù)雜度和較高編碼效率的優(yōu)勢。MCFCC算法與偽4:4:4算法相比,在QP組1和QP組2的情況下,編碼時間僅僅增加了3.2%和2.2%的前提下,綜合編碼效率提升了25.5%和1.9%。MCFCC算法與偽LI4:4:4算法相比,編碼時間僅僅增加3%左右的前提下,QP組1情況下編碼效率提升顯著。AVS2SM 算法與MCFCC算法相比,綜合編碼效率雖分別提升約10%和 4%,但是軟件編碼復(fù)雜度增加約 28%和15%,且具有硬件實現(xiàn)需要設(shè)計全新的像素串匹配編碼器的劣勢。
從圖7中可知,對于傳統(tǒng)QP組,全4:4:4算法在不同 QP情況下獲得的平均 Y-PSNR和U-PSNR之差、Y-PSNR和V-PSNR之差比MCFCC算法要大一些。在自然圖像和視頻中,人眼對亮度的差別很敏感,而對色度的差別的敏感度較低。在傳統(tǒng)QP組情況下,全4:4:4色度的PSNR沒有必要太高,MCFCC算法Y的平均BD-rate比全4:4:4方法更是大幅降低了9.8%。
本文在 AVS2標準框架中,將色度下采樣和上采樣與編解碼作為一個整體來考慮,提出了一種多色度格式級聯(lián)編碼的全色度圖像編碼算法。首先給出了多色度格式級聯(lián)編碼算法編解碼框架,然后介紹多色度格式級聯(lián)編碼算法中的下采樣和上采樣算法、帶權(quán)重的4:4:4色度采樣格式的失真計算方式和 4:4:4采樣格式的環(huán)內(nèi)濾波補償算法等關(guān)鍵算法。實驗結(jié)果表明,MCFCC算法具有低編碼復(fù)雜度、較高編碼效率和編解碼器部分完全等同 AVS2標準基準檔次文本的優(yōu)勢,是基于 AVS2標準的全色度自然圖像編碼算法的一個更好的選擇。下一步的主要工作是探索更高編碼效率的 4:4:4采樣格式的屏幕內(nèi)容編碼和互聯(lián)網(wǎng)圖像視頻編碼算法。
參考文獻:
[1] GAO W, MA S.Advanced video coding systems[M].Berlin:Springer Publishing Company, Incorporated, 2015.
[2] WANG S, LUO F, MA S.Overview of the second generation AVS video coding standard (AVS2)[J].ZTE Communications,2016, 14(1): 3-11.
[3] 馬思偉, 羅法蕾, 黃鐵軍.AVS2視頻編碼標準技術(shù)特色及應(yīng)用[J].電信科學(xué), 2017, 33(8): 3-15.MA S W, LUO F L, HUANG T J.Kernel technologies and applications of AVS2 video coding standard[J].Telecommunications Science, 2017, 33(8): 3-15.
[4] AVS.下一代AVS視頻編碼標準的算法需求V9.0: N2401[S].2017.AVS.The technical requirements V9.0 for the next generation of AVS video coding standards: N2401[S].2017.
[5] WANG S, LIN T.Compound image compression based on unified LZ and hybrid coding[J].IET Image Processing, 2013,7(5): 484-499.
[6] LIN T, ZHANG P, WANG S, et al.Mixed chroma sampling-rate high efficiency video coding for full-chroma screen content[J].IEEE Transactions on Circuits & Systems for Video Technology,2013, 23(1): 173-185.
[7] WANG S, LIN T.United coding method for compound image compression[J].Multimedia Tools & Applications, 2014, 71(3):1263-1282.
[8] ZHAO L, LIN T, ZHOU K, et al.Pseudo 2D string matching technique for high efficiency screen content coding[J].IEEE Transactions on Multimedia, 2016, 18(3): 339-350.
[9] ZHOU K, ZHAO L, LIN T.A hardware decoder architecture for general string matching technique[J].IEEE Journal on Emerging & Selected Topics in Circuits & Systems, 2016, PP(99): 1-13.
[10] 趙利平, 林濤, 周開倫.屏幕圖像壓縮中串復(fù)制位移參數(shù)的高效編碼算法[J].計算機學(xué)報, 2017, 40(5): 1218-1228.ZHAO L P, LIN T, ZHOU K L.An efficient ISC offset parameter coding algorithm in screen content coding[J].Chinese Journal of Computers, 2017, 40(5): 1218-1228.
[11] 趙利平, 周開倫, 郭靖, 等.融合像素串匹配的AVS2全色度屏幕與混合內(nèi)容視頻編碼算法[J].計算機學(xué)報, 2017, 40(23):1-15.ZHAO L, ZHOU K, GUO J, et al.Pixel string matching for full-chroma screen and mixed content coding in AVS2[J].Jour-nal of Computers, 2017, 40(23): 1-15.
[12] ZHAO L, ZHOU K, GUO J, et al.A universal string matching approach to screen content coding[J].IEEE Transactions on Multimedia, 2018.
[13] 林濤, 蔡文婷, 陳先義, 等.一種高性能低復(fù)雜度的基于串匹配的屏幕圖像無損壓縮算法[J].電子與信息學(xué)報, 2017,39(2): 351-359.LIN T, CAI W T, CHEN X Y, et al.Lossless compression algorithm based on string matching with high performance and low complexity for screen content coding[J].Journal of Electronics &Information Technology, 2017, 39(2): 351-359.
[14] ZHOU K, ZHAO L, LIN T.A flexible and uniform string matching technique for general screen content coding[J].Multimedia Tools & Applications, 2018(4): 1-25.
[15] PENG W H, WALLS F G, COHEN R A, et al.Overview of screen content video coding: technologies, standards, and beyond[J].IEEE Journal on Emerging & Selected Topics in Circuits & Systems, 2016, 6(4): 393-408.
[16] 周建同, 楊海濤, 劉東, 等.視頻編碼的技術(shù)基礎(chǔ)及發(fā)展方向[J].電信科學(xué), 2017, 33(8): 16-25.ZHOU J T, YANG H T, LIU D, et al.Trends and technologies of video coding[J].Telecommunications Science, 2017, 33(8): 16-25.
[17] 郭勐, 聶秀英, 黃更生.視頻編碼新技術(shù)和新方向[J].電信科學(xué), 2017, 33(8): 26-34.GUO M, NIE X Y, HUANG G S.Recent development and prospective of video coding[J].Telecommunications Science, 2017,33(8): 26-34.
[18] ITU-T/ISO/IEC JCT-VC.Edition 2 draft text of high efficiency video coding (HEVC, including format range RExt,scalability (SHVC), and multi-view (MV-HEVC) extensions:JCTVC-R1013[S].2014.
[19] AVS.AVS2-P2 框架下對 YUV4:4:4 和 YUV422 (CExt) 圖像的編碼: M4221[S].2017.AVS.YUV4: 4: 4 and YUV422 (CExt) image coding in AVS2-P2 framework: M4221[S].2017.
[20] SULLIVAN G J, OHM J, HAN W J, et al.Overview of the high efficiency video coding (HEVC) standard[J].IEEE Transactions on Circuits & Systems for Video Technology, 2013, 22(12):1649-1668.
[21] ITU-T/ISO/IEC JCT-VC.Common test conditions: Z1100[S].2017.
[22] AVS.AVS2-P2通用測試條: N2420[S].2017.AVS.Common test condition for AVS2-P2: N2420[S].2017.
[23] ITU.Improvements of the BD-PSNR model:VCEG-AI11[S].2008.
[24] AVS.一種計算綜合PSNR的方法: M3830[S].2016.AVS.A method for calculating PSNR: M3830[S].2016.