無線異構(gòu)網(wǎng)絡(luò)中的低復(fù)雜度分級視頻傳輸技術(shù)*

楊 紅，張 松，王 林，丁灝云，卿粼波，何小海

(1.四川大學(xué) 電子信息學(xué)院，成都 610065;2.成都工業(yè)學(xué)院 網(wǎng)絡(luò)與通信工程學(xué)院，成都 611730)

0 引 言

在異構(gòu)網(wǎng)絡(luò)中，當(dāng)不同用戶通過不同的通信鏈路接入相同的視頻時(shí)，用戶是否能流暢地播放該視頻受當(dāng)時(shí)的網(wǎng)絡(luò)條件和視頻源數(shù)據(jù)量大小的限制。多視點(diǎn)視頻在網(wǎng)絡(luò)中所需要傳輸?shù)臄?shù)據(jù)量較單視點(diǎn)視頻數(shù)據(jù)呈數(shù)量級的增大趨勢，這勢必會進(jìn)一步加大數(shù)據(jù)傳輸量[1]，從而會導(dǎo)致多視點(diǎn)視頻播放時(shí)更嚴(yán)重的卡頓現(xiàn)象。為解決該類多用戶的應(yīng)用問題，研究者提出分級編碼可提供一個(gè)視頻的多種版本[2-3]，但在無線帶寬不足的情況下視頻質(zhì)量較差，當(dāng)無線網(wǎng)絡(luò)的帶寬豐富時(shí)視頻質(zhì)量高。這些分層視頻流可以適應(yīng)網(wǎng)絡(luò)帶寬的頻繁變化，并且用戶可根據(jù)自身終端情況自適應(yīng)調(diào)整播放速率。分級編碼很好地適應(yīng)了網(wǎng)絡(luò)的異構(gòu)性及帶寬波動所帶來的負(fù)面影響，已被證明是解決網(wǎng)絡(luò)帶寬波動最有效的方法[2]。

傳統(tǒng)視頻分級編碼(Scalable Video Coding，SVC)系統(tǒng)主要有H.264可伸縮視頻編碼[4]、H.265可伸縮高效視頻編碼(Scalable High Efficiency Video Coding，SHVC)[5]等。由于傳統(tǒng)SVC系統(tǒng)采用了層間預(yù)測技術(shù)，其編碼端復(fù)雜度非常高。然而，無線異構(gòu)網(wǎng)絡(luò)終端受到體積、功耗和便捷性等因素的制約使得編碼端復(fù)雜的SVC方案已不適用。分布式視頻編碼(Distributed Video Coding,DVC)是一種非標(biāo)準(zhǔn)的視頻編碼算法[6]，與傳統(tǒng)視頻編碼系統(tǒng)相比具有低編碼復(fù)雜度和高魯棒性的優(yōu)點(diǎn)，非常適合在無線異構(gòu)網(wǎng)絡(luò)終端進(jìn)行視頻的編碼。有研究者針對體積功耗受限和低復(fù)雜度應(yīng)用場景已展開了DVC分級結(jié)構(gòu)的設(shè)計(jì)：卿粼波等人[7]基于迭代譯碼算法設(shè)計(jì)了分級分布式視頻編碼方案；葛潔緣等人[8]基于小波變換對分布式視頻編碼方案進(jìn)行了改進(jìn)研究，首先引入整數(shù)小波簡化算法提升編碼端效率，其次采用傳統(tǒng)編碼領(lǐng)域的分級傳輸思想設(shè)計(jì)適應(yīng)不同傳輸帶寬的DVC結(jié)構(gòu)。

但是，以上的分級編碼系統(tǒng)均是基于單視點(diǎn)視頻展開研究。本文為了實(shí)現(xiàn)多視點(diǎn)視頻在異構(gòu)網(wǎng)絡(luò)中的流暢播放效果及低復(fù)雜編碼器結(jié)構(gòu)，基于DVC的框架，利用逐級優(yōu)化更新的理論設(shè)計(jì)了一種適用于無線異構(gòu)網(wǎng)絡(luò)中的分布式多視點(diǎn)視頻分級編碼(Distributed Multi-view Video Layered Coding，DMVLC)框架。該框架充分利用已解碼的層間相關(guān)性、視點(diǎn)內(nèi)相關(guān)性和視點(diǎn)間相關(guān)性進(jìn)行邊信息的更新優(yōu)化，最終獲得了信道條件差-低碼率-低質(zhì)量/信道條件好-高碼率-高質(zhì)量的不同傳輸特性，適合應(yīng)用于異構(gòu)網(wǎng)絡(luò)的無線傳輸環(huán)境。

1 分級更新原理

1.1 逐級優(yōu)化更新理論

Equitz和Cover[9]首先提出了信號的逐級優(yōu)化問題，圖1所示為兩級優(yōu)化解碼原理框圖。

圖1 逐級優(yōu)化的兩級編解碼框架

(1)

(2)

很自然地可以將該兩級優(yōu)化推廣到任意有限N級[10]。

1.2 小波域各層信息更新解碼框架

小波域Wyner-Ziv(WZ)幀編解碼框架[11]為小波域分級編解碼提供了設(shè)計(jì)思路，其從低頻帶到高頻帶逐步更新運(yùn)動矢量，從而得到不斷更新的邊信息。更新框架如圖2所示。

圖2 基于MRMR的小波域各層信息更新解碼原理框圖

在圖2所示中，首先假設(shè)F(t-1)為已解碼的Key(K)幀或者WZ幀，利用初始運(yùn)動矢量結(jié)合前一幀F(xiàn)(t-1)經(jīng)離散小波變換(Discrete Wavelet Transform,DWT)后得到的低頻帶系數(shù)LLN(t-1)估計(jì)當(dāng)前幀中LLN(t)的邊信息，初始運(yùn)動矢量通常認(rèn)為是零或者由前一幀進(jìn)行運(yùn)動外推得到；然后對LLN(t)進(jìn)行WZ解碼和重建，并且設(shè)置n=N，隨后在LLn(t)與LLn(t-1)之間進(jìn)行運(yùn)動搜索得到新的運(yùn)動矢量。利用更新的運(yùn)動矢量經(jīng)過運(yùn)動補(bǔ)償?shù)玫疆?dāng)前分辨率下各高頻頻帶HLn、LHn、HHn的邊信息，由于邊信息質(zhì)量得到了提升，因此降低了解碼碼率。通過多分辨率運(yùn)動細(xì)化，可以在已解碼的低頻帶圖像的基礎(chǔ)上得到高頻帶圖像的高質(zhì)量邊信息。由于邊信息的生成過程利用了當(dāng)前幀的部分信息，因此得到的邊信息質(zhì)量比單純利用運(yùn)動內(nèi)插或者外推得到的要好。

2 DMVLC系統(tǒng)分級編解碼框架

2.1 DMVLC系統(tǒng)WZ幀分級編解碼框架

在DMVLC系統(tǒng)中對WZ幀F(xiàn)(t+i)(i∈[1,…,GOP-1])進(jìn)行3層9/7小波變換獲得不同頻帶系數(shù)，其中LL3作為基本層(Base Layer,BL)，LHj(j∈[1,2,3])作為EL1層，HHj(j∈[1,2,3])作為EL2層，HLj(j∈[1,2,3])作為EL3層，如圖3所示，并按照圖4中箭頭方向進(jìn)行系數(shù)的量化，然后分別進(jìn)行無損Slepian-Wolf 編碼(Slepian-Wolf Coding,SWC)獲得各層碼流，送入信道傳輸。由于WZ幀已經(jīng)獲得了不同碼率大小的各個(gè)傳輸層(BL層、EL1層、EL2層和EL3層)，當(dāng)信道傳輸條件動態(tài)變差時(shí)的BL層的優(yōu)先級最高，接收端優(yōu)先接收到BL層并解碼；當(dāng)信道條件稍微好一點(diǎn)時(shí)，接收端可接收到EL1層并解碼。以此類推，WZ幀能適應(yīng)不同信道的動態(tài)變化。

圖3 WZ幀分級編解碼框架

圖4 WZ幀小波域分級各層DWT頻帶劃分圖

2.2 層內(nèi)邊信息逐級優(yōu)化算法

DMVLC分級編碼框架中邊信息逐級更新及分級解碼的實(shí)現(xiàn)過程如圖5所示，該過程充分利用已解碼的當(dāng)前層，挖掘上下層之間的層內(nèi)時(shí)間相關(guān)性以及幀內(nèi)部的空間相關(guān)性。

圖5 解碼端邊信息逐級優(yōu)化的可分級實(shí)現(xiàn)框圖

由于解碼端邊信息逐級優(yōu)化的框架一致，其他幾層的優(yōu)化算法也一致，僅參數(shù)不同，所以本小節(jié)詳細(xì)介紹BL的逐級優(yōu)化方案。當(dāng)只有BL被接收端成功接收時(shí)，LL3就作為該層對應(yīng)的初始邊信息，結(jié)合前一幀的運(yùn)動矢量計(jì)算出當(dāng)前幀LL3的邊信息SI1；然后根據(jù)接收到的基本層碼流RBL進(jìn)行聯(lián)合解碼，獲得當(dāng)前BL的更佳重建幀F(xiàn)BL；接著再利用運(yùn)動估計(jì)更新當(dāng)前層的運(yùn)動矢量，由于挖掘了層間相關(guān)性，獲得了質(zhì)量較準(zhǔn)確的EL1的邊信息SI2。采用同樣的方法和過程，可以得到優(yōu)化后的EL2邊信息SI3和EL3的邊信息SI4，更新后的各層邊信息質(zhì)量高低如圖6所示。

圖6 視點(diǎn)內(nèi)邊信息逐級優(yōu)化結(jié)果示意圖

2.3 層間邊信息逐級優(yōu)化算法

為了提升DMVLC系統(tǒng)邊信息質(zhì)量可充分利用視點(diǎn)間的空域相關(guān)性，本小節(jié)以中間視點(diǎn)EL1層的邊信息更新為例介紹視點(diǎn)間邊信息逐級更新流程，如圖7所示，其中綠色幀為已解碼的視頻層，粉色幀為待解碼視頻層。由于現(xiàn)在可參考的有用信息為當(dāng)前層的前一層及左右視點(diǎn)的當(dāng)前層，因此首先假設(shè)左右視點(diǎn)的EL1層已成功解碼并重建了視頻幀F(xiàn)EL1，此時(shí)中間視點(diǎn)EL1的邊信息可參考左右視點(diǎn)EL1層，此外還可以參考中間視點(diǎn)BL層。

圖7 視點(diǎn)間邊信息逐級更新結(jié)構(gòu)示意圖

在此基礎(chǔ)上，本文研究的DMVLC框架在解碼端可獲得不同視點(diǎn)不同層的解碼重建視頻幀，如圖8所示。DMVLC解碼端的中間視點(diǎn)當(dāng)前層邊信息逐級更新結(jié)構(gòu)中可充分利用已解碼的相鄰視點(diǎn)當(dāng)前層，用于挖掘左右相鄰層的層間空間相關(guān)性；同時(shí)還可利用當(dāng)前幀中已經(jīng)解碼出來的前一層，用于挖掘上下層之間的層間時(shí)間相關(guān)性。

圖8 分布式多視點(diǎn)分級編碼結(jié)果示意圖

3 實(shí)驗(yàn)仿真與分析

3.1 實(shí)驗(yàn)條件和參數(shù)設(shè)置

本小節(jié)通過仿真實(shí)驗(yàn)，測試DMVLC系統(tǒng)的碼率可分級性和質(zhì)量可分級性，實(shí)現(xiàn)分布式多視點(diǎn)可分級視頻編碼系統(tǒng)。實(shí)驗(yàn)中，對WZ幀進(jìn)行編碼的4個(gè)量化參數(shù)設(shè)置為{10，14，18，22}，K幀的量化參數(shù)設(shè)置為{40，36，32，28}。仿真實(shí)驗(yàn)采用標(biāo)準(zhǔn)測試視頻序列Balloons(256 pixel×192 pixel，30 b/s)和PoznanHall2(480 pixel×272 pixel，25 b/s)，并用Matlab2016版進(jìn)行仿真測試?？紤]到由K幀生成的邊信息質(zhì)量好壞直接決定了DMVLC系統(tǒng)的整體性能，所以本實(shí)驗(yàn)首先固定K幀質(zhì)量，然后測試系統(tǒng)的分級性，并與文獻(xiàn)[12]介紹的DMVLC比較。

3.2 系統(tǒng)分級性測試及分析

本文將邊信息逐級優(yōu)化方案用到WZ幀的解碼流程中，隨著解碼端接收到的待解碼不同層的增加，邊信息質(zhì)量也逐級提升，測試結(jié)果如圖9所示，圖中橫坐標(biāo)分別是WZ幀編碼時(shí)采用的4個(gè)不同的量化參數(shù){Q4=10，Q3=14，Q2=18，Q1=22}。如圖9(a)所示，在Balloons序列視點(diǎn)1的測試結(jié)果中，當(dāng)量化參數(shù)為Q4時(shí)EL1層峰值信噪比(Peak Signal-to-Noise Ratio,PSNR)值比BL層的提升了3 dB，其他各量化參數(shù)下的各層都有不同的提升效果。

(a)Balloons序列視點(diǎn)1

(b)Poznan Hall 2序列視點(diǎn)5圖9 測試序列WZ幀邊信息各層質(zhì)量

隨后，對分級DMVLC系統(tǒng)中WZ幀分級的RD性能進(jìn)行測試，并且和文獻(xiàn)[12]的分級編碼框架進(jìn)行對比，如圖10所示。文獻(xiàn)[12]分級方案與本文分級實(shí)現(xiàn)方案在BL層一樣，都將LL3作為BL層；但增強(qiáng)層不同，文獻(xiàn)[12]采用小波變換第三層作為EL1層，采用小波變換第二層作為EL2層，采用小波變換第一層作為EL3層。觀察測試結(jié)果可見，文獻(xiàn)[12]的EL3層碼率均大于本文方案，而BL層碼率大小兩種方案幾乎無差別；從PSNR值的情況看，本文分級方案的PSNR比文獻(xiàn)[12]的PSNR值有提升，比如Balloons視點(diǎn)1中本文所提算法較文獻(xiàn)[12]的基本層提升了0.5 dB，這主要由于本文方案在邊信息更新的處理上采用了逐級優(yōu)化的方式。另外，Balloons視點(diǎn)1的BL與EL1的低碼率段的PSNR分級性能更突出，即其PSNR值的跨度范圍更大。圖10(a)中本文算法獲得的各層碼率和PSNR值都具有低碼率低質(zhì)量-高碼率高質(zhì)量的分級特性，但是文獻(xiàn)[12]的綠色和藍(lán)色各層的分級特性有缺失。

(a)Balloons序列視點(diǎn)1

(b)Poznan Hall2序列視點(diǎn)5圖10 測試序列WZ幀分級RD曲線

為了測試DMVLC系統(tǒng)的分級性，將其和傳統(tǒng)SHVC編碼框架的分級性進(jìn)行對比，其中SHVC的BL層采用HEVC幀內(nèi)編碼方式獲得，分級情況由各層的量化參數(shù)所決定；DMVLC系統(tǒng)的碼率和PSNR由WZ編碼器中的量化參數(shù)所決定。兩者的碼率和PSNR值均列于表1，測試結(jié)果說明了本文分級編碼有效，且部分性能與SHVC某些層一致。

表1 DMVLC與SHVC部分量化參數(shù)下Balloons序列的碼率和PSNR值

3.3 DMVLC系統(tǒng)的主觀效果測試及分析

為了更好地體現(xiàn)該分級系統(tǒng)的性能及各層對解碼視頻的貢獻(xiàn)，將程序運(yùn)行結(jié)束后的重建視頻幀進(jìn)行融合，按照視頻幀原來的順序進(jìn)行存儲并播放出來，此時(shí)就可以對各測試序列在解碼端獲得的不同層重建幀進(jìn)行主觀對比，如圖11所示。

(a)接收到BL層解碼圖像(PSNR為32.478 6 dB)

(b)接收到BL+EL1層解碼圖像(PSNR為34.902 7 dB)

(c)接收到BL+EL1+EL2層解碼圖像(PSNR為35.288 1 dB)

(d)接收到所有四層解碼圖像(PSNR為35.590 3 dB)圖11 測試序列PoznanHall2中間視點(diǎn)第三幀的各級主觀圖

圖11中紅色小框內(nèi)是測試序列某一幀不同層解碼重建圖像同一區(qū)域的選擇，紅色大框是對該區(qū)域圖像進(jìn)行放大后的圖像。圖11(a)展示了PoznanHall2序列第三幀基本層的解碼結(jié)果，從右下角的放大圖可見此時(shí)圖像質(zhì)量較模糊，PSNR值為32.478 6 dB。圖11(b)和(c)分別展示了PoznanHall2序列第三幀接收到前兩層(PSNR值為34.902 7 dB)和前三層(PSNR值為35.288 1 dB)的解碼圖像，從放大圖可見這時(shí)的圖像質(zhì)量隨著接收到的增強(qiáng)層層數(shù)增多而逐步提升，圖像模糊度逐漸降低。圖11(d)展示了所有四層都接收到的解碼圖像，此時(shí)圖像質(zhì)量最好，PSNR值為35.590 3 dB。綜上所述，圖像主觀質(zhì)量上的分級性體現(xiàn)了本文分級編解碼方案對視頻質(zhì)量分級的有效性。

4 結(jié)束語

本文主要針對無線信道條件動態(tài)變化問題突出的異構(gòu)網(wǎng)絡(luò)場景，對多用戶流暢播放多視點(diǎn)視頻的應(yīng)用需求進(jìn)行了研究，提出了低復(fù)雜度分布式多視點(diǎn)視頻分級傳輸框架。該框架研究了有損逐級優(yōu)化解碼更新理論對解碼端邊信息更新的貢獻(xiàn)，還研究了當(dāng)本文解碼端接收到待解碼層數(shù)增多和已解碼視點(diǎn)增多時(shí)，通過對視點(diǎn)內(nèi)相關(guān)性和視點(diǎn)間進(jìn)行挖掘，從而提升邊信息質(zhì)量和系統(tǒng)的整體分級性能。

后續(xù)工作計(jì)劃針對異構(gòu)網(wǎng)絡(luò)場景中視頻傳輸碼率的優(yōu)化問題，研究多視點(diǎn)視頻分級編碼方案中碼率估計(jì)算法?？紤]到邊信息質(zhì)量越高所需傳輸?shù)男ｒ?yàn)碼率越低這一特點(diǎn)，可進(jìn)一步研究在多個(gè)增強(qiáng)層被接受后解碼性能的提升，及邊信息質(zhì)量的改善對降低傳輸碼率的輔助作用。