李 強(qiáng)，王傳奇，劉 斌

(重慶郵電大學(xué)信號(hào)與信息處理重慶市重點(diǎn)實(shí)驗(yàn)室，重慶 400065)

0 引言

運(yùn)用在立體電視(three-dimensional television，3DTV)、自由視點(diǎn)視頻等多媒體［1-3］中的多視點(diǎn)視頻［4-5］是通過(guò)一系列攝像機(jī)同時(shí)從不同的視點(diǎn)采集同一個(gè)場(chǎng)景或者物體得到的，因此，這種視頻需要巨大的存儲(chǔ)空間和傳輸帶寬。如何提高多視點(diǎn)視頻編碼(multi-view video coding，MVC)的編碼效率成了目前研究的熱點(diǎn)［6-8］。

視頻中的亮度變化會(huì)嚴(yán)重影響視頻編碼的壓縮性能。在多視點(diǎn)視頻中，存在由于相機(jī)參數(shù)校正不準(zhǔn)確產(chǎn)生的圖像全局亮度變化和由于相機(jī)采集的位置和角度不同產(chǎn)生圖像的局部亮度變化［9］。針對(duì)視頻中的亮度變化，目前主要采用亮度補(bǔ)償方法來(lái)解決。文獻(xiàn)［10］以整幅圖像為單位估計(jì)出亮度變化，進(jìn)行全局亮度補(bǔ)償。該方法先對(duì)圖像中每塊的乘性因子參數(shù)和加性因子參數(shù)進(jìn)行估計(jì)，把整幅圖像中出現(xiàn)頻率最高的參數(shù)作為全局補(bǔ)償參數(shù)。這種補(bǔ)償方法可能會(huì)對(duì)那些最終被選中的補(bǔ)償參數(shù)不適用的塊取得更差的效果。文獻(xiàn)［11］則先用一個(gè)退化的圖像(只包含每個(gè)塊的直流成分)進(jìn)行全局亮度補(bǔ)償，再進(jìn)行以塊為單位的局部亮度補(bǔ)償。該方法主要應(yīng)用在圖像有劇烈亮度變化的情況。由于這種基于塊的亮度補(bǔ)償方法沒(méi)有對(duì)匹配算法進(jìn)行改進(jìn)，因此，不是最佳的補(bǔ)償方法。在H.264/AVC(advanced video coding)［12-13］標(biāo)準(zhǔn)中，采用的是權(quán)值預(yù)測(cè)方法［14］。如果圖像發(fā)生了全局亮度變化，當(dāng)全部的宏塊都使用同一個(gè)參考幀時(shí)，一個(gè)權(quán)值乘性系數(shù)和一個(gè)加性補(bǔ)償系數(shù)就能很好地對(duì)整幅圖像的所有宏塊進(jìn)行有效地亮度補(bǔ)償。如果圖像存在不規(guī)則的局部亮度變化時(shí)，一組補(bǔ)償因子已經(jīng)不能有效地補(bǔ)償，而且權(quán)值參數(shù)的個(gè)數(shù)受參考幀個(gè)數(shù)的限制，參考幀個(gè)數(shù)又受當(dāng)前的檔次和級(jí)別的限制。所以，這種方法也不能夠較好地補(bǔ)償局部和不規(guī)則的亮度變化圖像。鑒于這種情況，文獻(xiàn)［15］提出了一種局部的權(quán)值補(bǔ)償方法。該方法不同于文獻(xiàn)［16-17］中需要傳輸存儲(chǔ)亮度變化系數(shù)，而是利用當(dāng)前宏塊的亮度變化值和當(dāng)前宏塊已重建的相鄰塊亮度變化值的相關(guān)性來(lái)推導(dǎo)變化系數(shù)。由于這種局部補(bǔ)償使用與否是基于整幅圖像為單元的，而不是基于塊為單元，并且，此方法只針對(duì)整幅圖像間亮度有突變的情況才使用，因此，此方法對(duì)亮度變化不劇烈的圖像補(bǔ)償效果不佳。

局部亮度變化導(dǎo)致參考幀和當(dāng)前幀的宏塊直流分量的變化，因此，可以對(duì)亮度變化進(jìn)行補(bǔ)償來(lái)削弱這種影響。本文使用了一種以宏塊為單位，根據(jù)當(dāng)前宏塊相鄰像素進(jìn)行局部亮度補(bǔ)償?shù)姆椒āＪ紫?，在運(yùn)動(dòng)估計(jì)和視差估計(jì)過(guò)程中，通過(guò)改進(jìn)的塊匹配算法在參考幀搜索到最優(yōu)匹配塊，然后，在運(yùn)動(dòng)補(bǔ)償和視差補(bǔ)償過(guò)程中對(duì)亮度變化進(jìn)行補(bǔ)償，最后，根據(jù)拉格朗日率失真最優(yōu)準(zhǔn)則對(duì)亮度補(bǔ)償與否做判決。這種方法不僅能對(duì)圖像的局部亮度變化進(jìn)行亮度補(bǔ)償，而且是以宏塊為單位的拉格朗日率失真最優(yōu)結(jié)果，因而，可獲得有效的編碼性能。

1 自適應(yīng)局部亮度補(bǔ)償方法

運(yùn)動(dòng)和視差搜索是為了在參考幀中找到最佳匹配塊，使編碼塊和匹配塊之間的殘差能量最小。視頻的亮度變化除了降低圖像間的相關(guān)性，使塊匹配后的殘差值變大外，也可能導(dǎo)致搜索不到真實(shí)的匹配塊，產(chǎn)生不規(guī)則的運(yùn)動(dòng)或視差矢量場(chǎng)，對(duì)運(yùn)動(dòng)矢量或視差矢量需更多的比特來(lái)編碼。這些均會(huì)降低視頻的編碼效率。因此，在運(yùn)動(dòng)或視差搜索和運(yùn)動(dòng)或視差補(bǔ)償過(guò)程中，可通過(guò)對(duì)亮度變化進(jìn)行補(bǔ)償，盡可能地消除這種亮度變化帶來(lái)的不利影響。

1.1 宏塊的亮度補(bǔ)償

在H.264/AVC的MVC軟件參考模型中，采用公式(1)中的絕對(duì)值差和(sum of absolute differences，SAD)作為塊匹配的評(píng)判準(zhǔn)則。

(1)式中:(m，n)表示在當(dāng)前幀中每個(gè)宏塊的起始位置;(x，y)代表當(dāng)前塊的位移矢量，既可以是運(yùn)動(dòng)矢量也可以是視差矢量;C(i，j)為當(dāng)前幀的空間坐標(biāo)(i，j)位置的像素值;R(i，j)是參考幀的空間坐標(biāo)(i，j)位置的像素值，這里的參考幀是視點(diǎn)間重建幀或者是時(shí)間方向重建幀;S和T則分別表示行和列的像素個(gè)數(shù)。

1.1.1 亮度變化值的估算

對(duì)于多視點(diǎn)視頻間或時(shí)間方向的亮度變化，可用公式(2)中的線性亮度變化模型來(lái)表示。

(2)式中，b表示亮度變化值。

為了消除多視點(diǎn)間參考幀或當(dāng)前幀中亮度變化產(chǎn)生的影響，可以在塊匹配過(guò)程中對(duì)亮度變化值進(jìn)行補(bǔ)償?？紤]到幀中的當(dāng)前編碼塊與周?chē)鷧^(qū)域相鄰像素間存在較高的相關(guān)性，當(dāng)前編碼塊的亮度變化可以近似等于周?chē)鷧^(qū)域的亮度變化。因此，可使用當(dāng)前編碼塊和參考?jí)K的相鄰區(qū)域的均值變化作為亮度變化值。這樣，亮度變化值b可用公式(3)計(jì)算得到。

(3)－(5)式中:NC(i，j)和 NR(i，j)分別為圖 1 陰影所示的當(dāng)前幀中待編碼塊相鄰已重建Γ區(qū)域和參考幀中匹配塊相鄰Γ區(qū)域的像素值;，分別是2個(gè)Γ區(qū)域的均值;Round()表示四舍五入運(yùn)算;W×H=16×4。圖1為當(dāng)前塊、匹配塊以及相鄰Γ區(qū)域。

1.1.2 修正的塊匹配準(zhǔn)則和亮度補(bǔ)償

對(duì)當(dāng)前幀編碼塊做運(yùn)動(dòng)估計(jì)時(shí)，考慮到亮度變化值對(duì)運(yùn)動(dòng)估計(jì)和視差估計(jì)精度的影響，可采用公式(6)中的去相鄰均值絕對(duì)差和(neighboring-meanremoved sum of absolute differences，NMRSAD)作為修正的塊匹配公式，以取代H.264/AVC中常用的SAD準(zhǔn)則。

(6)式中，S，T 為16。由(6)式計(jì)算出的 NMRSAD(m，n)(x，y)最小值所對(duì)應(yīng)的(x，y)即為該編碼塊的位移矢量(^x，^y)。然后，通過(guò)公式(7)得到該編碼塊經(jīng)運(yùn)動(dòng)補(bǔ)償或視差補(bǔ)償與亮度變化補(bǔ)償后的殘差值。

(7)式中，E(m，n)(k，l)為殘差值。E(m，n)(k，l)經(jīng) DCT(discrete cosine transform)、量化和熵編碼后傳到接收端。接收端通過(guò)解碼、反量化和 IDCT(inverse discrete cosine transformation)就可得到重建后的^E(m，n)(k，l)。再經(jīng)公式(8)的運(yùn)動(dòng)或視差補(bǔ)償和亮度補(bǔ)償?shù)玫街亟ê陦K。

(8)式中，^C(m，n)(k，l)為重建宏塊。

在公式(7)和(8)中，0≤k≤15，0≤l≤15，Clip{}表示對(duì)補(bǔ)償后的值為0～255。

圖1 當(dāng)前塊、匹配塊以及相鄰Γ區(qū)域Fig.1 Current block，matching block and the Γ shape neighboring area

本文中計(jì)算亮度變化值b的編碼塊(或接收端的重構(gòu)塊)相鄰Γ區(qū)域和參考幀匹配塊相鄰Γ區(qū)域的像素值對(duì)編碼塊(或重構(gòu)塊)而言均是已知的，因此，在發(fā)送端不需要傳送亮度變化值情況下，接收端也能對(duì)亮度變化進(jìn)行補(bǔ)償。這種以宏塊為單位的局部亮度補(bǔ)償?shù)姆椒梢蕴岣叨嘁朁c(diǎn)視頻的編碼效率。

1.2 自適應(yīng)局部亮度補(bǔ)償

自適應(yīng)亮度補(bǔ)償可以在一定程度上提高壓縮性能，但是需要增加亮度補(bǔ)償標(biāo)識(shí)位，這樣會(huì)降低編碼效率，而且考慮到自適應(yīng)局部亮度補(bǔ)償?shù)淖顑?yōu)判決導(dǎo)致計(jì)算復(fù)雜度增加以及色度成分(U和V)使用亮度補(bǔ)償方法取得的增益不高等問(wèn)題，本文只對(duì)16×16塊的亮度成分(Y)進(jìn)行補(bǔ)償。

JMVM(jiont multiview vido model)測(cè)試模型有4種16×16宏塊模式:Inter_16×16(包括 P幀和B幀)，P_SKIP，Direct_16×16和 B_SKIP。對(duì)于 Inter_16×16和Direct_16×16模式使用mb_ic_flag亮度補(bǔ)償標(biāo)識(shí)位;對(duì)于P_SKIP和B_SKIP模式，不傳輸mb_ic_flag，而采用標(biāo)識(shí)位推導(dǎo)的方式得到mb_ic_flag值。對(duì)mb_ic_flag采用基于上下文的自適應(yīng)二進(jìn)制算術(shù)編碼(context-based adaptive binary arithmetic coding，CABAC)方法。

1.2.1 16×16模式的亮度補(bǔ)償標(biāo)志位的判定

圖2為拉格朗日率失真最優(yōu)判決過(guò)程。

圖2 拉格朗日率失真最優(yōu)判決過(guò)程Fig.2 Process of Lagrange rate-distortion optimization decision

為了對(duì)Inter_16×16和Direct_16×16模式自適應(yīng)地進(jìn)行局部亮度補(bǔ)償，需對(duì)宏塊設(shè)置1 bit的亮度補(bǔ)償標(biāo)識(shí)位(mb_ic_flag)以標(biāo)明在編碼過(guò)程中采用的是傳統(tǒng)的SAD還是本文的NMRSAD塊匹配準(zhǔn)則。mb_ic_flag的值是通過(guò)圖2中的拉格朗日率失真最優(yōu)判決準(zhǔn)則來(lái)決定。拉格朗日率失真代價(jià)通過(guò)公式(9)計(jì)算得到。

(9)式中，λmode為拉格朗日因子;MODE選擇16×16;s為原始信號(hào);c為重建信號(hào);XSAD為SAD或NMRSAD，R(s，c，MODE)為宏塊的編碼比特總數(shù)。mb_ic_flag=0表示沒(méi)有亮度補(bǔ)償過(guò)程，而使用傳統(tǒng)的運(yùn)動(dòng)補(bǔ)償或者視差補(bǔ)償。mb_ic_flag=1則表示使用了亮度補(bǔ)償和運(yùn)動(dòng)或視差補(bǔ)償。

1.2.2 SKIP模式亮度補(bǔ)償標(biāo)識(shí)位的推導(dǎo)

對(duì)于當(dāng)前塊為P_SKIP宏塊類型，其mb_ic_flag可由相鄰宏塊的mb_ic_flag的值推導(dǎo)得到。只要當(dāng)前宏塊的相鄰宏塊A，B中至少有一個(gè)使用了局部亮度補(bǔ)償方法，那么當(dāng)前宏塊的mb_ic_flagcur等于1，否則等于0，如圖3所示。

圖3 當(dāng)前宏塊的相鄰宏塊Fig.3 Neighboring macro-block of current macro-block

B_SKIP是多參考幀的情況，對(duì)mb_ic_flag的推導(dǎo)類似于H.264/AVC中的運(yùn)動(dòng)矢量的推導(dǎo)過(guò)程，其具體流程如圖4所示。median表示中值運(yùn)算;refIdxcur為當(dāng)前宏塊的參考索引對(duì)(refIdxL0，refIdxL1)。索引對(duì)中的refIdxL0是該編碼宏塊參考圖像列表list0的一個(gè)索引值。refIdxL1則是參考圖像列表list1的一個(gè)索引值，list0中是重構(gòu)的前向圖像和左視點(diǎn)圖像，而list1中是重構(gòu)的后向圖像和右視點(diǎn)圖像。refIdxN表示編碼宏塊的第N個(gè)已重建相鄰宏塊(N為圖3中的A，B，C或D中的一個(gè))的參考幀索引對(duì)(refIdxL0N，refIdxL1N)。如果已重建相鄰宏塊中有且只有一個(gè)參考索引對(duì)等于當(dāng)前宏塊的參考索引對(duì)，那么當(dāng)前宏塊的mb_ic_flag等于相鄰宏塊N的mb_ic_flag值，否則，當(dāng)前宏塊的mb_ic_flag等于已重建相鄰宏塊A，B，C或D的mb_ic_flag的中值。

圖4 B_SKIP宏塊標(biāo)識(shí)位推導(dǎo)流程Fig.4 Derivation process for the flag of B_SKIP macro-block

2 實(shí)驗(yàn)結(jié)果

本文在MVC測(cè)試模型JMVM8.0中實(shí)現(xiàn)了自適應(yīng)局部亮度補(bǔ)償方法、加權(quán)預(yù)測(cè)方法wp［14］和局部加權(quán)預(yù)測(cè)方法lwp［15］，并對(duì)6組具有不同特性的多視點(diǎn)標(biāo)準(zhǔn)測(cè)試視頻序列進(jìn)行了編碼。對(duì)每組序列又分別采用了4種基本量化參數(shù)QP(quantization parameter)(22，27，32，37)進(jìn)行測(cè)試，測(cè)試的實(shí)驗(yàn)條件如表1所示。對(duì)本文方法，wp，lwp和沒(méi)有采用亮度補(bǔ)償JMVM方法的測(cè)試結(jié)果進(jìn)行分析。圖5是這些方法的平均編碼輸出比特率和峰值信噪比PSNR(peak signal noise ratio)曲線圖。

表1 實(shí)驗(yàn)條件Tab.1 Experimental conditions.

從圖5的實(shí)驗(yàn)結(jié)果可以看出，本文方法與其他幾種方法相比，在提高編碼的壓縮性能的同時(shí)，還能獲得峰值信噪比的提升。對(duì)于Race1序列，存在相機(jī)參數(shù)校正不精確以及相機(jī)的移動(dòng)，并且在視點(diǎn)間和時(shí)間方向都存在嚴(yán)重的亮度變化。本文方法與 wp，lwp，JMVM 對(duì)比，分別能減少 12%，11%，11%編碼輸出比特率，同時(shí)還分別提高了0.28，0.17，0.17 dB 的峰值信噪比。對(duì)于 Rena，Akko＆kayo和Breakdancers這些序列，它們都是相機(jī)靜止的序列，且隨時(shí)間變化的亮度變化不大，本文方法與其他方法相比，壓縮效果比較明顯。對(duì)于同樣相機(jī)靜止的Exit序列，包含有大面積靜止的背景和比較大的人流量，且亮度變化比較輕微。Ballroom序列由于有復(fù)雜的背景、因?yàn)槲矬w景深的劇烈變化和與其他序列相比沒(méi)那么嚴(yán)重的亮度變化導(dǎo)致的不規(guī)則的視差場(chǎng)，故該序列是這些序列中最難壓縮的序列。本文提出的方法對(duì)Exit和Ballroom 2個(gè)序列進(jìn)行編碼，雖然提高的壓縮性能不如Race1序列那么顯著，但與其他方法相比，壓縮性能還是有所提高。

3 結(jié)論

針對(duì)多視點(diǎn)視頻中出現(xiàn)的亮度變化引起的編碼性能下降，本文提出了一種自適應(yīng)局部亮度補(bǔ)償?shù)姆椒?，通過(guò)率失真最優(yōu)判決準(zhǔn)則對(duì)每個(gè)宏塊亮度補(bǔ)償與否進(jìn)行判決，并且充分利用亮度變化的空間相關(guān)性，從而提高了預(yù)測(cè)精度和減小了輸出的比特?cái)?shù)。通過(guò)實(shí)驗(yàn)仿真測(cè)試，并與其他3種方法進(jìn)行對(duì)比分析，本文方法能有效地對(duì)局部亮度變化進(jìn)行補(bǔ)償，既提高了編碼壓縮性能，又能提高視頻編碼質(zhì)量，因此，文本方法可以應(yīng)用在具有亮度變化的多視點(diǎn)視頻編碼中。

圖5 本文方法與wp，lwp和JMVM方法的率失真性能比較Fig.5 Comparison of rate-distortion performance among our method，wp，lwp，JMVM

［1］MERKLE P，MüLLER K ，WIEGAND T.3D Video Coding-An Overview of Present and Upcoming Standards［C］//VCIP in Proc of SPIE Visual Communications and Image Processing.Huangshan，China:SPIE，2010.

［2］SMOLIC A，MULLER K，MERKLE P，et al.3D video and freepoint video technology，application and MPEG standards［C］//IEEE.IEEE International conference Multimedia and Expo(ICME).Toronto Ont，Canada:IEEE Press，2006:2161-2164.

［3］霍俊彥，常義林，李明.多視點(diǎn)視頻編碼的研究現(xiàn)狀及其展望［J］.通信學(xué)報(bào)，2010，31(5):113-121.HUO Junyan，CHANG Yilin，LI Ming.Study status and prospective of multiview video coding［J］.Journal on Communications，2010，31(5):113-121.

［4］HE Y，OSTERMANN J，TANIMOTO M.Introduction to the special section on multi-view video coding［J］.IEEE Trans Circuits and Systems for Video Technology，2007，17(11):1433-1435.

［5］張衛(wèi)衛(wèi)，蔡燦輝.一種改進(jìn)預(yù)測(cè)結(jié)構(gòu)的多視點(diǎn)視頻編碼［J］.計(jì)算機(jī)工程與應(yīng)用，2012，48(5):168-170.ZHANG Weiwei，CAI Canhui.Improved prediction structure for multi-view video coding［J］.Computer Engineering and Applications，2012，48(5):168-170.

［6］劉超，馬力妮，宋雄亮.基于H.264標(biāo)準(zhǔn)的多視點(diǎn)視頻編碼方案的研究［J］.計(jì)算機(jī)工程與設(shè)計(jì)，2010，31(3):564-567.LIU Chao，MA Lini，SONG Xiongliang.Researched on multiview video coding scheme based on H.264 standard［J］.Computer Engineering and Design，2010，31(3):564-567.

［7］VETRO A，WIEGAND T，SULLIVAN G J.Overview of the Stereo and Multiview Video Coding Extensions of the H.264/MPEG-4 AVC Standard［J］.Proceedings of the IEEE ，2011，99(4):626-642.

［8］楊中華，戴聲奎.新的多視點(diǎn)視頻編碼優(yōu)化算法［J］.計(jì)算機(jī)應(yīng)用，2011，31(9):2461-2464.YANG Zhonghua，DAI Shengkui.New optimization algorithm for multi-view video coding［J］.Journal of Computer Applications，2011，31(9):2461-2464.

［9］KIM J H，LAI P，LOPEZ J，et al.New Coding Tools for Illumination and Focus Mismatch Compensation in Multiview Video Coding［J］.IEEE Trans Circuits System Video Technology，2007，17(11):1519-1535.

［10］KAMIKURA K，WATANABE H，JOZAWA H，et al.Global brightness-variation compensation for video coding［J］.IEEE Trans Circuits System Video Technology，1998，8(8):988-1000.

［11］KIM S H，PARK R H.Fast local motion-compensation algorithm for video sequence with brightness variations［J］.IEEE Trans Circuits System Video Technology，2003，13(4):289-299.

［12］李強(qiáng)，孫瑞杰，于游.一種用于移動(dòng)可視電話編碼的運(yùn)動(dòng)估計(jì)快速搜索算法［J］.重慶郵電大學(xué)學(xué)報(bào):自然科學(xué)版，2011，23(5):593-596.LI Qiang，SUN Ruijie，YU You.A fast motion estimation algorithm for mobile videophone coding［J］.Journal of Chongqing University of Posts and Telecommunications:Natural Science Edition，2011，23(5):593-596.

［13］龍昭華，程宏，蔣貴全.一種基于H.264/AVC的宏塊級(jí)碼率控制優(yōu)化算法［J］.重慶郵電大學(xué)學(xué)報(bào):自然科學(xué)版，2009，21(6):776-780.LONG Zhaohua，CHENG hong，JIANG Guiquan.An optimalmacroblock level rate control algorithm based on H.264/AVC［J］.Journal of Chongqing University of Posts and Telecommunications:Natural Science Edition，2009，21(6):776-780.

［14］BOYCE J M.Weighted prediction in the H.264/MPEG AVC video coding standard［C］//IEEE.IEEE International Symposium on Circuits System(ISCAS).Vancouver，Canada:IEEE Press，2004，3:III789-III792.

［15］YIN P，TOURAPIS A M，BOYCE J.Localized weighted prediction for video coding［C］//IEEE.IEEE International Symposium on Circuits System(ISCAS).Kobe，Japan:IEEE Press，2005，5:4365-4368.

［16］HUR J H，CHO S，LEE Y L.Adaptive local illumination change compensation method for H.264/AVC-based multiview video coding［J］.IEEE Trans Circuits System Video Technology，2007，17(11):1496-1505.

［17］LOPEZ J，KIM J H，ORTEGA A.Block-based illumination compensation and search techniques for multiview video coding［C］//PCS Picture Coding Symposium(PCS).San Francisco:PCS，2004:509-514.