安文 劉昆 王杰

基于自適應(yīng)采樣的多假設(shè)預(yù)測(cè)殘差重構(gòu)算法研究

安文1劉昆1王杰2

為保證遙感視頻序列的高質(zhì)量重構(gòu),本文結(jié)合視頻序列的高時(shí)空冗余特點(diǎn),在基于塊的分布式視頻壓縮感知(Distributed video compressed sensing,DVCS)框架的基礎(chǔ)上提出了一種基于自適應(yīng)采樣的多假設(shè)預(yù)測(cè)殘差重構(gòu)模型及基于變采樣率的多假設(shè)預(yù)測(cè)殘差重構(gòu)算法.首先對(duì)目標(biāo)幀進(jìn)行預(yù)測(cè),根據(jù)各塊預(yù)測(cè)精度的不同自適應(yīng)地分配采樣率;然后用變采樣率多假設(shè)預(yù)測(cè)殘差重構(gòu)算法重構(gòu)出目標(biāo)幀;最后利用雙向運(yùn)動(dòng)估計(jì)對(duì)重構(gòu)結(jié)果進(jìn)行修正.仿真結(jié)果表明該算法能夠在降低采樣率的同時(shí)保證良好的主客觀重構(gòu)質(zhì)量;相同采樣率條件下,重構(gòu)精度比MC-BCS-SPL算法提高大約7dB,比MH-BCS-SPL算法提高大約1dB.

遙感視頻成像,壓縮感知,自適應(yīng)采樣,多假設(shè)預(yù)測(cè),雙向運(yùn)動(dòng)估計(jì)

目前,遙感視頻成像衛(wèi)星對(duì)圖像分辨率的要求日益提高,使得遙感傳輸?shù)臄?shù)據(jù)量劇增,為了降低存儲(chǔ)、處理和傳輸?shù)某杀?需要在編碼端對(duì)信源信號(hào)進(jìn)行壓縮處理,并在解碼端對(duì)原信號(hào)解壓縮重構(gòu).壓縮感知(Compressed sensing,CS)理論[1?2]能夠打破Shannon-Nyquist采樣定理的限制,自2006年由Donoho、Cand′es及Tao等提出以來(lái),得到了國(guó)內(nèi)外眾多學(xué)者的廣泛關(guān)注[3?4].該理論的核心是采樣和壓縮同時(shí)進(jìn)行,當(dāng)信號(hào)稀疏或在某一組基下稀疏時(shí),可以利用維數(shù)遠(yuǎn)小于信號(hào)的測(cè)量值和稀疏性或低秩性等先驗(yàn)信息高概率地重構(gòu)原信號(hào)[4?6].

遙感視頻信號(hào)可以視為在時(shí)間維度上連續(xù)的圖像信號(hào),視頻壓縮感知(Compressed video sensing,CVS)框架分為視頻信號(hào)的壓縮測(cè)量和視頻信號(hào)的重構(gòu)兩個(gè)過(guò)程.衛(wèi)星上的測(cè)量資源,信號(hào)發(fā)射功率有限,因此要求測(cè)量過(guò)程盡可能簡(jiǎn)單,壓縮率盡量高;而遙感信號(hào)重構(gòu)時(shí)能夠利用大量的計(jì)算資源,可以通過(guò)迭代求解高復(fù)雜度的優(yōu)化問(wèn)題.這種“編碼簡(jiǎn)單,解碼復(fù)雜”的特點(diǎn)使得CS理論與分布式視頻編碼(Distributed video ceding,DVC)相結(jié)合,形成了一種新的視頻壓縮技術(shù)— 分布式視頻壓縮感知(Distributed video compressed sensing,DVCS)[7?11].文獻(xiàn)[7?8]提出的差分重構(gòu)模型是利用兩幀的測(cè)量值和它們的差分信息進(jìn)行聯(lián)合重構(gòu).考慮到相鄰兩幀間的差別通常是由運(yùn)動(dòng)引起的,文獻(xiàn)[12]提出了殘差重構(gòu)模型,首先使用CS重構(gòu)算法進(jìn)行獨(dú)立幀內(nèi)重構(gòu),再聯(lián)合前后參考幀采用運(yùn)動(dòng)估計(jì)和運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)出邊信息(Side information,SI),最后復(fù)原殘差,但該模型對(duì)待重構(gòu)幀（CS幀）的估計(jì)不夠準(zhǔn)確,為了保證重構(gòu)效果,必須在運(yùn)動(dòng)估計(jì)和補(bǔ)償環(huán)節(jié)進(jìn)行大量迭代,重構(gòu)效率極低.文獻(xiàn)[13?14]利用傳統(tǒng)視頻編碼中的多假設(shè)(Multiple hypotheses,MH)概念構(gòu)造出各塊的候選塊集合,并利用Tikhonov正則化求解病態(tài)優(yōu)化問(wèn)題,得到多假設(shè)預(yù)測(cè)的稀疏權(quán)重,預(yù)測(cè)出非關(guān)鍵幀的SI,有效地提高了預(yù)測(cè)精度.上述模型對(duì)所有塊分配同樣的采樣率,忽略了視頻場(chǎng)景中不同區(qū)域的運(yùn)動(dòng)和紋理特征,對(duì)視頻幀的相關(guān)性利用不夠充分.為克服該缺陷,文獻(xiàn)[15]將幀內(nèi)區(qū)域劃分為前景和背景,根據(jù)關(guān)注度的不同自適應(yīng)地分配測(cè)量率.文獻(xiàn)[16]提出的自適應(yīng)測(cè)量策略目的在于減少測(cè)量硬件數(shù)量,但重構(gòu)效果不夠理想.文獻(xiàn)[17?18]能夠根據(jù)視頻幀間相關(guān)度的不同自適應(yīng)地分配測(cè)量率,但這些自適應(yīng)測(cè)量方案的總測(cè)量率是不可控的,不能在給定目標(biāo)采樣率的條件下實(shí)現(xiàn)測(cè)量率的自適應(yīng)分配,由于現(xiàn)實(shí)遙感數(shù)據(jù)傳輸?shù)膸捰邢?因此這種總測(cè)量率不可控的測(cè)量方案并不實(shí)用.文獻(xiàn)[19]雖然意識(shí)到了該問(wèn)題,但測(cè)量率的舍入誤差使得圖像塊采樣率分配的自適應(yīng)性不強(qiáng).

為了在固定測(cè)量率下,盡可能提高視頻信號(hào)的重構(gòu)質(zhì)量,本文提出了一種總測(cè)量率可控的自適應(yīng)采樣多假設(shè)預(yù)測(cè)視頻壓縮感知模型.首先對(duì)目標(biāo)幀進(jìn)行預(yù)測(cè),根據(jù)各塊預(yù)測(cè)精度的不同自適應(yīng)地分配測(cè)量率.預(yù)測(cè)精度高的塊分配低測(cè)量率,預(yù)測(cè)精度低的塊分配高測(cè)量率.然后利用參考幀和測(cè)量值對(duì)目標(biāo)幀進(jìn)行變采樣率下的多假設(shè)預(yù)測(cè),得到邊信息,并用SPL(Smoothed projected landweber)算法[20]重構(gòu)自適應(yīng)采樣預(yù)測(cè)的殘差以得到目標(biāo)幀.由于幀間運(yùn)動(dòng)的存在,在參考幀內(nèi)的平行位置附近直接抽取參考?jí)K進(jìn)行多假設(shè)預(yù)測(cè)并不能一直保持與待重構(gòu)塊的高度相關(guān)性,尤其是在幀間包含復(fù)雜快速運(yùn)動(dòng)的情形中.為了進(jìn)一步利用視頻幀間的時(shí)空相關(guān)性,通過(guò)雙向運(yùn)動(dòng)估計(jì)修正已重構(gòu)的目標(biāo)幀.利用已重構(gòu)的相鄰關(guān)鍵幀對(duì)目標(biāo)幀進(jìn)行雙向運(yùn)動(dòng)估計(jì)[21],并將估計(jì)結(jié)果和已重構(gòu)的目標(biāo)幀作為幀間多假設(shè)預(yù)測(cè)的參考幀,對(duì)目標(biāo)幀再次進(jìn)行變采樣率下的多假設(shè)預(yù)測(cè),得到邊信息,并進(jìn)行變采樣率殘差重構(gòu)以得到高質(zhì)量的目標(biāo)幀.Matlab環(huán)境下的仿真結(jié)果表明,本文提出的運(yùn)動(dòng)估計(jì)修正的變采樣率多假設(shè)預(yù)測(cè)視頻壓縮重構(gòu)模型能夠在降低采樣率的同時(shí)保證良好的重構(gòu)效果.

1 多假設(shè)預(yù)測(cè)

多假設(shè)預(yù)測(cè)的核心思想是對(duì)當(dāng)前待重構(gòu)塊的大量近似塊進(jìn)行線性組合,通過(guò)優(yōu)化算法找到最佳線性組合,并將其作為待重構(gòu)塊的預(yù)測(cè).多假設(shè)預(yù)測(cè)的算法模型可以寫為

其中,xt,i∈RB2×1表示第t幀圖像xt中第i塊的矢量表示;Ht,i∈RB2×K是參考幀中搜索窗內(nèi)的所有參考?jí)K按列排成的矩陣;wt,i∈RK×1表示Ht,i各列的最佳線性組合系數(shù).該問(wèn)題可以視為一個(gè)簡(jiǎn)單的Least-squares(LSQ)問(wèn)題來(lái)優(yōu)化求解,但事實(shí)上 xt,i是不可知的,解碼端只能獲取 xt,i的測(cè)量值yt,i,將問(wèn)題(1)轉(zhuǎn)化到測(cè)量域

其中,Φ∈RM×B2表示隨機(jī)測(cè)量矩陣.JL引理(Johnson-Lindenstrauss Lemma)表明問(wèn)題(3)與問(wèn)題(1)的解一致.由于M?B2,為保證式(3)的正確求解,必須進(jìn)行正則化,最常用的是Tikhonov正則化,在式(3)中引入wt,i的2懲罰項(xiàng),即

其中,λ為衡量正則化效果的尺度因子,Γ為Tikhonov 矩陣,Γ=diag{‖yt,i? Φ h1‖2,‖yt,i?Φh2‖2, ···, ‖yt,i? ΦhK‖2}, h1, h2,···, hK表示Ht,i的列.Γ的含義是對(duì)近似程度高的參考?jí)K賦予大的組合系數(shù),對(duì)近似程度低的參考?jí)K賦予相對(duì)較小的組合系數(shù).最優(yōu)線性組合系數(shù)為

目前常用的多假設(shè)預(yù)測(cè)模型包括幀內(nèi)多假設(shè)預(yù)測(cè)模型和幀間多假設(shè)預(yù)測(cè)模型.幀內(nèi)多假設(shè)預(yù)測(cè)模型利用待預(yù)測(cè)塊附近2wd×2wd的搜索窗口內(nèi)所有B×B的圖像塊作為候選塊,如圖1,因此需要先重構(gòu)出當(dāng)前目標(biāo)幀,并將初始重構(gòu)幀作為參考幀.幀間多假設(shè)預(yù)測(cè)模型將已重構(gòu)的兩個(gè)相鄰關(guān)鍵幀作為參考幀,在參考幀中以與待預(yù)測(cè)塊相同位置的塊為中心,在其附近設(shè)置2wd×2wd的搜索窗口,并將窗口范圍內(nèi)所有B×B的圖像塊作為候選塊,如圖2所示.

圖1 幀內(nèi)多假設(shè)預(yù)測(cè)的候選塊示意圖Fig.1 Sketch map of candidates in intraframe multi-hypothesis prediction

圖2 幀間多假設(shè)預(yù)測(cè)的候選塊示意圖Fig.2 Sketch map of candidates in interframe multi-hypothesis prediction

2 自適應(yīng)采樣率多假設(shè)預(yù)測(cè)DCVS

2.1 框架描述

本文提出的自適應(yīng)采樣多假設(shè)預(yù)測(cè)殘差重構(gòu)系統(tǒng)的框架如圖3所示.其中表示重構(gòu)的關(guān)鍵幀,表示重構(gòu)的非關(guān)鍵幀.

1)編碼端

將原始視頻分為關(guān)鍵幀(K幀)和非關(guān)鍵幀(NK幀),每個(gè)圖像組(GOP)包含一個(gè)K幀和一個(gè)NK幀.為簡(jiǎn)化編碼過(guò)程,所有幀均使用基于塊的測(cè)量矩陣進(jìn)行采樣.關(guān)鍵幀用高采樣率進(jìn)行壓縮采樣.非關(guān)鍵幀要先進(jìn)行幀間多假設(shè)預(yù)測(cè),然后根據(jù)各個(gè)塊的預(yù)測(cè)結(jié)果自適應(yīng)地分配采樣率:預(yù)測(cè)精度高的塊分配低采樣率,預(yù)測(cè)精度低的塊分配高采樣率.

2)解碼端

關(guān)鍵幀利用幀內(nèi)多假設(shè)預(yù)測(cè)殘差重構(gòu)算法獨(dú)立地進(jìn)行重構(gòu);非關(guān)鍵幀利用變采樣率下的幀間多假設(shè)預(yù)測(cè)殘差重構(gòu)算法進(jìn)行聯(lián)合重構(gòu),并用雙向運(yùn)動(dòng)估計(jì)修正已重構(gòu)的非關(guān)鍵幀.

2.2 自適應(yīng)采樣

視頻幀中不同的塊具有不同的運(yùn)動(dòng)、紋理特征,因此在同樣的采樣率下不同塊的多假設(shè)預(yù)測(cè)精度也各不相同,給所有的塊分配同樣的采樣率不能充分利用采樣資源和傳輸帶寬.為此這里使用了一種根據(jù)多假設(shè)預(yù)測(cè)精度自適應(yīng)分配采樣率的采樣方案.

將非關(guān)鍵幀xt∈RH×W的采樣率SRNK劃分成固定采樣率SRNK0部分和自適應(yīng)采樣率SRNKa部分.其中,預(yù)采樣系數(shù)0＜C≤1,當(dāng)C=1時(shí)表示非自適應(yīng)采樣.然后對(duì)xt進(jìn)行分塊,每塊大小為B×B,那么一幀圖像可以被分為P塊.

圖3 本文提出的自適應(yīng)采樣多假設(shè)預(yù)測(cè)殘差重構(gòu)系統(tǒng)的框架Fig.3 The multi-hypothesis residual reconstruction framework based on adaptive sampling

對(duì)各圖像塊xt,i(i=1,2,···,P)以采樣率SRNK0進(jìn)行預(yù)采樣

預(yù)采樣矩陣Φ0為全維隨機(jī)采樣矩陣的前q0行,q0=[SRNK0×B2],這里[·]表示四舍五入的取整算子.整幀圖像xt的預(yù)采樣的數(shù)據(jù)量為

能夠進(jìn)行自適應(yīng)分配的采樣數(shù)為

則塊xt,i的采樣數(shù)據(jù)量為

相應(yīng)的采樣率SRt,i=qt,i/B2.根據(jù)相鄰關(guān)鍵幀和預(yù)采樣進(jìn)行初步的多假設(shè)預(yù)測(cè),預(yù)測(cè)結(jié)果為在測(cè)量域衡量預(yù)測(cè)精度

et,i越大,說(shuō)明該塊的預(yù)測(cè)誤差越大,需要的自適應(yīng)采樣率更高,因此可以把預(yù)測(cè)精度et,i作為xt,i的自適應(yīng)采樣系數(shù),即at,i=et,i.

這種基于采樣數(shù)的自適應(yīng)采樣有效削弱了采樣率分配時(shí)的舍入誤差,且不會(huì)對(duì)整幀的采樣率造成太大影響,整幀采樣率被約束在[SRNK?1/B2,SRNK+1/B2]范圍內(nèi).

2.3 變采樣率多假設(shè)殘差重構(gòu)

本文所用的單幀重構(gòu)算法以文獻(xiàn)[12]中的BCS-SPL算法為基礎(chǔ),為削弱塊效應(yīng)(Blocking artifacts),該算法在重構(gòu)目標(biāo)幀時(shí)將測(cè)量矢量按順序排列成測(cè)量矩陣,一次性完成對(duì)整幀圖像的重構(gòu).該算法并不能直接用于變采樣率下的殘差重構(gòu),這是因?yàn)楦鱾€(gè)塊的測(cè)量率不同,測(cè)量矢量長(zhǎng)度不等,不能作為一個(gè)測(cè)量矩陣直接完成對(duì)整幀圖像的重構(gòu).如果對(duì)各個(gè)塊進(jìn)行獨(dú)立的殘差重構(gòu),無(wú)疑會(huì)割裂圖像的空間相關(guān)性(Spacial correlation),不能充分利用幀內(nèi)的相關(guān)信息,并且不可避免地會(huì)出現(xiàn)塊效應(yīng).為解決該問(wèn)題,本文提出了一種變采樣率下的殘差重構(gòu)模型.

首先根據(jù)相鄰關(guān)鍵幀和采樣矢量yyyt,i對(duì)塊xxt,i進(jìn)行多假設(shè)預(yù)測(cè),預(yù)測(cè)結(jié)果為由第2.2節(jié)可知yyt,i長(zhǎng)度越短說(shuō)明xxt,i的預(yù)測(cè)越準(zhǔn)確,xxt,i與間的差異越小,可以將預(yù)測(cè)的一部分測(cè)量值作為xxt,i的測(cè)量值,這相當(dāng)于增加了xxxt,i的測(cè)量率,能夠有效提高其重構(gòu)質(zhì)量.設(shè)長(zhǎng)度最長(zhǎng)的測(cè)量為 yyt,max,其長(zhǎng)度qmax=max{qt,i},對(duì)應(yīng)的測(cè)量矩陣Φt,max為全維隨機(jī)采樣矩陣的前qmax行.用對(duì)進(jìn)行采樣,并用最后qmax?i個(gè)測(cè)量值將yyy補(bǔ)長(zhǎng)到qmax,即t,i

這樣就保證了各個(gè)圖像塊具有相同長(zhǎng)度的測(cè)量矢量和相同維度的測(cè)量矢量,能夠用BCS-SPL算法進(jìn)行殘差重構(gòu),提高目標(biāo)幀的重構(gòu)質(zhì)量.

2.4 雙向運(yùn)動(dòng)估計(jì)

在對(duì)非關(guān)鍵目標(biāo)幀進(jìn)行幀間多假設(shè)預(yù)測(cè)時(shí)僅僅在參考幀中以待預(yù)測(cè)塊為中心的附近小范圍內(nèi)進(jìn)行了搜索,并不能一直保證候選塊與待預(yù)測(cè)塊間的高度相關(guān),尤其是視頻中含有大量劇烈運(yùn)動(dòng)時(shí).為了充分利用視頻序列的時(shí)空相關(guān)性,將運(yùn)動(dòng)估計(jì)幀作為參考幀,參與到非關(guān)鍵幀的多假設(shè)預(yù)測(cè)重構(gòu)過(guò)程,為了提高運(yùn)動(dòng)估計(jì)精度,使用雙向運(yùn)動(dòng)估計(jì)和補(bǔ)償算法[21].首先利用前后相鄰關(guān)鍵幀xt?1,xt+1對(duì)xt進(jìn)行雙向運(yùn)動(dòng)估計(jì),塊xt,i的運(yùn)動(dòng)矢量為

其中,μ為運(yùn)動(dòng)估計(jì)中的權(quán)重系數(shù).塊xt,i中像素點(diǎn)s處的像素預(yù)測(cè)值為

3 實(shí)驗(yàn)設(shè)計(jì)與性能分析

本文選用4組CIF格式的標(biāo)準(zhǔn)測(cè)試序列foreman、stefan、bus和 fl ower的前31幀測(cè)試本文提出的自適應(yīng)采樣多假設(shè)預(yù)測(cè)殘差重構(gòu)模型,其中奇數(shù)幀為關(guān)鍵幀(K幀),偶數(shù)幀為非關(guān)鍵幀(NK幀).分塊測(cè)量矩陣選用Gauss隨機(jī)測(cè)量矩陣,且分塊大小為16×16;稀疏表示字典選用DCT完備字典;進(jìn)行多假設(shè)預(yù)測(cè)時(shí),搜索窗口為7;進(jìn)行雙向運(yùn)動(dòng)估計(jì)時(shí),匹配塊大小為16×16,搜索窗口為8,運(yùn)動(dòng)估計(jì)的權(quán)重系數(shù)為0.005;使用SPL算法[15]進(jìn)行重構(gòu),λ=6.重構(gòu)效果的評(píng)價(jià)指標(biāo)有反映客觀重構(gòu)質(zhì)量的峰值信噪比(Peak signal to noise ratio,PSNR),反映主觀視覺(jué)質(zhì)量的結(jié)構(gòu)相似性指數(shù)(Structural similarity,SSIM)和反映計(jì)算復(fù)雜度的重構(gòu)時(shí)間(Time).實(shí)驗(yàn)的硬件平臺(tái)為主頻2.8GHz的Intel i5-2300 CPU計(jì)算機(jī),軟件平臺(tái)為Windows XP2002,32位操作系統(tǒng)和MATLAB7.7.0仿真實(shí)驗(yàn)軟件.

3.1 確定預(yù)采樣系數(shù)C

在對(duì)NK幀進(jìn)行預(yù)采樣時(shí),預(yù)采樣系數(shù)C越小,初步多假設(shè)預(yù)測(cè)就越不準(zhǔn)確,非關(guān)鍵幀采樣率的自適應(yīng)分配誤差越大,重構(gòu)精度下降;但預(yù)采樣系數(shù)C越大,用于自適應(yīng)分配的采樣率越小,不能充分反映不同塊之間預(yù)測(cè)精度的差異,也不能充分利用采樣資源以體現(xiàn)自適應(yīng)采樣的優(yōu)勢(shì),重構(gòu)精度也會(huì)下降,因此需要在預(yù)測(cè)精度和塊間精度差異之間進(jìn)行折衷.為了獲取合適的預(yù)采樣系數(shù),本文對(duì)4組序列在C∈{0.3,0.4,0.5,0.6,0.7,0.8,0.9,1.0}時(shí)進(jìn)行了測(cè)試,采樣率為SRK=0.6,SRNK=0.2.表1給出了不同預(yù)采樣系數(shù)下,各個(gè)測(cè)試序列NK幀的平均重構(gòu)PSNR和SSIM.從表1可以看出,C=0.8或0.9時(shí)能夠獲得最好的重構(gòu)效果;C＜0.8時(shí),隨著C減小,重構(gòu)效果變差;C＞0.9時(shí),重構(gòu)效果也變差,實(shí)驗(yàn)結(jié)果與分析結(jié)果一致.在下面的仿真實(shí)驗(yàn)中取C=0.8,以保證自適應(yīng)采樣對(duì)采樣資源和傳輸帶寬的最佳利用.

3.2 采樣率的幀間配置

K幀進(jìn)行獨(dú)立的幀內(nèi)多假設(shè)殘差重構(gòu),并作為NK幀多假設(shè)預(yù)測(cè)的參考幀,必須獲取足夠的采樣數(shù)據(jù)量才能保證整個(gè)序列的重構(gòu)質(zhì)量.然而僅僅通過(guò)K幀或NK幀的采樣率并不能說(shuō)明整個(gè)序列的壓縮率,因此本文用平均采樣率SRa來(lái)衡量序列的壓縮率.設(shè)每個(gè)圖像組(GOP)包含P幀圖像,其中1幀關(guān)鍵幀,P?1幀非關(guān)鍵幀.

關(guān)鍵幀和非關(guān)鍵幀的采樣率可以寫為

表2給出了P=2,SRa∈{0.3,0.4,0.5,0.6},ΔSR∈{0,0.05,0.1,0.15,0.2,0.25}時(shí)關(guān)鍵幀和非關(guān)鍵幀的采樣率.從表2可以看出,在同樣的平均采樣率下,ΔSR越大,SRK越大,SRNK越小.SRK越大意味著關(guān)鍵幀的重構(gòu)越準(zhǔn)確,越能保證非關(guān)鍵幀的預(yù)測(cè)精度,但SRNK的減小會(huì)削弱非關(guān)鍵幀的預(yù)測(cè)精度,因此整個(gè)序列的重構(gòu)結(jié)果還需要進(jìn)一步討論.

在P=2,SRa∈{0.3,0.4,0.5,0.6},ΔSR∈{0,0.05,0.1,0.15,0.2,0.25}時(shí)測(cè)試4個(gè)序列的重構(gòu)效果,如表3所示.從表3可以看出,在相同的平均采樣率下,ΔSR越大,序列的平均重構(gòu)效果越好,這也說(shuō)明了為什么關(guān)鍵幀需要更高的采樣率以保證序列的重構(gòu)質(zhì)量.值得注意的是,當(dāng)SRa=0.3時(shí),ΔSR=0.25并不能獲得最佳的重構(gòu)效果,這是因?yàn)榇藭r(shí)NK幀的采樣率過(guò)低,固定采樣率部分SRNK0更低,初步多假設(shè)預(yù)測(cè)精度不夠,采樣率的分配不合理,重構(gòu)誤差大,所以視頻序列的平均重構(gòu)質(zhì)量下降.這與第3.1節(jié)的分析一致.

表1 各測(cè)試序列在不同C下NK幀的平均重構(gòu)PSNR(dB)和SSIMTable 1 Average PSNR(dB)and SSIM of each video with diあerent C

表2 不同SRa和ΔSR下K幀和NK幀的采樣率Table 2 Sampling rates of K frames and NK frames with diあerent SRaand ΔSR

表3 測(cè)試序列在不同ΔSR下的平均重構(gòu)性能比較:PSNR(dB);SSIMTable 3 Average reconstruction quality of each video using diあerent ΔSR:PSNR(dB);SSIM

3.3 算法性能分析

在視頻序列的重構(gòu)中,關(guān)鍵幀采用文獻(xiàn)[14]提出的BCS框架下基于幀內(nèi)多假設(shè)預(yù)測(cè)的SPL算法進(jìn)行獨(dú)立的幀內(nèi)重構(gòu);非關(guān)鍵幀分別選用本文提出的自適應(yīng)采樣多假設(shè)預(yù)測(cè)殘差重構(gòu)算法(ASR-MHBCS-SPL)、文獻(xiàn)[20]提出的基于運(yùn)動(dòng)估計(jì)的殘差重構(gòu)算法(MC-BCS-SPL)和文獻(xiàn)[13]提出的基于幀間多假設(shè)預(yù)測(cè)的殘差重構(gòu)算法(MH-BCS-SPL)進(jìn)行重構(gòu).表4(a)和表4(b)給出了4組測(cè)試序列的NK幀在上述3種重構(gòu)算法下的PSNR值、SSIM值和平均單幀重構(gòu)時(shí)間T.

由表4(a)可以看出,ΔSR=0,SRK=SRNK時(shí),不論是在高平均采樣率還是低平均采樣率下,本文提出的算法ASR-MH-BCS-SPL在主、客觀評(píng)價(jià)標(biāo)準(zhǔn)下的重構(gòu)質(zhì)量都優(yōu)于MC-BCS-SPL算法和MH-BCS-SPL算法.ASR-MH-BCS-SPL算法重構(gòu)的平均PSNR值比MH-BCS-SPL算法高大約1.1dB,最多高1.963dB;比MC-BCS-SPL算法高1.5～6dB,平均高大約6dB,最多高5.981dB.而且隨著平均采樣率SRa增大,本文提出算法的優(yōu)勢(shì)更為明顯,這是因?yàn)镾Ra增大意味著K幀的采樣率增加,重構(gòu)精度更高,能夠?yàn)镹K幀提供更準(zhǔn)確的參考;而且NK幀的采樣率更高,使得多假設(shè)預(yù)測(cè)更準(zhǔn)確,測(cè)量率的分配更合理.

當(dāng)ΔSR=0.25,SRK＞SRNK時(shí),可以得出類似的結(jié)論.ASR-MH-BCS-SPL算法重構(gòu)的平均PSNR值比MH-BCS-SPL算法高大約0.6dB,最多高1.624dB;比MC-BCS-SPL算法高4～9dB,平均高大約7.6dB,最多高9.895dB.值得注意的是,當(dāng)SRa=0.3時(shí),ASR-MH-BCS-SPL算法的重構(gòu)效果比MH-BCS-SPL算法差,這是因?yàn)镹K幀的采樣率太低,固定采樣率部分SRNK0更低,初步多假設(shè)預(yù)測(cè)精度不夠,采樣率的分配不合理,所以ASR-MH-BCS-SPL算法的性能弱于MH-BCSSPL算法.

本文所提出算法ASR-MH-BCS-SPL在重構(gòu)效率上存在明顯不足,單幀平均耗時(shí)225s,約是MCBCS-SPL算法的7倍,MH-BCS-SPL算法的3倍,這是因?yàn)樗惴ㄊ褂昧硕啻味嗉僭O(shè)預(yù)測(cè)算法來(lái)提高重構(gòu)精度.

圖4給出了Foreman序列第30幀圖像在SRK=0.5,SRNK=0.1時(shí)3種重構(gòu)算法下的重構(gòu)結(jié)果對(duì)比.可以看出在相同采樣的采樣率下,本文提出的算法有更好的主客觀重構(gòu)質(zhì)量,尤其是在一些細(xì)節(jié)(如眼睛)和運(yùn)動(dòng)部分(如嘴巴)的重構(gòu)上.

表4 (a)ΔSR=0時(shí)不同測(cè)量率下各視頻重構(gòu)算法的性能比較:PSNR(dB);SSIM;T(s)Table 4(a) Reconstruction performance of each video using diあerent algorithms when ΔSR=0:PSNR(dB);SSIM;T(s)

表4 (b)ΔSR=0.25時(shí)不同測(cè)量率下各視頻重構(gòu)算法的性能比較:PSNR(dB);SSIM;T(s)Table 4(b) Reconstruction performance of each video using diあerent algorithms when ΔSR=0.25:PSNR(dB);SSIM;T(s)

3.4 算法應(yīng)用于遙感視頻重構(gòu)

遙感凝視成像衛(wèi)星在對(duì)目標(biāo)區(qū)域進(jìn)行觀測(cè)時(shí),會(huì)在衛(wèi)星相對(duì)于目標(biāo)的過(guò)頂時(shí)間窗口內(nèi)進(jìn)行姿態(tài)調(diào)整,使目標(biāo)始終處于衛(wèi)星視頻相機(jī)的視場(chǎng)中心,以獲取該區(qū)域內(nèi)的序列圖像,故圖像各幀之間的相關(guān)性非常強(qiáng).為檢驗(yàn)算法在遙感視頻序列上的適用性,對(duì)一段avi格式的海港遙感視頻(單幀分辨率為480像素×480像素)進(jìn)行自適應(yīng)采樣,并利用本文提出的自適應(yīng)采樣多假設(shè)預(yù)測(cè)殘差重構(gòu)算法(ASR-MHBCS-SPL)、文獻(xiàn)[20]提出的基于運(yùn)動(dòng)估計(jì)的殘差重構(gòu)算法(MC-BCS-SPL)和文獻(xiàn)[13]提出的基于幀間多假設(shè)預(yù)測(cè)的殘差重構(gòu)算法(MH-BCS-SPL)分別進(jìn)行重構(gòu),仿真參數(shù)保持不變.

表5給出了不同采樣率下,該視頻序列前30幀的平均重構(gòu)PSNR值,SSIM值和平均時(shí)耗T,可以看出不管ΔSR是否等于零,ASR-MH-BCS-SPL算法的主客觀重構(gòu)性能都優(yōu)于MC-BCS-SPL算法和MH-BCS-SPL算法,但重構(gòu)時(shí)間較長(zhǎng).比較表5和表4(a),表4(b)可以發(fā)現(xiàn)遙感序列的平均單幀重構(gòu)時(shí)間長(zhǎng)于測(cè)試序列,這是因?yàn)檫b感視頻幀的像素點(diǎn)數(shù)大于測(cè)試序列的緣故.

圖5顯示了SRa=0.3,ΔSR=0.25時(shí)第10幀圖像在不同算法下的重構(gòu)結(jié)果,目標(biāo)艦船用圓圈標(biāo)出.仿真結(jié)果表明本文提出的算法適用于遙感視頻序列的重構(gòu),而且重構(gòu)效果優(yōu)于MC-BCS-SPL算法和MH-BCS-SPL算法,減弱了邊緣模糊現(xiàn)象并消除了塊效應(yīng),即使在平均采樣率為0.3的低采樣率下,PSNR值仍高達(dá)35dB以上.

3.5 算法復(fù)雜度分析

通過(guò)上述仿真實(shí)驗(yàn)可以看出,本文提出的基于自適應(yīng)采樣的多假設(shè)預(yù)測(cè)殘差重構(gòu)算法在主客觀評(píng)價(jià)標(biāo)準(zhǔn)下優(yōu)于MC-BCS-SPL算法和MH-BCSSPL算法,但耗時(shí)過(guò)久,本節(jié)將細(xì)致分析三種算法各個(gè)環(huán)節(jié)的重構(gòu)質(zhì)量和時(shí)耗.

仿真序列使用Foreman序列的前31幀,采樣率為SRK=0.6,SRNK=0.2.其余仿真參數(shù)同第3節(jié)的初始設(shè)置.根據(jù)算法的關(guān)鍵環(huán)節(jié)、將ASRMH-BCS-SPL算法分成自適應(yīng)采樣環(huán)節(jié),變采樣率下的多假設(shè)預(yù)測(cè)殘差重構(gòu)環(huán)節(jié),雙向運(yùn)動(dòng)估計(jì)環(huán)節(jié)、用雙向運(yùn)動(dòng)估計(jì)進(jìn)行補(bǔ)償?shù)沫h(huán)節(jié)、分別記為A1,A2,A3,A4;將MC-BCS-SPL算法分成采樣環(huán)節(jié)、幀內(nèi)多假設(shè)預(yù)測(cè)殘差重構(gòu)環(huán)節(jié)、運(yùn)動(dòng)估計(jì)環(huán)節(jié)、基于運(yùn)動(dòng)估計(jì)的殘差重構(gòu)環(huán)節(jié),分別記為C1,C2,C3,C4;將MH-BCS-SPL算法分成采樣環(huán)節(jié)、幀間多假設(shè)預(yù)測(cè)殘差重構(gòu)環(huán)節(jié),分別記為H1,H2.表6給出了三種算法各個(gè)環(huán)節(jié)的平均時(shí)耗T和涉及到重構(gòu)環(huán)節(jié)的平均重構(gòu)PSNR,SSIM.

圖4 不同算法對(duì)foreman序列第30幀圖像的恢復(fù)效果Fig.4 Reconstruction of the 30th frame in the foreman video using diあerent algorithms

表5 遙感視頻在不同算法,不同采樣率下的重構(gòu)性能:PSNR(dB);SSIM;T(s)Table 5 Reconstruction performance of the remote sensing video using diあerent algorithms and diあerent sampling rates:PSNR(dB);SSIM;T(s)

圖5 遙感視頻序列中第10幀圖像的恢復(fù)效果Fig.5 Reconstruction of the 10th frame in the remote sensing video

表6 三種算法各個(gè)環(huán)節(jié)的時(shí)耗和重構(gòu)性能:T(s);PSNR(dB);SSIMTable 6 Time and reconstruction quality of three algorithms in every step:T(s);PSNR(dB);SSIM

比較C2和C4可以看出,多假設(shè)預(yù)測(cè)殘差重構(gòu)環(huán)節(jié)比殘差重構(gòu)環(huán)節(jié)耗時(shí),時(shí)耗約是殘差重構(gòu)環(huán)節(jié)的3.5倍;比較A2,A4和H2與C2可以看出,幀間多假設(shè)預(yù)測(cè)殘差重構(gòu)環(huán)節(jié)的時(shí)耗遠(yuǎn)大于幀內(nèi)多假設(shè)預(yù)測(cè)殘差重構(gòu)環(huán)節(jié);比較A3和C3可以看出,雙向運(yùn)動(dòng)估計(jì)環(huán)節(jié)的耗時(shí)遠(yuǎn)大于文獻(xiàn)[20]中的運(yùn)動(dòng)估計(jì)環(huán)節(jié),這是因?yàn)殡p向運(yùn)動(dòng)估計(jì)算法需要對(duì)圖像塊進(jìn)行多次遍歷匹配.ASR-MH-BCS-SPL算法比較耗時(shí)的根本原因是三次幀間多假設(shè)預(yù)測(cè),每個(gè)涉及幀間多假設(shè)預(yù)測(cè)的環(huán)節(jié)時(shí)耗都在68s左右;由于自適應(yīng)采樣過(guò)程中也進(jìn)行了幀間多假設(shè)預(yù)測(cè),因此編碼階段時(shí)耗會(huì)遠(yuǎn)大于其他兩種算法,比較A1和C1,H1可以看出,A1環(huán)節(jié)時(shí)耗的數(shù)量級(jí)遠(yuǎn)高于C1,H1.

比較C2和H2可以看出,幀間多假設(shè)預(yù)測(cè)殘差重構(gòu)的重構(gòu)效果遠(yuǎn)遠(yuǎn)優(yōu)于幀內(nèi)多假設(shè)預(yù)測(cè)殘差重構(gòu);比較A2和H2可以看出基于自適應(yīng)采樣的幀間多假設(shè)預(yù)測(cè)殘差重構(gòu)算法的重構(gòu)效果優(yōu)于恒定采樣率下的幀間多假設(shè)預(yù)測(cè)殘差重構(gòu)算法,平均PSNR值比后者高1.267dB;比較A2和A4可以看出,雖然用雙向運(yùn)動(dòng)估計(jì)可以改善算法的性能,但時(shí)耗會(huì)增大,為降低算法復(fù)雜度,也可以不用雙向運(yùn)動(dòng)估計(jì)算法進(jìn)行補(bǔ)償,或者換用簡(jiǎn)單的、效率較高的運(yùn)動(dòng)估計(jì)算法進(jìn)行補(bǔ)償.更有效的降低算法時(shí)耗的方法是研究一種不用幀間多假設(shè)預(yù)測(cè)就能把運(yùn)動(dòng)估計(jì)用于重構(gòu)結(jié)果補(bǔ)償?shù)乃惴?這也是以后的研究方向之一.

4 結(jié)論

本文以基于塊的分布式視頻壓縮感知框架為基礎(chǔ),提出了一種自適應(yīng)采樣的多假設(shè)預(yù)測(cè)殘差重構(gòu)模型及相關(guān)算法.首先將視頻流拆分為關(guān)鍵幀和非關(guān)鍵幀,均采用基于塊的壓縮測(cè)量方式進(jìn)行測(cè)量,關(guān)鍵幀以高測(cè)量率直接采樣,并利用幀內(nèi)多假設(shè)預(yù)測(cè)殘差重構(gòu)模型進(jìn)行獨(dú)立重構(gòu);然后將非關(guān)鍵幀的測(cè)量率分成固定部分和自適應(yīng)部分,并用已重構(gòu)的相鄰關(guān)鍵幀和預(yù)采樣對(duì)待重構(gòu)非關(guān)鍵幀進(jìn)行幀間多假設(shè)預(yù)測(cè),并根據(jù)各塊的預(yù)測(cè)精度自適應(yīng)地分配測(cè)量率:預(yù)測(cè)精度高的塊分配低測(cè)量率,預(yù)測(cè)精度低的塊分配高測(cè)量率;接著利用相鄰關(guān)鍵幀和自適應(yīng)測(cè)量值進(jìn)行變采樣幀間多假設(shè)預(yù)測(cè),得到邊信息并進(jìn)行殘差重構(gòu);最后利用雙向運(yùn)動(dòng)估計(jì)修正重構(gòu)結(jié)果,以獲得高質(zhì)量的重構(gòu)幀.仿真結(jié)果表明,該算法能夠在降低采樣率的同時(shí)保證良好的重構(gòu)效果,不論是在主觀評(píng)價(jià)標(biāo)準(zhǔn)還是客觀評(píng)價(jià)標(biāo)準(zhǔn)下,重構(gòu)質(zhì)量都優(yōu)于MC-BCS-SPL算法和MH-BCS-SPL算法;并且該算法適用于遙感視頻的壓縮重構(gòu);然而由于使用了多次多假設(shè)預(yù)測(cè)算法,本文提出的算法花費(fèi)的時(shí)間代價(jià)較高,文中細(xì)致分析了三種算法各個(gè)環(huán)節(jié)的重構(gòu)質(zhì)量和時(shí)耗,雖然在擁有巨大運(yùn)算力的解碼端,重構(gòu)時(shí)間能夠進(jìn)行大量縮減,但如何在保證重構(gòu)精度的同時(shí)提高算法的重構(gòu)速度仍然是下一階段重點(diǎn)研究的問(wèn)題.

1 Donoho D L.Compressed sensing.IEEE Transactions on Information Theory,2006,52(4):1289?1306

2 Candes E J,Wakin M B.An introduction to compressive sampling.IEEE Signal Processing Magazine,2008,25(2):21?30

3 Ren Yue-Mei,Zhang Yan-Ning,Li Ying.Advances and perspective on compressed sensing and application on image processing.Acta Automatica Sinica,2014,40(8):1563?1575(任越美,張艷寧,李映.壓縮感知及其圖像處理應(yīng)用研究進(jìn)展與展望.自動(dòng)化學(xué)報(bào),2014,40(8):1563?1575)

4 Shen Yan-Fei,Li Jin-Tao,Zhu Zhen-Min,Zhang Yong-Dong,Dai Feng.Image reconstruction algorithm of compressed sensing based on nonlocal similarity model.Acta Automatica Sinica,2015,41(2):261?272(沈燕飛,李錦濤,朱珍民,張勇東,代鋒.基于非局部相似模型的壓縮感知圖像恢復(fù)算法.自動(dòng)化學(xué)報(bào),2015,41(2):261?272)

5 Waters A E,Sankaranarayanan A C,Baraniuk R G.SpaRCS:recovering low-rank and sparse matrices from compressive measurements.In:Proceedings of the 2011 Neural Information Processing Systems(NIPS).Barcelona,Spain:IEEE,2011.1089?1097

6 Fowler J E,Mun S,Tramel E W.Multiscale block com

pressed sensing with smoothed projected landweber reconstruction.In:Proceedings of the 19th European Signal Processing Conference.Barcelona,Spain:IEEE,2011.564?568

7 Willett R M,Marcia R F,Nichols J M.Compressed sensing for practical optical imaging systems:a tutorial.Optical Engineering,2011,50(7):1?13,Article No.72601

8 Thompson D,Harmany Z,Marcia R.Sparse video recovery using linearly constrained gradient projection.In:Proceedings of the 2011 IEEE International Conference on Acoustics,Speech,and Signal Processing(ICASSP).Prague,Czech Republic:IEEE,2011.1329?1332

9 Baron D,Duarte M F,Wakin M B,Sarvotham S,Baraniuk R G.Distributed compressive sensing[Online],available:http://www.arxiv.org/abs/0901.3403,February 17,2016

10 Zhang B J,Lei Q,Wang W,Mu J S.Distributed video coding of secure compressed sensing.Security and Communication Networks,2015,8(14):2416?2419

11 Liu H X,Song B,Tian F,Qin H,Liu X.Optimal-correlationbased reconstruction for distributed compressed video sensing.Journal of Visual Communication and Image Representation,2015,31:197?207

12 Chen J,Su K X,Wang W X,Lan C D.Residual distributed compressive video sensing based on double side information.Acta Automatica Sinica,2014,40(10):2316?2323

13 Tramel E W,Fowler J E.Video compressed sensing with multihypothesis.In:Proceedings of the 2011 Data Compression Conference(DCC).Snowbird,UT,USA:IEEE,2011.193?202

14 Chen C,Tramel E W,Fowler J E.Compressed sensing recovery of images and video using multihypothesis predictions.In:Proceedings of Conference Record of the 46th Asilomar Conference on Signals,Systems,and Computers(ASILOMAR).Praci fi c Grove,CA,USA:IEEE,2011.1193?1198

15 Warnell G,Reddy D,Chellappa R.Adaptive rate compressive sensing for background subtraction.In:Proceedings of the 2012 IEEE International Conference on Acoustics,Speech,and Signal Processing(ICASSP).Kyoto,Japan:IEEE,2012.1477?1480

16 Srinivasarao B K N,Gogineni V C,Mula S,Chakrabarti I.VLSI friendly framework for scalable video coding based on compressed sensing[Online],available:arxiv.org/abs/1602.07453,April 5,2016

17 Lian Qiu-Sheng,Tian Tian,Chen Shu-Zhen,Guo Wei.Block compressed sensing of video based on variable sampling rates and multihypothesis predictions.Journal of Electronics and Information Technology,2013,35(1):203?208(練秋生,田天,陳書(shū)貞,郭偉.基于變采樣率的多假設(shè)預(yù)測(cè)分塊視頻壓縮感知.電子與信息學(xué)報(bào),2013,35(1):203?208)

18 Li Ru-Chun,Li Lin,Chang Li-Ping.Block compressed sensing of video based on variable sampling rates.Application of Electronic Technique,2015,41(10):147?149,153(李如春,李林,常麗萍,基于變采樣率壓縮感知的視頻壓縮研究.電子技術(shù)應(yīng)用,2015,41(10):147?149,153)

19 Zuo Mi-Wen,Chang Kan,Shi Jing-Lan,Qin Tuan-Fa.Adaptive rate compressed video sensing scheme.Video Engineering,2015,39(2):66?70(左覓文,常侃,施靜蘭,覃團(tuán)發(fā).一種自適應(yīng)采樣率視頻壓縮感知方案.電視技術(shù),2015,39(2):66?70)

20 Mun S,Fowler J E.Residual reconstruction for block-based compressed sensing of video.In:Proceedings of the 2011 Data Compression Conference(DCC).Snowbird,UT,USA:IEEE,2011.183?192

21 Choi B D,Han J W,Kim C S,Ko S J.Motion-compensated frame interpolation using bilateral motion estimation and adaptive overlapped block motion compensation.IEEE Transactions on Circuits and Systems for Video Technology,2007,17(4):407?416

Research on Multi-hypothesis Residual Reconstruction Algorithm Based on Adaptive Sampling

AN Wen1LIU Kun1WANG Jie2

To guarantee an adequate quality reconstruction of remote sensing video and to make use of the character of mass information redundancy in video,this paper proposes a kind of adaptive sampling and multi-hypothesis residual reconstruction model and algorithm based on the framework called distributed video compressed sensing(DVCS).Firstly,the current frame is predicted,then sampling rates are adaptively allocated according to the precise degrees of the blocks in the predicted frame.Afterwards,the current frame is reconstructed using the variable sampling rates multi-hypothesis residual reconstruction algorithm.Finally,the reconstructed frame is revised by bilateral motion estimation technic.Simulation shows that the proposed model and algorithm can assure low sampling rate and high reconstruction quality simultaneously,and that the model can oあer a PSNR gain of around 7dB higher the MC-BCS-SPL algorithm,and a gain of around 1dB than higher the MH-BCS-SPL algorithm when the sampling rates are same.

Remote sensing video,compressed sensing(CS),adaptive sampling,multi-hypothesis prediction,bilateral motion estimation

An Wen,Liu Kun,Wang Jie.Research on multi-hypothesis residual reconstruction algorithm based on adaptive sampling.Acta Automatica Sinica,2017,43(12):2190?2201

2016-05-10 錄用日期2016-12-10

May 10,2016;accepted December 10,2016國(guó)家自然科學(xué)基金(61271440)資助

Supported by National Natural Science Foundation of China(61271440)

本文責(zé)任編委楊健

Recommended by Associate Editor YANG Jian

1.國(guó)防科學(xué)技術(shù)大學(xué)航天科學(xué)與工程學(xué)院 長(zhǎng)沙 410073 2.63810部隊(duì)文昌571300

1.College of Aerospace Science and Engineering,National University of Defense Technology,Changsha 410073 2.PLA 63810 Unit,Wenchang 571300

安文,劉昆,王杰.基于自適應(yīng)采樣的多假設(shè)預(yù)測(cè)殘差重構(gòu)算法研究.自動(dòng)化學(xué)報(bào),2017,43(12):2190?2201

DOI10.16383/j.aas.2017.c160376

安 文 國(guó)防科技大學(xué)航天科學(xué)與工程學(xué)院碩士研究生.主要研究方向?yàn)閴嚎s感知遙感成像．本文通信作者.

E-mail:anven91@sina.com

(AN Wen Master student at the College of Aerospace Science and Engineering,National University of Defense Technology.Her main research interest is remote sensing imaging based on compressed sensing.Corresponding author of this paper.)

劉 昆 國(guó)防科學(xué)技術(shù)大學(xué)航天科學(xué)與工程學(xué)院教授.主要研究方向?yàn)轱w行器設(shè)計(jì)與控制,微小衛(wèi)星光學(xué)有效載荷.

E-mail:liukun-open@163.com

(LIU Kun Professor at the College of Aerospace Science and Engineering,National University of Defense Technology. His research interest covers fl ight vehicle design and control,optical payload of microsatellite.)

王 杰 國(guó)防科學(xué)技術(shù)大學(xué)碩士研究生.主要研究方向?yàn)閴嚎s感知遙感成像.

E-mail:18670387476@163.com

(WANG Jie Master student at National University of Defense Technology.His main research interest is remote sensing imaging based on compressed sensing.)