杜 梅, 趙懷慈, 周 浩
(1. 沈陽師范大學(xué) 科信軟件學(xué)院, 沈陽 110034; 2. 中國科學(xué)院 沈陽自動化研究所, 沈陽 110016)
?
壓縮感知在感興趣區(qū)域編碼中的應(yīng)用
杜 梅1, 趙懷慈2, 周 浩1
(1. 沈陽師范大學(xué) 科信軟件學(xué)院, 沈陽 110034; 2. 中國科學(xué)院 沈陽自動化研究所, 沈陽 110016)
針對面向目標(biāo)探測識別的無線圖像傳輸應(yīng)用,為了解決探測識別任務(wù)對圖像質(zhì)量的高要求與無線信道帶寬約束之間的沖突,提出一種基于壓縮感知的編碼方法。鑒于壓縮感知優(yōu)秀的抗干擾特性,利用其進(jìn)行圖像壓縮,并將位平面提升技術(shù)引入壓縮感知。首先,對圖像進(jìn)行分塊壓縮感知,然后,對獲得的信號進(jìn)行量化、位平面分解;然后提升感興趣區(qū)域位平面,并分別給出3種不同的感興趣區(qū)域位平面編碼方案;最后,在解碼端通過解碼、閾值迭代法重構(gòu),得到感興趣區(qū)域質(zhì)量優(yōu)于背景的重構(gòu)圖像。實驗結(jié)果表明,在相同碼率下,重構(gòu)圖像的感興趣區(qū)域PSNR(Peak Signal to Noise Ratio)高于通常的壓縮感知編碼方法,驗證了方法的可行性和有效性。因此,基于壓縮感知的感興趣區(qū)域編碼方法能夠提高無線圖像傳輸效率,從而更好地滿足目標(biāo)探測識別的需求。
感興趣區(qū)域; 壓縮感知; 位平面提升; 面向探測識別
面向目標(biāo)探測識別的圖像壓縮編碼,通常都應(yīng)用于無線信道環(huán)境中,而無線信道干擾嚴(yán)重,且?guī)捰邢?因此研究如何通過不穩(wěn)定并且?guī)捠芟薜臒o線環(huán)境優(yōu)先傳輸重要信息,如目標(biāo)區(qū)域信息,再傳輸次重要信息,如背景信息,即研究感興趣區(qū)域(Region of Interest,ROI)優(yōu)先的圖像漸進(jìn)編碼方法,對無線圖像傳輸具有重要的實際應(yīng)用價值[1-2]。
目前ROI優(yōu)先的漸進(jìn)圖像編碼技術(shù),都是以變換壓縮編碼為基礎(chǔ)。感興趣區(qū)域優(yōu)先的圖像編碼算法中,應(yīng)用較為廣泛的是JPEG2000中的2種編碼算法[3]:比例提升法(General Scaling Based Method)和最大提升法(Maxshift Method)。JPEG2000雖然具有優(yōu)秀的壓縮性能,但抗干擾性能還不夠強大,需要和信道編碼共同抵御無線噪聲和干擾[4]。
壓縮感知(Compressed Sensing,CS)是一種新的信號采樣理論,是一種尋找欠定線性系統(tǒng)稀疏解的技術(shù)[5-6]。壓縮感知理論指出,利用信號的稀疏特性,通過遠(yuǎn)小于Nyquist 采樣率的隨機(jī)采樣方式獲取信號的采樣數(shù)據(jù)后,仍然能夠通過非線性重建算法完美地重建信號,而且CS信號具有優(yōu)秀的抗干擾特性[6-7]。鑒于CS的優(yōu)秀特性,本文將基于位平面提升的ROI編碼技術(shù)引入CS,給出了ROI優(yōu)先的漸進(jìn)圖像編碼方案。仿真實驗驗證了本文方法的可行性和有效性。
在圖像壓縮編碼過程中,為了使ROI區(qū)域質(zhì)量優(yōu)于背景并且被優(yōu)先傳輸,JPEG2000以位平面縮放思想為指導(dǎo),對系數(shù)位平面進(jìn)行不同方式的提升,分別實現(xiàn)了比例提升法和最大提升法。除此以外,學(xué)者們又提出綜合二者優(yōu)點的改進(jìn)位平面提升方法[8-9]。
比例提升法的基本思想是:對圖像進(jìn)行小波變換、量化完成后,對量化系數(shù)進(jìn)行位平面分解,然后設(shè)定比例因子S,將所有屬于 ROI 區(qū)域的系數(shù)上移S層,使其位于較高的位平面上,如圖1b所示。在嵌入式編碼過程中,被上移的平面首先被編碼,生成的比特流在整個數(shù)據(jù)比特流的最前面。這樣,ROI 就會先于背景被編碼。這S個ROI位平面編碼完成后,才繼續(xù)對剩余位平面系數(shù)進(jìn)行編碼。即使傳輸過程中編碼比特流被截斷,感興趣區(qū)域也會有比背景區(qū)域更高的逼真度。解碼時為了區(qū)分位于同一位平面中的ROI系數(shù)和背景系數(shù),需要提供ROI形狀和位置信息,即掩模。
(a)—無提升; (b)—比例提升法; (c)—最大提升法; (d)—交錯提升法。圖1 位平面提升示意圖
最大提升法是比例提升法的特例,其提升后的 ROI系數(shù)最低位平面必須高于背景系數(shù)的最高位平面,如圖1(c)所示,即它的比例因子 S 必須滿足條件:
(1)
其中Cmax是背景系數(shù)量化后的最大值。
提升之后,ROI所有系數(shù)都大于背景系數(shù)。這樣在編碼過程中只有當(dāng)所有的ROI信息都編碼結(jié)束,才開始編碼背景系數(shù)。由于在ROI完全恢復(fù)前,無法得到背景信息,因此也不能靈活調(diào)節(jié)ROI和背景重構(gòu)圖像質(zhì)量的對比度,而往往ROI內(nèi)容的判別需要依賴背景,這是最大提升法的不足。
為既能夠比較靈活地控制ROI與背景的質(zhì)量對比度,又不必傳輸ROI掩模,位平面交錯提升法被提出,其基本思想是:將ROI區(qū)域與背景位平面分別按重要性程度分為高位與低位2部分,ROI高位比例因子設(shè)置為S1,背景高位比例因子設(shè)置為S2,背景提升因子設(shè)置為S3,然后按S1和S3分別對ROI和背景位平面進(jìn)行提升,提升后效果見圖1d。與前2種方法相比,交錯提升法編碼不需要傳輸掩模,從而降低了編碼和傳輸數(shù)據(jù)量,同時又兼顧了背景傳輸,但是也增加了算法復(fù)雜度,因此應(yīng)根據(jù)實際需求選取適當(dāng)ROI編碼方法。
壓縮感知理論本身具備優(yōu)秀的抗干擾特性,適合于圖像壓縮無線傳輸。普通的壓縮感知編碼方法是[10-11]:獲取壓縮感知信號后,量化,編碼,然后傳輸。為了使壓縮感知編碼技術(shù)適合于面向目標(biāo)探測識別的圖像壓縮應(yīng)用,適用于感興趣區(qū)域編碼,引入位平面編碼和位平面提升技術(shù)。在對圖像進(jìn)行壓縮感知測量時,由于圖像屬于高維數(shù)據(jù),為降低計算和存儲代價,采取分塊測量方法[12-13]。分塊測量首先需要根據(jù)圖像尺寸確定合適的分塊,再根據(jù)分塊尺寸和壓縮比要求確定測量矩陣,接下來對每個圖像分塊利用測量矩陣逐一進(jìn)行壓縮感知測量,獲得壓縮感知信號;然后,對壓縮感知信號進(jìn)行基于位平面提升的感興趣區(qū)域編碼、傳輸;在解碼端,對解碼后的壓縮感知信號,選取閾值迭代法(Iterative Shrinkage/Threshold,IST)[14-15]進(jìn)行重構(gòu)。
在了解分塊壓縮感知和分塊重構(gòu)過程的基礎(chǔ)上,重點解決感興趣區(qū)域優(yōu)先的壓縮感知信號編碼問題。首先采用位平面編碼代替通常的壓縮感知信號編碼,再對ROI位平面進(jìn)行縮放處理。編碼過程為:
1) 將ROI區(qū)域?qū)?yīng)到一系列圖像分塊上,圖像分塊如圖2所示,其中白色邊框內(nèi)為ROI區(qū)域,然后采用分塊壓縮感知壓縮圖像,并產(chǎn)生壓縮感知信號的ROI掩模;
2) 對壓縮感知信號進(jìn)行量化、位平面分解,分解示意圖見圖3;
圖2 圖像分塊
3) 對分解后的位平面按照ROI與背景視覺質(zhì)量需求,確定比例因子S,將ROI掩模內(nèi)的位平面按比例S提升;
4) 位平面編碼、ROI掩模編碼。
編碼完成后傳輸編碼流,傳輸順序遵循編碼順序。
解碼端解碼過程為:
1) 獲得S值,ROI掩模解碼、位平面解碼;
2) 將ROI掩模內(nèi)的位平面按比例S下降;
3) 位平面合成,反量化,得到分塊壓縮感知信號;
4) 采用閾值迭代法重構(gòu),得到重構(gòu)圖像。
隨著解碼端接收碼流的增多,解碼位平面也逐漸增多,重構(gòu)圖像的分辨率逐漸提高,直到ROI位平面全部接收完畢,ROI質(zhì)量不再變化;繼續(xù)接收背景碼流,直到背景全部傳輸完畢,得到質(zhì)量最優(yōu)的重構(gòu)圖像。以上為基于壓縮感知的比例提升法(general shift)編解碼過程,具體流程如圖4。
基于壓縮感知的ROI編碼在傳輸過程中,由于意外等原因隨時中斷傳輸,都可以通過已接收的部分位平面,優(yōu)先重構(gòu)ROI區(qū)域,隨著接收位平面的增多,得到分辨率逐漸提高的圖像,直至全部位平面接收完畢,得到質(zhì)量最優(yōu)的圖像。
圖4 基于壓縮感知的比例提升編碼流程圖
實驗所用圖像分別來自自選圖像和圖像數(shù)據(jù)庫USC-SIPI Image Database,圖像尺寸256×256。采用分塊壓縮感知方案,壓縮采樣率為0.3,圖像分塊16×16,重構(gòu)算法采用閾值迭代法。量化級別Q=7,則位平面分解為7層。將本文ROI編碼方法與普通壓縮感知編碼方法重構(gòu)圖像的ROI區(qū)域峰值信噪比(PSNR)做比較。原圖如圖5所示,圖5a為自選圖像,圖5b、圖5c來自USC-SIPI Image Database,圖中方框部分為ROI區(qū)域。下面3組實驗分別驗證了比例提升、最大提升以及交錯提升ROI位平面編碼方法的有效性。
圖5 原圖
3.1 比例提升法
設(shè)定比例因子S=3,首先接收ROI位平面,接收順序遵照編碼傳輸順序,即位平面從高到低的順序,接收完ROI高位平面后,接收ROI和背景位平面,最后接收背景低位平面,實驗結(jié)果見圖6a~圖6d與圖8。圖6a為從高到低接收4層ROI位平面、1層背景高位平面后的重構(gòu)圖像,表示為lroi=4,lbg=1,其他同理。從圖中看出,最初重構(gòu)圖像的ROI與背景質(zhì)量對比顯著,隨著接收位平面的增多,ROI與背景質(zhì)量差距逐漸縮小,直至質(zhì)量差距完全消除。相同碼率下普通CS編碼方法重構(gòu)的圖像見圖6e~圖6h,碼率0.34 bpp下二者重構(gòu)圖像見圖6a和圖6e。當(dāng)所有位平面接收完畢,比例提升法與普通壓縮感知重構(gòu)圖像沒有區(qū)別,PSNR也完全相同,均為20.41 dB,見圖6d和圖6h。將圖6中(a)、(b)、(e)、(f)對應(yīng)ROI部分放大,見圖7,可見相同碼率下比例提升法重構(gòu)的ROI區(qū)域質(zhì)量好于普通壓縮感知編碼方法。
對圖5a設(shè)定比例因子S=4,得到的實驗結(jié)果與S=3及普通CS編碼的實驗結(jié)果相比較,結(jié)果見圖9。從圖9中看出,在比特流全部傳輸結(jié)束之前,S=3與S=4情況下ROI位平面提升編碼方法對應(yīng)的PSNR一直高于普通CS編碼方法。從圖9可以看出,在S=4情況下,重構(gòu)ROI質(zhì)量更高。圖中紅線與藍(lán)線重合部分表示,當(dāng)ROI位平面全部解碼完畢,ROI達(dá)到最好質(zhì)量并不再變化,背景質(zhì)量繼續(xù)提高,直至背景位平面解碼完畢;當(dāng)所有位平面解碼完畢,重構(gòu)過程相當(dāng)于普通壓縮感知重構(gòu),因此最終3條曲線重合于同一節(jié)點。
(a)—0.34 bpp(lroi=4,lbg=1);(b)—0.86 bpp(lroi=6,lbg=3);(c)—1.35 bpp(lroi=7,lbg=5);(d)—1.81 bpp(lroi=7,lbg=7);(e)—0.34 bpp;(f)—0.86 bpp;(g)—1.35 bpp;(h)—1.81 bpp。圖6 比例提升法與普通CS編碼重構(gòu)圖像比較
(a)—0.34 bpp,普通CS; (b)—0.34 bpp,比例提升; (c)—0.86 bpp,普通CS; (d)—0.86 bpp,比例提升。圖7 重構(gòu)ROI區(qū)域放大效果
從實驗1可以看出,相同碼率下,比例提升法與普通CS編碼方法相比,重構(gòu)圖像的ROI 區(qū)域PSNR更高,即能夠更好地保護(hù)ROI區(qū)域質(zhì)量,從而更能滿足探測識別需求。
(a)—0.37 bpp(lroi=4,lbg=1);(b)—0.97 bpp(lroi=6,lbg=3);(c)—1.55 bpp(lroi=7,lbg=5);(d)—2.11 bpp(lroi=7,lbg=7);(e)—0.43 bpp(lroi=4,lbg=1);(f)—1.03 bpp(lroi=6,lbg=3);(g)—1.59 bpp(lroi=7,lbg=5);(h)—2.11 bpp(lroi=7,lbg=7)。圖8 比例提升法重構(gòu)圖像Fig.8 Reconstructed images by general shift coding method
圖9 比例提升法與普通CS編碼方法重構(gòu)PSNR比較Fig.9 Comparison of PSNR between general shift and general CS coding method
3.2 最大提升法
將實驗1中的比例因子設(shè)置為位平面層數(shù),即S=7,得到maxshift_cs方法的實驗結(jié)果,如圖10a~圖10e所示,可見ROI區(qū)域的PSNR逐漸提高。圖10b與圖10a相比只是已接收ROI位平面層數(shù)增多,還未開始接收背景,因此ROI逐漸清晰,背景無變化;圖10c、圖10d、圖10e中,ROI已經(jīng)全部接收完畢,接收背景位平面逐漸增多,因此ROI圖像質(zhì)量無過多變化,而背景逐漸清晰。圖10c、圖10d、圖10e中ROI的PSNR值逐漸提高,是因為在采用閾值迭代法重構(gòu)圖像過程當(dāng)中,通過維納濾波對全局圖像消除塊效應(yīng),使得ROI區(qū)域質(zhì)量得到了提高。
從實驗2看出,最大提升法只有當(dāng)ROI位平面全部接收完畢(見圖10a、圖10b),才開始接收背景信息(見圖10c、圖10d和圖10e),不能夠提前獲得背景信息,不如比例提升法靈活。
3.3 交錯提升法
本節(jié)實驗驗證位平面交錯提升的ROI優(yōu)先編碼方法。設(shè)定壓縮感知采樣率為0.4,ROI位平面比例因子S1=4,背景高位比例因子S2=3,背景位平面提升因子S3=4。圖11展示了不同解碼率下的重構(gòu)結(jié)果,圖11a為接收4層ROI高位平面后重構(gòu)結(jié)果,無背景信息,圖11b~圖11d為繼續(xù)接收3層背景高位平面后的重構(gòu)結(jié)果,圖11e~圖11g為繼續(xù)接收3層ROI低位平面后的重構(gòu)結(jié)果,圖11h~圖11k為繼續(xù)接收余下的4層背景低位平面后的重構(gòu)結(jié)果。從圖11看出,交錯提升ROI位平面編碼方法在優(yōu)先編碼傳輸ROI信息同時,有效兼顧了背景信息的傳輸,從這點來說優(yōu)于最大提升法。
(a)—0.61 bpp(lroi=2,lbg=0);(b)—1.51 bpp(lroi=5,lbg=0);(c)—2.37 bpp(lroi=7,lbg=1);(d)—3.14 bpp (lroi=7,lbg=4);(e)—3.91 bpp(lroi=7,lbg=7)。圖10 最大提升法重構(gòu)圖像Fig.10 Reconstructed images by max shift coding method
(a)—0.21 bpp(lroi=4,lbg=0);(b)—0.55 bpp(lroi=4,lbg=1);(c)—0.90 bpp(lroi=4,lbg=2);(d)—1.25 bpp (lroi=4,lbg=3);(e)—1.30 bpp(lroi=5,lbg=3);(f)—1.35 bpp(lroi=6,lbg=3);(g)—1.40 bpp(lroi=7,lbg=3);(h)—1.75 bpp (lroi=7,lbg=4);(i)—2.10 bpp(lroi=7,lbg=5);(j)—2.44 bpp(lroi=7,lbg=6);(k)—2.79 bpp(lroi=7,lbg=7)。圖11 交錯提升法重構(gòu)圖像Fig.11 Reconstructed images by cross shift coding method
圖12 3種位平面提升方法PSNR比較Fig.12 Comparison of PSNR among three bit plane shifting schemes
從圖12可以看出,在碼率小于0.36 bpp時,最大提升法只傳輸了ROI信息,而交錯提升法在碼率大于0.21 bpp時就已經(jīng)開始傳輸背景信息了;最大提升法在0.36 bpp時ROI的PSNR已經(jīng)達(dá)到21.32 dB,然后開始傳輸背景信息,而交錯提升法在ROI的PSNR為17.39時開始傳輸背景信息,直到1.25 bpp又開始傳輸ROI信息,直到全部ROI傳輸完畢后,接著傳輸剩余背景信息??梢娫?.36 bpp的碼率下,交錯提升法整幅圖像的重構(gòu)效果好于最大提升法。隨著碼率的增加,最終2種方法重構(gòu)圖像的PSNR達(dá)到相等。圖12中3種提升方法所對應(yīng)的3條曲線,在碼率大于0.36 bpp至小于1.40 bpp這個區(qū)間內(nèi)各自不同的上升趨勢,顯示了3種方法在ROI與背景位平面編碼順序安排上各自的特點。
從結(jié)果可以看出,交錯提升法折中解決了比例提升法和最大提升法各自存在的問題:比例提升法需要傳輸ROI掩模,最大提升法雖無需ROI掩模卻又不能兼顧背景圖像質(zhì)量。交錯提升法在損失一定的ROI重構(gòu)速度的前提下?lián)Q取了對背景的兼顧并省卻了傳輸ROI掩模的步驟。但由于交錯提升法多次提升位平面系數(shù),因此提高了算法復(fù)雜度,故而在實際應(yīng)用中應(yīng)根據(jù)需要選擇適當(dāng)?shù)奈黄矫嫣嵘椒ㄟM(jìn)行ROI編碼。
從上述實驗看出,與普通壓縮感知編碼方法相比,基于壓縮感知的ROI編碼方法優(yōu)先編碼與傳輸ROI區(qū)域,滿足對解壓縮圖像的目標(biāo)探測識別需求。
通過將感興趣區(qū)域位平面提升技術(shù)引入壓縮感知編碼過程,實現(xiàn)了壓縮感知基礎(chǔ)上的感興趣區(qū)域優(yōu)先編碼方法。位平面提升的編碼方法為提高基于壓縮感知的有損壓縮編碼綜合效率提供了條件。通過基于壓縮感知的感興趣區(qū)域編碼,感興趣區(qū)域能夠先于背景被編碼、傳輸和解碼重構(gòu),以供后續(xù)環(huán)節(jié)進(jìn)行目標(biāo)探測識別;在傳輸帶寬受限或傳輸意外中斷的情況下,也能夠有效保證感興趣區(qū)域的圖像質(zhì)量不受或少受干擾,盡可能滿足面向目標(biāo)探測識別的圖像壓縮的需求。
[1]張河. 探測與識別技術(shù)[M]. 北京:北京理工大學(xué)出版社, 2005.
[2]JOAN B R, JOAN S S, FRANCESC A L. JPEG2000 ROI coding with fine-grain accuracy through rate-distortion optimization techniques[J]. IEEE Signal Process Lett, 2009,16(1):45-48.
[3]JPEG2000 Image Compression Standard[EB/OL]. [2013-12-04]. http:∥www.jpeg.org/jpeg2000/index.html.
[4]BAHMANI S, BAJIC I V, HAJSHIRMOHAMMADI A. Improved Joint Source-Channel Decoding of JPEG2000 Images and Reed-Solomon Codes[C]∥ICC, 2009:1-5.
[5]DONOHO D L. Compressed Sensing[J]. IEEE Trans Inf Theory, 2006,52(4):1289-1306.
[6]CANDES E J, ROMBERG J. Sparsity and incoherence in compressive sampling[J]. Inverse Probl, 2007,23(3):969-985.
[7]杜梅,趙懷慈,趙春陽. 基于壓縮感知的圖像壓縮抗干擾重構(gòu)算法[J]. 光電子·激光, 2014,25(5):1009-1015.
[8]WANG Z, BANERJEE S, EVANS B L, et al. Generalized Bitplane-By-Bitplane Shift Method For JPEG2000 ROI Coding[C]∥ICIP, 2002:81-84.
[9]MORENO J, JAIME B, FERNANDEZ C. pGBbBShift: Method for Introducing Perceptual Criteria to Region of Interest Coding[C]∥DCC , 2013:512.
[10]WANGH T, GHOSH S, LEON-SALAS W D. Compressive sensing recovery from non-ideally quantized measurements[C]∥ISCAS, 2013:1368-1371.
[11]WAHIDAH I, SUKSMONO A B, MENGKO T L R. A comparative study on video coding techniques with compressive sensing[C]∥ICEEI,2011:1-5.
[12]MUN S, FOWLER J E. Block Compressed Sensing of Images Using Directional Transforms[C]∥ICIP, 2009:3021-3024.
[13]FOWLER J E, MUN S, TRAMEL E W. Multiscale block compressed sensing with smoothed projected landweber reconstruction[C]∥EUSIPCO, 2011:564-568.
[14]BLUMENSATH T, DAVIES M E. Iterative hard thresholding for compressed sensing[J]. ACHA, 2009,27(3):265-274.
[15]BECK A, TEBOULLE M. A fast iterative shrinkage-thresholding algorithm for linear inverse problems[J]. SIIMS, 2009,2(1):183-202.
Application of compressed sensing on region of interest coding
DUMei1,ZHAOHuaici2,ZHOUHao1
(1. Software College, Shenyang Normal University, Shenyang 110034, China; 2. Shenyang Institute of Automation, Chinese Academy of Science, Shenyang 110016, China)
For the applications of target detection and identification in the wireless image transmission, in order to solve the conflict between the requirement for high image quality for detection and recognition task and the constraint of wireless channel bandwidth, a coding algorithm based on compressed sensing is proposed. Compressed sensing is employed to compress images due to its excellent anti-interference capability, and the bit plane scaling technology is introduced into it, too. First, the blocked compressed sensing signals are quantified and decomposed to bit planes. Then, the bit planes of the region of interest are shifted, and three different coding schemes of the region of interest are put forward, respectively. Finally, after decoding, the thresholding iterative algorithm is used to reconstruct the image whose region of interest is much clearer than the background. The experimental result indicate that under the same bit rate, the peak signal to noise ratio (PSNR) of the reconstructed region of interest encoded by bit plane shifting algorithm is higher than that by the usual compressed sensing coding technology, through which the feasibility and effectiveness of our method is verified. The result is indicated that the region of interest coding algorithm based on compressed sensing can improve the efficiency of wireless image transmission system, and can meet the requirement of target detection and identification better.
region of interest; compressed sensing; bit plane shifting; detection and identification oriented
2016-07-06。
遼寧省科技廳自然科學(xué)基金資助項目(2013010420-401)。
杜 梅(1977-),女,黑龍江佳木斯人,沈陽師范大學(xué)講師,博士。
1673-5862(2016)04-0479-08
TN919.81
A
10.3969/ j.issn.1673-5862.2016.04.021