基于低秩和鄰域嵌入的單幀紅外圖像超分辨算法

薛 峰，朱 強(qiáng)，林 楠

?

基于低秩和鄰域嵌入的單幀紅外圖像超分辨算法

薛 峰1，朱 強(qiáng)1，林 楠2

（1. 中原工學(xué)院信息商務(wù)學(xué)院信息技術(shù)系，河南 鄭州 450007；2. 鄭州大學(xué)軟件與應(yīng)用科技學(xué)院，河南 鄭州 450002）

針對(duì)非制冷紅外焦平面探測(cè)器面陣規(guī)模較小，難以獲取大尺度紅外圖像的問(wèn)題，提出一種基于低秩矩陣恢復(fù)和鄰域嵌入的單幅紅外圖像超分辨方法。利用低秩矩陣恢復(fù)算法學(xué)習(xí)出相似矩陣潛在的低秩分量，對(duì)恢復(fù)的低秩分量進(jìn)行鄰域嵌入以獲得初始的超分辨估計(jì)值，再通過(guò)全局重建約束，最終獲得超分辨結(jié)果。大量仿真實(shí)驗(yàn)結(jié)果表明，本文算法重建的圖像無(wú)論是定量計(jì)算還是定性分析都獲得較好的超分辨結(jié)果，該方法既保證重建的高分辨率圖像均勻區(qū)域的一致性，又保留了圖像的細(xì)節(jié)信息和邊緣輪廓的完整性。

紅外圖像；低秩矩陣恢復(fù)；領(lǐng)域嵌入；超分辨；子空間；相似圖像塊

0 引言

紅外圖像能夠反映目標(biāo)區(qū)域的熱輻射特性，不受環(huán)境的影響，廣泛應(yīng)用在軍事、監(jiān)控、遙感等領(lǐng)域。由于非制冷紅外焦平面探測(cè)器的面陣規(guī)模較小，難以獲取大尺度紅外圖像；相比于可見光圖像，紅外圖像通常分辨率低、灰度層次不分明、細(xì)節(jié)模糊、圖像質(zhì)量低、視覺效果差，限制了紅外圖像在民品中的應(yīng)用推廣[1]。

在探測(cè)器硬件性能提升有限的情況下，采用軟處理的超分辨重建技術(shù)提升紅外質(zhì)量是目前最經(jīng)濟(jì)可靠的方式。超分辨圖像重建就是通過(guò)多幅或者單幅的低分辨圖像產(chǎn)生高分辨圖像的一種軟件技術(shù)。近年來(lái)，基于學(xué)習(xí)的超分辨方法已經(jīng)得到了越來(lái)越多的關(guān)注，并且提出了許多優(yōu)秀的超分辨重建算法[2-5]。通過(guò)低分辨圖像獲得高分辨圖像，目前大多數(shù)方法主要集中在對(duì)訓(xùn)練樣本進(jìn)行學(xué)習(xí)，挖掘出低分辨圖像與高分辨圖像之間對(duì)應(yīng)的潛在關(guān)系。例如，Li等人[4]提出了人臉超分辨重建的方法，通過(guò)引入一個(gè)流行正則約束將高分辨圖像塊和低分辨圖像塊對(duì)投影到一個(gè)共同的流行區(qū)間上，從而挖掘出高分辨圖像塊和低分辨圖像塊之間的潛在關(guān)系。近年來(lái)，基于稀疏表示的圖像超分辨方法得到國(guó)內(nèi)外眾多學(xué)者的關(guān)注，如Gao等人[5]提出了一種基于雙重約束的聯(lián)合學(xué)習(xí)方法；鄧承志等人近似稀疏表示模型的紅外圖像超分辨率重建方法等，相比于傳統(tǒng)方法它具有較強(qiáng)的細(xì)節(jié)重建能力，但由于此類方法忽視了圖像的非局部空間冗余和結(jié)構(gòu)冗余，重建效果依然有細(xì)節(jié)模糊和結(jié)構(gòu)丟失的問(wèn)題。

在基于學(xué)習(xí)的方法中，如何利用訓(xùn)練集是至關(guān)重要的。從表面上看，圖像塊之間變化很大。這樣有必要將訓(xùn)練集通過(guò)特定的策略[4-6]分成不同的組，這樣每一組里的圖像塊的相關(guān)性大大地提高了。因此，每一組的圖像塊位于一個(gè)低維的子空間上。然而，如何去學(xué)習(xí)得到這樣一個(gè)低維子空間是一個(gè)重大的挑戰(zhàn)。

為了獲得高質(zhì)量的單幀紅外超分辨圖像，利用魯棒PCA方法和低秩矩陣恢復(fù)去學(xué)習(xí)子空間中潛在的結(jié)構(gòu)。低秩矩陣恢復(fù)已經(jīng)得到了廣泛地應(yīng)用，比如人臉識(shí)別[7]和背景剪除[8]。給定一個(gè)數(shù)據(jù)矩陣，其列具有同樣的模式，在許多情況下，這些列之間都是線性相關(guān)，這樣數(shù)據(jù)矩陣就可以用一個(gè)低秩矩陣進(jìn)行逼近。在實(shí)際應(yīng)用中，數(shù)據(jù)可能受到噪聲的影響。低秩矩陣恢復(fù)可以將數(shù)據(jù)矩陣分解成一個(gè)低秩矩陣加上一個(gè)系數(shù)誤差矩陣。作為矩陣的低秩逼近矩陣，并且可以對(duì)由中的列向量張成的子空間進(jìn)行流行表示。

根據(jù)鄰域嵌入方法的假設(shè)，低分辨圖像塊重建的權(quán)值與對(duì)應(yīng)高分辨圖像塊的權(quán)值相似[6]。不幸的是，因?yàn)閺牡头直娴礁叻直鎴D像之間的映射是一對(duì)多的，所以高低分辨圖像塊之間權(quán)值的并不是都是相似的情況[4,9]。本文通過(guò)低秩矩陣恢復(fù)克服了這個(gè)問(wèn)題，因?yàn)閴K與塊之間的線性相關(guān)性通過(guò)低秩矩陣恢復(fù)得到了提高，并且由低分辨圖像塊和高分辨圖像塊所構(gòu)成的流行結(jié)構(gòu)之間更加緊密。鄰域嵌入方法假設(shè)低分辨圖像塊和高分辨圖像塊的流行具有相似的局部結(jié)構(gòu)，經(jīng)過(guò)低秩矩陣恢復(fù)后，這種假設(shè)更加滿足。圖1繪制了鄰域嵌入方法和低秩矩陣恢復(fù)方法相應(yīng)的低分辨圖像塊和高分辨圖像塊對(duì)的重建權(quán)值之間的相關(guān)系數(shù)的標(biāo)準(zhǔn)分布。從圖中可以看出，低秩矩陣恢復(fù)方法獲得的低分辨和高分辨圖像塊的重建權(quán)值比那些傳統(tǒng)的鄰域嵌入方法更加符合鄰域嵌入方法中的假設(shè)，這就意味著低秩矩陣恢復(fù)過(guò)程能夠提高基于鄰域嵌入的超分辨方法的性能。因此提出利用低秩矩陣恢復(fù)技術(shù)進(jìn)行鄰域嵌入的超分辨重建。

1 低秩鄰域嵌入算法

首先給出如何將訓(xùn)練樣本集分組，然后將組中的圖像塊列向量化構(gòu)建一個(gè)矩陣，其次利用低秩矩陣恢復(fù)方法學(xué)習(xí)這個(gè)矩陣潛在的低秩分量，最后對(duì)恢復(fù)的低秩分量的向量進(jìn)行鄰域嵌入重建以獲得初始的超分辨估計(jì)值。通過(guò)全局重建約束，有效地提高了超分辨結(jié)果。

圖1 鄰域嵌入方法和低秩矩陣恢復(fù)方法的低分辨和高分辨圖像塊對(duì)的重建權(quán)值之間的相關(guān)系數(shù)的標(biāo)準(zhǔn)分布

1.1 訓(xùn)練集分組

為每一個(gè)輸入的圖像塊從訓(xùn)練集中選擇合適的樣本。從表面上看，整個(gè)訓(xùn)練集中的圖像塊是不同的，那么訓(xùn)練集中所有圖像塊構(gòu)建的流行結(jié)構(gòu)是非常復(fù)雜的。然而，我們僅僅關(guān)心與輸入圖像塊相關(guān)的塊所張成的子空間。因此，一個(gè)比較好的處理方法就是將龐大而且復(fù)雜的訓(xùn)練集進(jìn)行分組，而且同一個(gè)組中的圖像塊之間具有一定的相關(guān)性[10-13]。

式中：G（1≤≤）表示與s相關(guān)的組，K￠(i)表示s的K近鄰的索引集合。G中對(duì)應(yīng)向量可以看作是與s處在相同的一個(gè)局部區(qū)域內(nèi)。為了節(jié)省存儲(chǔ)空間，我們只需要保存G中向量對(duì)應(yīng)的位置索引而不必存儲(chǔ)向量本身[5]。式子重寫如下：

為了節(jié)省運(yùn)算時(shí)間，這個(gè)過(guò)程可以離線進(jìn)行。

1.2 低秩矩陣恢復(fù)

中個(gè)低分辨特征向量之間非常相近，它們形成了一個(gè)低維的子空間。但是由于低分辨圖像對(duì)應(yīng)許多高分辨的圖像，那么低分辨特征向量想對(duì)應(yīng)的個(gè)高分辨特征向量，可能存在很大的變化。為了處理此種情況，我們采用低秩矩陣恢復(fù)技術(shù)[6]去學(xué)習(xí)這些特征中潛在的低維描述。低秩矩陣恢復(fù)將一個(gè)由相關(guān)向量組成的矩陣分解成一個(gè)低秩分量和一個(gè)系數(shù)分量。低秩矩陣中的列向量是原始矩陣中列向量的一個(gè)低維描述。它們之間的相關(guān)性比以前更高了。稀疏矩陣表示初始向量中的噪聲或者差異分量[6]。具體來(lái)說(shuō)，我們將t與低分辨梯度特征矩陣捆綁在一起，得到增廣的矩陣＝[t,]。然后我們對(duì)矩陣和分別進(jìn)行低秩矩陣。優(yōu)化函數(shù)[6]如下式：

式中：lr和sp表示矩陣的低秩分量和稀疏分量，相應(yīng)的lr和sp表示矩陣的低秩分量和稀疏分量。

當(dāng)上述兩個(gè)優(yōu)化問(wèn)題求解完成后，我們得到4個(gè)分量。求解得到的低秩分量lr可以分成兩個(gè)部分，其中一部分是輸入圖像塊t的低秩分量，另外一個(gè)部分是低分辨梯度特征矩陣的低秩分量：

因?yàn)榈椭染仃嚪纸獠⒉桓淖兞形恢谩?/p>

1.3 鄰域嵌入

對(duì)于輸入圖像塊t的低秩分量(t)lr，我們從矩陣lr中找到其K近鄰(s)lr，?K￠()。其最優(yōu)的權(quán)值通過(guò)最小化由(s)lr重建(t)lr產(chǎn)生的重建誤差計(jì)算得來(lái)：

得到權(quán)值以后，高分辨灰度特征t可以通過(guò)這些最優(yōu)的權(quán)值和相應(yīng)高分辨灰度特征(s)lr進(jìn)行重建：

1.4 后續(xù)處理過(guò)程

以上提出的算法是在圖像塊上進(jìn)行。一般來(lái)說(shuō)，重建的圖像并不滿足全局的重建約束。因此，我們?cè)诔跏冀Y(jié)果上采用迭代反向投影算法（IBP）使得滿足全局重建約束以及初始重建結(jié)構(gòu)圖像與最終輸出結(jié)果的一致性。t0表示初始估計(jì)，t表示要求解的高分辨圖像，低分辨觀測(cè)圖像t假設(shè)由高分辨圖像t經(jīng)過(guò)模糊和下采樣操作得到，簡(jiǎn)而言之，t＝t。最終的重構(gòu)圖像可以通過(guò)下式獲得：

式中：表示平衡因子。采用梯度下降法解決以上優(yōu)化問(wèn)題：

式中：t表示經(jīng)過(guò)次迭代后的高分辨圖像估計(jì)值；為梯度下降法中的步長(zhǎng)。

表1中給出了通過(guò)IBP處理后，超分辨的提升效果。因?yàn)镴LSR[5]方法也是基于塊處理的，所以表中也給出了比較。從表1中我們可以看到，經(jīng)過(guò)IBP處理后，兩種超分辨方法的峰值信噪比（PSNR）和結(jié)構(gòu)相似度（SSIM）都得到了提升。

表1 JLSR方法和本文提出的方法經(jīng)IBP處理前后的對(duì)比

2 實(shí)驗(yàn)結(jié)果及分析

主要對(duì)單幀紅外圖像進(jìn)行超分辨重建，為了更加全面地驗(yàn)證本文提出方法的超分辨重建能力，從BERKELEY數(shù)據(jù)庫(kù)中選擇了20幅圖像進(jìn)行定性定量的實(shí)驗(yàn)分析。同時(shí)，利用非制冷紅外焦平面探測(cè)器獲取的低分辨紅外圖像進(jìn)行超分辨重建，通過(guò)定性分析評(píng)價(jià)本文提出算法的性能。

實(shí)驗(yàn)中，訓(xùn)練采用的高分辨圖像是從文獻(xiàn)[12]中采用的軟件包中獲取的。對(duì)高分辨圖像通過(guò)雙三次插值進(jìn)行下采樣得到低分辨圖像。我們只對(duì)亮度成分進(jìn)行超分辨重建。與直接利用低分辨圖像相反，一般方法都是對(duì)低分辨率圖像利用雙三次插值法進(jìn)行兩次放大，這是因?yàn)榈头直鎴D像的中頻信息與高頻信息的相關(guān)性比低頻區(qū)域高[5,12]。梯度特征則是通過(guò)文獻(xiàn)[12]中的策略進(jìn)行獲取。構(gòu)建組G時(shí)，近鄰(K-NN)中的大小是128。鄰域嵌入方法中鄰域尺寸是5。為了便于與相關(guān)算法進(jìn)行對(duì)比分析，本文中所有實(shí)驗(yàn)的放大因子為3。

本文對(duì)不同的塊大小和重疊像素下進(jìn)行了多次實(shí)驗(yàn)，得到相應(yīng)的PSNR定量結(jié)果。PSNR結(jié)果表明，當(dāng)圖像塊大小固定，重疊像素增加時(shí)，PSNR也相應(yīng)增加；當(dāng)重疊像素固定時(shí)候，隨著圖像塊大小的增加，PSNR隨之下降。當(dāng)塊的大小為3并且重疊像素為2時(shí)，本文提出的方法獲得最高的PSNR值。我們發(fā)現(xiàn)，當(dāng)放大因子變?yōu)?的時(shí)候，最優(yōu)的參數(shù)依然保持不變。但是隨著重疊像素的增加，算法的執(zhí)行時(shí)間劇增。為了在超分辨結(jié)果和運(yùn)行時(shí)間上做一個(gè)權(quán)衡，我們將低分辨圖像按照塊大小為3，相鄰像素塊重疊1個(gè)像素的方式進(jìn)行取塊。相應(yīng)地，對(duì)于高分辨圖像取塊的時(shí)候，塊的大小為9×9，重疊像素取為3。

將本文方法與NESR[3]、SAI[13]、JLSR[5]以及IBP[12]算法進(jìn)行了比較。峰值信噪比（PSNR）和結(jié)構(gòu)相似度（SSIM）用來(lái)評(píng)價(jià)超分辨結(jié)果的性能。表2中列出了各種超分辨方法獲得的PSNR值和SSIM值。從表中可以看到，本文提出的方法獲得的PSNR和SSIM值比其它幾種方法要大，這正說(shuō)明了本方法的有效性。

表2 不同方法的重建的圖像的PSNR值和SSIM值

圖2給出了自然圖像的超分辨重建的結(jié)果，從視覺上將本方法與其它方法進(jìn)行比較。從圖像可以看出，NESR方法獲得的圖像存在許多的塊效應(yīng)，SAI結(jié)果中的邊緣被模糊了。在IBP重建結(jié)果中有許多的鋸齒效應(yīng)，然后我們的算法獲得的圖像沒有塊效應(yīng)，而且邊緣比JLSR算法更加銳利。這表明本算法獲得的超分辨結(jié)果從主觀視覺上要優(yōu)于其它幾種方法。

本文采用煙臺(tái)睿創(chuàng)的非制冷紅外焦平面探測(cè)器（320×240）進(jìn)行紅外成像。由于實(shí)際的紅外圖像沒有對(duì)應(yīng)的高分辨的圖像用做定量分析，本文只能從對(duì)比度、邊緣區(qū)域的銳度、同質(zhì)區(qū)域的平滑性等方面主觀定性的對(duì)比分析。低分辨紅外圖像灰度層次不分明，圖像的細(xì)節(jié)模糊，成像的視覺效果差。為了便于分析，主要對(duì)試驗(yàn)對(duì)比算法的結(jié)果進(jìn)行分析，NESR方法、JLSR方法出現(xiàn)了不同程度的模糊，大量的高頻信息丟失，如圖3所示。仔細(xì)觀察圖3(b)和圖3(f)可以發(fā)現(xiàn)，直觀上圖3(b)圖像的層次感更強(qiáng)，細(xì)節(jié)更加明顯，但由于SAI是采取軟閾值估計(jì)的回歸分析，可以看出該算法會(huì)改變?cè)紙D像的灰度，尤其是圖中車輪的灰度；通過(guò)各算法的左下角放大圖可以看出，SAI算法會(huì)把一些平滑區(qū)域放大形成一些斑點(diǎn)噪聲。綜合分析表明，我們的算法處理后的結(jié)果綜合性能較好，亮度一致性強(qiáng)。

圖2 放大因子為3時(shí)不同方法在Hat圖像上的視覺效果對(duì)比

圖3 放大因子為3時(shí)紅外圖像上的視覺效果對(duì)比

超分辨重建結(jié)果的PSNR平均值和SSIM平均值如表3。從表中可以看出，我們的方法獲得了最高的PSNR和SSIM值，顯示了本算法的穩(wěn)定性和魯棒性。

3 結(jié)論

提出了一種基于低秩鄰域嵌入的方法進(jìn)行單幅圖像的超分辨重建。利用低秩矩陣恢復(fù)算法學(xué)習(xí)出相似矩陣潛在的低秩分量，對(duì)恢復(fù)的低秩分量的向量進(jìn)行鄰域嵌入以獲得初始的超分辨估計(jì)值，再通過(guò)全局重建約束，從而最終獲得超分辨結(jié)果。大量仿真實(shí)驗(yàn)結(jié)果表明，我們提出的圖像超分辨率重建算法，使得圖像邊緣比較銳化，并且有效減弱了邊緣振鈴效應(yīng)，重建的高分辨率圖像不僅在高頻信息部分比較清晰，而且整體輪廓比較明顯。

表3 不同算法對(duì)20幅圖像（BERKELEY數(shù)據(jù)庫(kù)）超分辨重建平均的PSNR值和SSIM值。

[1] Tsai R Y, Huang T S. Multi-frame image restoration and registration[J]., 1984(2): 317-339.

[2] Kim S P, Bose K, Valenzuela H M. Recursive reconstruction of high resolution image from noisy under-sampled multi-frames[J]., 2009, 38(6): 1013-1027.

[3] H Chang, D Y Yeung, Y Xiong. Super-resolution through neighbor embedding[C]//, 2004: 275-282.

[4] 趙書斌, 張蓬, 彭思龍. 基于小波域HMT模型的彩色圖像超分辨率復(fù)原[J]. 中國(guó)圖象圖形學(xué)報(bào), 2014, 9(2): 172-177.

ZHAO Shu-bin, ZHANG Peng, PENG Si-long. Wavelet-domain HMT-based color image super-resolution[J]., 2014, 9(2): 172-177.

[5] Gao X B, Zhang K B, Tao D C, et al. Joint learning for single-image super-resolution via a coupled constraint[J]., 2012, 21(2):469-480.

[6] 徐忠強(qiáng), 朱秀昌. 壓縮視頻超分辨率重建技術(shù)[J]. 電子與信息學(xué)報(bào), 2007, 29(2): 499-505.

Xu Zhongqiang, Zhu Xiichang. Video super-resolution reconstruction technology[J]., 2007, 29(2): 499-505.

[7] 韓玉兵, 陳小薔, 吳樂(lè)南. 一種視頻序列的超分辨率重建算法[J]. 電子學(xué)報(bào), 2015, 33(1): 126-130.

HAN Yu-bing, CHEN Xiao-qiang, WU Le-nan. A super-resolution reconstruction algorithm for video sequences [J]., 2015, 33(1): 126-130.

[8] 黃麗, 莊越挺, 蘇從勇, 等. 基于多尺度和多方向特征的人臉超分辨率算法[J]. 計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào), 2014, 16(7): 953-961.

Huang Li, Zhuang Yueting, Su Congyong, et al. Face super-resolution algorithm based on multi-scale and multi-directional features[J]., 2014, 16(7): 953-961.

[9] 徐啟飛, 陳武凡, 顏剛, 等. PET序列圖像超分辨率優(yōu)質(zhì)重建算法[J]. 計(jì)算機(jī)工程與應(yīng)用, 2011, 43(31): 71-74.

XU Qi-fei, CHEN Wu-fan, YAN Gang, et al. High-resolution reconstruction algorithm for PET sequence image super-resolution[J]., 2011, 43(31): 71-74.

[10] 楊浩, 安國(guó)成, 陳向東, 等. 一種基于實(shí)例的文本圖像超分辨率重建算法[J]. 東南大學(xué)學(xué)報(bào):自然科學(xué)版, 2011, 38(2): 191-194.

YANG Hao, AN Guo-cheng, CHEN Xiang-dong, et al. A improved super-resolution reconstruction algorithm[J].:, 2011, 38(2): 191-194.

[11] Irani M, Peleg S. Motion analysis for image enhancement: Resolution, occlusion, and transparency[J]., 2013, 4(4): 324-335.

[12] J C Yang, J Wright, T S Huang, et al. Image super-resolution via sparse representation[J]., 2010, 19(11): 2861-2873.

[13] Zhang X, Wu X. Image interpolation by adaptive 2-d auto-regressive modeling and soft-decision estimation[J]., 2008, 17(6): 887-896.

Single Frame Infrared-image Super-resolution Algorithm Based on Low-rank Matrix Recovery and Neighbor Embedding

XUE Feng1，ZHU Qiang1，LIN Nan2

(1.,,,450007,; 2.,,450002,)

In this paper, we propose a single-frame infrared-image super-resolution algorithm based on low-rank matrix recovery and neighbor embedding. Low-rank matrix recovery is adopted to study the underlying structures in sub-spaces spanned by similar image patches. Specifically, training image patches are first divided into many groups and the underlying structure of each group is learned using the low-rank technique. The neighbor embedding algorithm is used on the low-rank components of low- and high-resolution image patches to produce optimal super-resolution results. Experimental results demonstrate that our proposed method can reconstruct quantitatively and perceptually high-quality images. In addition, this method not only guarantees the consistency of smooth regions in the reconstructed high-resolution image, but also retains the image details and integrity of the edge profile.

infrared image，low-rank matrix recovery，neighbor embedding，super-resolution，sub-space，similar image patches

TP391.41

A

1001-8891(2017)11-1032-06

2016-12-29；

2017-01-09.

薛峰（1983-），男，河南鄭州人，講師，碩士，主要研究方向：計(jì)算機(jī)圖形圖像、模式識(shí)別、移動(dòng)開發(fā)。

國(guó)家科技型中小企業(yè)技術(shù)創(chuàng)新基金項(xiàng)目（10C26214102198）；河南省科技攻關(guān)重點(diǎn)計(jì)劃項(xiàng)目（122102210563；132102210215）；河南省高等學(xué)校重點(diǎn)科研項(xiàng)目計(jì)劃（15B520008）