曹明明 干宗良 崔子冠 李 然 朱秀昌

(南京郵電大學江蘇省圖像處理與圖像通信實驗室 南京 210003)

基于2D-PCA特征描述的非負權重鄰域嵌入人臉超分辨率重建算法

曹明明 干宗良 崔子冠 李 然 朱秀昌*

(南京郵電大學江蘇省圖像處理與圖像通信實驗室 南京 210003)

在基于鄰域嵌入人臉圖像的超分辨率重建算法中，訓練和重建均在特征空間進行，因此，特征選擇對算法性能具有較大影響。另外，算法模型對重建權重未加限定，導致負數(shù)權重出現(xiàn)而產(chǎn)生過擬合效應，使得重建人臉圖像質量衰退?？紤]到人臉圖像的特征選擇以及權重符號限定的重要作用，該文提出一種基于2維主成分分析(2DPCA)特征描述的非負權重鄰域嵌入人臉超分辨率重建算法。首先將人臉圖像分成若干子塊，利用K均值聚類獲得圖像子塊的局部視覺基元，并利用得到的局部視覺基元對圖像子塊分類。然后，利用2D-PCA對每一類人臉圖像子塊提取特征，并建立高、低分辨率樣本庫。最后，在重建過程中使用新的非負權重求解方法求取權重。仿真實驗結果表明，相比其他基于鄰域嵌入人臉超分辨率重建方法，所提算法可有效提高權重的穩(wěn)定性，減少過擬合效應，其重建人臉圖像具有較好的主客觀質量。

圖像處理；人臉超分辨率重建；鄰域嵌入；局部視覺基元；2維主成分分析

1 引言

近年來，一種專門針對人臉圖像的超分辨重建技術成為研究的熱點，通常稱該技術為“幻覺臉”(face hallucination)[1]。由于人臉圖像的特殊性，基于學習的人臉超分辨率重建算法成為研究的主流方向，這類方法主要分為3種：全局臉算法[1,2]、局部臉算法[3?5]、全局臉與局部臉相結合的算法[6,7]。

由于人臉可被看作是一種流形結構，因此基于流形學習的人臉超分辨率重建算法引起了普遍關注。文獻[8]首次將流形學習算法引入到圖像的超分辨率重建中，提出了鄰域嵌入超分辨率(Super Resolution through Neighbor Embedding, SRNE)重建算法，該算法不需要大量的訓練樣本、復雜度低而得到了廣泛的研究[9?14]?？紤]到人臉圖像的結構相似性，以及位置在重建過程中的作用，文獻[15]提出了基于位置的人臉超分辨率重建算法，然而該算法在訓練樣本數(shù)目大于圖像子塊維數(shù)時解不再唯一，一些學者對此做了改進[16,17]。隨著壓縮感知理論的發(fā)展，稀疏描述作為一種新懲罰函數(shù)應用到基于流形學習的超分辨率重建算法中[3?5]。文獻[4]指出用固定的l1范數(shù)作為懲罰函數(shù)來提取人臉圖像的稀疏特征不能夠適應圖像內(nèi)在的統(tǒng)計特性，并提出了一種自適應稀疏權重的算法?；谙∈杳枋龅乃惴梢灾亟ǔ龈哔|量的圖像，然而算法復雜度較高，對于大尺寸字典需要訓練很長的時間。

本文著重研究基于鄰域嵌入算法的人臉圖像的超分辨率重建。SRNE算法的訓練和重建均在特征空間進行，如何選擇圖像子塊的特征對算法性能具有較大影響。文獻[8]選取一階二階梯度作為圖像子塊的特征描述，文獻[18]指出二階梯度受噪聲和邊緣的影響較大，影響了重建的質量，并提出采用一階梯度和標準亮度(norm luminance)的結合作為圖像子塊的特征。考慮到人臉圖像的結構特性，采用上述特征并不能較好地保護圖像子塊的局部幾何結構信息。權重用于描述圖像子塊與其鄰近子塊在特征空間中的局部線性幾何結構關系，直接影響到重建圖像的質量，然而，在SRNE算法中，對于權重僅作了和等于1的約束，而對其符號未加約束，導致負數(shù)權重出現(xiàn)[13]，使得重建高分辨率圖像子塊的亮度產(chǎn)生負值，這有悖于亮度值非負的事實，并且過度追求重建誤差最小而產(chǎn)生的負數(shù)權重也可能使重建的高分辨率重建圖像子塊與其真實值偏差變大，這種過擬合現(xiàn)象導致重建高分辨率人臉圖像質量退化。

考慮到人臉圖像的特征選擇以及權重符號限定的重要作用，本文提出了一種基于2維主成分分析(2D Principal Component Analysis, 2D-PCA)特征描述的非負權重鄰域嵌入人臉超分辨率重建算法。該算法主要包括以下3個方面：(1)采用局部視覺基元[19](Local Visual Primitive, LVP)對人臉圖像子塊分類，通過分類可將人臉圖像中的相似子塊分到同一類別，確保了鄰域選擇的快速準確；(2)采用2維主成分分析[20]提取人臉圖像子塊特征，該方法可有效保護局部結構信息；(3)提出了一種可確保權重值非負的求解方法，從而避免負數(shù)權重對重建圖像的影響。仿真實驗表明，通過局部視覺基元對人臉圖像子塊進行分類，可在較短時間內(nèi)找到目標圖像子塊的鄰近子塊，并且對重建質量影響不大。利用2D-PCA提取特征獲得的高分辨率人臉圖像有效保護了高頻細節(jié)信息和幾何結構信息，并且提出的權重求解算法避免了負數(shù)權重導致的過擬合現(xiàn)象，獲得較好地圖像重建質量。

2 2D-PCA特征描述的非負權重鄰域嵌入人臉超分辨率重建算法

本文提出了一種新的基于鄰域嵌入人臉超分辨率重建算法，圖1給出了本文算法的框架。在鄰域嵌入算法中，鄰近子塊的選取需要遍歷整個低分辨率樣本庫，然而，對于每一個輸入圖像子塊都需要對整個樣本庫遍歷一次會耗費大量的時間。為了減少遍歷時間，第2.1節(jié)提出了一種分類方法：采用局部視覺基元對訓練樣本進行分類，選取鄰近子塊時只需在其所屬類別遍歷，可以節(jié)省遍歷時間；鄰域嵌入算法的訓練過程和重建過程均在特征空間進行，如何選擇圖像子塊的特征對算法性能具有較大影響。考慮到人臉圖像的結構特性，第2.2節(jié)提出了一種新的特征提取方法：利用2D-PCA提取圖像子塊特征。該方法能夠較好地保護圖像子塊的局部幾何結構信息；最后，為了避免負數(shù)權重對重建人臉圖像質量的影響，第2.3節(jié)提出了一種新的非負權重的求解方法。

2.1 局部視覺基元分類

在SRNE中，每一個輸入圖像子塊選取鄰域時都需要遍歷整個樣本庫，這樣耗費很多的時間。本文利用局部視覺基元(LVP)對訓練樣本進行分類，將相似的人臉塊分到同一個類別里，選取鄰域時只需要遍歷圖像子塊所屬類別，這樣可以節(jié)省很多時間。首先將人臉圖像分塊{}去直流分量，然后對去直流分量的圖像子塊k均值聚類xq={}, q表示類別，n表示此類別人臉圖像子塊的數(shù)目，每一類的中心作為LVP值。局部視覺基元是一些結構塊，利用LVP將人臉圖像子塊分類，相當于將結構相似的人臉圖像子塊分到同一類別，既不影響鄰域選取的準確性又可以減少鄰域選取的時間。

2.2 2D-PCA特征描述

在人臉超分辨率重建算法中，如何選擇圖像子塊的特征對算法性能具有較大影響。特征的選擇主要有兩方面標準：一是低分辨率圖像子塊的特征盡可能多地包含與其相關的信息，這種先驗信息可以使鄰近塊的選取更加準確；二是盡可能地保持高、低分辨率圖像子塊結構的一致性?？紤]到人臉圖像結構的特殊性，本文提出一種新的圖像子塊的特征描述方法：2D-PCA投影法。2D-PCA方法是對傳統(tǒng)PCA方法的一種改進，可以直接在2維圖像數(shù)據(jù)矩陣上進行處理，利用2維圖像數(shù)據(jù)矩陣構造圖像的協(xié)方差矩陣，進而求出協(xié)方差矩陣的主元特征向量，然后將2維圖像直接投影到主元特征向量上，從而獲得圖像的特征表示，而不需要將圖像數(shù)據(jù)矩陣轉換為1維向量，這樣既可以避免龐大的數(shù)據(jù)計算，又可以更好地保護圖像的局部幾何結構。因此，本文利用2D-PCA對同一LVP類別的人臉圖像子塊提取特征，既能保護人臉圖像子塊的局部幾何結構信息，又可以避免噪聲以及邊緣部分的影響。具體方法如下：

圖1 本文算法框架

(1)對于同一類圖像子塊xq={}，利用式(1)求均值：

(2)計算相關矩陣Gq：

(3)求相關矩陣的特征值Uq和特征向量Vq。

2.3 非負權重求解

在超分辨率重建算法中數(shù)據(jù)取負值是沒有任何物理意義的，并且數(shù)據(jù)的混合也只有加性混合。在SRNE中，權重是描述目標圖像子塊與其鄰近塊在特征空間中的局部幾何關系，直接影響到重建高分辨率圖像子塊的質量。然而，文獻[8]只對權重作了和等于1的約束，對其符號沒有限定，在權重的求解過程中會出現(xiàn)權重為負數(shù)值的情況。負數(shù)權重使得圖像子塊組合的過程中出現(xiàn)相減的行為有可能產(chǎn)生負的亮度值，這有悖于亮度值非負的事實，并且負數(shù)權重也有可能導致過擬合現(xiàn)象，使得重建高分辨率圖像質量衰退。文獻[13]提出了一種半非負矩陣分解的方法來求取權重，非負矩陣分解的心理學和生理學構造依據(jù)是對整體的感知由對組成整體的部分的感知構成的(純加性的)，更直觀地講就是“將部分組合成一個整體”。因此，為了確保求解的權重不出現(xiàn)負數(shù)值本文對其加入非負約束：

其中

k表示鄰近塊的數(shù)目。

由文獻[13]知對于式(5)的非負權重求解問題可以利用半非負矩陣分解算法求解，并且在文獻[21]中已經(jīng)證明了半非負矩陣分解算法在歐式距離目標函數(shù)時收斂到局部最優(yōu)值。然而，在本文算法中，b是已知待重建的低分辨率圖像子塊的特征形成的矩陣，A是重建子塊對應的鄰近子塊的特征組成矩陣，均為已知量，在迭代求解過程中保持不變，只需要對權重迭代求解，由此可以看出本文算法是非負矩陣分解的一種特例，因此算法求取的非負權重具有局部最優(yōu)值，并且算法的每一步迭代求解都是在提高(或保持不變)目標圖像子塊與低分辨率圖像樣本子塊的擬合程度，因此，算法收斂到局部最優(yōu)值，即求解式(5)的算法可在有限的迭代次數(shù)得到最優(yōu)的非負權重。

3 實驗結果與分析

為了驗證本文算法對人臉圖像的重建效果，本文從人臉圖像庫中選取了幾幅人臉圖像進行重建，并與SR[3], ACM[10], LCR[16]的算法以及雙立方內(nèi)插算法進行比較。對于基于鄰域嵌入算法人臉圖像的超分辨率重建，樣本的選擇對圖像重建的效果有較大的影響，因此，本文從FERET[22]人臉圖像數(shù)據(jù)庫里挑選實驗圖像。

在本文實驗過程中，高分辨率人臉圖像的尺寸是126×126，并且以兩眼連線中心為中心進行圖像配準。為了模擬低分辨率圖像的獲取過程，本文所用到的低分辨率圖像通過對高分辨率圖像經(jīng)高斯模糊、雙立方插值3倍下采樣得到。低分辨率圖像的尺寸為42×42。由于與低頻信息相比較，中頻信息與高頻信息更具有相關性，因此，本文先將低分辨率圖像采用雙立方內(nèi)插的方法放大3倍，然后再采用本文提出的鄰域嵌入超分辨率重建算法進行重建。為了保持子塊與子塊之間的一致性，相鄰兩個子塊之間重疊幾個像素。

3.1 參數(shù)設置

很明顯，LVP數(shù)目不同，得到的類就會不同，每一類所包含的圖像子塊也會不同。為了了解不同的LVP數(shù)目對重建質量的影響，本文設計了仿真實驗：在固定其他變量的情況下，LVP數(shù)目分別設定為128, 256, 512。表1給出了測試圖像在不同LVP取值情況下得到的PSNR和SSIM值的平均值，從數(shù)值上可以看出：在LVP數(shù)目不同時，重建圖像的PSNR和SSIM數(shù)值相差不大。從這里可以看出本文提出的局部視覺基元分類對圖像重建質量影響不大。在LVP數(shù)目增大時，離聚類中心近的塊即相似度大的圖像子塊仍屬于同一類別，而僅僅是將距離較遠即相似度比較小的圖像子塊重新劃分到別的類別里，屬于同一LVP類的圖像子塊數(shù)目減少。這樣在選取鄰近子塊時，不同的LVP數(shù)目對鄰域的選取影響不大。這恰好證明了本文所提出的局部視覺基元分類的有效性。因為本文算法分類的目的就是在不影響重建圖像質量的情況下將訓練樣本分成若干子樣本，在選取鄰近塊時不必再對整個樣本遍歷，只需對輸入圖像子塊所屬類別的樣本庫遍歷，從而縮短了鄰近子塊的選取時間。

表1 測試圖像在不同LVP取值下的PSNR和SSIM值的平均值

不同的特征描述對于重建圖像的質量也有較大的影響。為了驗證本文提出的圖像子塊的特征描述的性能，本文設計了如下對比仿真實驗： LVP為256，鄰近塊數(shù)目為5，圖像子塊的特征分別為一階二階梯度和2D-PCA。表2給出了在這兩種特征下的重建圖像的PSNR和SSIM值的平均值，可以看出采用2D-PCA為特征的重建人臉圖像質量要高于一階二階階梯度。圖2給出了測試圖像的重建人臉圖像，從圖中可以看出采用2D-PCA和一階二階梯度為特征都得到了較好的重建人臉圖像，但是在眼角和嘴唇部分采用2D-PCA特征的重建效果明顯優(yōu)于一階二階梯度特征，這表明2D-PCA能更好地保存圖像子塊的局部結構信息。

為了確保在超分辨率重建過程中的權重為非負值，2.3節(jié)介紹了一種新的非負權重的求解方法，根據(jù)非負矩陣分解的相關理論可以確定此種方法不但可以確保重建權重非負，減少過擬合現(xiàn)象導致的重建人臉圖像質量劣化，而且能夠保證算法收斂到局部最優(yōu)值。為了驗證提出的非負約束對算法的影響，本文設計了比對試驗。圖3給出了測試圖像在兩種不同求解方法(非負權重解和最小二乘解[8])的情況下所得到的重建圖像的PSNR, SSIM以及MSE值的比較(此時，LVP=256，采用2D-PCA特征描述)，從圖3中可以看出：利用非負權重解算法得到的重建圖像的質量要明顯優(yōu)于最小二乘解算法，并且隨著鄰近塊數(shù)目的增大非負權重解算法得到的重建圖像質量變化相對穩(wěn)定；同時隨著鄰近塊數(shù)目的增加，兩種方法都在鄰近塊數(shù)目為5時達到最優(yōu)值。然而，最小二乘解求解方法得到的重建圖像質量在達到最優(yōu)值后隨著鄰近塊數(shù)目的增加下降趨勢明顯，雖然在鄰近塊數(shù)目為20時PSNR值有所回升，但對應的SSIM值始終減少，利用本文提出的非負權重解求解方法得到的重建圖像質量達到最大值后雖有一定程度的下降，但下降趨勢較緩且逐漸趨于平穩(wěn)，這表明非負權重解得到的權重的性能更加穩(wěn)定，同時也證明了非負約束的合理性和有效性。

表2 不同特征重建圖像的PSNR和SSIM值的平均值

圖2 測試圖像在不同特征時的重建圖像

3.2 實驗結果

為了驗證本文算法的有效性，本節(jié)將提出的算法與其他算法作比較，所有算法使用相同的訓練樣本(從FERET[22]人臉圖像數(shù)據(jù)庫里挑選)，塊的大小為3×3。實驗得知，圖像子塊重疊越多，重建質量越好，但重建時間越長。因此，實驗過程中所有算法統(tǒng)一重疊1個像素。對于ACM算法[10]本文實驗采用一階二階梯度特征。表3給出了測試圖像在不同算法放大3倍時重建人臉圖像的PSNR和SSIM值的比較，從數(shù)值上可以看出本文算法要優(yōu)于其他算法。圖4給出了部分重建人臉圖，從圖中可以看出本文算法的重建人臉圖像具有更多的高頻細節(jié)信息和更合理的局部幾何結構。圖5給出了不同算法對實際低分辨率人臉圖像的重建人臉圖，從圖中可以看出本文算法在眼睛、嘴角、鼻尖的重建效果要優(yōu)于其他算法。并且從圖中可以看出實測圖像中LCR算法的重建效果比較差，是因為LCR算法是基于圖像子塊位置進行重建，由于本文實驗實測圖像的配準與FERET人臉圖像數(shù)據(jù)庫中人臉圖像的配準存在偏差，導致LCR算法在重建過程中，輸入圖像子塊與樣本人臉子塊的位置存在偏差，導致重建人臉圖像質量下降，這也進一步說明本文算法受圖像配準的影響比較小。

3.3 算法復雜度分析

圖3 非負權重解和最小二乘解重建圖像質量比較

表3 不同算法重構圖像PSNR和SSIM比較

圖4 不同算法下的人臉圖像重建效果圖

圖5 不同算法對實際低分辨率人臉圖像重建效果圖

本文算法分成訓練過程和重建過程，雖然訓練過程花費很多時間，但可以預先對樣本進行訓練，而在重建過程只需找到輸入人臉子塊對應的局部視覺基元類，并在此類中求取鄰近子塊后重建出高分辨率人臉子塊，減少了遍歷時間，降低了算法復雜度。設實驗中樣本數(shù)目為N，測試人臉圖像分成M個大小為p×p的子塊。那么在SRNE中重建過程需要計算(p×p×4)×1維特征向量間的歐式距離O(M·N)次。本文算法重建過程的特征向量為(p×p)×1維，首先需要計算O(KLVP)次(KLVP表示LVP數(shù)目)找到輸入圖像子塊所屬類別，然后在此類里找對應的鄰近子塊，需計算O(NLVP)次(NLVP表示LVP類樣本數(shù))，因此共需要計算O(M·NLVP)次。實驗中本文訓練樣本為1×105，以測試圖像5為例：尋找輸入塊LVP類別計算了1.2×105次歐式距離，求取鄰近子塊為4.02×105次，總共5.22×105次，而SRNE需計算4.84×107次歐式距離，本文算法計算次數(shù)只占SRNE的10.9%，節(jié)省了約9倍的重建時間。

4 結論

本文提出了一種基于2D-PCA特征描述的非負權重鄰域嵌入人臉超分辨率重建算法。為了減少鄰近子塊選取過程的遍歷時間，本文算法將人臉圖像分成若干子塊，利用K均值聚類獲得圖像子塊的局部視覺基元，并利用得到的局部視覺基元對圖像子塊分類。考慮到不同LVP數(shù)目對圖像子塊分類的影響，本文討論了3種不同的LVP數(shù)目對重建人臉圖像質量的影響。同時，驗證了利用2D-PCA對每一類人臉圖像子塊提取特征要優(yōu)于一階二階梯度特征。最后，為了避免負數(shù)權重對重建人臉圖像質量的影響，本文算法在重建過程中使用新的非負權重求解方法求取權重。實驗結果表明本文算法可有效提高權重的穩(wěn)定性，減少過擬合效應，并且重建人臉圖像具有較好的主客觀質量。

[1] Baker S and Kanade T. Limits on super resolution and how to break them[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2002, 24(9): 1167-1183.

[2] Wang Xiao-gang and Tang Xiao-ou. Hallucinating face by eigentransformation[J]. IEEE Transactions on Systems, Man, and Cybernetics, 2005, 35(3): 425-434.

[3] Yang Jian-chao, Wright J, Huang T S, et al.. Image super resolution via sparse representation[J]. IEEE Transactions on Image Processing, 2010, 19(11): 2861-2873.

[4] Wang Zhong-yuan, Jiang Jun-jun, Xiong Zi-xiang, et al.. Facehallucination via weighted sparse representation[C]. IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), Vancouver, BC, 2013: 2198-2201.

[5] Wang Zhong-yuan, Wang Shi-zheng, Xia Yang, et al.. Face hallucination based on stepwise sparse reconstruction [C]. IEEE International Conference on Multimedia and Expo (ICME), San Jose, CA, 2013, DOI: 10.1109/ICME. 2013. 6607470.

[6] Naleer Haju Mohamed M, Yao Lu, and Feng Lü. Effective two-step method for face hallucination based on sparse compensation on over-complete patches[J]. IET Image Processing, 2013, 7(6): 624-632.

[7] Liu Ce, Shum Heung-yeung, and Zhang Chang-shui. A two step approach to hallucinating faces: global parametric model and local nonparametric model[C]. IEEE Computer Society Conference on Computer Vision and Pattern Recognition, Kauai, Hawaii, USA, 2001: 192-198.

[8] Chang Hong, Yeung Dit-yan, and Xiong Yi-min. Super resolution through neighbor embedding[C]. IEEE Computer Society Conference on Computer Vision and Pattern Recognition, Washington DC, USA, 2004: 275-282.

[9] Jiang Jun-jun, Hu Rui-min, Han Zhen, et al.. Locality constraint iterative neighbor embedding for face hallucination[C]. IEEE International Conference on Multimedia and Expo (ICME), San Jose, CA, 2013, DOI: 10. 1109/ICME. 2013. 6607455.

[10] Li Bo, Chang Hong, Shan Shi-guang, et al.. Aligning coupled manifolds for face hallucination[J]. IEEE Signal Processing Letters, 2009, 16(11): 957-960.

[11] Chen Xiao-xuan and Qi Chun. Low rank neighbor embedding for single image super resolution[J]. IEEE Signal Processing Letters, 2014, 21(1): 79-82.

[12] Jiang Jun-jun, Hu Rui-min, Chen Liang, et al.. Coupled layer neighbor embedding for surveillance face hallucination[C]. IEEE International Conference on Image Processing (ICIP), Melbourne, VIC, 2013: 2802-2806.

[13] Bevilacqua M, Roumy A, Guillemot C, et al.. Neighbor embedding based single image super resolution using seminonnegative matrix factorization[C]. IEEE International conference on Acoustics, Speech and Signal Processing (ICASSP 2012), Kyoto, 2012: 1289-1292.

[14] Hao Yuan-hong and Qi Chun. Face hallucination based on modified neighbor embedding and global smoothness constraint[J]. IEEE Signal Processing Letters, 2014, 21(10): 1187-1191.

[15] Ma Xiang, Zhang Jun-ping, and Qi Chun. Hallucinating face by position-patch[J]. Pattern Recognition, 2010, 43(6): 2224-2236.

[16] Jiang Jun-jun, Hu Rui-min, Han Zhen, et al.. Position patch based face hallucination via locality constrained representation[C]. IEEE International Conference on Multimedia and Expo (ICME), Melbourne, VIC, 2012: 212-217.

[17] Shi Jin-gang and Qi Chun. Face hallucination based on PCA dictionary pairs [C]. IEEE International Conference on Image Processing (ICIP), Melbourne, VIC, 2013: 933-937.

[18] Chan Tak-ming, Zhang Jun-ping, Pu Jian, et al.. Neighbor embedding based super resolution algorithm through edge detection and feature selection[J]. Pattern Recognition Letters, 2009, 30(5): 494-502.

[19] Meng Xin, Shan Shi-guang, Chen Xi-lin, et al.. Local visual primitives (LVP) for face modeling and recognition[C]. 18th International Conference on Pattern Recognition, ICPR2006, Hong Kong, 2006(2): 536-539.

[20] Yang Jian, Zhang D, Frangi A F, et al.. Two-dimensional PCA: a new approach to appearance based face representation and recognition[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2004, 26(1): 131-137.

[21] Ding C, Li Tao, and Jordan M I. Convex and seminonnegative matrix factorizations[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2010, 32(1): 45-55.

[22] Phillips P J, Hyeonjoon Moon, Rizvi S A, et al.. The FERET evaluation methodology for face-recognition algorithms[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2000, 22(10): 1090-1104.

曹明明： 男，1983年生，博士生，研究方向為圖像處理與多媒體通信.

干宗良： 男，1979年生，副教授，研究方向為分布式視頻編碼、圖像(視頻)信號處理.

崔子冠： 男，1982年生，講師，研究方向為視頻編碼.

李 然： 男，1988年生，博士生，研究方向為圖像處理與多媒體通信.

朱秀昌： 男，1947年生，教授，博士生導師，長期從事圖像通信方面的科研和教學工作.

Novel Neighbor Embedding Face Hallucination Based on Non-negative Weights and 2D-PCA Feature

Cao Ming-ming Gan Zong-liang Cui Zi-guan Li Ran Zhu Xiu-chang
(Image Processing and Image Communication Key Laboratory, Nanjing University of Posts and Telecommunications, Nanjing 210003, China)

In neighbor embedding based face hallucination, the training and reconstruction processes are performed in the feature space, thus the feature selection is important. In addition, there is no constraint specified for the signs of the weights generated in neighbor embedding algorithm, which leads to over-fitting and degradation of the recovered face images. Considering the importance of feature selection and the constraints of weights, a novel neighbor embedding face hallucination method is proposed based on non-negative weights and Two-Dimensional Principal Component Analysis (2D-PCA) features. First, the face images are partitioned into patches, and the local visual primitives are obtained by k-means clustering algorithm. The face image patches are classified with the local visual primitives generated before. Second, the feature of face image patches is captured with 2D-PCA, and the low and high dictionary is established. Finally, a novel non-negative weights solution method is used to obtain the weights. The experiment results show that the weights computed by the proposed method have more stable behavior and obviously less over-fitting phenomenon, furthermore, the recovery face images have better subjective and objective quality.

Image processing; Face hallucination; Neighbor embedding; Local visual primitives; Two-Dimensional Principal Component Analysis (2D-PCA)

TN911.73

： A

：1009-5896(2015)04-0777-07

10.11999/JEIT140739

2014-06-03 收到，2014-11-18改回

國家自然科學基金(61071091, 61071166, 60802021)，江蘇省研究生培養(yǎng)創(chuàng)新工程(CXZZ12_0470)，江蘇省自然科學青年基金(BK20130867)， 江蘇省高校自然科學研究項目(12KJB510019)和南京郵電大學?？蒲谢?NY212015)資助課題

*通信作者：朱秀昌 zhuxc@njupt.edu.cn