基于魯棒非負矩陣分解的增量式學習研究

摘" 要：針對隨著新增樣本增多魯棒非負矩陣分解的運算規(guī)模不斷增大的現(xiàn)象，提出一種魯棒非負矩陣分解的增量式學習算法。該算法對初始和新增樣本采用L2，1范數(shù)來度量，首先對初始樣本進行魯棒非負矩陣分解；然后利用其分解結果參與后續(xù)迭代運算。通過對ORL和YALE人臉數(shù)據(jù)庫進行實驗得出，與魯棒非負矩陣分解算法、稀疏限制的非負矩陣分解算法結果進行對比，該算法的目標函數(shù)值在求解時最先達到平衡，得到最佳收斂效果節(jié)省運算時間。

關鍵詞：增量式學習；魯棒非負矩陣分解；新增樣本；稀疏限制；L2，1范數(shù)

中圖分類號：O151.21" " " 文獻標志碼：A" " " " " 文章編號：2095-2945（2025）08-0064-04

Abstract： Aiming at the phenomenon that the operation scale of robust non-negative matrix factorization continues to increase with the increase of new samples， an incremental learning algorithm for robust non-negative matrix factorization is proposed. The algorithm uses the L2，1 norm to measure the initial and new samples. First， the initial samples are subjected to robust non-negative matrix decomposition， and then the decomposition results are used to participate in subsequent iterative operations. Experiments on ORL and YALE face databases show that compared with the results of the robust non-negative matrix decomposition algorithm and the sparsity restricted non-negative matrix decomposition algorithm， the objective function value of this algorithm reaches balance first when solving， and the best convergence effect is obtained. Save computing time.

Keywords： incremental learning; robust non-negative matrix factorization; new sample; sparsity constraint; L2，1 norm

子空間降維是將高維數(shù)據(jù)投影到低維空間進行處理，在模式識別和圖像處理過程中應用廣泛，而矩陣分解是一種對高維數(shù)據(jù)進行處理以達到降維目的最為常見的方法。因此，非負矩陣分解（Non-negative Matrix Factorization，NMF）這種典型算法就被Lee等[1-2]于1999年在Nature雜志上首次提出，它不同于主成分分析[3]、奇異值分解[4]等矩陣分解算法，該算法是在非負限制下進行矩陣分解，使分解后的數(shù)據(jù)具有局部表達的特性可解釋性。后來國內(nèi)外學者在此基礎上又提出了一些改進算法，這些改進算法的目標函數(shù)都使用F-范數(shù)（帶核的），并將它們成功地應用到聚類分析[5]、機器學習[6-8]等領域。而2011年Kong等[9]提出了一種用L2，1范數(shù)度量的魯棒非負矩陣分解（Robust NMF，RNMF）算法，該算法自從被提出后立即引起了許多國內(nèi)外專家學者的廣泛關注，并取得了一些科研成果。為了優(yōu)化該算法以達到較好的實驗結果，許多學者在魯棒非負矩陣分解算法基礎上又加入了稀疏性、圖正則性、正交性和判別性等各種約束，提出了一些改進的算法，并將其應用于文本聚類、模式識別等各個領域，獲得了較好的實驗效果。其中稀疏約束魯棒非負矩陣分解（RNMF with Sparseness Constraints，RNMFSC）算法由Yang等[10]提出，考慮到分解后數(shù)據(jù)的稀疏性，對系數(shù)矩陣加入了稀疏約束，使分解后數(shù)據(jù)具有更好的局部表示。

本文是將初始樣本和新增樣本的分解都利用L2，1范數(shù)，提出了一種基于魯棒非負矩陣分解的增量式學習（Incremental Robust Non-negative Matrix Factorization ，IRNMF）算法。為了避免重復計算，它先是對初始樣本進行分解所得結果參與增量部分計算，該算法不僅有效地節(jié)省了運算時間，提高工作效率，還達到了最佳收斂效果。

1" 魯棒非負矩陣分解

當前新增樣本加入后的數(shù)據(jù)Vn+1做了增量式非負矩陣分解，根據(jù)式（10）、（11）更新交替迭代得到了新的基矩陣Wn+1和系數(shù)矩陣增量部分hn+1，從而得到最終的系數(shù)矩陣" " " " " " " "。

3" 實驗結果及其結論

3.1" 實驗數(shù)據(jù)說明

實驗分別采用ORL和YALE兩個標準人臉數(shù)據(jù)庫[12-13]進行實驗及驗證，為了方便驗證，將這2種人臉數(shù)據(jù)進行預處理，對每張圖像的分辨率統(tǒng)一裁剪壓縮為32×32像素。

3.2" 收斂效果對比

對ORL和YALE人臉數(shù)據(jù)進行數(shù)值驗證時，當初始樣本不變的情況下，RNMF[9]、RNMFSC[10]和本文IRNMF算法隨著新增樣本逐漸增大，這3種算法的收斂效果如圖2、圖3所示（選取迭代次數(shù)為200次）。

通過對ORL和YALE人臉數(shù)據(jù)庫進行數(shù)值實驗，當初始樣本不變，與其他2種算法相比較，選取迭代次數(shù)為200的情況下，隨著新增樣本的增加，本文提出的算法的目標函數(shù)值最先達到平衡，收斂效果最佳。

3.3" 運算時間對比

對ORL和YALE人臉數(shù)據(jù)庫進行實驗，分別取初始樣本為100和90時，RNMF[9]、RNMFSC[10]和本文IRNMF算法隨著新增樣本數(shù)量的增加而消耗的時間情況見表1（選取迭代次數(shù)為200）。

由表1可知，本文算法與其他2個算法在運算時間上相對比本文算法有明顯優(yōu)勢，而且隨著新增樣本的增加，本文IRNMF算法也保持較好的運算效率。

4" 結論

本文提出了一種基于魯棒非負矩陣分解的增量式學習算法，并對ORL和YALE人臉數(shù)據(jù)進行數(shù)值實驗， 結果顯示該算法隨著新增樣本的增加不僅減少了計算時間而且保持較好的收斂效果。但是該算法唯一的不足是計算過程中迭代初值的選取， 目前沒有一個統(tǒng)一的標準。

參考文獻：

[1] LEE D. Learning the parts of objects with non-negative matrix factorization[J]. Nature， 1999，401（6755）：788.

[2] LEE D D. Algorithms for non-negative matrix factorization[J]. Advances in Neural Information Processing Systems， 2001，13（6）：556-562.

[3] SHI W Y，GUO Y F，XUE X Y.A kernel principal component analysis algorithm for solving large scale data sets problem[J].Journal of Software，2009，8（20）：2153-2159.

[4] GOLUB G H， REINSCH C. Singular value decomposition and least squares solutions[M].Springer Berlin Heidelberg，1971：403-420.

[5] 李子杰.基于非負矩陣分解的單細胞轉錄組聚類分析[D].西安：西安電子科技大學，2022.

[6] BUCAK S S， GUNSEL B. Incremental subspace learning via non-negative matrix factorization[J]. Pattern Recognition， 2009，42（5）：788-797.

[7] 李向利，梅建平，莫元健.基于超圖正則NMF的自適應半監(jiān)督多視圖聚類[J/OL].廣西師范大學學報（自然科學版）：1-16[2024-04-25].https：//doi.org/10.16088/j.issn.1001-6600.2023 110202.

[8] 陳善學，許少華.基于圖拉普拉斯正則化的柯西非負矩陣分解高光譜解混[J/OL].激光與光電子學進展：1-16[2024-04-25].http：//kns.cnki.net/kcms/detail/31.1690.tn.20231214.0028.0 22.html.

[9] KONG D， HUANG H， HUANG H. Robust nonnegative matrix factorization using L21-norm[J].AcmConference on Information amp; Knowledge Management，2011：673-682.

[10] YANG S， HOU C， ZHANG C， et al. Robust non-negative matrix factorization via joint sparse and graph regularization[C]//International Joint Conference on Neural Networks. IEEE，2014：541-559.

[11] 董秋宇.非負矩陣分解及其在遮擋人臉識別中的應用[D].西安：西安電子科技大學，2022.

[12] 楊亮東.基于L_（2.1）稀疏限制的增量式非負矩陣分解[D]. 烏魯木齊：新疆大學，2019.

[13] 楊亮東，楊志霞.稀疏限制的增量式魯棒非負矩陣分解及其應用[J].計算機應用，2019，39（5）：1275-1281.