基于主成分分析的人體微多普勒圖像質(zhì)量評價研究

摘 要：在老齡化社會背景下，借助雷達(dá)技術(shù)有效進(jìn)行老年活動監(jiān)控的關(guān)鍵，在于確保雷達(dá)微多普勒信息傳遞的精確性。所以提高人體運動微多普勒圖像質(zhì)量評價的準(zhǔn)確性和魯棒性至關(guān)重要。文章首先添加了不同級別的相位噪聲圖像及相應(yīng)的主觀評分?jǐn)?shù)據(jù)，來擴(kuò)充人體運動微多普勒圖像質(zhì)量評價（Human Motion Micro-Doppler Image Quality Assessment， HMMDIQA）數(shù)據(jù)庫，增加數(shù)據(jù)庫的多樣性。并進(jìn)一步提出了一套基于主成分分析子空間特征增強(qiáng)的算法進(jìn)行人體運動微多普勒圖像質(zhì)量評估。在HMMDIQA數(shù)據(jù)庫上的實驗結(jié)果表明，相較于基礎(chǔ)網(wǎng)絡(luò)，所設(shè)計算法的各項評價指標(biāo)都有所提升。

關(guān)鍵詞：HMMDIQA；主成分分析；相位噪聲；子空間特征

中圖分類號：TP391.4 文獻(xiàn)標(biāo)識碼：A 文章編號：2096-4706（2024）20-0079-04

Research on Human Micro-Doppler Image Quality Evaluation Based on Principal Component Analysis

HONG Qiong， YANG Lei， WANG Yuying， DAI Yulin

（School of Information and Communication Engineering， Zhongyuan University of Technology， Zhengzhou 450007， China）

Abstract： Under the background of aging society， the key to monitor elderly activities with radar technology is to ensure the accuracy of radar micro-Doppler information transmission. So it is very important to improve the accuracy and robustness of human motion micro-Doppler image quality evaluation. Firstly， phase noise images of different levels and corresponding subjective score data are added to expand the HMMDIQA database and increase the diversity of the database in this paper. Furthermore， an algorithm based on subspace feature enhancement of Principal Component Analysis （PCA） is proposed for human motion micro-Doppler image quality evaluation. The experimental results in HMMDIQA database show that the various evaluation indicators of designed algorithm have been improved than the basic network.

Keywords： HMMDIQA; Principal Component Analysis; phase noise; subspace feature

0 引 言

隨著人口結(jié)構(gòu)變動和老年群體擴(kuò)大，全球養(yǎng)老服務(wù)業(yè)逐步興起。自2000年起，中國已步入老齡化社會，人口老齡化情況日益嚴(yán)重[1]。在這一背景下，對于老年人健康狀況的監(jiān)測與跟蹤顯得至關(guān)重要。借助這類實時獲取的數(shù)據(jù)，有助于保障老年人的生命安全與身體健康。

用于老年人活動監(jiān)控的設(shè)備，雖具有高靈敏度與穩(wěn)定性的特點，但仍面臨諸多挑戰(zhàn)。雷達(dá)作為遠(yuǎn)距電磁傳感器，具備全天候工作與穿透物體的能力。相比基于視覺感知的人體運動技術(shù)，雷達(dá)不受距離、光線干擾，更適用于老年人活動監(jiān)控。然而，保證雷達(dá)微多普勒信息傳遞的精確性，需依靠有效的圖像處理與質(zhì)量評估。進(jìn)行人體運動微多普勒圖像質(zhì)量評估并非易事，傳統(tǒng)方法其弊端明顯，結(jié)論不盡如人意。故本文多種方法并用，以期得出精準(zhǔn)且實際可行的結(jié)果。

1 HMMDIQA數(shù)據(jù)集的優(yōu)化

1.1 HMMDIQA數(shù)據(jù)集的擴(kuò)充

原始的HMMDIQA數(shù)據(jù)庫包含了高斯白和閾值噪聲。但是僅考慮高斯白和閾值噪聲缺乏全面性，無法覆蓋所有可能影響圖像質(zhì)量的噪聲類型。而且僅考慮兩種特定類型的噪聲可能導(dǎo)致評價結(jié)果偏頗。為了更好地研究人體運動微多普勒圖像質(zhì)量的評價方法，本節(jié)介紹對于HMMDIQA數(shù)據(jù)庫的擴(kuò)充。該數(shù)據(jù)庫為了增加數(shù)據(jù)的多樣性，提高模型的泛化能力增加相位噪聲方面的相關(guān)數(shù)據(jù)。通過在快時間維度上添加固定的相位噪聲[2]，并在慢時間維度上使用隨機(jī)數(shù)矩陣模擬其隨機(jī)性，可以更好地模擬真實環(huán)境中的相位噪聲效果。通過上述的數(shù)據(jù)集擴(kuò)充方法，成功添加了5個不同等級的相位噪聲失真圖像。

HMMDIQA數(shù)據(jù)集擴(kuò)充后，需要評分處理。首先需要將原圖和失真圖像進(jìn)行對比打分得到原始得分。其中，i表示每一個觀察者，j表示每一幅譜圖，k表示實驗小節(jié)。接著需要將原始打分Sijk通過對應(yīng)的z分?jǐn)?shù)Zijk剔除異常值V0和異常人P0：

（1）

（2）

（3）

異常值V0表示與其他樣本偏離正常范圍的數(shù)據(jù)點，需要將異常值剔除。μjk表示由所有觀察者對于第j幅圖像在第k個實驗小節(jié)評分的平均值，σjk表示相應(yīng)的標(biāo)準(zhǔn)偏差，如式（1）、式（2）和式（3）。將原始數(shù)據(jù)中的異常值V0和異常人P0去除后，需要將原始數(shù)據(jù)轉(zhuǎn)化為z分?jǐn)?shù)。μik表示由觀察者i在第k個實驗小節(jié)對所有圖像的評分的平均值，σik表示相應(yīng)的標(biāo)準(zhǔn)偏差。計算并且剔除完異常的z分?jǐn)?shù)后需要將z分?jǐn)?shù)取平均后映射到mos值。

1.2 HMMDIQA數(shù)據(jù)集IQA實驗測試

本節(jié)使用擴(kuò)充后的HMMDIQA數(shù)據(jù)集驗證全參考圖像質(zhì)量評價算法的性能。本節(jié)使用峰值信噪比（Peak Signal-to-Noise Ratio， PSNR）[3]、結(jié)構(gòu)相似性指數(shù)（Structural Similarity Index， SSIM）[4]、信息加權(quán)結(jié)構(gòu)相似性（Information-Weighted Structural SIMilarity Index， IW-SSIM）[5]、視覺信息保真度（Visual Information Fidelity， VIF）[6]、梯度幅度結(jié)構(gòu)差異性（Gradient Magnitude Structural Dissimilarity， GMSD）[7]這5種全參考圖像質(zhì)量評價方法對擴(kuò)充后的HMMDIQA數(shù)據(jù)集進(jìn)行性能比較。本節(jié)共使用4個性能指標(biāo)，分別為斯皮爾曼秩相關(guān)系數(shù)（Spearman's Rank Correlation Coefficient， SROCC）[8]、皮爾森線性相關(guān)系數(shù)（Pearson Line Correlation Coefficient， PLCC）[9]、肯德爾秩相關(guān)系數(shù)（Kendall's Rank Correlation Coefficient， KROCC）[10]和均方根誤差（Root Mean Square Error， RMSE）[11]，對應(yīng)的公式為：

（4）

在圖像質(zhì)量評估中，常用SROCC來評估客觀IQA算法的單調(diào)性，式（4）中用S表示。SROCC值范圍為[-1，1]，絕對值越大算法性能越好。

（5）

用于評估客觀IQA算法預(yù)測結(jié)果與圖像主觀分?jǐn)?shù)之間差異的PLCC，式（5）中用P表示。可以反映出客觀IQA算法的準(zhǔn)確性。PLCC值范圍為[-1，1]，絕對值越大表示算法預(yù)測準(zhǔn)確性越高。

（6）

KROCC類似于SROCC，式（6）中用K表示。用于評估客觀圖像質(zhì)量評價算法預(yù)測結(jié)果的單調(diào)一致性。其取值范圍為[-1，1]，絕對值越大表示預(yù)測結(jié)果與主觀分?jǐn)?shù)等級更一致。

（7）

RMSE也可用于評估客觀圖像質(zhì)量評估算法預(yù)測結(jié)果的準(zhǔn)確性，式（7）中用R表示，對異常值非常敏感。較小的RMSE值表明客觀算法的預(yù)測結(jié)果與主觀評分更接近。

上述計算式中Nimg表示測試失真圖像的數(shù)量，Nimg_s和Nimg_d分別表示測試圖像中同序?qū)筒煌虻膫€數(shù)，Q0和Q分別表示圖像的主觀分?jǐn)?shù)和客觀預(yù)測值，Q0_n和Qn分別表示排序后第n張圖像的主觀分?jǐn)?shù)與客觀預(yù)測值，Qnon表示經(jīng)過非線性回歸后的客觀預(yù)測分?jǐn)?shù)。全參考圖像質(zhì)量評價方法的性能測試結(jié)果如表1所示。

從表1中可以分析得到，在我們擴(kuò)充的數(shù)據(jù)集中PSNR和SSIM的表現(xiàn)最好，這是因為PSNR和SSIM能夠更全面地考慮圖像的亮度、對比度和結(jié)構(gòu)信息，而不僅僅依賴于像素級的比較。最差的全參考圖像質(zhì)量評價方法為GMSD。

2 網(wǎng)絡(luò)架構(gòu)設(shè)計

2.1 PCA-Net模型結(jié)構(gòu)

PCA-Net算法是一個包括子空間特征預(yù)測任務(wù)和質(zhì)量分?jǐn)?shù)預(yù)測任務(wù)的多任務(wù)算法。如圖1所示，將步長為32，大小為64×64像素的圖像塊發(fā)送到深度神經(jīng)網(wǎng)絡(luò)。對于特征提取器，開發(fā)了一個具有6個卷積層的深度神經(jīng)網(wǎng)絡(luò)模型。然后，將子空間特征預(yù)測任務(wù)的特征向量與質(zhì)量分?jǐn)?shù)預(yù)測任務(wù)的特征向量進(jìn)行融合，生成新的質(zhì)量預(yù)測任務(wù)特征向量。通過學(xué)習(xí)到的新特征向量預(yù)測人體運動微多普勒圖像的質(zhì)量得分。最后，將圖像塊的分?jǐn)?shù)匯總?cè)∑骄?，以得到輸入圖像的質(zhì)量評分。

2.2 子空間特征預(yù)測

為了實現(xiàn)人體運動微多普勒圖像質(zhì)量評價模型，提取的特征必須對人體運動微多普勒圖像以及人體運動微多普勒圖像質(zhì)量評價數(shù)據(jù)庫中失真類型具有積極影響。為了實現(xiàn)這一目標(biāo)，采用子空間特征預(yù)測作為多任務(wù)學(xué)習(xí)模型的輔助任務(wù)。由于奇異值分解可以對非方陣求解并且得到圖像矩陣兩個方向上的子空間特征，因此本文中使用奇異值分解求人體運動微多普勒圖像的子空間特征。

將擴(kuò)充后的HMMDIQA數(shù)據(jù)庫中的圖像展開成h×w的矩陣。具體如下：

1）對圖像矩陣I按列取平均，如式（8）所示，得到平均值矩陣，然后可以得到中心化矩陣Icenter，如式（9）所示：

（8）

（9）

2）中心化后，坐標(biāo)原點位于數(shù)據(jù)中心。根據(jù)式（10）對中心化后的矩陣求解協(xié)方差矩陣Icor：

（10）

3）式（11）中U是大小為h×h的正交左奇異矩陣，其列向量為左奇異向量；V T是大小為w×w的正交右奇異矩陣，其列向量為右奇異向量；是大小為h×w的對角矩陣：

（11）

4）根據(jù)主成分的累積貢獻(xiàn)率（Accumulating Contribution Rate， ACR）來確定保留多少主成分，累積貢獻(xiàn)率指的是所選取的前r個奇異值的總和在所有奇異值的和的占比。如式（12）所示，將Icenter化為式（13）的格式，其中U轉(zhuǎn)換為大小為h×r的正交左奇異矩陣，V T轉(zhuǎn)換為大小為r×w的正交右奇異矩陣，轉(zhuǎn)換為大小為r×r的對角矩陣。

（12）

（13）

5）根據(jù)PCA的理論，奇異值分解的公式兩邊同時乘以矩陣V即可以得到只包含該圖像前r個子空間特征的新矩陣，是微多普勒圖像經(jīng)過PCA降維后的信息，如式（14）所示：

（14）

得到包含子空間特征的新矩陣后，將矩陣的每一列相加組成（434，1）的矩陣作為人體運動微多普勒圖像塊的子空間特征標(biāo)簽。

3 實驗及結(jié)果分析

為了驗證模型PCA-Net的有效性，在擴(kuò)充的HMMDIQA數(shù)據(jù)庫上對PCA-Net進(jìn)行訓(xùn)練和驗證。實驗過程如下：首先將HMMDIQA數(shù)據(jù)庫按照原始圖像80%、20%的比例將對應(yīng)的失真圖像劃分為訓(xùn)練數(shù)據(jù)集和驗證數(shù)據(jù)集。接下來，對于每幅人體運動微多普勒圖像，切分成步長為32、大小為64×64的多個圖像塊，并輸入網(wǎng)絡(luò)進(jìn)行處理。然后使用主觀分?jǐn)?shù)作為質(zhì)量預(yù)測任務(wù)的標(biāo)簽，使用PCA得到的主成分特征作為子空間特征預(yù)測任務(wù)的標(biāo)簽。網(wǎng)絡(luò)使用隨機(jī)梯度下降求解，其中動量因子為0.9，權(quán)重衰減因子為0.000 1，批處理大小為128，學(xué)習(xí)率為0.01，并且設(shè)置在75個Epochs的間隔變?yōu)榍耙粋€學(xué)習(xí)率的1/10，共迭代了100個Epochs。將該模型在NVIDIA A100上進(jìn)行訓(xùn)練，使用PyTorch 1.10框架。以下實驗均使用4種公認(rèn)的性能指標(biāo)SROCC、PLCC、KROCC和RMSE進(jìn)行檢驗，優(yōu)秀的網(wǎng)絡(luò)總是表現(xiàn)出較高的SROCC、PLCC、KROCC值和較低的RMSE值。

通過在HMMDIQA數(shù)據(jù)庫上開展和NSSADNN（Natural Scene Statistics Aided Deep Neural Networks）的對比實驗，來驗證本文提出的PCA-Net的有效性和可行性。實驗過程趨勢圖如圖2所示。從圖中可以分析得到SROCC、PLCC、KROCC值隨著Epoch的增加不斷提升并收斂在最高值范圍附近；RMSE值隨著Epoch的增加不斷下降并收斂在最低值范圍附近。

在表2中，NSSADNN網(wǎng)絡(luò)模型只包括主干提取網(wǎng)絡(luò)（6個卷積層、激活函數(shù)層、add）和全連接層組成，從中可以觀察到將輔助任務(wù)即子空間特征預(yù)測任務(wù)（subspace feature）加入NSSADNN網(wǎng)絡(luò)中，該模型在表格中表示為PCA-Net。通過比較兩種模型，表2中的數(shù)據(jù)顯示出PCA-Net相對于NSSADNN網(wǎng)絡(luò)在評價指標(biāo)上取得了明顯的提升。具體來說，在SROCC指標(biāo)上，PCA-Net相對NSSADNN網(wǎng)絡(luò)提升了0.62%；在PLCC指標(biāo)上提升了0.7%；在KROCC指標(biāo)上提升了1.24%；而在RMSE指標(biāo)上則降低了11.99%。這些結(jié)果清楚地表明了加入子空間特征預(yù)測任務(wù)對整個網(wǎng)絡(luò)模型性能產(chǎn)生了積極影響，證實了該模塊在提升模型效果方面的有效性。

4 結(jié) 論

在本文中，首先擴(kuò)充了HMMDIQA數(shù)據(jù)庫，并且在該數(shù)據(jù)集上驗證全參考圖像質(zhì)量評價算法的性能。在擴(kuò)充后HMMDIQA數(shù)據(jù)庫的基礎(chǔ)上，研究了基于PCA子空間特征增強(qiáng)的人體運動微多普勒圖像質(zhì)量評價算法。通過添加子空間特征預(yù)測任務(wù)，增加了人體運動微多普勒圖像的特征信息。通過實驗驗證了方法的必要性，與NSSADNN模型進(jìn)行了比較，并以SROCC超出NSSADNN模型0.51%＼PLCC提升0.7%＼KROCC提升1.24%＼RMSE降低11.99%的優(yōu)勢顯示出本網(wǎng)絡(luò)模型的優(yōu)秀的預(yù)測準(zhǔn)確性。

參考文獻(xiàn)：

[1] ROWLAND D T. Global Population Aging： History and Prospects [M]//UHLENBERG P. International Handbook of Population Aging，Dordrecht：Springer，009：37-65.

[2] SANTACRUZ J P，ROMMEL S，JOHANNSEN U，et al. Analysis and Compensation of Phase Noise in Mm-Wave OFDM ARoF Systems for Beyond 5G [J].Journal of Lightwave Technology，2020，39（6）：1602-1610.

[3] STTI P，SHARMA N，GARG B. Min-Max Average Pooling Based Filter for Impulse Noise Removal [J].IEEE Signal Processing Letters，2020，27：1475-1479.

[4] SETIADI D R I M. PSNR vs SSIM： Imperceptibility Quality Assessment for Image Steganography [J].Multimedia Tools and Applications，2021，80（6）：8423-8444.

[5] NAVARRO-CASTELLANOS C，OROZCO-MORALES R，RODRIGUEZ-GALLO Y. Objective Quality Metrics for Algorithm Evaluation in Computed Tomography [C]//2022 IEEE 40th Central America and Panama Convention （CONCAPAN）.Panama：IEEE，2022：1-6.

[6] HAN Y，CAI Y Z，CAO Y，et al. A New Image Fusion Performance Metric Based on Visual Information Fidelity [J].Information Fusion，2013，14（2）：127-135.

[7] BORKOWSKI J，SZMAJDA M，MROCZKA J. The Influence of Power Network Disturbances on Short Delayed Estimation of Fundamental Frequency Based on IpDFT Method with GMSD Windows [J].Energies，2021，14（20）：1-26.

[8] BECKER S，WIEGAND T，BOSSE S. Curiously Effective Features For Image Quality Prediction [C]//2021 IEEE International Conference on Image Processing （ICIP）.Anchorage：IEEE，2021：1399-1403.

[9] ZHANG Y K，LI Y L，SONG J Z，et al. Pearson Correlation Coefficient of Current Derivatives Based Pilot Protection Scheme for Long-Distance LCC-HVDC Transmission Lines [J/OL].International Journal of Electrical Power & Energy Systems，2020，116：105526[2024-02-19].https：//doi.org/10.1016/j.ijepes.2019.105526.

[10] CHEN J，YANG M，GONG W P，et al. Multi-Neighborhood Guided Kendall Rank Correlation Coefficient for Feature Matching [J].IEEE Transactions on Multimedia，2022，25：7113-7127.

[11] HODSON T O. Root Mean Square Error （RMSE） or Mean Absolute Error （MAE）： When to Use Them or Not [J].Geoscientific Model Development，2022，15（14）：5481-5487.

作者簡介：洪瓊（1999—），女，漢族，安徽黃山人，碩士研究生在讀，主要研究方向：計算機(jī)視覺、深度學(xué)習(xí)；楊蕾（1979—），女，回族，河南洛陽人，教授，博士，主要研究方向：圖像處理、計算機(jī)視覺；王玉瑩（1998—），女，漢族，河北三河人，助教，碩士研究生，主要研究方向：計算機(jī)視覺、深度學(xué)習(xí)；戴玉林（2002—），女，漢族，河南南陽人，碩士研究生在讀，主要研究方向：計算機(jī)視覺、深度學(xué)習(xí)。