基于多尺度空間注意力的高精度數(shù)字全息散斑去噪方法

周孟航 趙自新 楊興宇 杜怡君

(西安交通大學機械制造系統(tǒng)工程國家重點實驗室，陜西 西安710049 )

0 引言

航空航天領域的安全性檢測越來越重要，其中對葉片、機翼和芯片焊點等關鍵構(gòu)件進行強度檢測評估具有重要意義[1]。通過數(shù)字全息干涉術可以對這些構(gòu)件的形貌形變進行無損、大范圍、高精度的測量，進而評估構(gòu)件的性能和強度。而這些構(gòu)建的表面通常為光學粗糙表面，激光照射到這些表面上時，各個微小的粗糙面元的反射光會在空間中隨機干涉，形成復雜的散斑噪聲，利用這些散斑噪聲的相關性可以對物體的面內(nèi)形變應變等進行測量分析[2,3]，但是在數(shù)字全息測量的過程中散斑噪聲會嚴重影響測量過程提取相位的質(zhì)量，降低測量的精度。因此對降低散斑噪聲帶來的相位誤差十分有必要。

散斑噪聲是一種分布復雜的噪聲，目前常見的降低散斑噪聲干擾的方法有兩種，一是從散斑的統(tǒng)計特性出發(fā)，獲取多視角或隨機照明的全息圖，以平均的方式降低噪聲的對比度。Quan, Chenggen等人通過改變不同的照明角度對散斑噪聲進行平均[4]。此類方法通常是利用硬件進行實現(xiàn)，裝置復雜，且需采集多幅全息圖像，記錄時間長。第二種方式是通過數(shù)字圖像處理進行濾波。傳統(tǒng)的圖像濾波方法種類繁多，有中值濾波、均值濾波及小波變換等，其中基于BM3D框架的系列算法取得了非常好的去噪效果[5-7]。但是由于散斑噪聲的乘性特點和分布不均勻特征使得圖像中的信號和噪聲難以像一般的高斯噪聲那樣分離，使得傳統(tǒng)的數(shù)字濾波方法在數(shù)字全息散斑去噪的應用上很難取得很好的效果。

近年來，在大數(shù)據(jù)人工智能的熱潮下，基于深度學習的圖像濾波方法成為了研究的熱點，基于卷積神經(jīng)網(wǎng)絡（CNN）的濾波方法不僅在自然圖像領域取得了卓越的去噪性能[8-12]，也在光學計量領域展現(xiàn)了獨特的優(yōu)勢。2019年，F(xiàn)UGUI HAO等人提出了一種基于卷積神經(jīng)網(wǎng)絡的分批去噪方法[13]，將一張電子散斑干涉條紋圖分批下采樣后一同輸入網(wǎng)絡進行去噪處理，獲得了良好的去噪效果。2020年，Ketao Yan等人提出了一種兩幀的神經(jīng)網(wǎng)絡去噪方法，將帶有散斑噪聲的正弦和余弦的干涉條紋一同輸入網(wǎng)絡，分別去噪后再計算得到濾波后的相位信息[14]。2021年，JIANMING LI等人提出了一種結(jié)合空洞卷積的散斑干涉條紋去噪方法，增加了對不同尺度特征的提取能力[15]。2022年，Javier Gurrola-Ramos等人提出了一種基于U-Net的條紋去噪網(wǎng)絡，通過網(wǎng)絡模型對噪聲分布進行建模，進而去除噪聲[16]。這些方法大多是對條紋圖進行去噪處理，再獲得相位信息，而且散斑噪聲的分布在空間上是不一致的，這些方法沒有針對這種不一致性進行特殊處理，對于噪聲分布密集的區(qū)域去噪效果可能不佳，所以本文提出了一種基于多尺度空間注意力的卷積神經(jīng)去噪方法直接對帶有散斑噪聲的相位數(shù)據(jù)進行處理，對噪聲分布不同的區(qū)域添加不同的權重以解決噪聲分布不一致的問題，又結(jié)合空洞卷積和殘差模塊構(gòu)建了密集特征提取模塊提取多尺度更深層次的特征的同時避免梯度消失。通過仿真實驗和微芯片焊點的熱變形實驗結(jié)果可以看出，該方法能夠有效提高數(shù)字全息相位恢復的精度，在數(shù)字全息復雜粗糙表面的測量中具有很好的可行性。

1 方法原理及模型建立

數(shù)字全息干涉術獲得的干涉圖像可表達為式（1）所示：

其中，I表示全息強度圖，Io和Ir分布代表物光和參考光強，和為共軛的干涉項。干涉項中包含所需的物體相位信息，為+1級項可表示為

其中oφ為物體相位信息，φr為參考光相位，φs為散斑相位，當物體發(fā)生形變后，φo和sφ都會發(fā)生變化，提取出將變形前后+1級項的相位后，進行相減可得到變形相位，可表達為式（3）所示：

其中φΔ 為相減獲得的相位圖，Im(·)和Re(·)分別為虛部和實部，Δφo為變形產(chǎn)生的相位變化，ηs為散斑噪聲。所以對提取的相減相位而言，散斑噪聲可以表達為一種加性噪聲，而干涉條紋圖中的散斑噪聲是以乘性噪聲的形式出現(xiàn)，所以從原理上來看，對相位圖進行去噪更加的合理。

1.1 去噪模型結(jié)構(gòu)

神經(jīng)網(wǎng)絡模型實際上是一個復雜的映射函數(shù)F(·)，本文采用的是基于U-Net的卷積神經(jīng)網(wǎng)絡模型[16, 17]，并對U-Net框架進行了改進，從式（3）可得，相位與散斑噪聲可表達為一種加性的關系，所需的無噪聲相位可表達為：

因此，可以對噪聲分布進行建模進而去除噪聲。因此網(wǎng)絡的輸出可表達為：

這稱為殘差模型[18]，能夠更好的擬合噪聲的分布。主要的網(wǎng)絡結(jié)構(gòu)基于U-Net框架，由多層級的編碼器和解碼器構(gòu)成，整體的網(wǎng)絡模型結(jié)構(gòu)如圖1所示，除了基本的U-Net框架，還增加了針對噪聲分布不一致問題的多尺度空間注意力模塊和提取更深層特征的同時避免梯度消失的密集連接模塊。

圖1 所提去噪模型網(wǎng)絡結(jié)構(gòu)Fig.1 Network structure of the proposed denoising model

首先將帶有噪聲的相位圖輸入到多尺度空間注意力模塊中，將帶噪聲的圖像按照3中不同尺度進行分割，并對分割后的不同尺度不同區(qū)域的圖像添加權重，以降低噪聲空間分布不均勻所帶來的影響，然后將3種尺度下的加權特征合并一同輸入到后續(xù)的卷積層中進行編碼-解碼，由圖1可以看出，在后續(xù)卷積操作中，為了增加模型提取不同尺度特征的能力，一共設置了4層編碼層和4層解碼層，每次編碼使得輸出的特征通道增加為原來2倍，圖像尺寸下采樣為原來1/4，每次解碼使得輸出的特征通道減少為原來1/2倍，圖像尺寸上采樣為原來4倍，所以最終圖像尺寸又會恢復為與輸入圖像一致的尺寸，且每次的編碼-解碼過程中都引入了密集連接模塊，使得模型提取深層特征的同時避免梯度消失，也在每次的編碼前都合并了最開始的多尺度加權特征，以避免網(wǎng)絡過深導致梯度消失。最后通過式（5）構(gòu)建的殘差觀測模型，求得清晰的相位圖。

1.2 多尺度空間注意力模塊

多尺度空間注意力模塊的結(jié)構(gòu)如圖2所示，首先將輸入的噪聲圖像（1×H×W）進行三種尺度下的平均池化（1×1、2×2和4×4），分別對輸入圖像中1×1、2×2和4×4這三種尺度的區(qū)域計算一個權重，經(jīng)過多尺度池化，特征圖的尺寸分別變?yōu)樵瓉淼?、1/2和1/4大小。這些特征圖尺寸大小分別為H×W、(H2 )× (W2)和(H4 )× (W4)，然后先對對這些尺度下的特征區(qū)域進行1x1空間卷積獲得對應區(qū)域的權重，為了能和原來的圖像(HW× 大小)相乘計算各個區(qū)域的權重，需再將權重進行插值為HW× 大小，然后將這些尺度下的權重分別與輸入圖像進行矩陣點乘即可得到對應尺度下的空間區(qū)域加權特征分量，可以表達為式（6）所示：

其中，?w為加權后的特征分量，Wφ為空間區(qū)域權重，φ為輸入的噪聲圖像，P(·)和G(·)分別為不同尺度下的池化操作和卷積操作。最后將這些加權特征進行合并獲得多尺度的加權特征如圖2所示，其中顏色越深代表權重越大。引入了多尺度空間注意力模塊不僅提取了不同尺度下的空間特征，也對空間不同區(qū)域進行了加權計算，能夠降低空間分布不一致的散斑噪聲帶來的影響。

圖2 多尺度空間注意力模塊Fig.2 Multiscale spatial attention module

1.3 密集連接模塊

密集連接模塊的目的在于提取深層的特征，其結(jié)構(gòu)如圖3所示，輸入通道數(shù)為f的特征圖，通過3×3的卷積層輸出固定通道數(shù)為f/2的特征圖，然后為了防止梯度消失，與輸入特征進行拼接后再進一步提取深層特征，如圖3所示，一共經(jīng)過4次的3×3的卷積層獲得通道數(shù)為的特征圖，然后將通道數(shù)為3f的特征圖輸入到3層的空洞卷積模塊中，空洞卷積比分別為1、3、5，以提取三種尺度下的特征分量并合并為通道數(shù)為3f的特征圖，然后為了使特征通道數(shù)與最開始一致（為了后續(xù)進行殘差連接），又通過3×3的卷積層輸出通道數(shù)為f的特征圖，并與最初輸入的通道數(shù)為f的特征圖進行殘差連接[18]，避免網(wǎng)絡過深帶來的梯度消失。

圖3 密集連接模塊Fig.3 Densely connected module

2 數(shù)據(jù)集生成與訓練

考慮到實際測量過程中存在的散斑噪聲和高斯噪聲等因素，本文使用Matlab生成豐富的仿真數(shù)據(jù)集，仿真流程如圖4所示。首先通過Zernike多項式擬合隨機的形變相位分布，生成34 項Ci=(C2,C3,C4,...,C35),C1為常數(shù)項不輸入網(wǎng)絡訓練，設定范圍為(0,2π)，設定尺寸大小為256×256像素，進而生成變形后散斑場，與初始散斑場相減得到散斑干涉條紋圖，通過相移得到帶有散斑噪聲的包裹圖，再添加高斯噪聲等因素，使數(shù)據(jù)集更加豐富逼近實際，仿真數(shù)據(jù)如圖5所示。本文一共生成50000張帶有散斑噪聲的包裹相位圖及其無噪聲的標簽，其中45000個數(shù)據(jù)作為訓練集，5000個數(shù)據(jù)作為驗證集來評價模型的訓練效果。對所提的去噪網(wǎng)絡模型進行訓練時，本文使用均方誤差為損失函數(shù)來使網(wǎng)絡輸出的圖像與對應的無噪聲圖像的差異最小化。

圖4 訓練數(shù)據(jù)生成流程Fig.4 Flowchart of training data generation.

圖5 仿真噪聲數(shù)據(jù)及其標簽Fig.5 Simulation data with noise and labels

損失函數(shù)表達如式（7）所示：

其中θ為網(wǎng)絡模型參數(shù)，IClear和NoiseI分別為無噪聲標簽和噪聲圖像，F(xiàn)(·)為網(wǎng)絡映射函數(shù)?；贚oss (θ)采用反向傳播梯度下降的方式更新網(wǎng)絡參數(shù)，采用Adam作為優(yōu)化器對網(wǎng)絡參數(shù)進行優(yōu)化，學習率設置為10-4，訓練迭代次數(shù)為100，每次輸入32張圖像。

3 實驗結(jié)果

模型訓練好后，通過仿真數(shù)據(jù)和一組焊點的熱變形測量數(shù)據(jù)對模型的去噪性能進行評價。首先選取了一組噪聲分布較為均勻的閉條紋數(shù)據(jù)（圖6（a））進行測試，去噪的結(jié)果如圖6（b）所示，可以看出，原本的噪聲已經(jīng)被很好的去除了，恢復的圖像十分清晰干凈，圖6（c）為恢復結(jié)果與真實標簽之間的殘差圖，也可以看出處理的誤效果很好，均方根誤差只有0.0051rad。

圖6 噪聲較為均勻數(shù)據(jù)的去噪結(jié)果(a)均勻噪聲包裹相位 (b) 去噪結(jié)果 (c) 去噪結(jié)果與其真實標簽的殘差Fig.6 Denoising results of data with relatively uniform noise

又選取了一組存在明顯噪聲分布不均勻的數(shù)據(jù)圖7（a）進行分析，這組數(shù)據(jù)左上角的噪聲分布相對于其他區(qū)域，更加密集，處理的結(jié)果如圖7（b）所示，雖然存在明顯的噪聲分布不均勻現(xiàn)象，此方法對各個區(qū)域的均能取得較好的去噪效果，而且從殘差圖也可以看出，在噪聲分布更加密集的區(qū)域，此方法恢復的精度依舊不亞于其他區(qū)域。

圖7 噪聲分布不一致數(shù)據(jù)的去噪結(jié)果 (a)不一致噪聲包裹相位 (b) 去噪結(jié)果 (c) 去噪結(jié)果與其真實標簽的殘差Fig.7 Denoising results of data with inconsistent noise distribution

為了進一步說明此方法對于提高測量精度的效果，對去噪前后的相位恢復結(jié)果進行了比較分析，圖8所示為噪聲不一致數(shù)據(jù)去噪前后相位恢復結(jié)果，可以看出去噪前的相位恢復效果非常差，尤其在噪聲密集區(qū)域已經(jīng)完全失真，而去噪后的結(jié)果在圖像的各個區(qū)域都能恢復出很好的相位信息，與真值的均方根誤差僅有0.0079rad，具有很高的恢復精度。為了評價該方法在實際測量中的應用效果，本文搭建了數(shù)字全息顯微系統(tǒng)，對芯片焊點的熱形變進行測量，如圖9所示。

圖8 噪聲不一致數(shù)據(jù)去噪前后相位恢復結(jié)果對比(a) 帶噪聲數(shù)據(jù)(b) 去噪結(jié)果(c) 噪聲數(shù)據(jù)相位恢復結(jié)果(d) 去噪后相位恢復結(jié)果Fig.8 Comparison of phase recovery results before and after noise inconsistent data denoising

圖9 數(shù)字全息顯微焊點形變測量系統(tǒng)Fig.9 Digital holographic microscopic solder joint deformation measurement system

提取的形變相位如圖10（a）所示，可以看出圖像中的散斑噪聲分布也是非常不均勻的，經(jīng)過間斷條紋估算，此形變相位的PV(Peak to valley)值約為22π（11個間斷條紋），焊點的形變量可以表示為式（8）所示：

其中φΔ 為恢復的形變相位，λ為激光波長（632.8nm），為焊點的形變量。將最大形變相位估算值帶入式（8）可以得到，焊點的最大形變量約為3.5μm。經(jīng)過網(wǎng)絡模型去噪后的包裹相位如圖10（b）所示，可以看出該方法能夠有效降低噪聲帶來的干擾，恢復出清晰的包裹相位，分別將去噪前后的包裹相位進行相位恢復并計算焊點的形變量，可以看出將未去噪的圖像直接進行相位恢復時，由于受到噪聲干擾，相位恢復算法會將噪點看作是包裹的間斷以至于無法準確的對各個間斷區(qū)域進行判定，計算的最大形變量（圖10（c））為1.95μm，和實際出現(xiàn)了明顯的偏差（誤差約為1.5μm），而經(jīng)過該方法去噪后，計算的最大形變量（圖10（d））為3.45μm，符合實際的形變量分布，去噪后提高了1.45μm/3.5μm≈40%左右的相對形變測量精度，且結(jié)果更加光滑，說明該方法在實際的數(shù)字全息干涉測量中擁有很好的應用效果，能夠有效的提高測量的精度。

圖10 焊點熱形變數(shù)據(jù)處理結(jié)果a) 焊點形變相位 b) 去噪結(jié)果 c) 未去噪計算變形量 d) 去噪后計算變形量Fig.10 Phase results of solder joint thermal deformation data

4 結(jié)論

本文提出了一種基于多尺度空間注意力的高精度數(shù)字全息散斑去噪方法。該方法在使用U-Net卷積神經(jīng)網(wǎng)絡框架的基礎上，設計了多尺度的空間注意力模塊，能夠很好的對空間分布不同，尺寸不一致的噪聲進行提取，并計算它們之間的權重，能夠有效的減少噪聲分布不均勻所帶來的影響，也構(gòu)建了空洞卷積和殘差模塊結(jié)合的密集連接模塊，在提取深層特征的同時避免梯度消失。通過散斑干涉測量的數(shù)學模型生成大量的高精度數(shù)據(jù)集對網(wǎng)絡模型進行訓練，最后通過仿真實驗和焊點的熱形變實驗驗證了該方法的有效性，尤其在處理噪聲分布不一致的數(shù)據(jù)時，能夠有效的提高測量的精度，在實際的數(shù)字全息干涉測量中有著很好的應用前景。