基于深度學習的多幀遙感降質圖像三維重建算法

摘 "要： 為提升多幀遙感降質圖像對比度以及圖像質量，提出一種基于深度學習的多幀遙感降質圖像三維重建算法。采用三角函數(shù)變換方法并結合高通濾波器，增強多幀遙感降質圖像對比度；再以包含生成器和判別器的生成對抗網絡為基礎，在判別器中引入自注意力層，設計自注意力機制殘差模塊，生成自注意力生成對抗網絡模型；最后將增強后的圖像輸入模型進行學習和訓練，獲取多幀遙感降質圖像的全局特征后，實現(xiàn)多幀遙感降質圖像三維重建。測試結果表明，所提算法具有較好的多幀遙感降質圖像增強能力，能夠提升圖像對比度，并且滲透指數(shù)（PI）均在0.92以上，重構效果良好。

關鍵詞： 多幀遙感圖像； 降質圖像； 深度學習； 三維重建； 圖像增強； 生成對抗網絡； 自注意力層； 全局特征

中圖分類號： TN957.52?34； TP391 " " " " " " " " " 文獻標識碼： A " " " " " " " " "文章編號： 1004?373X（2024）06?0161?04

A deep learning based 3D reconstruction algorithm for multiframe degraded

remote sensing images

SHI Liyuan

（Hangzhou Dianzi University， Hangzhou 310018， China）

Abstract： In order to improve the contrast and image quality of multiframe degraded remote sensing images， a deep learning based 3D reconstruction algorithm for multiframe degraded remote sensing images is proposed. The trigonometric function transformation method combined with high pass filter is used to enhance the contrast of multiframe degraded remote sensing images. Based on a generative adversarial network that includes generators and discriminators， a self attention layer is introduced into the discriminator， and a residual module of the self attention mechanism is designed to generate a self attention generative adversarial network model. The enhanced image input model is learned and trained to obtain global features of multiple degraded remote sensing images， and then three?dimensional reconstruction of multiple degraded remote sensing images is achieved. The testing results show that the algorithm has good ability to enhance multi frame degraded remote sensing images and improve image contrast. The permeability indexs （PI） are all above 0.92， and the reconstruction effect is good.

Keywords： multi frame remote sensing images; degraded images; deep learning; 3D reconstruction; image enhancement; "generative adversarial network; self attention layer; global features

0 "引 "言

遙感圖像是采用航空攝影、航空掃描或者微波雷達等方式采集的圖像[1]，包含豐富的地面信息[2]，具有顯著的多幀特性[3]。但是多幀遙感圖像在采集過程中，會受到大氣折射等因素的干擾，存在對比度較低、模糊等問題，成為降質圖像，可利用率較低。為保證圖像的利用率和可靠性，需對圖像進行重建處理，提升圖像質量[4?5]。為實現(xiàn)圖像重建，文獻[6]中采用雙三次插值的方式對遙感圖像進行降噪和分辨率重構。但該方法對于多幀遙感圖像的重建效果不理想。文獻[7]中通過多層級分流和細節(jié)增強實現(xiàn)遙感圖像超分辨重建，但該方法對降質嚴重圖像重建效果不理想。

為了提升多幀遙感降質圖像質量，本文提出一種基于深度學習的多幀遙感降質圖像三維重建算法。

1 "多幀遙感降質圖像三維重建

1.1 "多幀遙感降質圖像增強處理

在進行多幀遙感降質圖像三維重建前，對圖像進行對比度增強[8?9]。結合多幀遙感圖像特點，采用三角函數(shù)變換方法將彩色圖像轉換為灰度圖像，再對其進行歸一化處理[10]，保證圖像數(shù)據(jù)的分布范圍滿足增強函數(shù)的處理數(shù)據(jù)范圍。

如果轉換后形成的灰度圖像用[Ix，y]表示，則通過增強變換三角函數(shù)[ξx，y]來調整[I]的對比度，[ξx，y]公式為：

[ξx，y=c·arctanηIx，y-k+arctan k] （1）

式中：[c]表示常數(shù)；[k]表示像素強度閾值；[η]表示自適應函數(shù)，文中選擇sigmoid函數(shù)。[ηIx，y]計算公式為：

[ηIx，y=11+e-Ix，y] " " " " " （2）

將式（2）代入式（1）對I的高、低亮度區(qū)域進行自適應調整，如果[Ix，ygt;k]，[η]則可對I中的明亮區(qū)域進行壓縮；反之，則對I中的暗區(qū)域進行壓縮。

為保證I增強后的細節(jié)，在進行圖像增強過程中，通過高通濾波器的Laplacian算子進行圖像處理，處理公式為：

[ξhx，y=255ξx，y+Ix，y·h] " " " "（3）

式中[h]表示Laplacian算子，公式如下：

[h=δ0-10-14-10-10] " " " " " " " （4）

式中[δ]表示平滑系數(shù)。對[I]進行色彩恢復增強，公式為：

[Ioutjx，y=Iinjx，y·ξhx，yIx，y] " " " "（5）

式中：[Iinjx，y]表示原始彩色多幀遙感圖像，[j]表示RGB顏色通道。由此完成多幀遙感降質圖像增強處理，作為三維重建的基礎。

1.2 "多幀遙感降質圖像三維重建

1.2.1 "基于對抗網絡的圖像三維重建模型

基于1.1節(jié)增強后的多幀遙感圖像，選擇深度學習的生成對抗網絡模型完成圖像三維重建，并設計自注意力機制殘差模塊，提取圖像的全局特征，為圖像三維重建提供可靠依據(jù)?；趯咕W絡的圖像三維重建模型結構如圖1所示。

圖像三維重建模型分為生成器、判別器兩類，自注意力機制殘差模塊則引入到判別器中。利用生成器變換處理[Ioutjx，y]，形成真實的超分辨率圖像；利用判別器區(qū)分重建后的超分辨率圖像和真實超分辨率圖像，判斷兩者的差異；將生成器和判別器進行融合，輸出圖像重建結果。

將[Ioutjx，y]輸入重建模型中，訓練后輸出分辨率圖像，將其輸入判別器中，判別器利用自注意力機制殘差模塊學習[Ioutjx，y]的全局特征，以此進行多幀遙感降質圖像重構。三維重建模型為：[minGmaxDV=ElogDIoutjx，y+Elog1-Gz] （6）

式中：[E]表示分布函數(shù)期望值；[DIoutjx，y]和[Gz]分別表示生成器和判別器輸入；[z]為固定噪聲。

判別器[Gz]的自注意力機制殘差模塊中局部特征和全局特征提取卷積層分別為[hx]和[gx]，輸出的注意力模塊輸出結果用[oi=o1，o2，…，oN]表示，計算公式為：

[oi=i=1Nwigx+?hx] " （7）

式中：[wi]表示第[i]層連接權值；[?]為比例參數(shù)。由此構建了圖像三維重建模型，但該模型在訓練中存在一定損失，影響后續(xù)三維重建效果，因此需要進一步優(yōu)化。

1.2.2 "考慮模型損失的圖像三維重建實現(xiàn)

本文為保證多幀遙感降質圖像的三維重建效果，保證重建出超分辨率的遙感圖像，進行三維重建模型損失函數(shù)選擇。結合圖像特性，選擇對抗損失（[Le]）和重構損失（[Lu]）兩種函數(shù)。[Le]用于懲罰生成結果和實際結果分布之間的距離，[Lu]用于保證輸入固定噪聲損失后的圖像質量，依據(jù)生成器生成與實際圖像相似的結果，總損失函數(shù)的計算公式為：

[L=υ1Le+υ2Lu] " （8）

式中：[υ1]和[υ2]均表示損失系數(shù)。由此基于式（6）獲得考慮損失的優(yōu)化重建模型：

[minGmaxDV=ElogDIoutjx，y+ " " " " " " " " " " " " "Elog1-Goi-z+L] （9）

通過上述優(yōu)化模型即可完成多幀遙感降質圖像三維重建，通過模型的輸出層輸出重建結果。

2 "實驗結果分析

為驗證本文算法對多幀遙感降質圖像的三維重建效果，以某城市土地管理部門采集的城市遙感圖像作為測試對象，進行圖像三維重建效果測試。測試時，為提高測試效率，僅隨機選擇300張多幀遙感降質圖像進行測試，圖像分辨率為6 000×6 000像素。生成對抗網絡相關參數(shù)設置如下：學習率為0.06，迭代步長為35，網絡單元數(shù)量為130，訓練精度為0.001，迭代次數(shù)為500，卷積層為2層。

為驗證本文算法對于多幀遙感降質圖像的增強效果，隨機選擇一張圖像進行增強處理，并獲取處理前后的圖像結果，如圖2所示。

依據(jù)圖2測試結果可知：原始多幀遙感降質圖像較為模糊，并且圖像整體對比度較低；而采用本文算法進行圖像增強后，圖像視覺清晰度提升，并且整體對比度較好。因此，本文算法具有較好的多幀遙感降質圖像增強能力，為圖像三維重建提供了依據(jù)。

為測試本文算法的重建效果，隨機選擇10張不同大小的多幀原始降質圖像，采用本文算法對其進行三維重構，并以滲透指數(shù)（PI）作為重構效果評價指標。該指標主要用于描述原始多幀遙感降質圖像和重建后超分辨率圖像之間Laplacian算子方差之比，取值在0～1范圍內，其值越大，表示三維重建效果越佳。滲透指數(shù)（PI）計算公式為：

[PI=i=1NSVxi，yi-VS2j=1NRVxj，yj-VR2] （10）

[Vx，y=qx，y+qx-1，y+qx，y+1+4qx，y] " " " "（11）

式中：[x，y]表示多幀遙感降質圖像的像素點坐標；[q]表示對應像素點灰度；[VS]表示整個圖像加權均值；[VR]表示殘差模塊輸出圖像的加權均值；[NS]、[NR]均表示像素數(shù)量。

依據(jù)上述公式計算本文方法三維重建后的滲透指數(shù)（PI）測試結果，如表1所示。

依據(jù)表1測試結果可知，采用本文方法進行多幀遙感降質圖像進行三維重構后，滲透指數(shù)（PI）結果均在0.92以上，三維重構效果良好。

3 "結 "論

遙感圖像在多種領域中均具有廣泛應用，圖像質量直接影響圖像的應用可靠性，但是遙感圖像在采集過程中受到多種因素的影響后，易成為降質圖像。因此，為保證圖像質量，本文提出一種基于深度學習的多幀遙感降質圖像三維重建算法。對該算法的應用效果進行測試后得出，該算法具有較好的圖像增強效果，并且重建效果良好，可提升多幀遙感降質圖像的質量。

參考文獻

[1] 丁子軒，俞雷，張娟，等.基于深度殘差自適應注意力網絡的圖像超分辨率重建[J].計算機工程，2023，49（5）：231?238.

[2] 張玉爽，韓文波，黃丹飛，等.基于深度學習多幀海面圖像超分辨算法研究[J].激光與光電子學進展，2021，58（16）：201?208.

[3] 景海釗，史江林，邱夢哲，等.基于密集殘差塊生成對抗網絡的空間目標圖像超分辨率重建[J].光學精密工程，2022，30（17）：2155?2165.

[4] 董本志，于明聰，趙鵬.基于小波域的圖像超分辨率重建方法[J].液晶與顯示，2021，36（2）：317?326.

[5] 周登文，馬路遙，田金月，等.基于特征融合注意網絡的圖像超分辨率重建[J].自動化學報，2022，48（9）：2233?2241.

[6] 陳貴強，何軍.自然場景下遙感圖像超分辨率重建算法研究[J].計算機科學，2022，49（2）：116?122.

[7] 徐英豪，呂玉超，劉斯凡，等.基于分流的高光譜遙感圖像超分辨重建[J].計算機工程與應用，2022，58（18）：260?267.

[8] 李玉峰，任靜波，黃煜峰.基于深度學習的遙感圖像去霧算法[J].計算機應用研究，2021，38（7）：2194?2199.

[9] 浦健，桂進斌，張凱.基于深度學習的多尺度數(shù)字全息圖重建[J].激光與光電子學進展，2022，59（2）：86?93.

[10] 朱育正，張亞萍，馮喬生.基于深度學習的單視圖彩色三維重建[J].激光與光電子學進展，2021，58（14）：207?215.

[11] 展金梅，祁冰.基于相位差異法的多幀遙感降質圖像復原仿真[J].計算機仿真，2023，40（5）：257?261.

[12] 成科揚，榮蘭，蔣森林，等.面向目標檢測的雙驅自適應遙感圖像超分重建方法[J].北京航空航天大學學報，2022，48（8）：1343?1352.

[13] 王靜，宋慧慧，張開華，等.全局注意力門控殘差記憶網絡的圖像超分重建[J].中國圖象圖形學報，2021，26（4）：766?775.

[14] 黃冬梅，戴亮，魏立斐，等.一種安全的多幀遙感圖像的外包融合去噪方案[J].計算機研究與發(fā)展，2017，54（10）：2378?2389.

[15] 王春智，牛宏俠.基于直方圖均衡化與MSRCR的沙塵降質圖像增強算法[J].計算機工程，2022，48（9）：223?229.