基于生成對抗網(wǎng)絡遙感圖像重建技術研究

陜西省土地工程建設集團 ?陜西西安 ?710075

摘要：目前我國遙感影像技術不斷發(fā)展，航空攝影的清晰度不斷提高，但是可供民用的衛(wèi)星影像有時不能夠滿足現(xiàn)階段業(yè)務的發(fā)展，所以通過軟件方法去提升影像的分辨率是本文研究的目的。本文通過改進生成對抗網(wǎng)絡，刪除BN層完成了將低分辨率圖像到高分辨率圖像的有效重建，經(jīng)過對比與之前的重建算法在評價指標上都有提升，能夠服務以后的工作任務。

關鍵詞：遙感影像;生成對抗網(wǎng)絡;圖像高分辨率重建

引言

近年來隨著我國衛(wèi)星技術的發(fā)展，我國遙感影像清晰度也在不斷提高，這使得遙感影像的應用方向不斷提高，但是目前在商用的衛(wèi)星影像中，還存在清晰度差，圖像邊緣模糊的問題，在一些土地測繪，土地確權項目中不能夠很好地為項目提供影像依據(jù)與數(shù)據(jù)支撐。依托目前機器學習的興起，神經(jīng)網(wǎng)絡的不斷發(fā)展，利用神經(jīng)網(wǎng)絡將清晰度不高的影像轉變?yōu)榍逦雀叩挠跋?，為生產(chǎn)任務提供幫助，這種方法是一種可行的技術研究方案。

生成對抗網(wǎng)絡在學習復雜的分布，例如自然圖像方面具有非常成功的案例，因為它能夠獲得高度細致與逼真的輸出結果。目前來說要獲取高分辨率更高的影像可以通過兩個方面進行獲取，一個是硬件提升一個是軟件提升，硬件方面例如增大相機孔徑，加大鏡頭進光量等，但是這樣會增加當前項目成本的支出。軟件方面目前主流的方法有：基于插值的超分辨率重建[1]、基于重構的超分辨率重建[2]、基于學習的超分辨率重建[3]。利用插值的方法主要是通過目前圖像中已經(jīng)有的像素點通過模擬的方法來擬合周圍空白的像素點，這種方式簡單，但是也存在弊端，例如會丟失圖像的高頻信息，重建后的圖像會過于平滑失真。經(jīng)典的神經(jīng)網(wǎng)絡的方法是使用一個簡單地卷積層數(shù)較少的全卷機神經(jīng)網(wǎng)絡，進行圖像卷積，通過特征提取、映射、重建一系列過程，但是受限于該網(wǎng)絡結構簡單，所以在重建的圖像效果上有些圖像并沒有很理想。

SRGAN（super resolution reconstruction generative adversarial network，SRGAN）[4]是一種利用生成對抗網(wǎng)絡進行超分辨率重建的技術，并且在高分辨率領域也取得了不錯的效果，該網(wǎng)絡的圖像重建性能在實驗中得到驗證是明顯優(yōu)于傳統(tǒng)的神經(jīng)網(wǎng)絡，但是生成對抗網(wǎng)絡存在不穩(wěn)定的問題，圖像特征的傳播會產(chǎn)生特征丟失，怎樣去改進網(wǎng)絡使其針對自己的任務去優(yōu)化改進，使得最終的算法更加適用于自己的任務，本文通過改進生成器的信息傳輸過程來優(yōu)化網(wǎng)絡，增強網(wǎng)絡性能，從而生成高質(zhì)量的清晰度高的圖像。

網(wǎng)絡結構

生成對抗網(wǎng)絡主要由兩個部分組成，分別是生成器（G）與判別器（D），生成器的作用是用來生成數(shù)據(jù)，判別器用來判別輸入的圖像是來自生成器偽造的還是人工標注也就是人工恢復的高分辨率圖像，通過評分來判定輸入數(shù)據(jù)的來源。

SRGAN是一種基于GAN模型來對圖像進行超分辨重建的算法模型，由生成器和判別器兩個部分組成，用PSR來表示SRGAN網(wǎng)絡重建的超分辨率圖像，PHR是一個高分辨率衛(wèi)星圖像，PLR是PHR所對應的低分辨率衛(wèi)星圖像，由PHR通過降采樣得到，生成器網(wǎng)絡用G來表示，判別器網(wǎng)絡用D來表示。SRGAN模型原理圖如圖1所示，生成器通過輸入PLR生成PSR，并根據(jù)判別器的輸出進行梯度調(diào)整，通過最小化損失函數(shù)不斷優(yōu)化生成器的生成性能，以提升PSR分辨率。判別器本質(zhì)上是一個二分類器，正相關為PHR，負相關為PSR ，采用交叉熵作為判別損函數(shù)，使用PHR和PSR的均方根誤差（MSE）作為損失函數(shù)，輸出對應的分類概率，輸出范圍為[0，1]，生成器的優(yōu)化目標是使得判別器無法區(qū)分PHR和PSR，判別器的優(yōu)化目標是能夠準確區(qū)分真數(shù)據(jù)和假數(shù)據(jù)，二者處于一種博弈狀態(tài)，在博弈過程中，生成器和判別器的性能都會隨著訓練提升，最終達到納什平衡狀態(tài)。

改進方式

BN（Batch Normalization）層經(jīng)常用于圖像分割領域，目標檢測等領域，對目前大部分傳統(tǒng)的神經(jīng)網(wǎng)絡都能起到加速收斂，防止網(wǎng)絡過擬合的效果，對于一些不需要精細圖像信息的任務，能找出關鍵特征，BN就能發(fā)揮積極的作用。而本文的高分辨率重建任務基本都是將小圖像通過像素插值，變成大圖像，如果在超分辨率重建任務中使用這中像素級別的方法，圖像的色彩分布都會被歸一化，一些衛(wèi)星圖中特有的細節(jié)例如影像中的單體小的住宅往往會被BN層給忽略，不利于高分辨率圖像生成。BN層的存在還會增加網(wǎng)絡的復雜度，去除BN層的同時再將Relu激活函數(shù)替換成能在深層特征更具區(qū)分度的PRelu激活函數(shù)，通過這樣的調(diào)整可以保留更多的淺層特征信息，提升任務的完成度。

實驗過程

數(shù)據(jù)集BSD100和SET14是常用于單圖像超分辨率的數(shù)據(jù)集。對每個數(shù)據(jù)集，各取40%的圖像作為訓練集，其余60%的圖像作為測試集。訓練集的圖像包含兩兩對應的高分辨率圖像和低分辨率圖像.低分辨率圖像在初始的數(shù)據(jù)集中是不存在的，所以需要對數(shù)據(jù)集的高分辨率數(shù)據(jù)進行手工的降采樣處理，以得到相應的低分辨率圖像。本研究的目的是能夠在地區(qū)的高清影像中提高目前數(shù)據(jù)的利用率，于是本文在公共數(shù)據(jù)集試驗后，使用公司擁有的閻良區(qū)高清航拍影像作為檢驗數(shù)據(jù)。

根據(jù)實驗所用硬件性能，訓練batch-size設置為4，num-work設置為4，epochs設置為200，驗證batch-size設置為1，num-work設置為4。生成網(wǎng)絡和判別網(wǎng)絡的優(yōu)化器都是Adam優(yōu)化器，中央處理器使用英特爾酷睿i5-1140f，顯卡為英偉達3060顯卡，配置的虛擬環(huán)境為Anaconda3，cuda_10.1，Pycharm（Python3.6），cudnn-10.1，深度學習框架為Pytorch，使用的操作系統(tǒng)為windows10，主機內(nèi)存為16G。

五、質(zhì)量評價

圖像的重構，本文選用的評價指標為本文使用圖像超分辨率領域常用的峰值信噪比（peak signal to noise ratio，PSNR）和結構相似性（structural similarity index measure，SSIM）作為評價指標。PSNR是基于誤差敏感的圖像質(zhì)量評價，值越大說明圖像的失真越小，SSIM是一種符合人類視覺的圖像質(zhì)量評價標準，他基于局部圖案的亮度、對比度進行數(shù)值計算，值越接近于1，說明網(wǎng)絡模型生成的高分辨率圖像的質(zhì)量越好，更加有實用價值，具體的計算公式如公式（1），（2）：

其中 表示的是x，y的均值， ， ?表示圖像xy的方差，C1與C2 為常數(shù)。本文方法通過原始的SRGAN，傳統(tǒng)的神經(jīng)網(wǎng)絡[5]，以及Bicubic算法進行對比實驗，實驗的最終結果如表5.1所示。

我們從量化評價表中可以看出，傳統(tǒng)的算法對于高分辨率重建具有一定的效果，但是相較于神經(jīng)網(wǎng)絡不斷學習的成像效果來比較的話還是具有不足，大量數(shù)據(jù)的不斷訓練能夠將神經(jīng)網(wǎng)絡中每個節(jié)點參數(shù)學習到更加適合這個任務。相較于傳統(tǒng)的神經(jīng)網(wǎng)絡，生成對抗網(wǎng)絡在高分辨率圖像重建方面有更好的效果，因為傳統(tǒng)的神經(jīng)網(wǎng)絡其結構簡單對圖像信息提取不足，容易造成采樣信息不足導致重建效果不理想的情況，而本文改進的生成對抗網(wǎng)絡，通過刪除BN層，更快傳遞圖像的語義信息，選擇更優(yōu)的激活函數(shù)讓生成對抗網(wǎng)絡的生成器能夠更加逼真的學生成圖像的高分辨率影像。

結論

本文研究了一種基于生成對抗網(wǎng)絡的高分辨率圖像重建的模型算法，能夠將目前已有的衛(wèi)星影像通過網(wǎng)絡模型的運算，達到重建成高分辨率影像的效果，能夠為以后的國土空間規(guī)劃提供更加高清影像，方便工作。

參考文獻

[1]蘇衡，周杰，張志浩.超分辨率圖像重建方法綜述[J].自動化學報，2013，39（08）：1202-1213.

[2]時文俊，郭從洲，童曉沖，田園，曹聞.輻射保真的紅外遙感圖像超分辨率重建[J].西安電子科技大學學報，2019，46（02）：107-113.

[3]曾凱，丁世飛.圖像超分辨率重建的研究進展[J].計算機工程與應用，2017，53（16）：29-35.

[4]Shi W ， ?Ledig C ， ?Wang Z ， et al. SUPER RESOLUTION USING A GENERATIVE ADVERSARIAL NETWORK：， US20180075581[P].

[5] [1] Dong C ， ?Loy C C ， ?He K ， et al. Image Super-Resolution Using Deep Convolutional Networks[J]. IEEE Trans Pattern Anal Mach Intell， 2016， 38（2）：295-307.

【作者簡介】：

李致博（1987-）男，高級工程師，長期從事土地測繪，建設用地勘界報批、不動產(chǎn)登記工作、軟件開發(fā)工作。