• 
    

    
    

      99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

      混合稀疏表示模型的超分辨率重建

      2022-09-03 08:10:22楊雪李峰鹿明辛蕾魯嘯天張南
      遙感學報 2022年8期
      關鍵詞:低分辨率清晰度正則

      楊雪,李峰,鹿明,辛蕾,魯嘯天,張南

      中國空間技術研究院 錢學森空間技術實驗室,北京 100094

      1 引 言

      遙感影像超分辨率重建SRR(Super Resolution Reconstruction)是利用一組低分辨率圖像(或運動序列)來生成高分辨率圖像。自Tsai 和Huang(1984)提出以來,引起了廣泛的關注。該方法一直是遙感界研究的熱點。SRR 方法大致包括頻域法、空間域法和基于學習的方法。頻域法實現(xiàn)簡單,可并行處理,但處理效果不佳??沼蛑貥嫹ㄖ饕ǚ蔷鶆驑颖緝?nèi)插法、迭代反投影IBP(Iterative Back-Projection) 算法(Irani 和Peleg,1991;Nitta 等,2006)、凸集投影POCS(Projection Onto Convex Sets)算法(Xu 和He,2017;Lei 等,2018)、最大后驗估計MAP(Maximum a Posteriori)算法(Li 等,2017;Yang 等,2018)和全變分TV(Total Variation)算法等(Babacan等,2011;Woods和Katsaggelos,2017)。POCS 方法簡單易實現(xiàn),缺點是求解具有非唯一性、收斂速度慢、計算量大。IBP 算法直觀易理解,但存在對圖像細節(jié)獲取能力差,重建圖像清晰度不高的問題。MAP 方法是目前最流行的一種超分重建方法,缺點是超分重建后細節(jié)信息丟失嚴重,不適合實際應用。傳統(tǒng)的TV 方法對影像平坦區(qū)抑噪不充分,容易出現(xiàn)虛假邊緣和階梯效應。隨著深度學習技術的蓬勃發(fā)展,基于卷積網(wǎng)絡的方法被應用到SRR(周峰等,2017;Sha 等,2019),但該方法需要大量的訓練數(shù)據(jù)和計算資源。

      近年來,涌現(xiàn)很多基于稀疏表示的超分辨率重建方法。然而通過訓練的稀疏表示方法依賴于訓練樣本,缺乏正則性、存在冗余、計算效率低。在頻率域,特定的變換僅擅長為特定類型的輸入信號提供稀疏表示,如小波變換(Zhang,2019)比較適合平滑圖像中邊緣的稀疏性表達;全變分(Chang 等,2018)適合分段線性圖像的稀疏性表達;曲波變換(Ramana 等,2018)比較適合卡通圖片和文字的稀疏性表達。目前很難找到一種通用的影像稀疏表示方法。但有學者在不斷嘗試,如,Liu 等(2015)和Shi 等(2016)采用重疊組稀疏正則化項OGSTV(Overlapping Group Sparsity Total Variation)恢復噪聲損壞圖像,在減輕階梯效應方面非常有效;Bai 等(2016)提出了一種基于交替方向乘子法求解全變差正則化的模型,對去除椒鹽噪聲非常有效,但對于隨機噪聲效果一般。Zhao 等(2018)提出了基于字典和稀疏表示的超分辨率重建方法,但對訓練樣本要求比較高。

      遙感影像SRR 算法需要解決兩個方面的問題,一方面SRR 過程是一個病態(tài)求解的問題,具有不適定性,無法選取合適的先驗模型。因此,需要在圖像重建過程中加入先驗知識作為約束條件,以獲得更優(yōu)的解。另一方面SRR 要求連續(xù)捕獲的低分辨率圖像的時間間隔盡可能短;如果地面目標在低分辨率圖像之間變化較大,超分辨圖像就沒有意義。

      基于此,本文提出了一種新的混合稀疏模型(MSR model),利用高階非凸全變分HONCTV(Higher Order Non-Convex Total Variation)正則化方法并引入OGSTV 正則化器,達到了在保留重建影像的邊緣特征的同時,平衡和控制了HONCTV正則化器產(chǎn)生的平滑效果。再結合影像空間點域的稀疏表達,更好地抑制了影像中的階梯偽影。求解混合稀疏模型過程中,采用迭代重加權l(xiāng)1 交替方向乘子ADMM(Alternating Direction Method of Multipliers)求解的方法,利用目標函數(shù)的可分離性,將重構問題分解為若干個極小化子問題,交替迭代求解,提高稀疏信號的重構質(zhì)量。該方法在保證計算速度的同時,能有效地重建出最佳結果影像,保證了算法的魯棒性。

      遙感影像獲取的時間間隔大是遙感影像應用超分辨率重建的障礙之一,因為在獲取遙感影像的時間段內(nèi),地面的反射特性可能會發(fā)生變化。如Landsat 等遙感衛(wèi)星雖然空間分辨率較高,能夠反映地物系統(tǒng)的復雜變化,但重訪周期長,易受云雪等天氣的影像,造成一些關鍵的地物無影像覆蓋的等現(xiàn)象(楊軍明等,2019)。

      GF-4 是中國第一顆同時攜帶可見光攝像機和紅外光學攝像機的地球靜止軌道遙感衛(wèi)星,具有高時間分辨率、較高空間分辨率和較大成像幅寬的特點(Liu 等,2019;Yang 等,2019),軌道高度36000 km,包含1 個全色波段、4 個多光譜波段和一個中波紅外波段??梢姽庀鄼C在赤道附近的光學分辨率約為50 m,中波紅外波段的空間分辨率約為400 m。GF-4 具備高頻次全天候?qū)Φ赜^測能力,可以實現(xiàn)對大面積區(qū)域的長期持續(xù)觀測。獲取在極短時間間隔下,全國范圍內(nèi)相關區(qū)域的中等空間分辨率衛(wèi)星影像(聶娟等,2018;朱小波 等,2019,孫越君 等,2018)。因此,GF-4 為使用超分辨率重建方法提升影像空間分辨率提供了機會,也為超分辨率重建方法的應用帶來了新的機遇。

      但由于GF-4 運行軌道高,成像物距是近地軌道的數(shù)十倍,在光學成像載荷技術能力的限制下,為了保證影像的信噪比和MTF 性能,根據(jù)瑞利準則,艾瑞光斑與像元大小的比值通常小于標準值4.88,難以獲得高空間分辨率圖像,嚴重影響地物信息識別的準確率(Jiang 等,2019)。一般來說,空間分辨率受到光學系統(tǒng)孔徑、軌道高度、瞬時視場、探測器陣列密度、衛(wèi)星重訪周期等因素的限制?,F(xiàn)有條件下,一旦遙感衛(wèi)星發(fā)射升空,進一步提高空間分辨率最有效的方法是利用超分辨率SR(Super Resolved)技術(Li等,2018b)。

      基于此,本文提出了遙感圖像MSR-SRR 的方法,利用短期內(nèi)從同一場景獲取的序列幀低分辨率GF-4 影像,結合提出的混合稀疏表示方法開展實驗仿真驗證,解決了遙感影像的病態(tài)問題,重建出空間分辨率高,清晰度好,紋理細節(jié)豐富的影像。該方法對進一步推動超分辨率重建技術的理論研究和實際應有具有重要的意義。

      2 研究方法

      從頻域的角度來說,高分辨率圖像比低分辨率圖像包含更多的高頻成分,所以高分辨率圖像更細膩且包含更多的細節(jié)信息。圖像在成像過程中受到相機視角、大氣擾動、下采樣等因素的影響,每幅低分辨率圖像可能包含特有的高頻成分,而超分辨率技術本質(zhì)就是整合多幅低分辨率圖像中的高頻信息重建高分辨率圖像。本文提出的超分辨率重建方法包括影像退化模型建立,基于MSR的超分辨重建和亞像素譜段間/幀間配準方法。

      2.1 影像退化模型建立

      在遙感圖像的成像過程中,存在諸多模糊和噪聲等退化因素的影響,遙感圖像退化模型是一個描述原始高分辨率遙感圖像經(jīng)過各種模糊、平臺漂移/抖動和噪聲等影響而退化成低分辨率圖像的過程(楊蕊等,2019)。超分辨率重建需要消除各種影響圖像質(zhì)量的模糊、平臺漂移/抖動和噪聲等因素才能重建出質(zhì)量更清晰、分辨率更高的圖像,因此退化模型的構建研究對超分辨率重建非常重要。通過下面的數(shù)學表達來描述原始遙感圖像的退化模型(Li等,2018a)。

      式中,gi是第i個低分辨率圖像;D是下采樣矩陣,為空間域上的帶降采樣因子的抽取算子。Hi是塊循環(huán)矩陣,用來表示模糊降質(zhì)過程,包括失焦、運動模糊或光學系統(tǒng)傳遞函數(shù)帶來的模糊等;Mi是表示第i幅圖像的位置錯位和幾何變形的矩陣,需要采用參考影像來建立映射目標。在實際應用中,Mi可由序列幀低分辨率影像中的第i個圖像與參考影像來估計;u是原始高分辨率圖像;K是低分辨率圖像的數(shù)量;ni表示高斯分布中具有零均值和方差的污染加性噪聲。假設r為圖像的下采樣率,N和M為圖像長度和寬度,則D的大小為gi和ni表示長度為的向量。Hi和Mi是N×M矩陣。超分辨率重建的目標是在已知系列低分辨率圖像的基礎上,重建出原始高分辨率圖像u。該過程是通過對每個光譜波段分別進行圖像后處理來完成的。退化模型的建立是后續(xù)反演高分辨率圖像的基礎。

      2.2 基于MSR的超分辨率重建方法

      為了解決式(1)中遙感影像的病態(tài)求解問題,僅僅采用全變分影像超分辨率重建容易產(chǎn)生階梯狀邊緣偽影的影響,導致重建圖像呈塊狀。本文提出了一種基于混合稀疏表示模型的新型超分辨率重建方法,用于影像階梯狀偽影的去除。通過引入非凸高階TV 正則化器,在保留邊緣的同時,對重建圖像中的階梯效應進行適當?shù)钠交幚?。然而,單獨使用非凸高階TV 會使圖像平滑,同時放大散斑偽影。因此我們利用圖像空間域稀疏性、重疊組稀疏正則化器和非凸高階TV 互補的優(yōu)勢,來平衡非凸高階TV 正則化器產(chǎn)生的效果,并對重建圖像中的塊狀有更全局的平滑作用。求解SRR影像就是求解以下優(yōu)化問題的結果。

      式中,φ(·)表示重疊組稀疏正則化項,用來保證重建出影像是邊緣規(guī)整。表示非凸lp正則化范數(shù)。變量λ(λ>0)和ω(ω>0)是正則化參數(shù),用來控制數(shù)據(jù)保真項和非凸二階正則化器的正則化參數(shù)。s表示影像空間域點分量,表示影像空間域自身點分量的正則化范數(shù),當K的值選取較大時,圖像的平滑比重增大。圖像Tc(u)是特征約束函數(shù),也被稱為框約束,用來約束重建圖像的像素值。這種類型的約束由于求解的結果會超出給定的動態(tài)范圍,因此采用該函數(shù),在預定義的動態(tài)范圍內(nèi)重構圖像。其中c=[0,1024],u為區(qū)間c中的圖像像素值。He 等(2016)和Adam 和Paramesran(2019)均已證明這可以提高圖像重構的質(zhì)量。假設C為像素點集合,函數(shù)的定義如下:

      ?u和假設周期性邊界條件情況下,分別表示離散的一階和二階梯度算子(Wu 和Tai,2010)。

      為了求解最小化問題,本文采用迭代重加權l(xiāng)1交替方向法(Bai 等,2016),式(2)轉化為約束優(yōu)化問題。

      對應的增廣拉格朗日函數(shù)為

      式中,ρ(ρ>0)是懲罰參數(shù)或正則化參數(shù),同二次項懲罰相關。變量μ1,μ2,μ3和μ4是拉格朗日乘子。采用ADMM 方法研究逐級求解各子問題的最優(yōu)解。式(5)可以轉化為求解以下5個公式。

      式中,“argmin”表示的是使目標函數(shù)LA(r,s,u,v,w,z,μ1,μ2,μ3,μ4)達到最小值時變量。

      下面研究逐級求解各子問題的優(yōu)化策略。

      (1)求解u時,固定r,s,v,w和z,式(6)變?yōu)橐粋€嚴格的凸二次函數(shù)最小化問題,這個子問題有一個封閉的解。

      在圖像u的周期邊界條件下,(DHiMi)Τ(DHiMi)和?Τ?表示整個塊循環(huán),(?2)Τ?2表示循環(huán)塊,式(12)可以轉為求解FFT 變換和逆變換(Adam和Paramesran,2019)。

      (2)求解v時,固定r,s,u,w和z,式(7)可以轉化為OGSTV 的圖像去噪問題,具體求解方法參見(Sun等,2017)。

      (3)求解w,固定r,s,u,v和z,式(8)是一個非凸二階去噪問題。本文采用Adam 和Paramesran(2019)提出的迭代重加權l(xiāng)1(IRL1)算法來求解。在IRL1 算法的每次迭代中,式(8)近似為求解l1的問題。

      其中權系數(shù)ti可根據(jù)迭代循環(huán)計算出來,為了保證權系數(shù)的有效性。通過如下公式進行求解。

      式中,ε是為一較小的常量,它用來避免當加權向量中出現(xiàn)零元素值時導致算法運行終止現(xiàn)象。算法迭代過程ε的值通過IRL1算法進行自適應獲取。

      式(14)可以通過一維收縮迭代函數(shù)(Beck等,2009)求解。

      (4)求解z,固定r,s,u,v。z的子問題可以用簡單的投影問題來解決,式(9)是一個封閉求解的問題。具體求解方法參見(Condat,2014)。

      式中,pro(.)是一個投影算法。

      (5)求解s的子問題與求解w的子問題方法一致,具體參考w子問題求解方法。

      (6)求解r,固定s,u,v,w和z。式(10)也是一個封閉求解的問題。

      (7)通過更新拉格朗日乘子μ1,μ2,μ3和μ4可以得出:

      通過上述方法可以保證迭代求解過程中的收斂性。在每次迭代中,通過將殘差投影到每個域,算法保持大的幅值分量,并將小的幅值系數(shù)設置為零,這符合l1 范數(shù)最小化。隨著迭代的進行,殘差越來越小。在每次迭代中,可以分別在重疊組稀疏全變差域和圖像空間域重構不同類型的結構分量。當達到一定的迭代次數(shù)或算法收斂到最小值時算法終止。

      2.3 亞像素譜段間/幀間配準

      根據(jù)GF-4 衛(wèi)星影像的成像機理,成像過程中采用濾光片切換技術,在多光譜譜段間成像有一定的時間(數(shù)秒)延遲,鮑赫等(2015)通過對不同影像B1和B5通道之間時間間隔的穩(wěn)定性進行了研究,選取了出現(xiàn)在不同組連續(xù)影像中的22 例目標,近似認為GF-4 影像數(shù)據(jù)每個譜段成像的時間間隔約為7.9 s(程偉,2018)。這種譜段間成像時間上的不同步,造成獲取的影像上目標在不同通道間存在位移。此外,由于還受到衛(wèi)星軌道漂移、衛(wèi)星平臺抖動、大氣擾動和地面起伏等因素的影響,導致獲取的影像存在嚴重的幾何變形,圖像質(zhì)量下降。因此需要采用額外的方法來提升圖像的超分重建精度。本文提出了一種基于聯(lián)合的亞像素高精度影像配準算法。一方面借鑒基于特征向量的影像匹配算法的魯棒性,另一方面借鑒基于灰度配準算法的高精度。首先采用基于SIFT 的特征向量匹配算法進行粗配準,而后采用高效灰度配準方法進行快速高精度配準。

      基于灰度的圖像配準方法大多采用逐步調(diào)整待配準圖像來逼近參考圖像,這樣帶來的問題是其中待配準圖像的Hessian 矩陣在每一次循環(huán)中都要重新計算,使得效率低下。本文在(Li 等,2014)的圖像配準方法的基礎上,假設待配準(源)圖像S(u,v)和參考圖像T(x,y)的剛性仿射映射關系。采用7個參數(shù)描述源圖像和目標圖像的擠壓變形和亮度的變化。這種變形可以表示為

      式 中,u=m1x+m2y+m5,v=m3x+m4y+m6,而m7則表示每個像素的亮度差值。通過保持源圖像不動,逐步變換目標圖像向源圖像配準得到仿射變換的參數(shù),最后對這些仿射變換參數(shù)作逆變換即可得出源圖像配準到目標圖像坐標系中所需的仿射變換參數(shù)。這樣做的優(yōu)點是參考圖像中的Hessian 矩陣只需計算一次,無需在每次循環(huán)中更新,進而提高配準效率和精度。

      配準過程中,首先將待配準圖像和參考圖像進行降采樣處理。采用SIFT 特征點匹配算法(Zhou 等,2017),通過歐氏距離來判斷兩幅圖像特征點的相似性。在匹配過程中,找出待配準圖像中與參考圖像特征點A距離最近的點B和距離次近的點C,判斷特征點A與B是否是一對匹配點(汪宇雷等,2014)。

      式中,d(A,B)為A和距離A最近的點B之間的距離,d(A,C)為A和距離A次近的點C之間的距離。最后用隨機抽樣一致性RANSAC(Random Sample Consensus)算法消除錯誤匹配點。完成粗配準后,將粗配準的結果作為待精配準圖像。結合參考影像,采用灰度匹配算法進行影像配準,從而獲取變換矩陣,將變換矩陣再與待精配準圖像進行結合,獲得配準后的結果圖像。

      采用此方法,利用SIFT 特征點配準算法完成了圖像灰度配準階段構建的由粗糙到精細的多層金字塔結構的粗配準過程,可以直接進行金字塔的最底層即最精細層的配準過程。既提升了配準的效率,又大大提高了配準的精度。

      3 實驗數(shù)據(jù)

      3.1 研究區(qū)概況

      研究區(qū)域覆蓋天津市濱海新區(qū)。濱海新區(qū),地處華北平原北部,位于山東半島與遼東半島交匯點上、瀕臨渤海,地理坐標為38°40′N—39°00′N,117°20′E—118°00′E。濱海新區(qū)擁有海岸線153 km,陸域面積2270 km2,海域面積3000 km2。濱海新區(qū)屬于暖溫帶季風型大陸氣候,并具有海洋性氣候特點。該區(qū)域的主要地物包含植被、農(nóng)田、灘涂、建筑物和水域等,該區(qū)域地物分散且結構復雜,適合測試方法。

      3.2 數(shù)據(jù)及預處理

      本文選擇連續(xù)拍攝的10幀GF-4衛(wèi)星影像數(shù)據(jù)進行超分辨率重建。GF-4衛(wèi)星的空間分辨率50 m,拍攝時間間隔是1 min,產(chǎn)品級別是1A級,每幀影像的波段數(shù)為5個波段。第一景影像的成像時間是2018-08-24 T 10:30:21,最后一景影像的成像時間是2018-08-24 T 10:40:21。為了提升算法的運算效率,本文根據(jù)靜止軌道凝視衛(wèi)星的成像方式,分別從每組實驗數(shù)據(jù)中截取區(qū)域相同大小的窗口作為研究區(qū)域。如圖1所示。

      圖1 研究區(qū)GF-4遙感影像Fig.1 GF-4 remote sensing image of study area

      3.3 實驗過程

      由于GF-4 原始影像的成像面積7000 km×7000 km,單景影像幅寬400 km×400 km,在進行GF-4影像超分辨率重建之前,需要對序列幀GF-4低分辨率影像(N1,N2,…,Ni)進行ROI 區(qū)域裁切。對裁切后的ROI 區(qū)域,選取中間一幀作為參考幀,采用亞像素幀間配準方法,進行高精度幀間配準處理,通過求取相互間的幾何變換參數(shù),進而校正GF-4 影像,使影像中代表同一位置的對應區(qū)域映射到相同坐標下,最終得出幀與幀間的影像配準結果。通過建立序列幀低分辨率配準后影像的退化模型,采用基于混合稀疏的超分辨率重建方法,開展超分辨率重建處理,提高影像的GSD (Ground Sampling Distance)和清晰度,豐富影像的細節(jié)信息。由于超分辨率后得出的是影像單個波段的結果,且高分四號衛(wèi)星每個譜段間是有位移偏差的,因此需要對超分辨率重建的結果進行譜段間配準。采用目前流行的POCS 和IBP 的方法開展主觀評價以及清晰度、PSFs 等客觀評價方法進行精度評價驗證。具體算法實現(xiàn)過程如圖2所示。

      圖2 超分辨率重建算法研究過程Fig.2 Flowchart of research

      4 結果與分析

      為了驗證算法的有效性,本文還列舉了其他一些超分辨率重建算法的實驗結果,如非均勻插值方法、凸集投影POCS 方法(Xu 和He,2017)和IBP 方法(Irani 和Peleg,1991)分別與本文提出的MSR-SRR 方法進行重建結果質(zhì)量評價。通常,圖像評價可以分為主觀評價與客觀評價兩種,主觀評價即由人工來評定,對于相同的圖片組織不同的人給出各自的評價等級,從而得到圖片某一方面的評價,顯然這種方法雖然能夠反映圖像給人的真實感受,但操作復雜且可重復性較差。另一類圖像評價方法即客觀評價方法包括清晰度、均方誤差、峰值信噪比、PSF、MTF 和影像超分結果分類評價等。本文為了驗證GF-4 真實衛(wèi)星影像數(shù)據(jù)的超分重建結果質(zhì)量,采用清晰度、PSF和影像分類精度評價分方法進行結果精度驗證。

      4.1 圖像清晰度評價方法

      圖像超分辨率的目的是獲得更好的圖像信號。一般圖像質(zhì)量好壞是由多種因素導致,如成像物體的運動、散焦、大氣運動、圖像壓縮、去噪和重采樣等。本文為了客觀地衡量算法的性能,對重構后的圖像進行了清晰度評價。圖像清晰度又稱圖像平均梯度,是通過計算像素周圍的梯度得到的。本文采用(Crete 等,2007)提出的基于相鄰像素灰度變化的圖像清晰度質(zhì)量評價方法,具體公式如下:

      式中,F(xiàn)hor表示水平方向鄰域像素灰度變化值,F(xiàn)ver表示垂直方向上鄰域像素灰度變化值,blurF表示鄰域像素灰度變化的最大值。該方法首先利用濾波器對圖像進行再模糊,并通過計算再模糊前后的鄰域像素灰度變化情況來評價圖像質(zhì)量。若變化較大則表明圖像模糊失真越小,反之表明圖像失真程度越大。

      4.2 點擴散函數(shù)(PSFs)評價方法

      一般來說,不同方法的超分辨圖像很難與真實數(shù)據(jù)進行定量比較。本文假設點擴散函數(shù)在已知的情況下,以原始影像經(jīng)過非均勻插值方法的數(shù)據(jù)作為模糊數(shù)據(jù),分別采用維納濾波計算POCS方法、IBP 方法和MSR-RR 方法的點擴散函數(shù)。由于3 種方法的模糊圖像是已知的,當PSF 的幅寬越大時,表明影像的空間分辨率越高,質(zhì)量也越好(Li等,2014)。

      4.3 影像分類精度評價方法

      為了進一步驗證算法的有效性,本文采用SVM 的分類方法(Yang等,2019)對GF-4原始影像和SRR 結果進行分類結果分析驗證,在分類過程中結合同一區(qū)域的谷歌高清地圖和Landsat 8 衛(wèi)星影像作為訓練參考樣本。為了保證算法的一致性,本文選取的Landsat 8 訓練樣本拍攝時間及研究區(qū)域與GF-4的實驗研究區(qū)域一致。

      4.4 實驗結果

      本文采用4種SRR算法進行實驗驗證,由于研究區(qū)域較大,為了更好展示實驗結果的細節(jié)信息,將實驗結果數(shù)據(jù)分為上下兩個ROI 區(qū)域進行可視化展示,展示效果如圖3—圖4所示。

      從圖3—圖4 的重建結果可以看出,非均勻插值方法重建后的圖像邊緣相對模糊;POCS 的重建圖像由于配準錯誤出現(xiàn)了嚴重的像素偏移且未考慮到圖像的先驗概率,導致圖像整體出現(xiàn)銳化情況。IBP 重建的圖像主觀效果優(yōu)于前3 種算法,但局部細節(jié)信息較為模糊。結果表明,本文提出的MSR-SRR算法具有最佳的視覺觀察效果。

      圖4 ROI-2共4種超分辨率重建算法測試結果Fig.4 Test results of four SRR algorithms of ROI-2

      分別采用影像清晰度和分類的方法對4種算法的GF-4 影像的每個波段的重建結果進行客觀分析評價,清晰度評價結果如圖5所示。

      圖5 4種超分辨率重建算法結果的清晰度評價結果Fig.5 The image sharpness evaluation results of four SRR algorithms

      從圖5 可以看出,GF-4 影像的每個波段清晰度值中非均勻插值法的每個波段的清晰度最差,原始影像經(jīng)過插值之后也是較為模糊的。POCS 方法和IBP 的方法基本一致,MSR-SRR 方法的清晰度最好。

      由于經(jīng)過超分辨重建后影像的空間分辨率提升了2 倍,影像的大小也是原來的2 倍,因此,采用非均勻2倍插值法的結果作為原始比對數(shù)據(jù),分別將POCS方法、IBP方法和MSR-SRR 方法的超分辨率重建結果與非均勻插值法的結果相比,3種方法清晰度提升精度如表1所示。

      從表1 可以看出,POCS 方法與非均勻插值法相比,5 個波段的清晰度平均提升了25.11%;IBP方法與非均勻插值法相比,五個波段的清晰度平均提升了22.59%;MSR-SRR 方法與非均勻插值法相比,5個波段的清晰度平均提升了31.74%;由此可以看出,POCS 的方法超分辨率重建后的局部細節(jié)比IBP 的方法超分辨率重建后的局部細節(jié)清晰,采用MSR-SRR 方法超分辨率重建后的影像清晰度提升更明顯,紋理細節(jié)信息也較為豐富。

      表1 3種超分辨率重建方法清晰度提升精度Table 1 Three SRR methods improve the definition and precision /%

      采用POCS方法、IBP方法和MSR-SRR方法3種超分辨率重建方法重建出的第一波段數(shù)據(jù),以非均勻插值法插值出的第一波段數(shù)據(jù)為模糊圖像,利用PSFs進行超分辨率重構質(zhì)量評價,評價結果如圖6和圖7所示。

      圖6 4種超分辨率重建方法的第一波段重建結果Fig.6 First-band reconstruction results of four SRR methods

      圖7 PSFs和3種超分辨率重建方法的等效高斯分布方差值Fig.7 Equivalent gaussian distribution variance of PSFs and 3 SRR methods

      3 種超分辨率重建方法的PSFs 結果如圖7 所示,MSR-SRR 方法顯示的PSF 頂端的半峰寬度最大,表示,影像超分重建后的空間分辨率也是最好的。為了進一步對結果進行量化表示,基于等效體積對PSF進行圓對稱高斯擬合,每個PSF對應的等效高斯的標準差,標準差越大,則PSF半峰寬度越寬,即SRR 結果越好。本文提出的MSR-SRR方法產(chǎn)生的高斯方差值為1.8415,是3 種重建方法中最高的,因此結果也較好。

      分別對GF-4 原始影像和分類結果影像截取ROI局部區(qū)域,選取植被、水域、建筑物和土壤等分類樣本,以同一時期同一區(qū)域的Landsat8影像和谷歌影像為真實樣本,采用SVM 的方法進行分類結果分析驗證,分類結果如圖8所示。

      采用總體分類精度、Kappa 系數(shù)、用戶精度和制圖精度對圖8 中GF-4 局部區(qū)域的原始影像分類結果和超分重建分類結果進行分類精度評價,評價結果如表2所示。

      圖8 GF-4原始影像和超分重建結果影像的ROI區(qū)域分類結果Fig.8 The ROI regional classification results of GF-4 original image and super resolved image

      表2 GF-4原始影像和超分辨率重建后的影像ROI區(qū)域分類結果精度評價表Table 2 The ROI regional classification results accuracy evaluation of GF-4 source image and SRR image

      圖8結果表明,超分辨率重建后的影像分類效果更好,紋理細節(jié)更豐富,特別是超分辨率重構后能很好的區(qū)分出水中間的土壤小路。

      從表2 可以看出,GF-4 原始影像與超分辨率重建后的影像ROI 區(qū)域分類結果精度對比,OA 值提升了5.96%,Kappa 系數(shù)提升了9.66%。這一精度驗證的結果表明,超分重建后的GF-4 影像比原始影像的分類結果更好,局部區(qū)域的影像紋理細節(jié)信息更突出,分類精度更高。

      5 結 論

      為了將GF-4 影像更好應用于實際,本文利用GF-4 影像高時間分辨率、序列幀特點,結合遙感影像的稀疏性,提出了一種有效的混合稀疏表示框架下的超分辨率重建方法MSR-SRR。

      本研究基于SIFT 和灰度聯(lián)合的亞像素遙感影像配準方法,解決了GF-4 影像波段間和影像幀間存在的位移誤差等問題,提高影像的配準精度并把遙感圖像在多重變換域的稀疏性表達當作先驗概率模型,通過正則化的方法來完成超分辨率重構,提升GF-4 衛(wèi)星影像的清晰度和GSD,豐富影像的細節(jié)信息。

      通過與非均勻插值方法、POCS 方法和IBP 方法的重建結果對比,MSR-SRR 方法重建后的影像每個波段的清晰度平均提升了31.74%,PSFs 半峰寬度最大,高斯方差值達到1.8415,是3 種重建方法中影像質(zhì)量最好的;采用SVM 方法分別對原始影像和超分辨率重建影像進行分類實驗和精度驗證,結果表明,超分辨率重建后的影像比原始影像的分類結果的總體精度和Kappa 系數(shù)提升更明顯,OA 值提升了5.96%,Kappa 系數(shù)提升了9.7%,這使得到的影像細節(jié)信息更突出。

      研究表明本文提出的基于混合稀疏表示模型的新型超分辨率重建方法在提升GF-4 影像分辨率方面具有很大的潛力,這種方法既不受地物本身類別的限制,又不局限于影像的信息提取和分類方法,可用于圖像去噪和圖像恢復等領域,可大大提升目標檢測的識別率和準確性,對減災防災、氣象預警、軍事作戰(zhàn)具有十分重要的意義。

      猜你喜歡
      低分辨率清晰度正則
      基于全局和局部特征集成的低分辨率人臉識別方法
      紅外熱成像中低分辨率行人小目標檢測方法
      紅外技術(2022年11期)2022-11-25 08:12:22
      基于偏移學習的低分辨率人體姿態(tài)估計
      鮮明細膩,擁有更好的清晰度 Ascendo Immersive Audio CCRM-12 MKII/CCRM-6P/SMS-15
      剩余有限Minimax可解群的4階正則自同構
      類似于VNL環(huán)的環(huán)
      樹木的低分辨率三維模型資源創(chuàng)建實踐
      藝術科技(2018年2期)2018-07-23 06:35:17
      有限秩的可解群的正則自同構
      聽音訓練對漢語單音節(jié)聽感清晰度的影響
      聲學技術(2014年2期)2014-06-21 06:59:08
      一種無參考監(jiān)控視頻圖像清晰度評價方法
      遂川县| 德令哈市| 镇沅| 神池县| 安乡县| 定陶县| 澄城县| 廉江市| 蒙山县| 龙门县| 郎溪县| 绥德县| 清河县| 阜新| 青海省| 永登县| 长武县| 贡嘎县| 芒康县| 怀宁县| 郑州市| 宿州市| 东台市| 盐池县| 安西县| 宜宾市| 渭源县| 扎兰屯市| 德兴市| 乳源| 大庆市| 电白县| 青冈县| 宣恩县| 施甸县| 高平市| 镇康县| 阿拉善右旗| 丰原市| 托克逊县| 阿克陶县|