涂 強(qiáng)

(廣東省水利水電科學(xué)研究院，廣州 510635)

1 概述

數(shù)字化時(shí)代的背景下，智慧水利已成為水利領(lǐng)域內(nèi)的發(fā)展趨勢(shì)。智慧水利的核心是數(shù)字孿生平臺(tái)，它依賴于物聯(lián)網(wǎng)平臺(tái)提供的大量數(shù)據(jù)來(lái)支持復(fù)雜模型的運(yùn)行。物聯(lián)網(wǎng)平臺(tái)搜集的圖像數(shù)據(jù)，特別是從全省范圍內(nèi)的各類監(jiān)控設(shè)備、無(wú)人機(jī)、攝像頭、衛(wèi)星等采集而來(lái)的圖像，為數(shù)字孿生平臺(tái)提供了豐富的基礎(chǔ)數(shù)據(jù)源。這些圖像數(shù)據(jù)的精度對(duì)于提高數(shù)字孿生中模型的魯棒性和識(shí)別率具有至關(guān)重要的影響。

然而，由于傳感器的多樣性和環(huán)境因素的影響，這些圖像數(shù)據(jù)常常存在質(zhì)量不一的問(wèn)題。例如，日落時(shí)的低光照、復(fù)雜的天氣條件、不穩(wěn)定的網(wǎng)絡(luò)環(huán)境等因素都可能導(dǎo)致圖像噪聲的顯著增加，進(jìn)而影響模型的準(zhǔn)確性和可靠性。在這種背景下，圖像降噪技術(shù)顯得尤為重要。

智慧水利系統(tǒng)中，圖像降噪處理面臨著獨(dú)特的挑戰(zhàn)。水利工程中的圖像通常表現(xiàn)出紋理密集程度的兩極化特征：水面圖像的紋理非常稀疏，而岸邊植物的紋理則非常密集。這種特殊的圖像特征要求我們采用針對(duì)性強(qiáng)、效果顯著的圖像降噪算法，以確保數(shù)字孿生平臺(tái)中的模型能夠基于高質(zhì)量數(shù)據(jù)運(yùn)行，從而提升智慧水利系統(tǒng)的整體效能和準(zhǔn)確性。因此，選取和優(yōu)化適合智慧水利特點(diǎn)的圖像降噪技術(shù)，對(duì)于提升數(shù)字孿生平臺(tái)的模型計(jì)算精度和系統(tǒng)整體性能，具有至關(guān)重要的意義。

2 圖像降噪技術(shù)的發(fā)展歷史

降噪技術(shù)的發(fā)展經(jīng)歷了從濾波器、轉(zhuǎn)換域等傳統(tǒng)方法，近年來(lái)發(fā)展為機(jī)器學(xué)習(xí)廣泛應(yīng)用的各類方法的演變過(guò)程。最初，線性濾波器[1]、非線性濾波器和轉(zhuǎn)換域[3]被用于圖像應(yīng)用，線性濾波器包括均值濾波器、高斯濾波器、盒式濾波器等；非線性濾波器包括雙邊濾波器、非局部均值濾波器等，它們簡(jiǎn)單易實(shí)現(xiàn)，但對(duì)圖像邊緣及噪聲類型較敏感；轉(zhuǎn)換域方法包括傅立葉變換、小波變換、Z變換和余弦變換等，它們?cè)肼曇种萍斑吘壭Ч^好，但計(jì)算復(fù)雜度及實(shí)現(xiàn)難度較高。隨后，基于機(jī)器學(xué)習(xí)的方法，如非局部集中稀疏表示[4](NCSR)、馬爾可夫隨機(jī)場(chǎng)[5](MRF)先驗(yàn)知識(shí)、梯度直方圖估計(jì)[6]等方法，被應(yīng)用于圖像降噪。這些方法雖然在圖像降噪方面取得了一定成效，但它們存在一些局限性，例如需要手動(dòng)設(shè)置及優(yōu)化參數(shù)，以及模型效果針對(duì)單一降噪任務(wù)有較好的效果，而泛化性不足。

深度學(xué)習(xí)技術(shù)在1980年代首次用于圖像處理[7]，到2015年開始廣泛應(yīng)用于圖像降噪領(lǐng)域，如(Dcnn)[8]等。其中，卷積神經(jīng)網(wǎng)絡(luò)(CNN)在圖像處理中取得巨大成功。LeNet[9]作為CNN技術(shù)的先驅(qū)，使用不同尺寸的卷積核來(lái)提取特征并在圖像分類中表現(xiàn)出色。隨后，AlexNet[10]、VGG[11]和GoogLeNet[12]等深度網(wǎng)絡(luò)架構(gòu)被提出并廣泛應(yīng)用于各種低層次計(jì)算機(jī)視覺(jué)任務(wù)。特別是，生成對(duì)抗網(wǎng)絡(luò)(GAN)[13]在處理真實(shí)噪聲圖像和復(fù)雜噪聲圖像方面表現(xiàn)出獨(dú)特的優(yōu)勢(shì)。

在神經(jīng)網(wǎng)絡(luò)的初期發(fā)展階段，受限于計(jì)算能力的不足，尤其是在處理高維度和大規(guī)模數(shù)據(jù)的任務(wù)時(shí)，神經(jīng)網(wǎng)絡(luò)并未能在圖像降噪等復(fù)雜領(lǐng)域中得到廣泛應(yīng)用。隨著1999年英偉達(dá)發(fā)布第一代GPU架構(gòu)GeForce 256，標(biāo)志著GPU時(shí)代的開始。GPU等并行計(jì)算技術(shù)的進(jìn)步，以及如Caffe、Theano、Matconvnet、TensorFlow、Keras和PyTorch等軟件工具的支持，從而使得我們能夠有效訓(xùn)練各種復(fù)雜的神經(jīng)網(wǎng)絡(luò)，進(jìn)而可使用深度學(xué)習(xí)算法有效處理復(fù)雜的圖像數(shù)據(jù)。

3 基于深度學(xué)習(xí)的圖像降噪技術(shù)

3.1 圖像降噪模型機(jī)制

基于深度學(xué)習(xí)的圖像降噪技術(shù)已經(jīng)迅速發(fā)展，形成了多種不同的類別，從模型機(jī)制分類，主要包括以下幾種：卷積神經(jīng)網(wǎng)絡(luò)(CNN)降噪、自編碼器降噪、生成對(duì)抗網(wǎng)絡(luò)(GAN)降噪、基于轉(zhuǎn)換域的降噪、注意力機(jī)制降噪、深度遞歸網(wǎng)絡(luò)降噪、弱監(jiān)督和無(wú)監(jiān)督學(xué)習(xí)降噪等。考慮到圖像降噪技術(shù)應(yīng)用到真實(shí)圖像上的實(shí)際情況，本文將基于深度學(xué)習(xí)的圖像降噪技術(shù)分為兩大類：?jiǎn)我欢说蕉说木矸e神經(jīng)網(wǎng)絡(luò)(下稱CNN)降噪和結(jié)合先驗(yàn)知識(shí)的CNN降噪方法，并將這兩大類方法總結(jié)如下。

單一端到端CNN降噪，通過(guò)改變網(wǎng)絡(luò)架構(gòu)，如使用不同階段特征的CNN[14]、雙U-Net結(jié)構(gòu)[15]、批量重標(biāo)準(zhǔn)化[16]和擴(kuò)張卷積[17]等，可以有效去除真實(shí)損壞圖像中的噪聲。這些方法利用多尺度知識(shí)和特殊設(shè)計(jì)的網(wǎng)絡(luò)結(jié)構(gòu)，能夠針對(duì)低光照條件下的遙感[18]和醫(yī)學(xué)圖像[19]以及未知真實(shí)噪聲圖像進(jìn)行有效處理。此外，采用遞歸連接、殘差結(jié)構(gòu)、注意力機(jī)制等方法可以進(jìn)一步提高對(duì)噪聲圖像的處理能力，同時(shí)CNN在無(wú)監(jiān)督學(xué)習(xí)方面的應(yīng)用也顯示出處理無(wú)配對(duì)噪聲圖像的優(yōu)勢(shì)，顯示出了在處理水利工程中的復(fù)雜江河湖海圖像的潛力。

結(jié)合CNN和先驗(yàn)知識(shí)的降噪方法則可以更有效率地處理復(fù)雜的真實(shí)圖像噪聲類型。例如，半二次分割(HQS)和CNN結(jié)合[20]用于估計(jì)真實(shí)噪聲圖像中的噪聲，或者通過(guò)多階段降噪方法[21]，先把高斯噪聲和機(jī)內(nèi)成像通道用來(lái)合成噪聲圖像，再進(jìn)行噪聲估計(jì)和圖像恢復(fù)。針對(duì)特定場(chǎng)景如低光照?qǐng)D像增強(qiáng)，采用結(jié)合CNN和先驗(yàn)知識(shí)的半監(jiān)督方法[22]也十分有效，如半監(jiān)督學(xué)習(xí)方法和分層深度GAN(HD-GAN)的使用，首先使用聚類算法對(duì)江河湖海圖像進(jìn)行多類別分類，然后通過(guò)收集不同江河、岸邊類別的圖像建立數(shù)據(jù)集。此外，還可以使用GAN來(lái)處理得到的數(shù)據(jù)集進(jìn)行圖像降噪和分類[23]。這些方法通過(guò)結(jié)合深度學(xué)習(xí)的強(qiáng)大能力和先驗(yàn)知識(shí)的具體指導(dǎo)，實(shí)現(xiàn)了對(duì)復(fù)雜噪聲條件下圖像的有效降噪。

深度學(xué)習(xí)進(jìn)入圖像降噪領(lǐng)域以來(lái)，多種算法被開發(fā)出來(lái)以應(yīng)對(duì)不同的噪聲挑戰(zhàn)。我們以經(jīng)典的BM3D[24](Block-Matching and 3D Filtering)為對(duì)比對(duì)象，進(jìn)行一些經(jīng)典算法與深度學(xué)習(xí)算法之間的性能對(duì)比；WNNM[25](Weighted Nuclear Norm Minimization)采用低秩矩陣近似技術(shù)，特別適合處理高斯噪聲；DnCNN[26](Deep Convolutional Neural Network for Image Denoising)通過(guò)卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)去除噪聲，適用于多種噪聲類型；BRDNet[27](Boosted Residual Dense Network)通過(guò)增強(qiáng)的殘差學(xué)習(xí)和密集連接提高降噪性能，擅長(zhǎng)處理復(fù)雜噪聲模式；ADNet[28](Adaptive Denoising Network)是一種自適應(yīng)降噪網(wǎng)絡(luò)，能夠根據(jù)不同噪聲條件調(diào)整降噪策略；IRCNN[29](Image Restoration Convolutional Neural Network)作為一種多功能圖像恢復(fù)網(wǎng)絡(luò)，不僅能夠降噪，還能恢復(fù)圖像質(zhì)量；DudeNet[30](Dual-Domain Network)結(jié)合了圖像域和變換域的處理方法，通過(guò)在這兩個(gè)域內(nèi)同時(shí)進(jìn)行降噪來(lái)提高效果，特別適用于處理復(fù)雜和多樣的噪聲環(huán)境。此外，還有CIMM[31]、EPLL[32]、MLP[33]、TNRD[34]、ECNDNet[35]、FFDNet[36]等較為有代表性的算法。

3.2 圖像降噪的物理成像機(jī)制

在基于深度學(xué)習(xí)的圖像降噪技術(shù)中，按成像的物理方式，可分為單幀降噪和多幀降噪，先引用圖像信噪比(SNR)的公式：

(1)

式中：

Sn——散粒噪聲(shot noise)；

Rn——讀出噪聲(readout noise)；

Qn——其他噪聲(Other noises)；

T——快門時(shí)間；

F——鏡頭光圈數(shù)值。

由式(1)可見(jiàn)，從物理角度分析，在光線捕獲方面，單幀降噪和多幀降噪存在顯著區(qū)別。單幀降噪處理的是單張圖像，因此它所捕獲的光子信息量Q受限于該圖像的單次曝光時(shí)間T。相比之下，多幀降噪通過(guò)分析和處理一系列連續(xù)的圖像幀，實(shí)際上延長(zhǎng)了總的曝光時(shí)間T，從而能夠捕獲更多的光子信息。這種增加的光子信息量使多幀降噪在提高圖像質(zhì)量方面具有天然的優(yōu)勢(shì)，尤其是在低光照條件下。

單幀降噪的主要優(yōu)點(diǎn)在于其處理速度快且計(jì)算要求相對(duì)較低，使其非常適合于實(shí)時(shí)或快速響應(yīng)的應(yīng)用場(chǎng)景，如實(shí)時(shí)監(jiān)控和即時(shí)通信。此外，由于只依賴于單張圖像，單幀降噪在處理時(shí)對(duì)拍攝時(shí)的震動(dòng)或移動(dòng)較為魯棒，不需要考慮多幀間的對(duì)齊問(wèn)題。同時(shí)，由于水利工程的地理位置遍布城市與郊野，受到網(wǎng)絡(luò)傳輸條件限制，有許多監(jiān)測(cè)點(diǎn)位只能使用4G、5G等蜂窩網(wǎng)絡(luò)傳輸單幀圖像，單幀圖像在水利工程中的適用范圍更廣。然而，這種方法的局限性在于，由于可用信息量有限，其在處理復(fù)雜或高度噪聲的圖像時(shí)的降噪效果可能不如多幀降噪。

多幀降噪則在PSNR和圖像細(xì)節(jié)恢復(fù)(下稱SSIM)方面表現(xiàn)更為出色。通過(guò)分析和處理一系列連續(xù)的圖像幀，能夠在延長(zhǎng)總曝光時(shí)間的同時(shí)捕獲更多的光子信息，從而在PSNR和SSIM方面表現(xiàn)出色。這種方法尤其適用于低光照條件下的圖像處理，能夠有效地提高噪聲抑制效果并恢復(fù)圖像細(xì)節(jié)。然而，多幀降噪在處理如江河湖海中流動(dòng)水面這樣的動(dòng)態(tài)場(chǎng)景時(shí)面臨著特定的挑戰(zhàn)和限制。

在江河湖海等流動(dòng)水面的場(chǎng)景中，多幀降噪的優(yōu)點(diǎn)在于能夠通過(guò)合成多個(gè)幀的信息來(lái)降低噪聲，提高圖像質(zhì)量，尤其是在低光照或遠(yuǎn)距離拍攝的條件下。這對(duì)于提高水文監(jiān)測(cè)、海洋研究或自然景觀攝影的圖像清晰度和細(xì)節(jié)表現(xiàn)非常有幫助。然而，這種場(chǎng)景的主要缺點(diǎn)是流動(dòng)的水面會(huì)導(dǎo)致連續(xù)幀之間的內(nèi)容變化，給圖像對(duì)齊和穩(wěn)定性帶來(lái)挑戰(zhàn)。流動(dòng)的水面會(huì)引入額外的動(dòng)態(tài)變化，這可能影響多幀間的一致性和對(duì)齊，從而降低降噪效果。此外，處理這類動(dòng)態(tài)場(chǎng)景需要更高的計(jì)算資源和更復(fù)雜的算法，可能不適合需要快速響應(yīng)或?qū)崟r(shí)處理的應(yīng)用。因此，雖然多幀降噪在提高圖像質(zhì)量方面具有明顯優(yōu)勢(shì)，但在動(dòng)態(tài)水面等場(chǎng)景的應(yīng)用中，需要特別考慮圖像對(duì)齊和處理時(shí)間的問(wèn)題。

基于深度學(xué)習(xí)的多幀降噪代表性工作為谷歌發(fā)布的KPN[37](Kernel Prediction Networks)方法，后來(lái)發(fā)展為L(zhǎng)-KPN[38]，通過(guò)更大的預(yù)測(cè)核心區(qū)域，對(duì)低質(zhì)量圖像的恢復(fù)PSNR更佳；M-KPN[39]通過(guò)預(yù)測(cè)核的動(dòng)態(tài)變化，實(shí)現(xiàn)密集紋理區(qū)域采用小尺寸預(yù)測(cè)核，平滑紋理區(qū)域采用大尺寸預(yù)測(cè)核，在保持PSNR的前提下，圖像的不同區(qū)域均能獲得良好的SSIM還原；AME-KPN[40]將注意力模塊整合到KPN模型中，輸出每個(gè)像素的空間自適應(yīng)核、殘差圖和權(quán)重圖，細(xì)化特征圖并利用圖像連拍中的幀間和幀內(nèi)冗余，以達(dá)到更好的降噪質(zhì)量。近期的進(jìn)展還包括NTIRE-BSRC[41]出現(xiàn)于NTIRE 2022挑戰(zhàn)賽，它展示了超分辨率技術(shù)在多幀降噪的應(yīng)用，特別是在低分辨率和高噪聲環(huán)境下的應(yīng)用；NERF-BSRC[42]方法利用神經(jīng)輻射場(chǎng)(NeRF)技術(shù)處理低光照和高噪聲條件下的圖像，優(yōu)勢(shì)為極端低光下圖像的質(zhì)量恢復(fù)；MM-BSN[43]方法使用多掩碼技術(shù)處理真實(shí)世界中的圖像序列，以實(shí)現(xiàn)有效的降噪。以谷歌發(fā)布的KPN為代表及其基礎(chǔ)上改進(jìn)的一系列算法，特別適用于處理現(xiàn)實(shí)水利工程條件下，噪聲模式復(fù)雜且多變，環(huán)境光不充足時(shí)的圖像。

4 案例研究

通過(guò)本次案例研究，我們旨在評(píng)估基于深度學(xué)習(xí)的單幀和多幀降噪算法在實(shí)際應(yīng)用中的表現(xiàn)，特別是在復(fù)雜的自然環(huán)境和挑戰(zhàn)性的光照條件下。我們期望這項(xiàng)研究能夠?yàn)樗谋O(jiān)測(cè)、水質(zhì)污染物識(shí)別和環(huán)境保護(hù)等領(lǐng)域提供更有效的圖像數(shù)據(jù)源，從而提升這些領(lǐng)域的識(shí)別、分類模型的應(yīng)用效果。

4.1 數(shù)據(jù)收集

實(shí)驗(yàn)的第一步是收集大量的弱光圖像數(shù)據(jù)，這些數(shù)據(jù)將來(lái)源于不同時(shí)間段(如日出前后和日落時(shí)分)以及不同天氣條件(如陰天、霧天)下的江河湖海等流動(dòng)水面。為了確保數(shù)據(jù)的多樣性和代表性，我們將使用多種類型的攝像頭和傳感器進(jìn)行圖像捕獲，包括無(wú)人機(jī)搭載的攝像頭和固定的監(jiān)控?cái)z像頭。這些設(shè)備將提供單幀和多幀圖像，以供后續(xù)的降噪處理和分析。

參考Intel實(shí)驗(yàn)室“Learning to See in the Dark”[44]中(SID)數(shù)據(jù)集的方式來(lái)生成我們案例研究的測(cè)試數(shù)據(jù)集。SID數(shù)據(jù)集包含5094張?jiān)级唐毓鈭D像，使用索尼A7SII和富士X-T2兩臺(tái)相機(jī)拍攝。SID數(shù)據(jù)集中，每一組各檔ISO的弱光噪聲圖像都有對(duì)應(yīng)的長(zhǎng)曝光參考(ground truth)圖像。噪聲圖像和相應(yīng)的參考圖像在水利工程的江河湖海是多樣化的，為了保證圖像的質(zhì)量，參考圖像是以噪聲圖像100～300倍的曝光時(shí)間拍攝的：即10～30 s。由于參考圖像的曝光時(shí)間必然較長(zhǎng)，因此SID數(shù)據(jù)集中的所有場(chǎng)景都是靜態(tài)的。

在案例研究中，采用無(wú)人機(jī)進(jìn)行江河圖像的拍攝。由于飛行震動(dòng)，無(wú)人機(jī)的穩(wěn)定性較差，無(wú)法采用SID數(shù)據(jù)集的方式：直接把索尼α7S II等相機(jī)固定在三腳架進(jìn)行穩(wěn)定，拍攝100～300倍曝光時(shí)間的參考圖像，因此采用不同的方法來(lái)生成測(cè)試數(shù)據(jù)集，以評(píng)估不同降噪算法在江河湖海等流動(dòng)水面場(chǎng)景下的弱光圖像處理效果。首先，使用Dji Mavic 3 Mini無(wú)人機(jī)在江河湖海的上空捕獲大量弱光圖像，Dji Mavic 3 Mini的圖像CMOS傳感器較小(1/2.5英寸)，與很多水利工程中的攝像頭CMOS尺寸相近，很容易獲得質(zhì)量不高的噪聲圖像。這些圖像覆蓋多種低光照條件，包括清晨、傍晚以及陰天或霧天等環(huán)境，確保數(shù)據(jù)集的多樣性和實(shí)際應(yīng)用場(chǎng)景的代表性。

為了在無(wú)人機(jī)飛行條件下獲得高質(zhì)量的參考圖像(Ground Truth)，選用了Dji Inspire 3及其搭載的蟬思相機(jī)進(jìn)行拍攝。由于Dji Inspire 3的傳感器尺寸(4/3英寸)遠(yuǎn)大于Dji Mavic 3 Mini(1/2.5英寸)，其面積約為后者的11倍，因此在相同的低光照條件下，Inspire 3所需的曝光時(shí)間會(huì)比SID數(shù)據(jù)集中的參考圖像少得多。這一點(diǎn)非常符合無(wú)人機(jī)拍攝的實(shí)際工況，能夠在遠(yuǎn)小于噪聲圖100倍曝光時(shí)間的條件下，拍攝出足夠質(zhì)量的參考圖像。

圖1 江河場(chǎng)景的參考及噪聲示意

4.2 評(píng)估標(biāo)準(zhǔn)

在水利工程領(lǐng)域，圖像識(shí)別和分類模型的準(zhǔn)確率受到PSNR[45](峰值信噪比)和SSIM(結(jié)構(gòu)相似性指數(shù))這兩個(gè)圖像質(zhì)量指標(biāo)的顯著影響。例如，在大壩裂縫識(shí)別、水面污染物識(shí)別和水面漂浮物分類等應(yīng)用中，模型的性能高度依賴于輸入圖像的質(zhì)量。高PSNR值意味著圖像中的噪聲水平較低，低噪聲圖片可以清晰地展示裂縫的形狀、大小或污染物的顏色和紋理。圖像中的噪聲如果過(guò)高，可能會(huì)掩蓋或扭曲這些關(guān)鍵特征，從而降低模型在識(shí)別和分類任務(wù)中的準(zhǔn)確性。PSNR采用下式計(jì)算：

(2)

式中，分母為MSE均方誤差的計(jì)算公式，反映的是降噪圖像與參考圖像的像素之間的差異。M、N為圖像的像素長(zhǎng)度、像素寬度，B為圖像的動(dòng)態(tài)范圍DR，B=2n-1，n表示像素的動(dòng)態(tài)范圍的深度，即8bit圖像的255級(jí)亮度。

同樣，SSIM作為衡量圖像與原始場(chǎng)景結(jié)構(gòu)相似度的指標(biāo)，在水利工程的圖像處理中也扮演著關(guān)鍵角色。高SSIM值表明圖像在結(jié)構(gòu)、亮度和對(duì)比度方面與原始場(chǎng)景高度一致，這對(duì)于模型來(lái)說(shuō)是學(xué)習(xí)和分析水面環(huán)境中各種物體和現(xiàn)象的重要基礎(chǔ)。例如，在水面漂浮物分類任務(wù)中，圖像的視覺(jué)質(zhì)量直接影響模型對(duì)不同類別物體的判別能力。SSIM采用下式計(jì)算：

(3)

式中：

ux，uy——圖像像素矩陣中x，y的平均值；

σx，σy——像素矩陣中x，y的標(biāo)準(zhǔn)差；

σxy——圖像矩陣中x，y的協(xié)方差；

D1，D2——是一個(gè)常量，它們的作用為穩(wěn)定比值。

4.3 案例實(shí)驗(yàn)

在案例研究中，第三步驟是進(jìn)行實(shí)際的降噪實(shí)驗(yàn)。在收集了大量的弱光圖像數(shù)據(jù)并確定了PSNR和SSIM作為評(píng)估標(biāo)準(zhǔn)之后，將這些圖像輸入到主流的單幀降噪和多幀降噪模型中，以評(píng)估其在實(shí)際應(yīng)用場(chǎng)景中的表現(xiàn)。這一步驟的核心目的是比較和分析不同降噪技術(shù)在處理低光照條件下江河湖海等流動(dòng)水面場(chǎng)景的效果。

在實(shí)驗(yàn)過(guò)程中，將使用如KPN、L-KPN、MM-BSN、AME-KPN等多幀降噪算法，以及一些經(jīng)典的單幀降噪算法。這些算法將被用來(lái)處理我們收集的弱光圖像，目的是降低圖像噪聲，同時(shí)盡可能保留重要的細(xì)節(jié)和特征，如水面紋理、污染物的形狀和顏色等。通過(guò)對(duì)比降噪前后的圖像，使用PSNR和SSIM指標(biāo)來(lái)量化降噪效果，從而客觀評(píng)估每種算法的性能。

4.3.1江河場(chǎng)景

江河場(chǎng)景使用Dji Mavic 3 Mini無(wú)人機(jī)在江河的上空拍攝傍晚時(shí)分的弱光圖像，江河的水流緩慢流動(dòng)，對(duì)多幀降噪的圖像對(duì)齊具有一定的要求，拍攝8～16幀為一組的同參數(shù)圖像作為多幀降噪模型的輸入。參考圖像由Dji Inspire 3及其搭載的蟬思相機(jī)進(jìn)行拍攝。

江河場(chǎng)景實(shí)驗(yàn)結(jié)果如圖1～圖3及表1所示。多幀降噪算法如KPN、AME-KPN和MM-BSN在稀疏紋理區(qū)域(如流動(dòng)水面)及密集紋理區(qū)域(如岸邊樹木建筑)的PSNR和SSIM指標(biāo)都較高，這表明它們能夠更有效地從多幀圖像中提取信息，實(shí)現(xiàn)較好的降噪效果。相比之下，單幀降噪算法如BM3D、BRDNet在這些指標(biāo)上的表現(xiàn)相對(duì)較差，部分原因可能是由于單幀處理無(wú)法聚合多個(gè)圖像幀中的信息，從而物理上接收的光子信息量較少。在處理如江河湖海這樣的動(dòng)態(tài)紋理場(chǎng)景時(shí)，因?yàn)檫@些場(chǎng)景中的細(xì)節(jié)和紋理信息特別豐富，因此，在光線不足的條件下，多幀算法通過(guò)累積多個(gè)圖像幀的信息來(lái)提升降噪性能，多幀的光信息量具有一定的優(yōu)勢(shì)，而單幀算法則受限于單個(gè)圖像幀的光信息，無(wú)法獲得更好的降噪效果。由于江河的水流動(dòng)態(tài)較為緩慢，因此，多幀降噪的SSIM并未受到幀間對(duì)齊的影響，依然高于單幀降噪。在單幀降噪中，基于機(jī)器學(xué)習(xí)的BRDNet效果仍優(yōu)于BM3D。

圖3 典型的單幀降噪和多幀降噪算法稀疏紋理區(qū)域表現(xiàn)示意

表1 典型降噪模型在江河場(chǎng)景的性能表現(xiàn)

4.3.1湖泊場(chǎng)景

湖泊場(chǎng)景使用Dji Mavic 3 Mini無(wú)人機(jī)在湖泊的上空拍攝夜晚的弱光圖像，湖泊的水面基本靜止，拍攝8～16幀為一組的同參數(shù)圖像作為多幀降噪模型的輸入。參考圖像由Dji Inspire 3及其搭載的蟬思相機(jī)進(jìn)行拍攝。

江河場(chǎng)景實(shí)驗(yàn)結(jié)果如圖4～圖6及表2所示。KPN、AME-KPN等多幀降噪算法在稀疏紋理區(qū)域(湖泊靜止的水面)的PSNR和SSIM指標(biāo)遠(yuǎn)高于單幀降噪算法。這表明當(dāng)拍攝對(duì)象靜止時(shí)，多幀圖像更為容易對(duì)齊，因此多幀算法在降噪同時(shí)保留細(xì)節(jié)方面更加有效，尤其是在低光照環(huán)境中。單幀算法如BM3D在密集紋理區(qū)域的性能相對(duì)較差，這可能是因?yàn)樗鼈內(nèi)狈ψ銐虻男畔?lái)處理這些區(qū)域的復(fù)雜紋理。多幀算法通過(guò)利用多個(gè)圖像幀提供的額外信息，在提高降噪效果的同時(shí)更好地保留了圖像的紋理和細(xì)節(jié)。

圖4 湖泊場(chǎng)景的參考及噪聲示意

圖5 典型的單幀降噪和多幀降噪算法密集紋理區(qū)域表現(xiàn)示意

圖6 典型的單幀降噪和多幀降噪算法稀疏紋理區(qū)域表現(xiàn)示意

表2 典型降噪模型在江河場(chǎng)景的性能表現(xiàn)

5 結(jié)語(yǔ)

在水利工程領(lǐng)域的應(yīng)用中，圖像質(zhì)量是提高圖像識(shí)別和分類模型準(zhǔn)確率的關(guān)鍵因素?；谏疃葘W(xué)習(xí)的單幀及多幀降噪技術(shù)能夠通過(guò)整合多個(gè)連續(xù)幀的信息來(lái)提高PSNR和SSIM值，這對(duì)于江河、湖泊等場(chǎng)景的圖像處理尤為重要。由于這些場(chǎng)景往往存在光照不足或是動(dòng)態(tài)變化的情況，多幀降噪通過(guò)累積更多的光子信息，能夠在保留關(guān)鍵特征如裂縫形狀、污染物顏色和紋理的同時(shí)，有效降低噪聲水平，從而產(chǎn)生清晰度更高、質(zhì)量更好的圖像。

單幀降噪技術(shù)由于僅處理單個(gè)圖像，其性能在光照不足或復(fù)雜場(chǎng)景下的表現(xiàn)不如多幀降噪。單幀降噪在計(jì)算上更為高效，適用于需要快速響應(yīng)的場(chǎng)合，但由于缺乏足夠的光子信息累積，難以達(dá)到多幀降噪技術(shù)在PSNR和SSIM上的表現(xiàn)。因此，在有條件進(jìn)行多幀圖像采集時(shí)，對(duì)于圖像質(zhì)量要求較高的水利工程應(yīng)用，如大壩裂縫識(shí)別和水面污染物分類中，多幀降噪更能有效提升模型的識(shí)別和分類準(zhǔn)確率。

盡管單幀降噪在PSNR和SSIM上的表現(xiàn)較弱，但由于神經(jīng)網(wǎng)絡(luò)對(duì)環(huán)境特征及訓(xùn)練集采用的傳感器性質(zhì)具有強(qiáng)大的學(xué)習(xí)的能力，基于深度學(xué)習(xí)的單幀降噪仍取得了相對(duì)BM3D等傳統(tǒng)算法的顯著進(jìn)步，在不便于采用多幀降噪的場(chǎng)景下，仍具有良好的應(yīng)用前景。

總體而言，深度學(xué)習(xí)技術(shù)通過(guò)學(xué)習(xí)大量的圖像數(shù)據(jù)，對(duì)于多幀降噪，它可以有效地整合多個(gè)圖像幀的信息，提取更多的細(xì)節(jié)和降低噪聲；對(duì)于單幀降噪，通過(guò)其強(qiáng)大的特征提取能力，即便在僅有單一圖像的情況下也能最大化地恢復(fù)原始圖像的結(jié)構(gòu)和紋理信息。深度學(xué)習(xí)的應(yīng)用顯著提高了圖像降噪模型性能，進(jìn)而提高了水利工程中依賴圖像輸入進(jìn)行識(shí)別、分類的各個(gè)模型在實(shí)際應(yīng)用中的可靠性和準(zhǔn)確性。