基于改進(jìn)LinkNet模型的河流遙感圖像語(yǔ)義分割研究

李文逵

摘要：河流遙感影像地理背景復(fù)雜多變、水體識(shí)別對(duì)象區(qū)分度小、陸地河網(wǎng)形狀不規(guī)則等導(dǎo)致河流區(qū)域識(shí)別率較低。為了獲取高精度的河流區(qū)域信息，提出在原有LinkNet模型網(wǎng)絡(luò)結(jié)構(gòu)的基礎(chǔ)上進(jìn)行優(yōu)化設(shè)計(jì)。首先把卷積塊中的激活函數(shù)ReLU改成PReLU，然后將始端模塊中最大池化替換成平均池化，最后在第一個(gè)卷積層前和第四個(gè)卷積層后新增一道跨越連接。預(yù)測(cè)效果表明：LinkNet模型的準(zhǔn)確率、精確率、召回率、F1-Score以及mIoU依次為97.62%，80.95%，89.39%，84.96%，76.50%，兩改進(jìn)LinkNet模型的依次為98.21%，85.95%，91.11%，88.45%，81.71%，各項(xiàng)指標(biāo)值都得到一定程度的提升，表明該改進(jìn)方法能更加有效地提取自然情景下河流區(qū)域。

關(guān) 鍵 詞：

LinkNet模型； 河流圖像； 語(yǔ)義分割； 深度學(xué)習(xí)

中圖法分類(lèi)號(hào)： TV11

文獻(xiàn)標(biāo)志碼： A

DOI：10.16232/j.cnki.1001-4179.2023.S2.056

0 引 言

地表河流屬于珍貴的水資源，如今隨著生態(tài)環(huán)境的惡化，中國(guó)部分地區(qū)生態(tài)流量減少，水容量降低，導(dǎo)致水資源相對(duì)短缺，時(shí)空分布不均勻，這已嚴(yán)重阻礙地區(qū)的生產(chǎn)和發(fā)展。因此準(zhǔn)確獲取河流的具體地表分布區(qū)域?qū)τ诹饔蚍乐?、河道?guī)劃、洪災(zāi)監(jiān)測(cè)、水資源保護(hù)等具有極其重要的作用。

遙感影像能直觀清晰地呈現(xiàn)地表徑流的地理位置和區(qū)域范圍，可以映射出整個(gè)流域的水體空間宏觀分布，受益于衛(wèi)星硬件的不斷完善，使得遙感影像數(shù)據(jù)成像分辨率更高、更新時(shí)間更短以及拍攝成本更低，結(jié)合遙感成像來(lái)提取水體信息的技術(shù)已成為必然趨勢(shì)。例如，王博等［1］利用簡(jiǎn)化脈沖耦合神經(jīng)網(wǎng)絡(luò)和數(shù)學(xué)形態(tài)學(xué)對(duì)其進(jìn)行邊緣提取，在抗噪性方面有明顯優(yōu)勢(shì)。方海泉等［2］使用卷積神經(jīng)網(wǎng)絡(luò)對(duì)山區(qū)、平原和城市的高分二號(hào)衛(wèi)星遙感影像進(jìn)行河流識(shí)別，準(zhǔn)確率為 0.928 3。沈瑜等［3］使用FCN _8s、ＲesNet50、DeeplabV3、Unet、LinkNet、R-LinkNet 6種神經(jīng)網(wǎng)絡(luò)模型來(lái)提取河流遙感影像，得到像素準(zhǔn)確率分別是0.631，0.748，0.816，0.791，0.824，0.847。付寶晶等［4］提出一種融合特征的河流區(qū)域提取方法，林地、城市、山地、耕地流域圖的準(zhǔn)確率分別為0.992 3，0.994 1，1.00，1.00，完整度分別為0.983 7，0.986 3，0.996 8，0.998 5。薛源等［5］建立了結(jié)合隨機(jī)森林和神經(jīng)網(wǎng)絡(luò)地河流表面信息提取算法，提取精度達(dá)到94.7%。孫玉梅等［6］提出一種基于結(jié)構(gòu)相似區(qū)域搜索的細(xì)小河流提取方法，實(shí)現(xiàn)不連續(xù)細(xì)小河流的啟發(fā)式搜索連接，準(zhǔn)確地實(shí)現(xiàn)細(xì)小河流的完整水體信息提取。盛君等［7］量化融合不同分割對(duì)象的多種特征信息，使用極限學(xué)習(xí)機(jī)識(shí)別，最后通過(guò)軟投票法獲取檢測(cè)結(jié)果，提取的影像數(shù)據(jù)水體檢測(cè)結(jié)果在準(zhǔn)確率、精確率及召回率方面都達(dá)到了90%以上。

為了更精確地識(shí)別出高分辨率遙感影像河流區(qū)域，充分挖掘河流區(qū)域特征信息，本次研究利用LinkNet模型提取河流水體，同時(shí)對(duì)原有LinkNet模型網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行優(yōu)化，以期實(shí)現(xiàn)不同場(chǎng)景下河流區(qū)域的連續(xù)性完整分割。

1 數(shù)據(jù)集制作

1.1 數(shù)據(jù)來(lái)源及預(yù)處理

使用奧維互動(dòng)地圖瀏覽器，地圖源來(lái)自谷歌地圖，在圖級(jí)14、圖級(jí)15、圖級(jí)16（比例尺分別為 1∶50 000、1∶100 000、1∶200 000）3個(gè)層次下，框選河流區(qū)域并導(dǎo)出采樣圖，利用Photoshop繪圖軟件的魔棒工具快速選中河流區(qū)域，再用油漆桶工具賦色，實(shí)現(xiàn)原始圖整體標(biāo)注。標(biāo)注圖中像素點(diǎn)分為兩類(lèi)，白色表示河流，黑色表示背景，采樣圖和標(biāo)注圖見(jiàn)圖1，然后同時(shí)將采樣圖和標(biāo)注圖按512×512分辨率大小對(duì)應(yīng)分割切片，留下河流區(qū)域占比大于0.03的切片，獲得132張?jiān)紙D片，切片樣本如圖2所示。

1.2 數(shù)據(jù)集擴(kuò)增

對(duì)圖像切片進(jìn)行上下翻轉(zhuǎn)、左右翻轉(zhuǎn)、順時(shí)針旋轉(zhuǎn)90°、順時(shí)針旋轉(zhuǎn)180°、順時(shí)針旋轉(zhuǎn)270°、隨機(jī)調(diào)整明度、高斯模糊共7種變換方式，數(shù)據(jù)量擴(kuò)增為原本的8倍，共計(jì)1 056張圖片，按4∶1比例隨機(jī)劃分訓(xùn)練集和測(cè)試集，其中訓(xùn)練集占844張，測(cè)試集占212張。

2 實(shí)驗(yàn)環(huán)境搭建

安裝Anaconda作為開(kāi)發(fā)工具集成管理器，從中創(chuàng)建虛擬環(huán)境，添加第三方包鏡像源通道，再在Anaconda的基礎(chǔ)上依次安裝Python、PyTorch、Spyder等第三方工具包，具體版本參數(shù)如下［8-9］：

工具包管理器??? Anaconda 4.10.3

腳本語(yǔ)言Python 3.6

編輯器Spyder 4.0

框架PyTorch 1.11.0

驅(qū)動(dòng)CUDA9.0

顯卡GTX 1050

通過(guò)Spyder編寫(xiě)Python程序運(yùn)行，導(dǎo)入深度學(xué)習(xí)框架PyTorch提供的開(kāi)發(fā)函數(shù)，編寫(xiě)有訓(xùn)練、測(cè)試、預(yù)測(cè)、數(shù)據(jù)輸入5個(gè)腳本文件。

3 模型構(gòu)造及訓(xùn)練

3.1 LinkNet模型網(wǎng)絡(luò)結(jié)構(gòu)

LinkNet模型是由始端模塊、終端模塊、編碼器模塊和解碼器模塊4個(gè)部分組成的卷積神經(jīng)網(wǎng)絡(luò)［10］，與現(xiàn)有神經(jīng)網(wǎng)絡(luò)不同之處是采用編碼器-解碼器對(duì)稱(chēng)結(jié)構(gòu)，其框架如圖3所示。左邊是編碼器模塊，右邊是解碼器模塊，兩者之間存在跨躍連接，皆采用自編碼模式，特征信息從編碼器輸入到低維空間，再將編碼器輸出信息，通過(guò)跨躍連接添加到對(duì)應(yīng)解碼器輸入中。編碼器執(zhí)行多次下采樣操作后，會(huì)導(dǎo)致部分空間信息損失，假若僅使用編碼器的下采樣輸出作為解碼器輸入，則無(wú)法恢復(fù)丟失的信息。編碼器和解碼器間建立跨越連接的操作方式，目的是恢復(fù)編碼器下采樣操作丟失的空間信息，供解碼器上采樣操作使用。因此解碼器在每一層共享編碼器學(xué)習(xí)的知識(shí)，從而降低解碼和生成圖像所需的信息量，可極大減少網(wǎng)絡(luò)所需的參數(shù)量，有助于實(shí)現(xiàn)反向梯度流動(dòng)，提高速度的同時(shí)又保證精度，與現(xiàn)有VGG等直通式的分段網(wǎng)絡(luò)模型相比，整體效率更高。

卷積神經(jīng)網(wǎng)絡(luò)模型LinkNet的基本構(gòu)造單元主要有卷積塊和反卷積塊，卷積塊包含卷積層、批次歸一化層、激活函數(shù)層，編碼器模塊的每個(gè)編碼器塊均由4個(gè)卷積塊組成，前端的兩個(gè)卷積塊組成前置模塊，并與殘差輸出相加合并，將結(jié)果傳遞給末端兩個(gè)卷積塊組成的后置模塊（見(jiàn)圖4）。圖中展示的編碼器中采用的詳細(xì)殘差結(jié)構(gòu)，卷積層參數(shù)從左至右依次是卷積核大小，特征圖輸入輸出通道數(shù)，上采樣因子。反卷積（Transposed Convolution）塊是解碼器的構(gòu)建單位，采用轉(zhuǎn)置卷積進(jìn)行反卷積運(yùn)算，先按照一定比例，通過(guò)自動(dòng)填充來(lái)擴(kuò)大輸入圖像尺寸，從而輸出指定行列數(shù)矩陣，接著旋轉(zhuǎn)卷積核，然后進(jìn)行正向卷積。由于卷積神經(jīng)網(wǎng)絡(luò)提取特征后，輸入圖像的輸出尺寸一般會(huì)縮小，為了便于下一步計(jì)算，需要恢復(fù)到原先的尺寸，采用反卷積映射來(lái)擴(kuò)大圖像分辨率，是實(shí)現(xiàn)上采樣操作的一種方式。

3.2 改進(jìn)LinkNet模型

LinkNet模型采用函數(shù)ReLU（x）=x，x≥00，x=0作為激活函數(shù)。不足之處是若某個(gè)神經(jīng)元的輸入自變量x=

0，則以后自身參數(shù)的梯度一直為0，訓(xùn)練過(guò)程中永遠(yuǎn)

不再被激活，導(dǎo)致神經(jīng)元死亡問(wèn)題。為了避免這種現(xiàn)象，將函數(shù)ReLU改為其優(yōu)化版本PReLU（x）k=x，x>0λk，x≤0，不同通道k使用不一樣的激活函數(shù)，線(xiàn)性單元參數(shù)λ能在訓(xùn)練過(guò)程中自適應(yīng)矯正，且x≤0時(shí)參數(shù)

λk值不會(huì)為0，并且在額外增加很少計(jì)算成本條件下提高準(zhǔn)確率。模型始端模塊中最大池化替換成平均池化，最大池化操作只選擇卷積核區(qū)域的最大值進(jìn)入下一層，而拋棄其他元素。這種操作方式同時(shí)會(huì)丟失一

些特征圖中的細(xì)節(jié)信息，而對(duì)于平均池化則是提取卷積核區(qū)域中所有像素點(diǎn)的平均值，可以保留更多的圖像背景信息。對(duì)編碼器模塊的第1個(gè)卷積層前和第4個(gè)卷積層后添加一條跨越連接，把第1個(gè)卷積層和第3個(gè)卷積層輸出合并，再輸入第4個(gè)卷積層，形成更密集的連接，使得特征信息利用更充分，如圖4所示，左邊是原始模塊，右邊是改進(jìn)后模塊。

3.3 模型訓(xùn)練過(guò)程

訓(xùn)練開(kāi)始時(shí)需要設(shè)置超參數(shù)，初始學(xué)習(xí)率（learn-ing rate）為0.001，迭代（epoch）輪次為30，由于顯存大小的限制，批次規(guī)格（batch size）設(shè)置的較小值為8，運(yùn)用Adam作為優(yōu)化器（optimizer），使得訓(xùn)練過(guò)程中學(xué)習(xí)率能動(dòng)態(tài)適應(yīng)，損失函數(shù)評(píng)價(jià)標(biāo)準(zhǔn)為交叉熵（Cross Entropy Loss），準(zhǔn)確度評(píng)價(jià)標(biāo)準(zhǔn)采用平均交并比：

mIoU=∑nk=0IoUkn

式中：IoU=L∩SL∪S，表示標(biāo)注區(qū)域L和預(yù)測(cè)區(qū)域S兩者交集與并集的比值，n是測(cè)試集樣本總數(shù)［11-14］。

由圖5可見(jiàn)，各個(gè)評(píng)價(jià)指標(biāo)最終趨于收斂，表明模型訓(xùn)練成功。

4 實(shí)驗(yàn)結(jié)果

4.1 模型預(yù)測(cè)結(jié)果

將訓(xùn)練完畢后的LinkNet模型和改進(jìn)LinkNet模型用于識(shí)別測(cè)試集中單張河流圖像，

輸出語(yǔ)義分割預(yù)測(cè)結(jié)果，由圖6所示的二值語(yǔ)義分割圖像，可見(jiàn)LinkNet 模型分割區(qū)域邊緣凹凸不平呈現(xiàn)鋸齒狀，而改進(jìn)LinkNet模型的識(shí)別區(qū)域則較為平滑，更加接近于標(biāo)注圖。

4.2 預(yù)測(cè)效果綜合評(píng)價(jià)

采用表1中的5種標(biāo)準(zhǔn)評(píng)價(jià)模型對(duì)測(cè)試集的預(yù)測(cè)效果［15-18］，設(shè)標(biāo)注圖中白色定為正，黑色定為負(fù)，則每個(gè)像素有4種可能的預(yù)測(cè)值，分別是真正TP、假正FP、真負(fù)TN、假負(fù)FN，則準(zhǔn)確率A=TP+TNTP+TN+FP+FN、精確率P=TPTP+FP、召回率R=TPTP+FN、F1=2TP2TP+FP+FN。由表2可見(jiàn)，相比較于原有LinkNet模型，改進(jìn)LinkNet模型的準(zhǔn)確率、精確率、召回率、F1值、mIoU依次提高0.005 9，0.050 1，0.017 2，0.034 9，0.052 1。

5 結(jié) 語(yǔ)

本文針對(duì)河道遙感圖像實(shí)現(xiàn)語(yǔ)義分割，在原本LinkNet模型網(wǎng)絡(luò)結(jié)構(gòu)基礎(chǔ)上進(jìn)行改進(jìn)，實(shí)驗(yàn)檢測(cè)的結(jié)果表明，提出的改進(jìn)型模型經(jīng)過(guò)訓(xùn)練學(xué)習(xí)后，在河流語(yǔ)義分割任務(wù)中取得了更佳的分割性能，為高分辨率遙感圖像中河流區(qū)域的精準(zhǔn)識(shí)別提供良好的技術(shù)支撐。

研究對(duì)象所用數(shù)據(jù)集包含城市、山地、農(nóng)田等多種地形地貌，具備一定的泛化能力，但是樣本數(shù)量過(guò)少，面對(duì)其他不同的復(fù)雜場(chǎng)景仍能有較高識(shí)別精度，所以模型還需修改，接下來(lái)可以就其他方面優(yōu)化，比如運(yùn)用大規(guī)模數(shù)據(jù)集時(shí)，可能需要加深網(wǎng)絡(luò)層次，增大網(wǎng)絡(luò)的參數(shù)量。

參考文獻(xiàn)：

［1］ 王博，石陳妮子.基于簡(jiǎn)化PCNN的遙感影像河流信息提?。跩］.人民黃河，2019，41（1）：61-64.

［2］ 方海泉，蔣云鐘，冶運(yùn)濤，等.基于深度學(xué)習(xí)和多次棋盤(pán)分割法的高分辨率影像河流提?。跩］.北京大學(xué)學(xué)報(bào)，2019，55（4）：692-698.

［3］ 沈瑜，苑玉彬，彭靜，等.基于深度學(xué)習(xí)的寒旱區(qū)遙感影像河流提?。跩］.農(nóng)業(yè)機(jī)械學(xué)報(bào)，2020，51（7）：192-201.

［4］ 付寶晶，李自立.基于多特征融合的遙感圖像河流提?。跩］.中國(guó)農(nóng)村水利水電，2022，482（12）：53-58.

［5］ 薛源，覃超，吳保生，等.基于多源國(guó)產(chǎn)高分辨率遙感影像的山區(qū)河流信息自動(dòng)提?。跩］.清華大學(xué)學(xué)報(bào)（自然科學(xué)版），2023，63（1）：134-145.

［6］ 孫玉梅，王保云，張祝鴻，等.基于結(jié)構(gòu)相似區(qū)域搜索的TM影像細(xì)小河流提取方法［J］.國(guó)土資源遙感，2020，32（2）：63-72.

［7］ 盛君，王杰，孫策，等.基于高分辨率遙感影像的河流信息提取方法［J］.測(cè)繪標(biāo)準(zhǔn)化，2022，38（2）：52-56.

［8］ 沈吉寶.多特征融合的遙感影像河流提取方法［J］.礦山測(cè)量，2021，49（2）：107-111.

［9］ 李鑫偉，李彥勝，張永軍.弱監(jiān)督深度語(yǔ)義分割網(wǎng)絡(luò)的多源遙感影像水體檢測(cè)［J］.中國(guó)圖象圖形學(xué)報(bào)，2021，26（12）：3015-3026.

［10］ 楊知，歐文浩，劉曉燕，等.基于LinkNet卷積神經(jīng)網(wǎng)絡(luò)的高分辨率遙感影像水體信息提?。跩］.云南大學(xué)學(xué)報(bào)，2019，41（5）：932-938.

［11］ MIAO Z，F(xiàn)U K，SUN H，et al.Automatic water-body segmentation from high-resolution satellite images via deep networks［J］.IEEE Geoscience and Remote Sensing Letters，2018，15（4）：602-606.

［12］ ECKHORN R，REITBOECK H，ARNDT M，et al.Feature linking via synchronization among distributed assemblies：simulations of results from cat visual cortex［J］.Neural Computation，2014，2（3）：293-307.

［13］ 李鑫偉，李彥勝，張永軍.弱監(jiān)督深度語(yǔ)義分割網(wǎng)絡(luò)的多源遙感影像水體檢測(cè)［J］.中國(guó)圖象圖形學(xué)報(bào)，2021，26（12）：3015-3026.

［14］ 李宇，肖春姣，張洪群，等.深度卷積融合條件隨機(jī)場(chǎng)的遙感圖像語(yǔ)義分割［J］.國(guó)土資源遙感，2020，32（3）：15-22.

［15］ JOSE D，KARTHIK G，YUAN J，et al.Hyper Dense-Net：a hyper-densely connected CNN for multi-modal imagesegmentation［J］.IEEE Transactions on Medical Imaging，2019，38（5）：1116-1126.

［16］ 沈駿翱，馬夢(mèng)婷，宋致遠(yuǎn)，等.基于深度學(xué)習(xí)語(yǔ)義分割模型的高分辨率遙感圖像水體提?。跩］.自然資源遙感，2022，34（4）：129-135.

［17］ 何紅術(shù)，黃曉霞，李紅旮，等.基于改進(jìn)U-Net網(wǎng)絡(luò)的高分遙感影像水體提?。跩］.地球信息科學(xué)學(xué)報(bào)，2020，22（10）：2010-2022.

［18］ 陳前，鄭利娟，李小娟，等.基于深度學(xué)習(xí)的高分遙感影像水體提取模型研究［J］.地理與地理信息科學(xué)，2019，35（4）：43-49.

（編輯：黃文晉）