面向農(nóng)村公路高分遙感影像道路提取的卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)

馬 驍，張曉征，范文濤，劉柳楊，單 飛，孫 卓

（1.交通運(yùn)輸部科學(xué)研究院 數(shù)字交通實(shí)驗(yàn)室，北京 100029；2.河南交通發(fā)展研究院有限公司，河南 鄭州 450006；3.中國(guó)科學(xué)院 空天信息創(chuàng)新研究院，北京 100094）

0 引言

隨著我國(guó)公路建設(shè)重點(diǎn)向農(nóng)村公路傾斜[1]，利用高分遙感影像分析農(nóng)村地區(qū)路網(wǎng)分布及規(guī)模的需求逐漸增加。多年以來，受路網(wǎng)提取算法性能不足的影響，遙感影像路網(wǎng)提取相關(guān)成果在交通運(yùn)輸行業(yè)未能獲得廣泛應(yīng)用。在此背景下，為進(jìn)一步提升農(nóng)村區(qū)域路網(wǎng)提取精度，有必要針對(duì)契合農(nóng)村公路分布特點(diǎn)與地理環(huán)境的高分遙感影像農(nóng)村路網(wǎng)提取算法展開研究，以使生成的農(nóng)村區(qū)域路網(wǎng)矢量地圖更為準(zhǔn)確。

目前遙感影像路網(wǎng)提取技術(shù)主要有兩大類：一類為傳統(tǒng)方法，如多元數(shù)據(jù)法[2-3]、特定模型法[4-7]、模板匹配法[8-11]等，此類方法在城市范圍內(nèi)能夠獲得較好的識(shí)別效果，但對(duì)于農(nóng)村公路的識(shí)別精度不夠高，究其原因是其無法較好地適應(yīng)農(nóng)村地區(qū)復(fù)雜多變的地形地貌及不規(guī)則的道路走向；另一類是近年蓬勃發(fā)展的深度神經(jīng)網(wǎng)絡(luò)（Deep Neural Network,DNN），其中卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network,CNN）在路網(wǎng)提取、醫(yī)學(xué)圖像分析等圖像語(yǔ)義分割領(lǐng)域取得了較好的效果并引起廣大學(xué)者的關(guān)注。Shelhamer 等[12]提出的全卷積網(wǎng)絡(luò)（Full Convolutional Network,FCN）初步解決了圖像語(yǔ)義分割問題，但存在沒有充分考慮語(yǔ)義間上下文關(guān)系、圖像細(xì)節(jié)丟失等問題。后續(xù)有學(xué)者基于FCN 陸續(xù)提出了U-Net[13],SegNet[14]等網(wǎng)絡(luò)結(jié)構(gòu)，其中：U-Net在較小的樣本量下能取得相對(duì)較好的圖像分割結(jié)果，但增大樣本量不能帶來顯著的性能提升；SegNet 能較好地解決下采樣階段多次池化帶來的位置信息丟失問題。基于CNN與FCN架構(gòu)，國(guó)內(nèi)外學(xué)者陸續(xù)開展了遙感影像道路識(shí)別提取的相關(guān)研究工作，如：Saito等[15]直接使用CNN 識(shí)別路網(wǎng)，驗(yàn)證了CNN 比傳統(tǒng)方法具有更高的識(shí)別精度；Cheng 等[16]將CNN 調(diào)整為兩級(jí)編碼-解碼結(jié)構(gòu)，同時(shí)完成了路網(wǎng)識(shí)別與道路中心線提?。籞hang 等[17]提出將殘差單元（ResNet）和U-Net 相結(jié)合提取影像路網(wǎng)的方法，并取得了較好的道路識(shí)別效果。

雖然CNN 與FCN 架構(gòu)在路網(wǎng)提取領(lǐng)域具有一定的優(yōu)勢(shì)，但二者要實(shí)現(xiàn)較好的提取精度需較大規(guī)模的訓(xùn)練樣本，然而“高分”系列亞米級(jí)衛(wèi)星的農(nóng)村公路遙感影像并無公開數(shù)據(jù)集可供直接使用，需要手工制作訓(xùn)練樣本。受限于人力及資金等因素，樣本量通常難以滿足訓(xùn)練需求，以至于不能表征所有樣本特征，導(dǎo)致網(wǎng)絡(luò)過擬合。一個(gè)可行的技術(shù)路線是基于小樣本需求量架構(gòu)，提升有限樣本量條件下的算法性能。為此，本文將選擇小樣本數(shù)據(jù)集下具有良好性能的U-Net 作為基本架構(gòu)，設(shè)計(jì)跳躍鏈接部分的“全局關(guān)注模塊”（Block of Focusing Globe,BFG）并提出BFG-U-Net架構(gòu)，以提升樣本量較小的情況下典型農(nóng)村地區(qū)的路網(wǎng)識(shí)別精度。

1 農(nóng)村公路遙感影像特征

為了有效識(shí)別并提取高分遙感影像中的農(nóng)村公路，需對(duì)農(nóng)村公路特點(diǎn)進(jìn)行分析。根據(jù)公路行政等級(jí)劃分，農(nóng)村公路是一種普遍建設(shè)于城市區(qū)域外的廣大鄉(xiāng)村地區(qū)的公路類型，主要用于連接鄉(xiāng)（鎮(zhèn)）、建制村，可細(xì)分為縣道、鄉(xiāng)道及村道。這三類道路因建設(shè)技術(shù)等級(jí)要求不同，在高分辨率遙感影像中呈現(xiàn)出不同的特點(diǎn)。

縣鄉(xiāng)道的建設(shè)技術(shù)等級(jí)要求三級(jí)或以上，即雙向兩車道或四車道，路面寬度為7～14m。在高分遙感影像（以星下點(diǎn)分辨率0.8m 左右的高分2號(hào)為例，下同）中，縣鄉(xiāng)道路面約為8～20 個(gè)像元。截至2018年底，我國(guó)除西藏自治區(qū)外絕大部分地區(qū)的農(nóng)村公路（含縣道、鄉(xiāng)道及村道）已實(shí)現(xiàn)鋪裝路面（瀝青混凝土或水泥混凝土路面），縣鄉(xiāng)道在高分遙感影像中具有較為清晰的識(shí)別特征。

村道技術(shù)等級(jí)通常為四級(jí)或以上，單車道通行且路面寬度不小于3.5m。村道路面寬度在高分遙感影像中僅為3～4個(gè)像元，較難清晰顯示，同時(shí)村道的識(shí)別提取還面臨以下困難：

（1）我國(guó)南方地區(qū)植被茂密，村道路面被林木遮蔽的情況較為普遍。除路面被完全遮蔽無法分辨道路位置外，部分情況下路面不可見但依照路側(cè)林木影像印跡仍可清晰分辨道路走向，因此算法應(yīng)當(dāng)具備識(shí)別與提取該類路面的能力。

（2）村道通常穿插于耕地區(qū)域間，遙感影像中部分耕地地表與相鄰路面顏色接近，導(dǎo)致路面邊緣模糊，提取算法在該類路段的識(shí)別精度將受到較大影響。

（3）截至目前部分省級(jí)交通運(yùn)輸管理部門已先后啟動(dòng)或完成通村入組道路工程建設(shè)，而通村入組道路主要依托農(nóng)村地區(qū)已有的天然道路網(wǎng)。為配合相關(guān)建設(shè)任務(wù)需求，遙感影像也需要將大量農(nóng)村公路以外的未鋪裝道路納入識(shí)別與提取范圍，這對(duì)算法就不同路面類型的識(shí)別提取能力提出了較高要求。

綜上所述，高分遙感影像中對(duì)于村道的識(shí)別存在較多技術(shù)難點(diǎn)，同時(shí)村道與城市道路存在較大差異，這均使得面向農(nóng)村公路尤其是村道針對(duì)性地設(shè)計(jì)識(shí)別提取算法很有必要。為了解決上述問題，算法應(yīng)重點(diǎn)加強(qiáng)對(duì)于高分遙感影像瓦片的全局特征感受能力，提供更多的上下文語(yǔ)義關(guān)系，同時(shí)提升魯棒性，以確保在路面邊緣位置受其他地物擾動(dòng)的情況下仍能夠?qū)β访孢M(jìn)行有效識(shí)別。

2 BFG-U-Net架構(gòu)

2.1 U-Net

U-Net 是基于FCN 架構(gòu)的改進(jìn)，屬于典型的“編碼-解碼”結(jié)構(gòu)。網(wǎng)絡(luò)分為上采樣和下采樣兩個(gè)階段，與FCN相比，U-Net沒有采用全連接層，但在上采樣階段保留了大量通道，使上下文信息更容易向高分辨率傳播。U-Net 的一個(gè)顯著特點(diǎn)是采用了“跳躍鏈接”，在上采樣過程中直接將對(duì)應(yīng)下采樣階段的圖像特征進(jìn)行維度拼接，該環(huán)節(jié)使U-Net 更易捕捉上下文信息。U-Net 的編碼路徑與解碼路徑對(duì)稱，呈U形，如圖1所示。

圖1 U-Net神經(jīng)網(wǎng)絡(luò)架構(gòu)

2.2 BFG-U-Net架構(gòu)

標(biāo)準(zhǔn)U-Net 架構(gòu)進(jìn)行4 次下采樣與4 次上采樣，能夠在網(wǎng)絡(luò)深度、參數(shù)數(shù)量等方面保持較好的平衡。不過，該架構(gòu)的跳躍鏈接僅使用維度拼接的方法，并不能為上采樣階段提供理想的上下文語(yǔ)義關(guān)聯(lián)，導(dǎo)致分割邊緣的微小擾動(dòng)會(huì)對(duì)分割精度產(chǎn)生影響。

為了解決上述問題，進(jìn)一步提升上下文語(yǔ)義的關(guān)聯(lián)性，分解出更詳細(xì)的語(yǔ)義特征，本文提出BFG-U-Net架構(gòu)（如圖2所示），即在跳躍鏈接階段添加關(guān)注于全局圖像特征的BFG 模塊。BFG 模塊的加入能夠進(jìn)一步提取每個(gè)下采樣層的特征圖，為對(duì)應(yīng)上采樣提供更為豐富的上下文語(yǔ)義關(guān)系。圖2 中左側(cè)F0～F4 模塊對(duì)應(yīng)U-Net 的卷積操作，右側(cè)F1～F4 模塊對(duì)應(yīng)U-Net 的反卷積操作。上下行箭頭對(duì)應(yīng)U-Net的最大池化及上采樣操作。

圖2 BFG-U-Net神經(jīng)網(wǎng)絡(luò)架構(gòu)

BFG 模塊放置于第m級(jí)下采樣與對(duì)應(yīng)上采樣階段的跳躍鏈接的中間環(huán)節(jié)，由兩個(gè)平行的卷積層(Conv_ma,Conv_mb)及原下采樣特征圖Gm構(gòu)成。BFG 模塊所在層級(jí)與對(duì)應(yīng)卷積核尺寸之間存在線性關(guān)系，即層級(jí)越高，卷積核越大，具體為：

式（1）中：km_a,km_b表示Conv_ma,Conv_mb卷積層相互關(guān)聯(lián)的卷積核大?。籱表示BFG 模塊所在的層級(jí)。

由圖2 可見，對(duì)于具有m個(gè)采樣層的BFGU-Net 而言，共 包含m-1 個(gè)BFG 模 塊。1 個(gè)標(biāo) 準(zhǔn)結(jié)構(gòu)的BFG-U-Net 共具備3 個(gè)BFG 模塊。Conv_ma與Conv_mb層均采用ReLU 激活函數(shù)，并與圖Gm在輸出階段進(jìn)行維度拼接，拼接矩陣Cm在解碼階段的上采樣操作完成后與m層上采樣值F_m再次進(jìn)行維度拼接。BFG模塊如圖3所示。

圖3 BFG模塊結(jié)構(gòu)

所有的BFG 模塊共包含6 個(gè)卷積層。當(dāng)BFG模塊所在層級(jí)分別為2,3,4（即m=2,3,4）時(shí)，BFG-U-Net 結(jié)構(gòu)中每個(gè)卷積層的卷積核大小分別為：

BFG 模塊的維度拼接及BFG 模塊輸出結(jié)果Cm同m層上采樣維度拼接均采用Concatenate 函數(shù)。為使輸出特征圖尺寸與輸入相一致，BFG 模塊的卷積層均采用Padding操作。

BFG-U-Net 解碼階段沿用U-Net 的原有設(shè)計(jì)，上采樣采用Upsampling 函數(shù)。網(wǎng)絡(luò)輸出端采用1×1 卷積核實(shí)現(xiàn)圖像融合操作，同時(shí)為了將輸出值限制在0～1 之間，該卷積層的激活函數(shù)采用Sigmoid。

2.3 二值化閾值濾波

BFG-U-Net 按像素依次輸出圖像的歸一化數(shù)值作為預(yù)測(cè)結(jié)果，每個(gè)像素值在0～1 之間，經(jīng)數(shù)據(jù)空間拉伸為0～255（0～0xFF）色彩值。在拉伸操作前，設(shè)置閾值對(duì)像素值進(jìn)行二值化操作以濾除部分噪聲。根據(jù)經(jīng)驗(yàn)，將閾值設(shè)置為0.94，小于等于該值的認(rèn)定為道路路面像素；大于該值的則認(rèn)定為非道路路面像素。

3 實(shí)驗(yàn)與驗(yàn)證

3.1 實(shí)驗(yàn)方案

本文基于BFG-U-Net 架構(gòu)模型設(shè)計(jì)實(shí)驗(yàn)，以評(píng)估算法性能（見圖4）。

圖4 實(shí)驗(yàn)方案

原始影像瓦片與對(duì)應(yīng)位置人工標(biāo)注的影像標(biāo)簽（Ground Truth,GT）成對(duì)配置，共同構(gòu)成樣本數(shù)據(jù)集。BFG-U-Net 采用與U-Net 相同的二分類交叉熵作為損失函數(shù)L，如式（3）所示：

式（3）中：設(shè)(xi,yi)為成組配置的訓(xùn)練樣本，其中xi為原始影像瓦片，yi為人工標(biāo)注的與xi逐條對(duì)應(yīng)的影像標(biāo)簽；N為樣本量；ai為xi對(duì)應(yīng)的BFG-U-Net 預(yù)測(cè)值。通過不斷減少ai與yi的差值，使預(yù)測(cè)輸出趨向于訓(xùn)練目標(biāo)。

Adam 因具有收斂速度快、計(jì)算效率高等優(yōu)點(diǎn)，故選擇其作為BFG-U-Net 的優(yōu)化器。優(yōu)化器學(xué)習(xí)率設(shè)置為10-4，批處理樣本大小（batchsize）設(shè)置為4，迭代周期（epoch）設(shè)置為200。

3.2 實(shí)驗(yàn)環(huán)境與條件

本文所用數(shù)據(jù)集共包含訓(xùn)練樣本2 200 組，均為來自于交通運(yùn)輸部高分交通數(shù)據(jù)中心及其他數(shù)據(jù)交換渠道[18]的亞米級(jí)高分遙感衛(wèi)星影像數(shù)據(jù)。將影像分幅制作為影像瓦片，主要分布于華東、華南及西南農(nóng)村地區(qū)，以保證算法對(duì)不同區(qū)域的適用性。單幅瓦片覆蓋范圍為400m×400m，尺寸拉伸為640×640 像素。人工選取數(shù)據(jù)集原始影像瓦片并標(biāo)注對(duì)應(yīng)標(biāo)簽。其中95%（共計(jì)2 090組）構(gòu)成訓(xùn)練集，5%（共計(jì)110 組）構(gòu)成驗(yàn)證集，訓(xùn)練集與驗(yàn)證集圖像無重復(fù)。在數(shù)據(jù)集外另行選擇了15 幅瓦片并進(jìn)行人工標(biāo)注作為測(cè)試集，以保證性能測(cè)試的獨(dú)立性。數(shù)據(jù)集的地形選擇較為廣泛，確保能夠覆蓋華東、華南、西南的典型地貌。

實(shí)驗(yàn)環(huán)境基于TensorFlow-GPU，采用Python 3.6進(jìn)行開發(fā)；計(jì)算設(shè)備為NVIDIA Tesla V100。

3.3 算法性能評(píng)價(jià)指標(biāo)

本文采用圖像分割領(lǐng)域常用的交并比（Inter?section over Union,IoU）作為算法性能的評(píng)價(jià)指標(biāo)。IoU 表示預(yù)測(cè)圖像與標(biāo)簽的像素交集占預(yù)測(cè)圖像與標(biāo)簽像素并集的比值。IoU 可通過統(tǒng)計(jì)像素i的值獲得，其中“邏輯和”操作以“∩”（交集）表示，“邏輯或”操作以“∪”（并集）表示，具體如下：

式（4）中：ai,yi意義同前。

3.4 實(shí)驗(yàn)結(jié)果及性能比較

除用本文算法外，同時(shí)使用相同數(shù)據(jù)集的U-Net 及Res-U-Net 進(jìn)行訓(xùn)練，且訓(xùn)練集、驗(yàn)證集比例與BFG-U-Net 保持一致，同為95%（2090組）與5%（110 組），分辨率為640×640 像素。訓(xùn)練完成后，BFG-U-Net,U-Net 與Res-U-Net 采用相同的測(cè)試集進(jìn)行道路識(shí)別和識(shí)別結(jié)果評(píng)估，并與真實(shí)值（Ground Truth）進(jìn)行比較。測(cè)試集為另行選擇并人工標(biāo)注的15組瓦片。

為能夠清晰地反映BFG-U-Net 相對(duì)其他網(wǎng)絡(luò)交并比的變化情況，本文以IoU（BFG-U-Net）為基準(zhǔn)值計(jì)算了交并比的相對(duì)值，即計(jì)算了BFG-U-Net,Res-U-Net 及標(biāo)準(zhǔn)U-Net 交并比的相對(duì)變化值（見表1）。

表1 算法相對(duì)交并比

由表1 可見，BFG-U-Net 的交并比較之典型U-Net有所提升，較Res-U-Net有大幅提升。

測(cè)試集輸出經(jīng)二值閾值濾波并進(jìn)行空間拉伸所得結(jié)果如圖5 所示，受篇幅限制選取其中5 組進(jìn)行對(duì)比說明。

圖5 測(cè)試數(shù)據(jù)提取結(jié)果對(duì)比

（1）第1 組測(cè)試數(shù)據(jù)所在位置為華東地區(qū)，影像中道路路面清晰，但存在一條未鋪裝路面的支線道路。在通村入組道路建設(shè)中部分路面并非硬化路面，因此算法若能夠?qū)ζ湔_識(shí)別，則面對(duì)農(nóng)村地區(qū)復(fù)雜路面時(shí)也能夠達(dá)到較高的識(shí)別精度。實(shí)驗(yàn)表明，3 種算法均能識(shí)別主干道路，但Res-U-Net 僅能提取道路中心線，無法精確分離路面，從而無法滿足交通運(yùn)輸主管部門掌握路面寬度的業(yè)務(wù)需求。BFG-U-Net 對(duì)主干道路路面識(shí)別的連續(xù)性以及對(duì)未鋪裝支線道路的識(shí)別比例均高于U-Net。

（2）第2 組與第3 組測(cè)試在秋季的西南部山區(qū)進(jìn)行，地表顏色較夏季發(fā)生較大變化，同時(shí)浮云陰影導(dǎo)致同一路段的路面發(fā)生明暗變化?？梢钥闯?，Res-U-Net 對(duì)地形地貌的變化基本無法適應(yīng)，識(shí)別精度較U-Net 與BFG-U-Net 大幅降低；U-Net 具備一定的適應(yīng)能力，但對(duì)于路面明暗變化較為強(qiáng)烈的路段，仍有部分路面無法正確識(shí)別，導(dǎo)致路面中斷。相比而言，BFG-U-Net 在該區(qū)域仍然保持了較為理想的性能，僅有一處因道路急轉(zhuǎn)彎且跨越不同地貌、明暗同時(shí)發(fā)生變化而產(chǎn)生路面中斷，其余地區(qū)均保持連續(xù)。

（3）第4 組與第5 組位于華南平原與微丘地區(qū)，路面情況相對(duì)復(fù)雜：影像中部分路面被植被遮擋但仍能夠判斷道路走向；部分路段因穿越耕地間裸露地表，導(dǎo)致影像中路面與路側(cè)裸露地表顏色過于接近，路面邊緣不清晰。實(shí)驗(yàn)表明，Res-U-Net 僅能識(shí)別出清晰可見的路面，其他路段基本無法識(shí)別；U-Net 在路面被遮擋但仍可分辨走向的情況下可以識(shí)別出路面，但受裸露地表干擾，對(duì)穿越裸露地表區(qū)域的路段無法有效識(shí)別；BFG-U-Net 在林木遮蔽較為嚴(yán)重的路段仍能有效連續(xù)識(shí)別路面，同時(shí)裸露地表對(duì)道路識(shí)別精度的影響也相對(duì)較小。

經(jīng)對(duì)比分析發(fā)現(xiàn)，交并比的提升并不能完全反映BFG-U-Net 的性能特點(diǎn)，詳細(xì)分析測(cè)試結(jié)果發(fā)現(xiàn)，BFG 模塊提供了更為清晰連續(xù)的上下文語(yǔ)義，對(duì)路側(cè)地物產(chǎn)生的擾動(dòng)具有一定的魯棒性，對(duì)路面具有更強(qiáng)的感受能力。相對(duì)其他網(wǎng)絡(luò)，BFG-U-Net 能更有效地識(shí)別農(nóng)村地區(qū)的硬化路面，產(chǎn)生的中斷相對(duì)較少，同時(shí)對(duì)通村入路組建設(shè)所需的未鋪裝道路也有一定的識(shí)別能力。不過，BFG-U-Net 也存在一定的不足，主要體現(xiàn)在對(duì)地物邊緣的變化過于敏感，導(dǎo)致地表顏色變化的邊緣、短距離裸露的地表也被零星識(shí)別，加大了后期數(shù)據(jù)處理與優(yōu)化的復(fù)雜度。

3.5 識(shí)別結(jié)果可用性驗(yàn)證

為驗(yàn)證算法的實(shí)用性，對(duì)指定區(qū)域分瓦片識(shí)別并提取路網(wǎng)后進(jìn)行了再拼接，選取河南省駐馬店市行政區(qū)劃內(nèi)部分農(nóng)村區(qū)域來測(cè)試算法在不同地域的通用性。首先，將該區(qū)域已識(shí)別瓦片數(shù)據(jù)導(dǎo)入ArcGIS Desktop，調(diào)用相應(yīng)的工具對(duì)提取結(jié)果進(jìn)行矢量化。然后，基于ArcGIS Engine 對(duì)每個(gè)瓦片生成的矢量路網(wǎng)進(jìn)行銜接，形成駐馬店市高分遙感影像路網(wǎng)提取矢量圖，部分區(qū)域截圖如圖6 所示?？梢钥闯?，BFG-U-Net 在一定程度上可以有效識(shí)別該區(qū)域內(nèi)的主要道路與良好可見的村內(nèi)巷道，說明在用于農(nóng)村地區(qū)矢量路網(wǎng)地圖構(gòu)建時(shí)，算法對(duì)道路的識(shí)別提取較為可靠，具有一定的實(shí)用性。

圖6 駐馬店市農(nóng)村地區(qū)矢量路網(wǎng)提取結(jié)果

4 結(jié)語(yǔ)

本文針對(duì)農(nóng)村地區(qū)復(fù)雜的道路情況，研究了一種基于深度神經(jīng)網(wǎng)絡(luò)的農(nóng)村公路高分遙感影像提取算法，設(shè)計(jì)了編解碼結(jié)構(gòu)間的跳躍鏈接模塊，為特征圖提供了更為詳細(xì)的全局信息與更為清晰的路線上下文語(yǔ)義關(guān)系。實(shí)驗(yàn)表明，該算法能夠在一定程度上降低農(nóng)村地區(qū)常見的路面林木遮蔽、路面邊緣不清晰等異常干擾對(duì)識(shí)別精度的影響。不過，該算法對(duì)地表變化較為敏感，實(shí)驗(yàn)中產(chǎn)生了少量誤識(shí)別小斑點(diǎn)，需要在后期處理過程中予以剔除。未來將在此基礎(chǔ)上，進(jìn)一步提升算法性能，研究路網(wǎng)的后期優(yōu)化技術(shù)，以提升識(shí)別精度，為農(nóng)村公路建設(shè)管理提供更為精確的路網(wǎng)基礎(chǔ)數(shù)據(jù)。