無(wú)人機(jī)航拍路面圖像處理的拼接算法研究

周方圓 楊鵬舉

摘 要：道路交通領(lǐng)域的不斷發(fā)展需要足夠清晰和大量的路面圖像作支持。以往在路面圖像獲取和拼接過(guò)程中，由于相似圖片數(shù)量較大，配準(zhǔn)正確率始終無(wú)法有效提升，同時(shí)存在操作時(shí)間較長(zhǎng)、工作效率和質(zhì)量低下的問(wèn)題。在此背景下，針對(duì)航拍路面圖像的拼接算法應(yīng)運(yùn)而生，使得圖像處理變得更加準(zhǔn)確迅速，對(duì)促進(jìn)道路交通領(lǐng)域的發(fā)展具有積極作用。因此，全面分析尺度不變特征變換（Scale-Invariant Feature Transform，SIFT）算法，并闡述其在航拍路面圖像處理中的應(yīng)用效果，以便為相關(guān)從業(yè)者提供一定的參考。

關(guān)鍵詞：無(wú)人機(jī)（UAV）;航拍圖像;路面;圖像拼接;尺度不變特征變換（SIFT）算法

中圖分類(lèi)號(hào)：TP391.41 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1003-5168（2021）28-000-03

Abstract： The continuous development of the field of road traffic needs enough clear and a large number of road images as support. In the past， in the process of road image acquisition and splicing， due to the increase in the number of similar images， the registration accuracy can not be effectively improved. At the same time， the operation time is long， and the work efficiency and quality are low. In this context， the mosaic algorithm for aerial pavement images came into being， which makes the image processing more accurate and rapid， and plays a positive role in promoting the development of road traffic field. This paper makes a comprehensive analysis of SIFT algorithm and expounds its effect in aerial pavement image processing， so as to provide some reference for relevant practitioners.

Keywords： Unmanned Aerial Vehicle（UAV）;aerial images;pavement;image mosaic;Scale-Invariant Feature Transform（SIFT） algorithm

我國(guó)經(jīng)濟(jì)的快速發(fā)展與道路交通建設(shè)的完善密不可分。伴隨我國(guó)道路交通網(wǎng)絡(luò)的基本完善，現(xiàn)階段道路養(yǎng)護(hù)已經(jīng)成為主要工作內(nèi)容。通過(guò)全面檢測(cè)道路病害情況，及時(shí)對(duì)病害進(jìn)行處理，可達(dá)到降低損害的目的。路面檢測(cè)主要應(yīng)用機(jī)器視覺(jué)方式，效果顯著?，F(xiàn)階段的檢測(cè)手段仍然以檢測(cè)車(chē)為主，檢測(cè)過(guò)程容易受到路面狀況的影響，使得檢測(cè)速度和效果無(wú)法達(dá)到預(yù)期。在此背景下，無(wú)人機(jī)以其便捷、高速的優(yōu)點(diǎn)在路面檢測(cè)中被廣泛應(yīng)用，但是漏檢、錯(cuò)檢的情況也時(shí)有發(fā)生。為了有效提升檢測(cè)效率，筆者將尺度不變特征變換（Scale-Invariant Feature Transform，SIFT）算法與稀疏匹配進(jìn)行有機(jī)結(jié)合，以達(dá)到最終目的。

1 SIFT算法

1.1 SIFT算法簡(jiǎn)介

SIFT算法在進(jìn)行特征檢測(cè)時(shí)，先從尺度空間著手，確定關(guān)鍵點(diǎn)位置和尺度，將關(guān)鍵點(diǎn)領(lǐng)域梯度作為其方向特征，實(shí)現(xiàn)算子對(duì)尺度和方向的無(wú)關(guān)性[1]。利用SIFT算法進(jìn)行圖像特征的提取，其可靠匹配適用于同一目標(biāo)物體的不同視角。在特征提取的過(guò)程中，圖像尺寸和旋轉(zhuǎn)角度是靜止不變的，對(duì)光線變化、噪聲以及仿射變化都具有魯棒性。同時(shí)，利用SIFT算法提取的特征點(diǎn)，其獨(dú)特性十分顯著。因此，使用該特征點(diǎn)進(jìn)行圖像匹配的正確率十分可觀。SIFT算法在特征點(diǎn)提取時(shí)的初步工作是進(jìn)行計(jì)算量相對(duì)較大的操作，能夠降低后續(xù)的計(jì)算工作量，進(jìn)而提升計(jì)算效率。

1.2 DOG尺度空間

SIFT特征匹配算法主要包括特征生成和特性向量匹配兩個(gè)階段。一幅圖像在進(jìn)行特征向量生成的過(guò)程中，需要經(jīng)過(guò)以下過(guò)程：首先，進(jìn)行尺度空間極值的檢測(cè)，初步確定關(guān)鍵位置和尺度;其次，對(duì)二者進(jìn)行精確確定，由于DOG算子具有強(qiáng)烈的邊緣響應(yīng)，可通過(guò)擬合三維二次函數(shù)進(jìn)行計(jì)算，同時(shí)去除低對(duì)比度和不穩(wěn)定的邊緣響應(yīng)點(diǎn)，使得匹配穩(wěn)定性和抗噪聲能力得到提升;最后，保障算子的旋轉(zhuǎn)不變形，即在方向參數(shù)確定時(shí)充分利用關(guān)鍵點(diǎn)鄰域像素的梯度方向分布特性[2]。DOG尺度空間如圖1所示。

1.3 尺度空間極值求取

在進(jìn)行尺度空間極值求取時(shí)，需要構(gòu)建圖像尺寸空間函數(shù)。首先，將圖像尺度空間函數(shù)定義為L(zhǎng)（x，y，α），卷積核為高斯函數(shù)，由此可以得出高斯函數(shù)：

使用I（x，y）表示輸入圖像，對(duì)其進(jìn)行卷積，得到：

為了在檢測(cè)過(guò)程中能夠更好地檢查尺度空間中的穩(wěn)定特征，圖像的卷積操作主要利用高斯函數(shù)之差進(jìn)行計(jì)算，最終獲得高斯差分函數(shù)DOG：

通過(guò)上述高斯差分函數(shù)，獲得的圖像特征點(diǎn)最穩(wěn)定[3]。

1.4 特征點(diǎn)位置確定

在進(jìn)行特征點(diǎn)位置確定的過(guò)程中，先要過(guò)濾掉低對(duì)比度的特征點(diǎn)和邊緣處的特征點(diǎn)，最終得到的特征點(diǎn)才具有穩(wěn)定性，再進(jìn)行特征方向的確定，提升圖像匹配率。進(jìn)行低對(duì)比度和邊緣處特征點(diǎn)的過(guò)濾，主要原因是如果將其作為特征點(diǎn)進(jìn)行匹配，會(huì)使得匹配結(jié)果出現(xiàn)一定的誤差，因此需要將其取出，使用相對(duì)穩(wěn)定的特征點(diǎn)進(jìn)行匹配，有效提升結(jié)果的正確率。在特征方向確認(rèn)時(shí)，需要進(jìn)行梯度直方圖的求取，并將其作為重要依據(jù)。

1.5 稀疏匹配

SIFT算法匹配描述向量時(shí)，主要是對(duì)描述向量中的歐氏距離進(jìn)行比較，但是以此進(jìn)行向量匹配產(chǎn)生誤差的概率相對(duì)較大。尤其是在對(duì)路面圖像進(jìn)行比對(duì)時(shí)，圖像的相似區(qū)域十分廣泛，描述向量的相似程度較高，如果僅僅將歐氏距離作為描述向量的判斷依據(jù)，則地點(diǎn)特征匹配的準(zhǔn)確性得不到有效保障[4]。為了有效彌補(bǔ)SIFT算法的這一缺陷，在進(jìn)行描述向量計(jì)算的過(guò)程中使用稀疏表示進(jìn)行計(jì)算。在圖像特征點(diǎn)匹配時(shí)，以稀疏系數(shù)能量譜作為主要依據(jù)。在匹配中，需要以特征點(diǎn)的局部不變描述字進(jìn)行參考詞典的構(gòu)建，計(jì)算字典與信號(hào)之間的關(guān)系，進(jìn)而進(jìn)行同名點(diǎn)的判斷：

式中：X表示稀疏系數(shù)矩陣;Y表示觀測(cè)數(shù)據(jù);D表示字典;x表示待估稀疏向量;λ表示正則參數(shù);k（1≤k<2）表示稀疏度量。稀疏表示是通過(guò)對(duì)各個(gè)樣本之間的比對(duì)操作求取稀疏系數(shù)，計(jì)算出的樣本與信號(hào)的一致性最強(qiáng)。

如果利用描述向量間的歐氏距離進(jìn)行圖像特征點(diǎn)的匹配，主要是對(duì)歐氏距離值進(jìn)行判斷，比對(duì)其數(shù)值是否在標(biāo)準(zhǔn)閾值之內(nèi)。當(dāng)圖像特征相似性較弱時(shí)，該種方式能夠有效保障匹配準(zhǔn)確度。一旦圖像中出現(xiàn)的相似結(jié)構(gòu)數(shù)量巨大，特征點(diǎn)的描述向量和局部信息的相似程度也會(huì)大幅度提升。這時(shí)以歐氏距離作為匹配標(biāo)準(zhǔn)會(huì)增加匹配工作的失誤率，即便匹配完成后對(duì)其進(jìn)行二次檢測(cè)，由于特征點(diǎn)的相似性較強(qiáng)，也不會(huì)對(duì)錯(cuò)誤匹配結(jié)果進(jìn)行校正，最終使得圖像變換關(guān)系錯(cuò)誤，直接影響拼接結(jié)果。

采用稀疏匹配進(jìn)行描述向量的匹配。在字典中，與信號(hào)值進(jìn)行匹配的稀疏系數(shù)是唯一相對(duì)的，且具有稀疏性。在稀疏系數(shù)能量譜中，只有一種表現(xiàn)形式。如果匹配結(jié)果出現(xiàn)錯(cuò)誤，稀疏系數(shù)的能量譜會(huì)展現(xiàn)出不同的表現(xiàn)形式，通過(guò)其表現(xiàn)情況能夠直觀獲取匹配結(jié)果。在特征點(diǎn)的相似程度較強(qiáng)時(shí)，稀疏能量譜會(huì)出現(xiàn)多個(gè)峰值。對(duì)相似點(diǎn)進(jìn)行隔離匹配，能夠有效降低匹配錯(cuò)誤的概率，同時(shí)系數(shù)匹配能夠有效解決由于結(jié)構(gòu)相似而出現(xiàn)匹配失誤的問(wèn)題[5]。

2 圖像重疊融合

2.1 重疊區(qū)確定

應(yīng)用無(wú)人機(jī)進(jìn)行航拍作業(yè)時(shí)，根據(jù)作業(yè)類(lèi)型和應(yīng)用場(chǎng)景的不同，不斷調(diào)整飛機(jī)參數(shù)，包括飛機(jī)運(yùn)行速度、飛行高度以及拍照間隔時(shí)間等。在進(jìn)行圖像特征提取前，需要根據(jù)本次作業(yè)的飛機(jī)飛行參數(shù)，精確計(jì)算相鄰圖像之間的重疊區(qū)域。特征提取工作需要在重疊區(qū)域內(nèi)進(jìn)行，不僅能夠有效縮短特征提取的作業(yè)時(shí)間，而且能夠避免無(wú)效提取的影響。

2.2 圖像融合

完成圖像配準(zhǔn)后，利用空間投影的關(guān)系將準(zhǔn)備拼接的圖像都轉(zhuǎn)換在同一個(gè)坐標(biāo)系中，這樣在圖像融合過(guò)程中能夠有效提升其便捷性。在圖像融合過(guò)程中，要對(duì)航拍圖像的特點(diǎn)進(jìn)行全面考慮。在拼接過(guò)程中，圖像的亮度會(huì)對(duì)實(shí)際拼接結(jié)果產(chǎn)生影響。為了保障在圖像融合后其對(duì)比度不會(huì)明顯下降，降低圖像的可分辨率，在融合的過(guò)程中要采用小波變換。在低頻處進(jìn)行圖像融合，其中細(xì)節(jié)部分融合時(shí)使用距離比作為權(quán)值，所得拼接圖像的視覺(jué)效果更加顯著。在高頻處進(jìn)行圖像融合，融合后選擇保留較大的系數(shù)值。

3 試驗(yàn)與結(jié)果分析

本次研究中，使用大疆無(wú)人機(jī)Mavic2專(zhuān)業(yè)版相機(jī)進(jìn)行圖像采集。該設(shè)備的最大飛行速度是72 km/h，照片尺寸為5 472 px×3 648 px。本次采集的路面環(huán)境為雙向兩車(chē)道，單向車(chē)道寬度為4 m，無(wú)人機(jī)的飛行高度為6 m，檢測(cè)精度可達(dá)到2 mm。每張圖像大約能夠覆蓋的道路面積為50 m2，每張圖片能夠覆蓋的道路裂痕長(zhǎng)度在6 m左右。為了保障拼接后圖像的完整性和清晰性，每次拼接圖像的數(shù)量控制為2張。增加拼接試驗(yàn)，將圖像數(shù)量增加至4張，證明隨著圖像數(shù)量的增加，算法的準(zhǔn)確性并不會(huì)降低。

在對(duì)公路路面圖像進(jìn)行拼接的過(guò)程中，受多方因素的影響，拼接結(jié)果可能會(huì)產(chǎn)生誤差，因此需要進(jìn)行多次試驗(yàn)，以保證結(jié)果的準(zhǔn)確性。本次研究主要對(duì)以下幾種因素進(jìn)行具體說(shuō)明。

①光線因素。在對(duì)路面圖像進(jìn)行采集的過(guò)程中，無(wú)人機(jī)進(jìn)行連續(xù)拍攝，但是每次拍攝光線都在不斷變化，造成相鄰的圖片光亮程度不一致。所以，同一物體會(huì)呈現(xiàn)出不同的表現(xiàn)形式，進(jìn)而使得拼接變得相對(duì)困難。

②物體因素。在對(duì)路面圖像進(jìn)行采集的過(guò)程中，路面會(huì)有車(chē)輛等顯著物體的存在，與背景之間的對(duì)比程度較為明顯。如果采用傳統(tǒng)方式進(jìn)行拼接，會(huì)使拼接后的圖片出現(xiàn)鬼影、錯(cuò)位等情況。

③環(huán)境因素。在對(duì)路面圖像進(jìn)行采集的過(guò)程中，設(shè)備參數(shù)或者采集路面等因素會(huì)使圖像的視角變大，這樣在拼接過(guò)程中難以進(jìn)行精細(xì)化展現(xiàn)。

此外，在對(duì)路面圖像進(jìn)行拼接的過(guò)程中，如果選用4張連續(xù)的圖片進(jìn)行拼接，得到的拼接圖像中路面范圍相對(duì)較大，不能夠有效體現(xiàn)其精準(zhǔn)性。

如果單純采用SIFT算法對(duì)其進(jìn)行拼接，拼接工作能夠順利完成。但是，當(dāng)拼接圖像中光照程度相差較大時(shí)，拼接圖片中會(huì)存在明顯的拼接帶。同時(shí)，隨著拼接頻率的不斷提升，拼接后的圖像質(zhì)量會(huì)下降。當(dāng)圖像視角變化較大時(shí)，其錯(cuò)位現(xiàn)象較為顯著。而使用本文中的算法對(duì)圖像進(jìn)行拼接，在圖像的各個(gè)重疊區(qū)域都分布了配準(zhǔn)特征，拼接后的圖像中沒(méi)有出現(xiàn)拼接帶、鬼影以及錯(cuò)位等情況。即便拼接次數(shù)不斷增加，拼接后的圖片質(zhì)量仍然保持在最初水準(zhǔn)。

本文拼接算法采用圖像配準(zhǔn)正確率和拼接總時(shí)長(zhǎng)作為評(píng)價(jià)指標(biāo)。配準(zhǔn)正確率的計(jì)算公式為：

式中：Nc表示正確匹配點(diǎn)數(shù)對(duì);Ne表示錯(cuò)誤匹配點(diǎn)數(shù)對(duì)。兩張或多張圖像的拼接運(yùn)行時(shí)間為總體耗時(shí)計(jì)算區(qū)間。為了更好地表述配準(zhǔn)正確率和拼接時(shí)間的關(guān)系，對(duì)以上4種情況進(jìn)行拼接試驗(yàn)，具體數(shù)值如表1所示。

通過(guò)表1可知，本文算法與SIFT算法相比，配準(zhǔn)正確率有顯著提升。除去試驗(yàn)3中圖片的視角具有較大變化的情況，其配準(zhǔn)正確率都在94%以上。即便視角變化較大，它的配準(zhǔn)正確率也在87%以上，遠(yuǎn)遠(yuǎn)高于SIFT算法的63%。拼接時(shí)間的結(jié)果顯示，改良后的算法拼接效率明顯提高。

4 結(jié)語(yǔ)

本文以路面圖像的特點(diǎn)為依據(jù)，與無(wú)人機(jī)航拍進(jìn)行有機(jī)結(jié)合，對(duì)傳統(tǒng)SIFT算法進(jìn)行了全面概述，并在其基礎(chǔ)上結(jié)合稀疏匹配和小波變換融合，使得路面圖像拼接算法得到了一定改進(jìn)，并將此種拼接算法應(yīng)用于實(shí)際操作。試驗(yàn)結(jié)果表明，稀疏匹配能夠有效降低匹配失誤的概率，同時(shí)明顯提高了其配準(zhǔn)正確率和拼接效率。對(duì)在路面圖像采集中可能遇見(jiàn)的情況進(jìn)行全方位試驗(yàn)，試驗(yàn)結(jié)果表明，該種算法的穩(wěn)定程度相對(duì)優(yōu)良，不易受到外界因素的影響，能夠高質(zhì)量地完成路面圖像拼接工作，因此在路面圖像拼接中值得推廣。

參考文獻(xiàn)：

[1]石祥濱，賈賀林.基于控制點(diǎn)網(wǎng)格優(yōu)化的航拍圖像拼接算法[J].計(jì)算機(jī)應(yīng)用與軟件，2020（5）：302-308.

[2]邱燕玲.GPU架構(gòu)的航拍艦船圖像拼接算法[J].艦船科學(xué)技術(shù)，2020（6）：82-84.

[3]李振宇，田源，陳方杰，等.基于改進(jìn)ORB和PROSAC的無(wú)人機(jī)航拍圖像拼接算法[J].激光與光電子學(xué)進(jìn)展，2019（23）：91-99.

[4]韓敏，閆闊，秦國(guó)帥.基于改進(jìn)KAZE的無(wú)人機(jī)航拍圖像拼接算法[J].自動(dòng)化學(xué)報(bào)，2019（2）：305-314.

[5]孫世宇，張巖，胡永江，等.改進(jìn)模型估計(jì)的無(wú)人機(jī)偵察視頻快速拼接方法[J].紅外與激光工程，2018（9）：382-390.

3015500338284