張慶永 楊旭東

摘 要：由于傳統(tǒng)的同步定位與建圖（simultaneous localization and mapping，SLAM）中有很強的靜態(tài)剛性假設，故系統(tǒng)定位精度和魯棒性容易受到環(huán)境中動態(tài)對象的干擾。針對這種現象，提出一種在室內動態(tài)環(huán)境下基于深度學習的視覺SLAM算法?；贠RB-SLAM2進行改進，在SLAM前端加入多視角幾何，并與YOLOv5s目標檢測算法進行融合，最后對處理后的靜態(tài)特征點進行幀間匹配。實驗使用TUM數據集進行測試，結果顯示：SLAM算法結合多視角幾何、目標檢測后，系統(tǒng)的絕對位姿估計精度在高動態(tài)環(huán)境中相較于ORB-SLAM2有明顯提高。與其他SLAM算法的定位精度相比，改進算法仍有不同程度的改善。

關鍵詞：多視角幾何；目標檢測；同步定位與建圖；動態(tài)環(huán)境

中圖分類號：TP391.9

文獻標志碼：A

同步定位與建圖（simultaneous localization and mapping，SLAM）是指機器人在未知環(huán)境下，通過自身搭配的傳感器對自身位姿進行估計并構建環(huán)境地圖。該技術被認為是機器人執(zhí)行定位、導航等自主化行為的重要技術［1］。

目前，視覺SLAM根據使用方法可分為兩種：以FAST角點為特征提取并以BRIEF描述子作為身份信息匹配的特征點法，可進行稀疏點云建圖；以圖像灰度值信息來直接判斷相機運動的直接法，可進行稠密點云建圖，但具有一定的灰度不變性假設。ORB-SLAM2［2］被認為是最完整的視覺SLAM框架之一，同時也是特征點法的代表，但其在高動態(tài)工作環(huán)境下效果不盡人意，導致SLAM系統(tǒng)在實際場景中的適用性不高。直接法的實現基于灰度不變的假設，但環(huán)境中的光線時常變化，假設很難完全成立，因此基于直接法的SLAM系統(tǒng)魯棒性較差。在室內動態(tài)環(huán)境中，無規(guī)律變化的運動物體上提取的特征點會嚴重影響相機位姿評估的準確性。ENGEL等［3］提出的LSD-SLAM利用灰度值來實現定位并構建半稠密點云建圖，基于稀疏直接法的DSO-SLAM［4］則在魯棒性、精度和速度上都較好于LSD-SLAM，但其不包含回環(huán)檢測功能，是一個不完整的SLAM算法。

隨著深度學習的快速發(fā)展，基于深度學習的室內動態(tài)場景視覺SLAM逐漸受到人們的關注［5］。YU等［6］基于ORB-SLAM2的視覺系統(tǒng)，與SegNet［7］語義分割網絡融合提出了DS-SLAM。該系統(tǒng)消除了環(huán)境中運動對象的影響，極大程度上提高了相機的定位精度，并建立了八叉樹語義地圖。BESCOS等［8］提出的DynaSLAM將實例分割網絡與多視角幾何結合，實現了動態(tài)特征點的去除以及背景修復的功能。WU等［9］設計了一個Darknet19-YOLOv3 的輕量級目標檢測網絡，采用低延遲骨干網加速，將物體檢測和幾何約束結合提高了魯棒性，但是僅利用了動態(tài)信息，未結合其他靜態(tài)信息。高逸等［10］基于YOLOv5s目標檢測網絡提取動態(tài)特征點，并結合幾何約束剔除其他潛在動態(tài)特征點。CHEN等［11］提出一種將目標監(jiān)測網絡與傳統(tǒng)單目結合的SLAM算法，框選出環(huán)境中的動態(tài)物體并刪除框內特征點，起到了去除動態(tài)特征點的效果，但因框體過大而剔除過多的有效特征點，定位精度下降。WEN等［12］提出一種新的SLAM方法，對每一個關鍵點分配魯棒權重，利用Mask R-CNN［13］檢測環(huán)境中的動態(tài)物體并為每個像素點創(chuàng)建標簽來建立語義地圖，實現分割動態(tài)對象的目的。文獻［14］提出了一種基于實例分割和多視角幾何的動態(tài)視覺SLAM框架。房立金等［15］提出一種利用深度學習提高定位精度的視覺SLAM方法，通過光流法與實例分割網絡的結合，來達到去除動態(tài)特征點的效果。

以上國內外學者的研究都融合了深度學習和純幾何的動態(tài)檢測算法，但實例分割對硬件性能要求較高，使用目標檢測會遺漏其他先驗信息。為了確保SLAM系統(tǒng)能夠適應復雜多變的室內動態(tài)環(huán)境，本文提出了一種基于深度學習和多視角幾何的SLAM框架，對YOLOv5目標檢測框內物體進行動靜態(tài)對象區(qū)分，并結合多視角幾何去除干擾特征點。改進后的系統(tǒng)于TUM數據集上進行仿真實驗，結果與ORB-SLAM2以及其他開源的優(yōu)秀算法進行對比，驗證了理論的可行性。

1 系統(tǒng)框架

1.1 ORB-SLAM2系統(tǒng)

ORB-SLAM2是目前應用較廣的一套完整的開源SLAM方案。它主要由跟蹤（Tracking）、局部建圖（Local mapping）和回環(huán)檢測（Loop closing）3個線程組成，如圖1所示。跟蹤線程對傳入系統(tǒng)的每一幀提取ORB特征點并建立描述子匹配，以此推測幀間位姿。局部建圖線程將上一個線程產生的關鍵幀插入，遍歷后擇優(yōu)建圖?；丨h(huán)檢測線程判斷是否產生回環(huán)并融合校正。

1.2 改進的SLAM系統(tǒng)

對于傳統(tǒng)的跟蹤線程中，動態(tài)對象上提取的ORB特征點會在匹配位姿時不斷給系統(tǒng)增加累積誤差，最終導致位姿評估精度降低甚至定位失敗。為了降低動態(tài)物體對系統(tǒng)的干擾，影響系統(tǒng)定位精度的問題，本文對ORB-SLAM2的跟蹤線程進行改進，增加了目標檢測模塊和多視角幾何，如圖2所示。在前端新增一個檢測線程，跟蹤與檢測線程信息共享。首先，當圖像幀傳入系統(tǒng)后，輸入跟蹤與檢測線程。跟蹤線程對圖像提取ORB特征點，檢測線程根據先驗信息識別對象（本文主要識別屏幕、椅子、人），計算各個類別的框體位置并傳回跟蹤線程，跟蹤線程根據傳回的框體信息和類別編號劃分動靜態(tài)框，下文通過動靜框結合的策略判斷動態(tài)特征點。其次，使用多視角幾何算法，根據當前幀與關鍵幀的關鍵點進行計算，通過投影深度的變化大小來判斷動態(tài)特征點。再次，將目標檢測和多視角幾何判定的動態(tài)特征點去除，對剩下的靜態(tài)點進行特征匹配來估計位姿。

1.3 YOLOv5目標檢測網絡

YOLO是一種基于神經網絡的對象識別和定位算法，運行速度快且可以運用于實時系統(tǒng)，是目前應用最為廣泛的單階段目標檢測算法之一［16］。YOLOv5版本包含YOLOv5n、YOLOv5s、YOLOv5m、YOLOv5l、YOLO5x這5個模型。從YOLOv5n到YOLO5x，YOLOv5模型的檢測精度逐漸上升，檢測速度逐漸下降。各版本之間網絡架構基本相同，模型的主要區(qū)別是depth_multiple和width_multiple，通過調節(jié)這2個參數來控制網絡的深度和寬度。

與之前發(fā)布的YOLOv3［17］、YOLOv4［18］相比，YOLOv5有以下幾點改進：訓練模型階段進行了Mosaic數據增強、自適應anchor和letterbox的優(yōu)化；Backbone層融合了Focus結構和CSP結構；Neck網絡添加了FPN+PAN結構；Head輸出層針對損失函數GIOU_Loss以及預測框篩選的GIOU_nms進行了改進。

因YOLOv5s在精度和速度上取得較好的平衡，本文選擇使用較廣的YOLOv5s網絡進行動態(tài)目標檢測。相比于YOLOv4，YOLOv5s大小僅為27 MiB，推理速度快，滿足視覺SLAM系統(tǒng)的實時檢測需求。

YOLOv5檢測框的數據結構以（X， Y， W， H， class， confidence）格式輸出，其分別代表檢測框中心點的X坐標、Y坐標，框的寬度、高度，以及類別和置信度。為了方便在SLAM系統(tǒng)中讀取，我們將前4個位置信息轉化成原圖像下的坐標，轉換公式如下：

X1=（X－W2）×640

X2=（X+W2）×640

Y1=（Y+H2）×480

Y2=（Y－H2）×480 （1）

式中：（X1，Y1）、（X2，Y2）分別為檢測框的左上角和右下角坐標；640和480分別為圖片的寬和高。

本文根據類別來定義動靜框，對人的檢測框設為動態(tài)框，對其他物體暫定為靜態(tài)框。跟蹤線程提取ORB特征點后收到來自YOLOv5的檢測數據，接著遍歷框內的特征點，根據框的不同定義不同的特征點。圖3是特征點示意圖。當2框重疊時，判斷特征點是否在動態(tài)框內且在靜態(tài)框外，滿足則將其定義為動態(tài)特征點，不滿足則為靜態(tài)特征點。

以TUM數據集為例，室內動態(tài)場景中除人之外還有很多靜態(tài)物體，如：桌子、電腦等，椅子則是潛在運動物體，它跟隨人的狀態(tài)變化而變化。如果單一地去除人像目標檢測框中的特征點，則容易因為特征點過少而跟蹤失敗，故采取動靜框結合的策略提取動態(tài)特征點。提取的動態(tài)特征點去除后的效果如圖4所示。由圖4可見：在人體目標檢測框中的ORB特征點并沒有全部刪除，因為檢測框中的物體并不全是動態(tài)對象，還有諸如電腦屏幕、主機等其他靜態(tài)物體，因此，動態(tài)物體檢測框內的靜態(tài)物體檢測框中的特征點依然保留。

1.4 基于多視角幾何的動態(tài)物體判別方法

對于每一個傳入系統(tǒng)的輸入幀，選擇5個之前和輸入幀有最高重合度的關鍵幀，其中，重合度是由每個關鍵幀和傳入系統(tǒng)的新一幀之間的距離和旋轉來決定。圖5是基于多視角幾何的動態(tài)點檢測算法。如圖5所示，我們將先前關鍵幀中的每個關鍵點都投影到當前幀，得到關鍵點p′和它們的投影深度dproj，d′是當前幀中關鍵點的深度，每個關鍵點對應的3D點是P。計算p和p′反投影之間的視差角度α。深度的重投影誤差Δd=dproj－d′。

如果視差角α>30°，則認為該點有可能是靜態(tài)點出現遮擋情況，在之后的進程中將會被忽略;如果視差角α<30°且△d>τd時，關鍵點p′就會被視為動態(tài)物體。其中，τd為深度閾值。為了有一個好的精度和召回率，通過最大化0.7×Precision+0.3×Recall ［6］，可以將τd設定為0.4。

使用多視角幾何時，系統(tǒng)從當前幀相近的關鍵幀中抽取特征點，當獲得的投影深度與其實際深度之差大于τd時，則判定特征點為動態(tài)。同時對位于動態(tài)物體邊界上被標記為動態(tài)的關鍵點進行判定，若該關鍵點被設定為動態(tài)，但在深度圖中其周圍區(qū)域存在很大的方差，則更改標簽為靜態(tài)。最后，將目標檢測得出的動態(tài)標簽點與多視角幾何判定的動態(tài)特征點剔除。圖6為多視角幾何動態(tài)檢測效果，動態(tài)特征點已被剔除。

目標檢測雖能迅速地找到動態(tài)對象，但有些物體本身是靜態(tài)的，只有當人接觸并使用的時候才變?yōu)閯討B(tài)，如數據集中的椅子。我們不能直接把椅子作為動態(tài)對象，因為這樣會失去很多它靜態(tài)時的有用的特征點。使用多視角幾何時可以有效地根據椅子的運動狀態(tài)來去除特征點，但是僅僅使用多視角幾何也并不合適。當人運動到隔板后時，多視角幾何也不能對其覆蓋掩膜，動態(tài)特征點仍然存在。圖7是目標檢測融合多視角幾何的效果。由圖7可以看出：（a）圖右邊椅子上還有零散的特征點分布；（b）圖人體身上覆蓋掩膜，這是人在坐下的過程中拉動或者推動椅子，導致椅子由靜態(tài)物體轉變成為一個動態(tài)物體；（c）圖椅子上的特征點已經被去除了。

2 實驗與建圖

本文主要對TUM RGB-D公開數據集［19］中的3個高動態(tài)圖像序列walking_xyz 、walking_halfsphere 和walking_static進行測試對比。高精度捕獲系統(tǒng)和慣性測量系統(tǒng)實時獲得的實際數據集中軌跡可以看作是相機實際位置的數據，因此研究視覺SLAM的研究人員大多將該數據集作為評價視覺SLAM算法的標準數據集。

一般評估SLAM算法會從時耗、復雜度、精度等多個方面進行評價，其中對精度的評估往往是最受關注的。絕對軌跡誤差和相對軌跡誤差是精度評價過程中使用的2個精度指標。本文使用均方根誤差（root mean square error，RMSE） ERMS和 標準偏差（standard deviation，SD）DS作為評估這2個指標的參數。均方根誤差是用來衡量觀測值與真實值之間的偏差，由于容易受到較大或偶發(fā)錯誤的影響，所以能更好地反映系統(tǒng)的魯棒性。標準差是用來衡量估計位姿相比于真實軌跡的離散程度，可以反映系統(tǒng)的穩(wěn)定性［20］。

本文算法在高動態(tài)環(huán)境中的3個數據集上進行仿真實驗，并使用evo工具將本文算法與ORB-SLAM2估計的位姿軌跡與數據集給出的真實軌跡圖groundtruth.txt進行對比。對比時在平移、旋轉、尺度縮放3個維度上對齊。本文算法相較于ORB-SLAM2的提升程度的計算如式（2）所示，以此直觀地表達優(yōu)化效果。

γ=α-βα×100%（2）

式中：γ為改進程度；α為ORB-SLAM2算法的結果數據；β為本文算法的結果數據。

2.1 實驗

圖8、圖9分別是ORB-SLAM2與本文算法在walking_xyz、walking_halfsphere 數據集上評估的相機軌跡與真實軌跡的對比和誤差分析。圖中虛線代表真實軌跡，實線代表ORB-SLAM2、本文算法的相機評估軌跡。絕對軌跡誤差（absolute trajectory error， ATE）記作EAT。從圖8和圖9的（a）、（b）圖可以看出：本文算法的軌跡圖與真實軌跡十分相近，直觀地表現了本文算法的準確性。從圖8和圖9的（c）、（d）圖可以看出：對比于未改進時的算法，本文算法的各類誤差值有顯著減小。

為驗證實驗設計的有效性，在TUM數據集上進行消融實驗，以ORB-SLAM2為基礎組，分別測試基礎組+YOLOv5s（ORB+YOLO）和基礎組+多視角幾何（ORB+Multiview）以及本文算法，對比結果如表1所示。表1數據顯示本文算法的效果更優(yōu)秀。

2.2 稠密點云建圖

相較于ORB-SLAM2的稀疏特征點地圖，去除動態(tài)對象之后的稠密點云地圖更能直觀地表現原始的室內環(huán)境。本文剔除關鍵幀中的動態(tài)區(qū)域，包括動態(tài)檢測框及覆蓋的掩膜部分。根據剩下靜態(tài)圖像的顏色和深度信息可以方便計算RGB點云，利用精確的估計位姿可以更好地拼接點云，簡單的點云相加即可獲得精確的稠密全局點云地圖。walking_static剔除動態(tài)對象前后的稠密點云地圖展示了建圖效果，如圖10所示。

3 結果分析

ORB-SLAM2與本文算法的絕對軌跡誤差對比見表2。由表2可以看出：在高動態(tài)環(huán)境下，對于3個walking類數據集，本文算法相較于ORB-SLAM2算法，RMSE平均提升率高達83.02%，SD平均提升率高達86.16%。在低動態(tài)環(huán)境下，對于2個sitting數據集，RMSE和SD的平均提升率在30%以內，改善效果不理想。此類數據集中動態(tài)對象移動較小，在低動態(tài)場景中大部分時候沒有起到很好的掩膜作用，多視角幾何的效果不突出，故單純地去除人像的特征點效果并不明顯。

表3是ORB-SLAM2與本文算法在不同場景下相對位姿平移誤差的對比。由表3可以看出：在高動態(tài)環(huán)境下，相較于ORB-SLAM2算法，本文算法的RMSE平均提升率為63.61%，SD平均提升率為71.60%。在低動態(tài)環(huán)境下，改善效果不理想。

表4是ORB-SLAM2與本文算法的相對軌跡旋轉誤差的對比。由表4可以看出：在高動態(tài)環(huán)境下，RMSE的平均提升率為57.81%，SD的平均提升率為63.54%。在低動態(tài)環(huán)境下，提升效果并不顯著。由此可見，本文算法在高動態(tài)場景下有著較好的表現，但對于低動態(tài)環(huán)境下的改善不明顯。

近年來國內學者提出了使用深度學習和純幾何方法融合的優(yōu)秀案例［10，14］，為了進一步驗證算法的可靠性，將本文算法與近年國內外動態(tài)視覺SLAM算法進行對比，結果如表5所示。表5數據顯示，本文算法在高動態(tài)場景下也具有較為可觀的定位精度，證實了本文算法的可靠性。

4 結語

本文提出了一種基于深度學習的視覺SLAM，對于現有的視覺SLAM在高動態(tài)環(huán)境下易受動態(tài)物體干擾而影響定位精度的問題，在ORB-SLAM2的基礎上加入多視角幾何和YOLOv5s目標檢測框架，通過兩種算法的結合剔除動態(tài)特征點，從而實現對靜態(tài)物體上的特征點進行幀間匹配和位姿估計。

實驗數據表明：與ORB-SLAM2相比，高動態(tài)場景下本文算法的絕對軌跡誤差平均提高了83.02%，與其他動態(tài)SLAM相比，也有較好的精度。但本文算法依然有局限性，例如不適用于室外復雜多變的場景，存在多視角幾何速度運行較慢等問題。下一步工作將會考慮針對這些問題深入研究，選取速度更快、精度更好的動態(tài)檢測算法，并對使用YOLOv5s目標檢測模塊的算法進行改進，使其可以適用于更復雜的環(huán)境。

參考文獻：

張偉偉， 陳超， 徐軍. 融合激光與視覺點云信息的定位與建圖方法［J］. 計算機應用與軟件， 2020， 37（7）： 114-119.

［2］ MUR-ARTAL R， TARDOS J D. ORB-SLAM2： an open-source slam system for monocular， stereo， and RGB-D cameras［J］. IEEE Transactions on Robotics， 2017， 33（5）： 1255-1262.

［3］ ENGEL J， SCHPS T， CREMERS D. LSD-SLAM： large-scale direct monocular SLAM［C］// Proc of European Conference on Computer Vision. Cham： Springer， 2014： 834-849.

［4］ WANG R， SCHWRER M， CREMERS D. Stereo DSO： large-scale direct sparse visual odometry with stereo cameras［C］// 2017 IEEE International Conference on Computer Vision （ICCV）. Venice： IEEE， 2017： 3903-3911.

［5］ 劉瑞軍， 王向上， 張晨， 等. 基于深度學習的視覺SLAM綜述［J］. 系統(tǒng)仿真學報， 2020， 32（7）： 1244-1256.

［6］ YU C， LIU Z X， LIU X J， et al. DS-SLAM： a semantic visual SLAM towards dynamic environments［C］// 2018 IEEE/RSJ International Conference on Intelligent Robots and Systems （IROS）. Queensland： IEEE， 2018： 1168-1174.

［7］ BADRINARAYANAN V， KENDALL A， SEGNET R C. A deep convolutional encoder-decoder architecture for image segmentation［DB/OL］. （2015-12-08）［2022-09-06］. https：//arxiv.org/abs/1511.00561.

［8］ BESCOS B， FCIL J M， CIVERA J， et al. DynaSLAM： tracking， mapping， and inpainting in dynamic scenes［J］. IEEE Robotics and Automation Letters， 2018， 3（4）： 4076-4083.

［9］ WU W X， GUO L， GAO H L， et al. YOLO-SLAM： a semantic SLAM system towards dynamic environment with geometric constraint［J］. Neural Computing and Applications， 2022， 34（8）： 6011-6026.

［10］高逸， 王慶， 楊高朝， 等. 基于幾何約束和目標檢測的室內動態(tài)SLAM［J］. 全球定位系統(tǒng)， 2022， 47（5）： 51-56.

［11］CHEN W， FANG M， LIU Y H， et al. Monocular semantic SLAM in dynamic street scene based on multiple object tracking［C］// 2017 IEEE 8th International Conference on CIS & RA. Ningbo： IEEE， 2017： 599-604.

［12］WEN S H， LI P J， ZHAO Y J， et al. Semantic visual SLAM in dynamic environment［J］. Autonomous Robots， 2021， 45（4）： 493-504.

［13］HE K M， GKIOXARI G， DOLLR P， et al. Mask R-CNN［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2020， 42： 386-397.

［14］肖田鄒子， 周小博， 羅欣， 等. 動態(tài)環(huán)境下結合實例分割與聚類的魯棒RGB-D SLAM系統(tǒng)［J/OL］. 計算機應用：1-8［2022-06-06］. http：//kns.cnki.net/kcms/detail/51.1307.TP.20220602.1632.012.html.

［15］房立金， 劉博， 萬應才. 基于深度學習的動態(tài)場景語義SLAM［J］. 華中科技大學學報（自然科學版）， 2020， 48（1）： 121-126.

［16］REDMON J， FARHADI A. Yolov3： an incre-mental improvement［DB/OL］. （2018-04-08）［2022-09-06］. https：//arxiv.org/abs/1804.02767.

［17］嚴尚朋. 面向侵權監(jiān)測的圖像精確檢索研究［D］. 上海： 上海交通大學， 2020.

［18］BOCHKOVSKIY A， WANG C Y， LIAO H Y M. Yolov4： optimal speed and accuracy of object detection［DB/OL］. （2020-04-23）［2022-09-06］. https：//arxiv.org/abs/2004.10934.

［19］STURM J， ENGELHARD N， ENDRES F， et al. A benchmark for the evaluation of RGB-D SLAM systems［C］// 2012 IEEE/RSJ international conference on intelligent robots and systems. Vilamoura-Algarve： IEEE， 2012： 573-580.

［20］鄭思誠， 孔令華， 游通飛， 等. 動態(tài)環(huán)境下基于深度學習的語義SLAM算法［J］. 計算機應用， 2021， 41（10）： 2945-2951.

（責任編輯：周曉南）

Study on Visual SLAM Based on Deep Learning

in Dynamic Environment

ZHANG Qingyong*1，2， YANG Xudong1，2

（1.School of Mechanical and Automotive Engineering， Fujian University of Technology， Fuzhou 305118， China;

2.Fujian Automotive Electronics and Electric Drive Laboratory， Fuzhou 305118， China）

Abstract：

Due to the strong static rigid assumption in the traditional simultaneous localization and mapping （SLAM）， the system positioning accuracy and robustness are easily disturbed by dynamic objects in the environment. In view of this phenomenon， a visual SLAM algorithm based on deep learning in an indoor environment is proposed. Improving ORB-SLAM2， this research adds multi-view geometry to the front end of SLAM， integrates it with the YOLOv5s target detection algorithm， and finally performs frame-to-frame matching on the processed static feature points. The experiment uses the TUM data set for testing， and it is found that after combining multi-view geometry， target detection and SLAM algorithm， the absolute pose estimation accuracy of the system is significantly improved compared with ORB-SLAM2 in a highly dynamic environment. Compared with the positioning accuracy of other SLAM algorithms， this method also has different degrees of improvement.

Key words：

multi-view geometry; object detection; SLAM; dynamic environment