基于視覺(jué)SLAM和目標(biāo)檢測(cè)的語(yǔ)義地圖構(gòu)建

胡新宇，左 韜,2，張勁波，伍一維

（1.武漢科技大學(xué) 信息科學(xué)與工程學(xué)院，湖北 武漢 430081；2.武漢科技大學(xué) 冶金自動(dòng)化與檢測(cè)技術(shù)教育部工程研究中心，湖北 武漢 430081）

引言

移動(dòng)機(jī)器人與周圍環(huán)境進(jìn)行智能交互，在環(huán)境中執(zhí)行類似于人的任務(wù)，是近些年的研究熱點(diǎn)[1]。同時(shí)定位與地圖構(gòu)建（SLAM，simultaneous localization and mapping）是移動(dòng)機(jī)器人最基本的問(wèn)題，要求機(jī)器人能在未知環(huán)境中探索、建模并構(gòu)建有效、可用的全局地圖，是該領(lǐng)域研究的前沿方向[2]。將深度學(xué)習(xí)融合到視覺(jué)SLAM技術(shù)中，構(gòu)建含有環(huán)境語(yǔ)義信息的三維稠密點(diǎn)云地圖，這對(duì)移動(dòng)機(jī)器人理解環(huán)境中的語(yǔ)義信息，順利執(zhí)行高級(jí)復(fù)雜的任務(wù)具有舉足輕重的作用。

視覺(jué)SLAM是通過(guò)視覺(jué)傳感器，在沒(méi)有環(huán)境先驗(yàn)信息的情況下，在運(yùn)動(dòng)過(guò)程中估計(jì)自身運(yùn)動(dòng)狀態(tài)并構(gòu)建環(huán)境地圖[3]。目前，主流的視覺(jué)SLAM算法可分為兩種[4]：一種是基于特征的方法，該算法是通過(guò)提取每個(gè)圖像中的特征，再進(jìn)行匹配，從而恢復(fù)相機(jī)的姿態(tài)。如：KinectFusion[5]使用RGBD 相機(jī)，通過(guò)ICP算法恢復(fù)相機(jī)的姿態(tài)，并通過(guò)CUDA 進(jìn)行加速，來(lái)構(gòu)建環(huán)境的稠密點(diǎn)云地圖；RGBD_SLAM[6]是通過(guò)跟蹤ORB 特征，利用G2O算法優(yōu)化相機(jī)位姿來(lái)構(gòu)建稠密地圖；ORB-SLAM[7]是目前為止在該領(lǐng)域最優(yōu)秀的SLAM系統(tǒng)框架，不僅支持單目、雙目以及深度相機(jī)，還包含回環(huán)檢測(cè)、重定位、自動(dòng)初始化，可以穩(wěn)健、快速地構(gòu)建環(huán)境的稀疏點(diǎn)云地圖。另一種是直接法，根據(jù)圖像的強(qiáng)度值來(lái)估計(jì)相機(jī)位姿，常見(jiàn)的基于直接法的算法框架有：DSO_SLAM[8]、LSD_SLAM[9]、SVO_SLAM[10]等。

在計(jì)算機(jī)視覺(jué)領(lǐng)域，深度學(xué)習(xí)的出現(xiàn)推動(dòng)了目標(biāo)檢測(cè)的發(fā)展。文章通過(guò)卷積神經(jīng)網(wǎng)絡(luò)對(duì)環(huán)境中的物體進(jìn)行檢測(cè)，獲取物體的類別和預(yù)測(cè)框。FCN[11]、PSPNet[12]和DeepLab[13]都可對(duì)二維圖像進(jìn)行像素級(jí)的語(yǔ)義分割，R-CNN[14]、Fast-RCNN[15]、Faster-RCNN[16]可通過(guò)對(duì)目標(biāo)產(chǎn)生一個(gè)候選區(qū)域，再通過(guò)分類器和回歸器回歸得到候選區(qū)域的精確位置，但由于會(huì)產(chǎn)生很多區(qū)域建議，導(dǎo)致對(duì)目標(biāo)進(jìn)行檢測(cè)的速度較慢，此類方法稱為two-stage 法。與之相比，目標(biāo)檢測(cè)速度較快的是one-stage 法，如：SSD[17]和YOLO[18]都是在圖片不同位置采用多種尺度和長(zhǎng)寬比進(jìn)行抽樣，通過(guò)卷積神經(jīng)網(wǎng)絡(luò)提取特征，然后進(jìn)行分類和回歸。

雖然ORB-SALM2是非常完善、實(shí)用的視覺(jué)SLAM系統(tǒng)，但它依舊存在一些問(wèn)題，如：由于點(diǎn)云地圖中缺乏體積信息，移動(dòng)機(jī)器人無(wú)從得知環(huán)境中哪些地方可通行，使得ORB-SLAM2 所構(gòu)建的稀疏點(diǎn)云地圖無(wú)法實(shí)際使用；所構(gòu)建的地圖中缺乏語(yǔ)義信息，不利于機(jī)器人理解環(huán)境內(nèi)容；當(dāng)環(huán)境越大時(shí)，存儲(chǔ)點(diǎn)云地圖所占空間越大等問(wèn)題。為解決以上問(wèn)題，本文提出一種構(gòu)建語(yǔ)義地圖的方法，在ORB-SLAM2的基礎(chǔ)上增加目標(biāo)檢測(cè)算法來(lái)構(gòu)建稠密點(diǎn)云語(yǔ)義地圖，并將其轉(zhuǎn)換為Octomap 進(jìn)行存儲(chǔ)，首先使用檢測(cè)速度較快的YOLO v3算法及對(duì)象正則化來(lái)獲取物體的2D標(biāo)簽，結(jié)合生成的稠密點(diǎn)云地圖得到含有語(yǔ)義信息的點(diǎn)云標(biāo)簽，利用基于圖的分割算法對(duì)稠密點(diǎn)云進(jìn)行分割和優(yōu)化，再將點(diǎn)云標(biāo)簽與分割后的點(diǎn)云進(jìn)行點(diǎn)云融合，進(jìn)而構(gòu)建稠密點(diǎn)云語(yǔ)義地圖，將所構(gòu)建的點(diǎn)云語(yǔ)義地圖轉(zhuǎn)換為八叉樹地圖，以便移動(dòng)機(jī)器人進(jìn)行避障和導(dǎo)航，減小了點(diǎn)云地圖的存儲(chǔ)空間。

1 系統(tǒng)框架

1.1 語(yǔ)義SLAM系統(tǒng)

本文提出的語(yǔ)義SLAM系統(tǒng)框架如圖1所示。通過(guò)深度相機(jī)獲取環(huán)境的圖像序列，經(jīng)過(guò)目標(biāo)檢測(cè)網(wǎng)絡(luò)YOLO v3檢測(cè)每一個(gè)關(guān)鍵幀圖像中的物體，從當(dāng)前幀的彩色圖和深度圖得到每一個(gè)物體的地圖點(diǎn)，將所有地圖點(diǎn)坐標(biāo)的均值作為物體的坐標(biāo)，并計(jì)算該物體的質(zhì)心、種類和邊界框，給定每種類別的物體不同的顏色，將其作為2D標(biāo)簽。同時(shí)，經(jīng)過(guò)ORB-SLAM2算法構(gòu)建環(huán)境的稀疏點(diǎn)云地圖，再通過(guò)含有2D標(biāo)簽的彩色圖像及其對(duì)應(yīng)的深度圖像以及關(guān)鍵幀來(lái)生成稠密點(diǎn)云標(biāo)簽，對(duì)稠密點(diǎn)云地圖進(jìn)行基于圖的分割和優(yōu)化，然后與生成的點(diǎn)云標(biāo)簽進(jìn)行融合得到效果較好的稠密點(diǎn)云語(yǔ)義地圖，為了方便移動(dòng)機(jī)器人執(zhí)行更高級(jí)任務(wù)，減小存儲(chǔ)空間，將點(diǎn)云地圖轉(zhuǎn)換為Octomap。

圖1 語(yǔ)義SLAM系統(tǒng)框圖Fig.1 Block diagram of semantic SLAM system

構(gòu)建稠密點(diǎn)云語(yǔ)義地圖的具體步驟如下：

1）得到2D標(biāo)簽。加載color.txt，里面存儲(chǔ)YOLO v3 能夠識(shí)別的80種類別物體的rgb值，讀取預(yù)訓(xùn)練權(quán)重yolov3.weights、配置文件yolov3.cfg及訓(xùn)練好的模型coco.names，對(duì)每個(gè)關(guān)鍵幀的彩色圖像進(jìn)行目標(biāo)檢測(cè)，得到物體的種類，給定不同物體不同的顏色并繪制物體的邊界框，將其作為2D標(biāo)簽，若計(jì)算出的物體種類為“人”，則對(duì)2D標(biāo)簽進(jìn)行修改。

2）稠密點(diǎn)云標(biāo)簽。通過(guò)關(guān)鍵幀、彩色圖像及深度圖像來(lái)產(chǎn)生稠密點(diǎn)云地圖，遍歷深度圖像，獲取圖中點(diǎn) (m,n)處的值，計(jì)算該點(diǎn)的空間坐標(biāo)并從含有2D標(biāo)簽的彩色圖中獲取該點(diǎn)的顏色，再將該點(diǎn)插入稀疏點(diǎn)云tmp中，每新插入一個(gè)關(guān)鍵幀都執(zhí)行此操作，點(diǎn)云tmp 經(jīng)過(guò)變換矩陣T得到點(diǎn)云cloud，對(duì)cloud 進(jìn)行泊松重建，得到每個(gè)物體的模型，然后將模型轉(zhuǎn)換為三維點(diǎn)云，得到稠密點(diǎn)云地圖，對(duì)稠密點(diǎn)云進(jìn)行染色得到稠密點(diǎn)云標(biāo)簽。

3）點(diǎn)云分割。將稠密點(diǎn)云作為輸入點(diǎn)云，進(jìn)行參數(shù)設(shè)置，輸入點(diǎn)云經(jīng)濾波后對(duì)點(diǎn)云進(jìn)行基于圖的分割，得到分割后的點(diǎn)云。

4）點(diǎn)云語(yǔ)義地圖。遍歷稠密點(diǎn)云標(biāo)簽中的每一個(gè)點(diǎn)，每個(gè)點(diǎn)都存儲(chǔ)了空間位置xyz值和顏色信息rgb值，如果該點(diǎn)的rgb值與某一物體的rgb值相等，則認(rèn)為該點(diǎn)是這個(gè)物體點(diǎn)云中的點(diǎn)，并對(duì)分割后的點(diǎn)云中該點(diǎn)的顏色信息進(jìn)行更新，得到點(diǎn)云語(yǔ)義地圖。

1.2 ORB-SLAM2分析

ORB-SLAM2的原理框圖如圖2所示，它包含并運(yùn)行3個(gè)線程：跟蹤、局部建圖以及全局回環(huán)檢測(cè)并優(yōu)化線程。跟蹤線程即前端里程計(jì)的主要部分 負(fù)責(zé)對(duì)每幅輸入的圖像提取ORB 特征點(diǎn)，與最鄰近的關(guān)鍵幀進(jìn)行比較，計(jì)算特征點(diǎn)的位置，粗略估計(jì)相機(jī)位姿，如果跟蹤失敗，則通過(guò)詞袋法（DBoW2，bag of binary words）進(jìn)行重定位（placerecognition），最終決定是否插入關(guān)鍵幀；局部建圖線程通過(guò)Bundle Adjustment 對(duì)局部空間內(nèi)的特征點(diǎn)及相機(jī)位姿進(jìn)行優(yōu)化，刪除冗余的關(guān)鍵幀和低質(zhì)量的地圖點(diǎn)，得到更精確的相機(jī)位姿和特征點(diǎn)的空間位置；采用DBoW2算法對(duì)全局地圖和關(guān)鍵幀進(jìn)行回環(huán)檢測(cè)，如果檢測(cè)到回環(huán)，通過(guò)Sim3 優(yōu)化計(jì)算里程計(jì)的累計(jì)誤差，然后將匹配到的所有點(diǎn)云進(jìn)行對(duì)齊并融合重復(fù)的點(diǎn)，最后對(duì)相似性約束進(jìn)行圖優(yōu)化，實(shí)現(xiàn)全局一致性。得到稀疏點(diǎn)云地圖，該地圖主要包括3D 地圖點(diǎn)、關(guān)鍵幀、共視關(guān)系及生長(zhǎng)樹等。

圖2 ORB-SLAM2 原理圖Fig.2 Schematic of ORB-SLAM2

1.3 基于深度學(xué)習(xí)的目標(biāo)檢測(cè)

本文使用當(dāng)前檢測(cè)速度較快的YOLO v3[19]網(wǎng)絡(luò)結(jié)構(gòu)，如圖3所示。其基本思想是將每幅輸入圖像劃分成s×s個(gè)柵格并對(duì)這些柵格進(jìn)行分類得到目標(biāo)的類別和邊框。由于YOLO v3 采用多個(gè)logistic分類器在保證目標(biāo)檢測(cè)的速度的同時(shí)又不降低多標(biāo)簽分類的準(zhǔn)確性。

圖3 YOLO v3網(wǎng)絡(luò)結(jié)構(gòu)Fig.3 YOLO v3 network structure

在YOLO v3的基礎(chǔ)上進(jìn)行對(duì)象正則化，對(duì)顯然不屬于該環(huán)境的物體標(biāo)簽進(jìn)行修改，得到比較精確的物體標(biāo)簽。如：靜態(tài)環(huán)境下，數(shù)據(jù)集中的泰迪熊會(huì)被YOLO v3檢測(cè)為“人”，但動(dòng)態(tài)的“人”顯然不屬于該靜態(tài)數(shù)據(jù)集，因此需要對(duì)標(biāo)簽“人”進(jìn)行修正，改為“泰迪熊”。

本文使用對(duì)象級(jí)的Dense CRF模型對(duì)語(yǔ)義標(biāo)簽進(jìn)行優(yōu)化，吉布斯分布為

當(dāng)P(x)最 小時(shí)得到最優(yōu)的標(biāo)簽結(jié)果，Z為正則化因子，E(x)為能量函數(shù)：

式中：x表示物體的標(biāo)簽；i,j∈(1,k)為環(huán)境中物體的數(shù)量；一元?jiǎng)??u(xi)和 二元?jiǎng)??p(xi,xj)分別為

式中：P(xi)為第i個(gè)物體標(biāo)簽的概率分布；w(m)為線性組合權(quán)重；μ(xi,xj)為標(biāo)簽的容錯(cuò)函數(shù)，表示同一物體出現(xiàn)兩種不同的標(biāo)簽的可能性，本文采用Potts模型：

式中 θα、θβ表示物體i與物體j間的歐式距離小于 α、β。本文中，高斯核函數(shù)特指同一位置出現(xiàn)兩種物體的概率pi,j的倒數(shù)，表達(dá)式如下：

式中：ηi,j表示出現(xiàn)物體i和 物體j同時(shí)出現(xiàn)的頻率；ηj表示出現(xiàn)物體j的頻率。

將目標(biāo)檢測(cè)網(wǎng)絡(luò)、對(duì)象正則化和語(yǔ)義SLAM的視覺(jué)里程計(jì)緊密結(jié)合，減小了相機(jī)位姿的估計(jì)值與真實(shí)值的差，提高了建圖的精確度。具體表現(xiàn)為：其一，當(dāng)輸入一幀圖像時(shí)，定義一個(gè)向量來(lái)存儲(chǔ)圖像中的所有物體，遍歷一個(gè)存儲(chǔ)YOLO v3 所能夠識(shí)別的80類物體的列表，根據(jù)不同種類的物體對(duì)應(yīng)的類別序號(hào)各不相同，通過(guò)左上角點(diǎn)和右下角點(diǎn)得到該物體的邊界框，如圖4所示。其二，在語(yǔ)義SLAM的跟蹤線程中，添加了對(duì)物體的跟蹤，使得相機(jī)的絕對(duì)位姿誤差、絕對(duì)軌跡誤差及相對(duì)位姿誤差與ORB-SLAM2 方法相比有所減少。當(dāng)采集RGBD 圖像和進(jìn)行雙目初始化時(shí)，在地圖中添加當(dāng)前幀中所有物體的地圖點(diǎn)，將屬于一個(gè)物體的所有地圖點(diǎn)的平均位置作為物體的位置，并對(duì)地圖中物體的序號(hào)和置信度進(jìn)行更新；在跟蹤參考關(guān)鍵幀時(shí)，通過(guò)一個(gè)向量objs來(lái)存儲(chǔ)獲取到的當(dāng)前幀中的所有物體的序號(hào)、種類和置信度，遍歷每個(gè)物體的地圖點(diǎn)，如果參考幀中該點(diǎn)所屬的物體與地圖中的物體為同一類物體，計(jì)算該點(diǎn)的空間位置，當(dāng)重復(fù)出現(xiàn)同一物體時(shí)，更新地圖中物體的序號(hào)和置信度，如果出現(xiàn)新物體，則在地圖和向量objs中添加新物體的序號(hào)、種類和置信度。

圖4 目標(biāo)檢測(cè)Fig.4 Object detection

1.4 點(diǎn)云分割

本文根據(jù)物體的類別進(jìn)行點(diǎn)云分割，采用圖割算法對(duì)點(diǎn)云進(jìn)行基于圖的分割和優(yōu)化，首先將ORB-SLAM2 構(gòu)建的稀疏點(diǎn)云結(jié)合對(duì)應(yīng)的關(guān)鍵幀及深度信息生成稠密點(diǎn)云，將其作為原始點(diǎn)云，對(duì)原始點(diǎn)云進(jìn)行超體素分割，共得到12982個(gè)體素。構(gòu)造一個(gè)加權(quán)無(wú)向鄰接圖G={v,e}來(lái)表示超體素的分割結(jié)果，如圖5所示。

圖5 加權(quán)無(wú)向鄰接圖Fig.5 Diagram of weighted undirected adjacency

其中頂點(diǎn)vi∈v表示曲面片，邊e為權(quán)重，表示兩個(gè)曲面片的相似度，實(shí)線表示同一物體的2個(gè)不同曲面片間的權(quán)重，虛線表示不同物體的2個(gè)曲面片間的權(quán)重。經(jīng)超體素分割后，環(huán)境中的每一個(gè)物體都包含多個(gè)曲面片，計(jì)算每個(gè)曲面片vi的重心ci和 法向量ni，根據(jù)法向量的局部凸度信息來(lái)決定是否在圖中添加邊，通過(guò)RANSAC算法對(duì)曲面片進(jìn)行隨機(jī)采樣得到候選面P={p1,p2,p3,...,pm}，再計(jì)算每個(gè)曲面片的重心ci(x′,y′,z′)到 候選面pm的歐氏距離d：

其中：候選面滿足Ax+By+Cz+D=0，D為常數(shù)；分別為候選面在xyz軸上的截距。將距離d(ci,pm)<4.5 cm（經(jīng)驗(yàn)值）范圍內(nèi)的所有候選面S(P)都作為屬于每類物體的可能的候選面，如（8）式所示：

然后進(jìn)行優(yōu)化，得到屬于每個(gè)物體的可能的候選面：

最后，對(duì)候選平面進(jìn)行基于圖的對(duì)象分割[20]，完成點(diǎn)云分割。

2 實(shí)驗(yàn)結(jié)果與分析

2.1 稠密點(diǎn)云地圖

本實(shí)驗(yàn)在TUM 數(shù)據(jù)集上運(yùn)行，使用的數(shù)據(jù)集名稱為l ong_office_household，共歷時(shí)87.09 s 采集到2585 張彩色圖及對(duì)應(yīng)的深度圖，手持相機(jī)繞辦公桌一圈，該環(huán)境包含多種物體，其中YOLO v3可識(shí)別顯示屏、鍵盤、鼠標(biāo)、椅子、泰迪熊、書、瓶子以及杯子8種類別的物體。本實(shí)驗(yàn)的運(yùn)行平臺(tái)使用i3-8100、主頻為3.6 GHz的CPU，GPU型號(hào)為Nvidia GeForce 1070，顯存8 G，使用Darknet 框架，操作系統(tǒng)為Ubuntu 16.04。

本文是將深度相機(jī)采集的圖像序列作為YOLO v3網(wǎng)絡(luò)的輸入，計(jì)算出物體的類別和預(yù)測(cè)框的坐標(biāo)，并給定不同類別的物體不同的顏色，將其作為2D標(biāo)簽，通過(guò)ORB-SLAM2算法構(gòu)建環(huán)境的稀疏點(diǎn)云地圖，再根據(jù)含有2D標(biāo)簽的彩色圖像和相應(yīng)的深度圖像以及關(guān)鍵幀來(lái)生成含有語(yǔ)義信息的稠密點(diǎn)云標(biāo)簽，如圖6（a）、6（b）所示。從圖中可以看到，通過(guò)YOLO v3 能有效識(shí)別環(huán)境中的顯示屏、鍵盤、鼠標(biāo)、椅子、泰迪熊、書、瓶子以及杯子，每個(gè)類別的物體對(duì)應(yīng)的顏色各不相同。

圖6 語(yǔ)義標(biāo)簽Fig.6 Semantic labels

由于點(diǎn)云標(biāo)簽與分割后的點(diǎn)云數(shù)目相同，將兩者進(jìn)行點(diǎn)云融合。遍歷點(diǎn)云標(biāo)簽中的點(diǎn)云，每個(gè)點(diǎn)云不僅存儲(chǔ)了空間位置還存儲(chǔ)了顏色信息，當(dāng)點(diǎn)云的顏色信息為某一個(gè)特定值時(shí)，則認(rèn)為該點(diǎn)是屬于分割后的點(diǎn)云中某一物體中的點(diǎn)，對(duì)不同種類的物體賦予不同的顏色，從而得到點(diǎn)云語(yǔ)義地圖，如圖7（a）、7（b）所示。點(diǎn)云語(yǔ)義地圖中相同的顏色代表同一種類的物體，不同顏色代表不同種類的物體。

圖7 點(diǎn)云語(yǔ)義地圖Fig.7 Point cloud semantic map

2.2 系統(tǒng)性能評(píng)估

對(duì)本文提出的緊密結(jié)合ORB-SLAM2 和YOLO v3得到環(huán)境的稠密點(diǎn)云語(yǔ)義地圖，與ORB-SLAM2構(gòu)建的不含語(yǔ)義信息的稀疏點(diǎn)云地圖進(jìn)行性能比較。首先，根據(jù)時(shí)間戳將計(jì)算得到的相機(jī)位姿的真實(shí)值與估計(jì)值進(jìn)行對(duì)齊，然后計(jì)算兩者的差得到絕對(duì)軌跡誤差（ATE），并通過(guò)絕對(duì)位姿誤差（APE）來(lái)檢測(cè)所構(gòu)地圖的全局一致性，通過(guò)相對(duì)位姿誤差（RPE）評(píng)估系統(tǒng)的漂移性，以下實(shí)驗(yàn)結(jié)果為分別使用兩種方法運(yùn)行該數(shù)據(jù)集5次得到的誤差平均值，其對(duì)比結(jié)果如表1所示。

表1 誤差表Table1 Error table

從表1可知，與傳統(tǒng)的ORB-SLAM2 相比，在緊密結(jié)合Yolo v3 和ORB-SLAM2后能減小相機(jī)的軌跡誤差和位姿誤差，提高了構(gòu)建稠密點(diǎn)云語(yǔ)義地圖的精度，整個(gè)算法運(yùn)行時(shí)間約為22.68 s，由于增加了語(yǔ)義信息的獲取，時(shí)間消耗也略有增加。絕對(duì)位姿誤差比較如圖8所示，相對(duì)位姿誤差比較如圖9所示，其中綠色線為本文方法得到的誤差，藍(lán)色線為ORB-SALM2算法得到的誤差。

圖8 絕對(duì)位姿誤差Fig.8 Absolute pose error

圖9 相對(duì)位姿誤差Fig.9 Relative pose error

2.3 八叉樹地圖

八叉樹地圖對(duì)于移動(dòng)機(jī)器人執(zhí)行高級(jí)復(fù)雜的任務(wù)至關(guān)重要，如：避障、導(dǎo)航或抓取物體等。使用構(gòu)建的稠密點(diǎn)云地圖生成Octomap，地圖中存儲(chǔ)了點(diǎn)的空間信息，每個(gè)小方塊都表示是否被占據(jù)的概率，0為空閑，表示可通行，1為被占據(jù)，表示不可通行。分辨率設(shè)置的越高，方塊的體積越小，通過(guò)查看每個(gè)小方塊是否被占據(jù)可實(shí)現(xiàn)移動(dòng)機(jī)器人不同精度的導(dǎo)航。

使用八叉樹的形式存儲(chǔ)地圖，解決了點(diǎn)云地圖中的點(diǎn)沒(méi)有體積信息、存儲(chǔ)空間大的問(wèn)題，不同分辨率的Octomap 所占存儲(chǔ)空間也不同，如表2所示。根據(jù)實(shí)際情況，本文將分辨率設(shè)為0.05 pixel，使得地圖所占存儲(chǔ)空間由原來(lái)的194.30 MB減小至2.28 MB。

表2 占據(jù)存儲(chǔ)空間對(duì)比表Table2 Comparison of occupied storage space

將點(diǎn)云轉(zhuǎn)換為Octomap 并存儲(chǔ)顏色信息，設(shè)置葉子的大小為5 cm，生成的OctoMap如圖10所示，其中圖10（a）～10（h）分別為書、瓶子、椅子、泰迪熊、杯子、鍵盤、鼠標(biāo)和顯示屏。

圖10 八叉樹地圖Fig.10 Octree map

3 結(jié)論

本文提出通過(guò)緊密結(jié)合目標(biāo)檢測(cè)網(wǎng)絡(luò)YOLO v3 和ORB-SLAM2 來(lái)構(gòu)建環(huán)境的稠密點(diǎn)云語(yǔ)義地圖。將通過(guò)目標(biāo)檢測(cè)及對(duì)象正則化得到的物體的2D標(biāo)簽映射到點(diǎn)云地圖上，結(jié)合深度信息和關(guān)鍵幀生成稠密點(diǎn)云標(biāo)簽，同時(shí)對(duì)稠密點(diǎn)云進(jìn)行基于圖的分割，然后將點(diǎn)云標(biāo)簽與分割后的點(diǎn)云進(jìn)行融合得到點(diǎn)云語(yǔ)義地圖，其中相同顏色為同一種類的物體，不同顏色表示不同種類。本文在SLAM的里程計(jì)部分添加了對(duì)物體的跟蹤，使得相機(jī)的絕對(duì)位姿誤差和軌跡誤差與傳統(tǒng)的ORB-SLAM2相比分別減少了16.02%和15.86%，提高了建圖精度，將點(diǎn)云地圖保存為Octomap形式，減少了地圖的存儲(chǔ)空間。本系統(tǒng)并不能在ROS系統(tǒng)下實(shí)時(shí)構(gòu)建點(diǎn)云語(yǔ)義地圖，在未來(lái)的研究中將解決這一問(wèn)題，并實(shí)現(xiàn)機(jī)器人的導(dǎo)航。