對(duì)于在不可見的環(huán)境中導(dǎo)航到給定對(duì)象類別的任務(wù)，使用基于端到端學(xué)習(xí)的導(dǎo)航方法是很難實(shí)現(xiàn)的。因此，來自卡內(nèi)基梅隆大學(xué)的Devendra Singh Chaplot、Ruslan Salakhutdinov，來自Facebook人工智能研究實(shí)驗(yàn)室的Dhiraj Gandhi，以及卡內(nèi)基梅隆大學(xué)機(jī)器人研究所副教授兼Facebook人工智能研究實(shí)驗(yàn)室科研管理Abhinav Gupta提出了“面向目標(biāo)的語義探索”模塊系統(tǒng)。該模型在CVPR 2020 Habitat ObjectNav挑戰(zhàn)賽上獲得了優(yōu)勝。

本研究探索了對(duì)象目標(biāo)導(dǎo)航的問題，該問題涉及在不可見的環(huán)境中導(dǎo)航到給定對(duì)象類別實(shí)例?；诙说蕉藢W(xué)習(xí)的導(dǎo)航方法在這個(gè)任務(wù)上很困難，因?yàn)樗鼈冊(cè)谔剿骱烷L(zhǎng)期規(guī)劃方面效率低下。我們提出了一個(gè)模塊系統(tǒng)，稱為“面向目標(biāo)的語義探索”，它構(gòu)建了一個(gè)情景語義地圖，并根據(jù)目標(biāo)對(duì)象類別使用它來有效地探索環(huán)境。在視覺上逼真的仿真環(huán)境中的實(shí)證結(jié)果顯示，所提出的模型性能優(yōu)于許多不同的本研究探索了對(duì)象目標(biāo)導(dǎo)航的問題，該問題涉及在不可見的環(huán)境中導(dǎo)航到給定對(duì)象類別實(shí)例。基于端到端學(xué)習(xí)的導(dǎo)航方法在這個(gè)任務(wù)上很困難，因?yàn)樗鼈冊(cè)谔剿骱烷L(zhǎng)期規(guī)劃方面效率低下。我們提出了一個(gè)模塊系統(tǒng)，稱為“面向目標(biāo)的語義探索”，它構(gòu)建了一個(gè)情景語義地圖，并根據(jù)目標(biāo)對(duì)象類別使用它來有效地探索環(huán)境。在視覺上逼真的仿真環(huán)境中的實(shí)證結(jié)果顯示，所提出的模型性能優(yōu)于許多不同的基線，包括基于端到端學(xué)習(xí)的方法以及基于模塊化地圖的方法。消融分析表明，該模型學(xué)習(xí)了場(chǎng)景中對(duì)象相對(duì)排列的語義先驗(yàn)，并使用它們進(jìn)行了有效的探索。與領(lǐng)域無關(guān)的（domain-agnostic）模塊設(shè)計(jì)使我們能夠?qū)⒃撃Ｐ瓦w移到移動(dòng)機(jī)器人平臺(tái)上，并在現(xiàn)實(shí)世界中實(shí)現(xiàn)類似的目標(biāo)導(dǎo)航性能。

引言

自主導(dǎo)航是構(gòu)建能夠體現(xiàn)智能體智能性的核心要求。假設(shè)一個(gè)自主智能體被要求在不可見環(huán)境中導(dǎo)航到“餐桌”（如圖1所示）。在語義理解方面，該任務(wù)不僅涉及到對(duì)象檢測(cè)，即“餐桌”是什么樣子的，而且涉及到場(chǎng)景理解，即“餐桌”在哪里更容易被找到。后者需要長(zhǎng)期的情景記憶，也需要學(xué)習(xí)場(chǎng)景中對(duì)象相對(duì)排列的語義先驗(yàn)（semantic prior）。長(zhǎng)期的情景記憶使智能體能夠記錄已探索和未探索的區(qū)域。學(xué)習(xí)語義先驗(yàn)使智能體能夠使用情景記憶來決定下一步要探索哪個(gè)區(qū)域，以便在最短的時(shí)間內(nèi)找到目標(biāo)對(duì)象。

我們?nèi)绾卧O(shè)計(jì)一個(gè)計(jì)算模型來建立情景記憶，并基于語義先驗(yàn)有效地使用它，以便在不可見的環(huán)境中高效地導(dǎo)航。一種流行的方法是通過循環(huán)神經(jīng)網(wǎng)絡(luò)使用端到端強(qiáng)化或模仿學(xué)習(xí)來建立情景記憶，并隱性地學(xué)習(xí)語義先驗(yàn)[1，2，3，4]。然而，基于端到端學(xué)習(xí)的方法存在樣本復(fù)雜度大、泛化能力差的問題，因?yàn)樗鼈儠?huì)記憶對(duì)象在訓(xùn)練環(huán)境中的位置和外觀。

最近，《學(xué)習(xí)探索使用主動(dòng)神經(jīng)SLAM》[5]中推出了一個(gè)基于模塊化學(xué)習(xí)的系統(tǒng)，稱為“主動(dòng)神經(jīng)SLAM”（Active Neural SLAM），該系統(tǒng)可以構(gòu)建顯性的障礙地圖來維持情景記憶。顯性地圖還使分析路徑規(guī)劃成為可能，從而大大提高了探索和樣本的復(fù)雜性。然而，旨在使探索覆蓋面最大化的主動(dòng)神經(jīng)SLAM并沒有在情景記憶中進(jìn)行語義編碼，因此也沒有學(xué)習(xí)語義先驗(yàn)。在本文中，我們擴(kuò)展了主動(dòng)神經(jīng)SLAM系統(tǒng)，以構(gòu)建顯性的語義地圖，并使用語義感知的長(zhǎng)期策略學(xué)習(xí)語義先驗(yàn)。

我們所提出的方法稱為“面向目標(biāo)的語義探索”（Goal-Oriented Semantic Exploration，SemExp）。與《學(xué)習(xí)探索使用主動(dòng)神經(jīng)SLAM》[5]相比，該方法進(jìn)行了兩個(gè)改進(jìn)，以處理語義導(dǎo)航任務(wù)。首先，它構(gòu)建了類似于《學(xué)習(xí)探索使用主動(dòng)神經(jīng)SLAM》[5]中自頂向下的度量映射，但是添加了額外的通道來顯性地對(duì)語義類別進(jìn)行編碼。我們沒有像該研究[5]中那樣直接從第一人稱圖像（first-person image）預(yù)測(cè)自頂向下的映射，而是使用第一人稱預(yù)測(cè)，然后進(jìn)行可區(qū)分的幾何投影。這使我們能夠利用現(xiàn)有的經(jīng)過預(yù)訓(xùn)練的對(duì)象檢測(cè)和語義分割模型來構(gòu)建語義地圖，而不是從頭開始學(xué)習(xí)。其次，我們沒有使用僅基于障礙地圖的覆蓋面最大、目標(biāo)不確定的探索策略，而是訓(xùn)練了一個(gè)面向目標(biāo)的語義探索策略，該策略可以學(xué)習(xí)語義先驗(yàn)以實(shí)現(xiàn)高效的導(dǎo)航。這些改進(jìn)使我們能夠處理具有挑戰(zhàn)性的對(duì)象目標(biāo)導(dǎo)航任務(wù)。我們?cè)谝曈X上逼真的仿真環(huán)境中進(jìn)行的實(shí)驗(yàn)表明，SemExp的性能顯著優(yōu)于先前的方法。我們所提出的模型還贏得了CVPR 2020 Habitat ObjectNav挑戰(zhàn)賽3。

相關(guān)研究

下面我們將簡(jiǎn)要討論語義地圖和導(dǎo)航的相關(guān)研究。

語義地圖。有大量研究使用來自運(yùn)動(dòng)和即時(shí)定位與地圖構(gòu)建（Simultaneous Localization and Mapping，SLAM）的結(jié)構(gòu)來構(gòu)建2D和3D的障礙地圖[6，7，8]。我們請(qǐng)感興趣的讀者參閱Fuentes-Pacheco等人[9]關(guān)于SLAM的調(diào)查。一些更相關(guān)的研究使用概率圖模型（probabilistic graphical model）[10]或使用最近的基于學(xué)習(xí)的計(jì)算機(jī)視覺模型[11，12]在地圖中加入語義。與這些研究不同的是，我們使用可區(qū)分的投影操作來學(xué)習(xí)地圖空間中帶有監(jiān)督的語義地圖。這限制了由于第一人稱語義預(yù)測(cè)的小誤差而造成的地圖中的大誤差。

導(dǎo)航。經(jīng)典的導(dǎo)航方法使用顯性的幾何地圖通過路徑規(guī)劃來計(jì)算到達(dá)目標(biāo)位置的路徑[13，14，15，16]。目標(biāo)的選擇是基于啟發(fā)式方法的，如基于前沿的探索算法（Frontier-based Exploration algorithm）[17]。與此不同，我們使用基于學(xué)習(xí)的策略，根據(jù)對(duì)象目標(biāo)類別，使用語義先驗(yàn)選擇探索目標(biāo)。

最近的基于學(xué)習(xí)的方法使用端到端強(qiáng)化或模仿學(xué)習(xí)來訓(xùn)練導(dǎo)航策略。這些方法包括使用循環(huán)神經(jīng)網(wǎng)絡(luò)[1，18，19，20，21，22，23，24]、結(jié)構(gòu)化空間表征[2，25，26，27，28]和拓?fù)浔碚鱗29，30]。最近處理對(duì)象目標(biāo)導(dǎo)航的研究包括[31，32，33，4]。Wu等人[31] 試圖通過在語義信息（如房間類型）上構(gòu)建概率圖模型來探索環(huán)境之間結(jié)構(gòu)的相似性。類似地，Yang等人[32]提出使用圖卷積網(wǎng)絡(luò)（Graph Convolutional Network）將語義先驗(yàn)加入深度強(qiáng)化學(xué)習(xí)框架。Wortsman等人[33]提出了一種元強(qiáng)化學(xué)習(xí)（meta-reinforcement learning）方法，在這種方法中，智能體學(xué)習(xí)自監(jiān)督的交互損失（self-supervised interaction loss），從而鼓勵(lì)有效的導(dǎo)航，甚至在測(cè)試環(huán)境中持續(xù)學(xué)習(xí)。Mousavian等人[4]使用在輸入觀測(cè)上運(yùn)行先進(jìn)的計(jì)算機(jī)視覺算法所獲得的語義分割和檢測(cè)掩膜，并使用深度網(wǎng)絡(luò)在此基礎(chǔ)上學(xué)習(xí)導(dǎo)航策略。在上述方法中，學(xué)習(xí)的表征都是隱性的，而且模型需要從目標(biāo)驅(qū)動(dòng)的獎(jiǎng)勵(lì)中隱性地學(xué)習(xí)避障、情景記憶、規(guī)劃和語義先驗(yàn)。對(duì)于不同的導(dǎo)航任務(wù)，顯性地圖表征已經(jīng)被證明比基于端到端學(xué)習(xí)的方法提高了性能和樣本效率[5，34]，然而它們是隱性地學(xué)習(xí)語義的。在本研究中，我們使用顯性的結(jié)構(gòu)化語義地圖表征，這使我們能夠?qū)W習(xí)語義感知的探索策略并處理對(duì)象目標(biāo)導(dǎo)航任務(wù)。同時(shí)進(jìn)行的研究考察在學(xué)習(xí)探索策略中使用類似的語義地圖來改進(jìn)對(duì)象檢測(cè)系統(tǒng)[35]。

方法論

對(duì)象目標(biāo)任務(wù)的定義。在對(duì)象目標(biāo)任務(wù)[20，36]中，目標(biāo)是導(dǎo)航到給定對(duì)象類別的實(shí)例，如“椅子”或“床”。智能體在環(huán)境中的一個(gè)隨機(jī)位置進(jìn)行初始化，并接收目標(biāo)對(duì)象類別作為輸入。在每個(gè)時(shí)間步驟，智能體接收視覺觀測(cè)和傳感器姿態(tài)讀數(shù)，并采取導(dǎo)航操作。該視覺觀測(cè)由第一人稱和深度圖像組成。動(dòng)作空間由四個(gè)動(dòng)作組成：向前移動(dòng)、向左轉(zhuǎn)、向右轉(zhuǎn)、停止。當(dāng)智能體認(rèn)為它已經(jīng)接近目標(biāo)對(duì)象時(shí)，它需要執(zhí)行“停止”動(dòng)作。如果到目標(biāo)對(duì)象的距離小于某個(gè)閾值，，當(dāng)智能體執(zhí)行“停止”動(dòng)作時(shí)，那么該情景被認(rèn)為是成功的。在固定的最大時(shí)間步值（=500）之后，該情景終止。

概述。我們提出了一個(gè)模塊化模型，稱為“面向目標(biāo)的語義探索”（Goal-Oriented Semantic Exploration，SemExp），以處理對(duì)象目標(biāo)導(dǎo)航任務(wù)（概覽如圖2所示）。它由兩個(gè)可學(xué)習(xí)的模塊組成，即“語義映射”（Semantic Mapping）和“面向目標(biāo)的語義策略”（Goal-Oriented Semantic Policy）。語義映射模塊隨著時(shí)間推移構(gòu)建語義地圖;面向目標(biāo)的語義策略根據(jù)語義地圖選擇長(zhǎng)期目標(biāo)，以高效地達(dá)到給定的對(duì)象目標(biāo)?；诜治鲆?guī)劃器（analytical planner）的確定性局部策略被用于執(zhí)行低層次導(dǎo)航動(dòng)作，以達(dá)到長(zhǎng)期目標(biāo)。我們首先對(duì)我們的模型所使用的語義地圖表征進(jìn)行描述，然后對(duì)各模塊進(jìn)行描述。

語義地圖表征。SemExp模型在內(nèi)部維持了語義度量映射和智能體的位姿?？臻g地圖是一個(gè)矩陣，其中表示地圖的大小，該空間地圖中的每個(gè)元素對(duì)應(yīng)物理世界中大小為25cm2 （5cm×5cm）的單元。為語義地圖中的通道數(shù)，其中為語義類別的總數(shù)。前兩個(gè)通道代表障礙和探索區(qū)域，其余通道分別代表一個(gè)對(duì)象類別。通道中的每個(gè)元素都代表對(duì)應(yīng)的位置是障礙、已探索或者包含對(duì)應(yīng)類別的對(duì)象。在一個(gè)情景開始時(shí)，地圖被初始化為所有都是0，。姿態(tài) 表示該智能體在時(shí)刻的x、y坐標(biāo)和方向。該智能體總是從地圖的中心開始，在情景開始時(shí)朝向東，。

語義映射。為了構(gòu)建語義地圖，我們需要對(duì)在視覺觀測(cè)中看到的對(duì)象的語義類別和分割進(jìn)行預(yù)測(cè)。最好使用現(xiàn)有的對(duì)象檢測(cè)和語義分割模型，而不是從頭開始學(xué)習(xí)。主動(dòng)神經(jīng)SLAM（Active Neural SLAM）模型直接從的觀測(cè)預(yù)測(cè)自頂向下的映射，因此，該模型沒有任何機(jī)制來整合預(yù)訓(xùn)練的對(duì)象檢測(cè)或語義分割系統(tǒng)。相反，我們?cè)诘谝蝗朔Q視角中預(yù)測(cè)語義分割，并使用可區(qū)分的投影將第一人稱預(yù)測(cè)轉(zhuǎn)換為自頂向下的映射。這使我們能夠使用現(xiàn)有的預(yù)訓(xùn)練模型進(jìn)行第一人稱語義分割。然而，第一人稱語義分割中的小誤差會(huì)導(dǎo)致投影后的地圖出現(xiàn)大誤差。我們通過在第一人稱空間之外增加地圖空間的損失來克服這一限制。

圖3是語義映射模塊的概覽。深度觀測(cè)被用于計(jì)算點(diǎn)云。點(diǎn)云中的每個(gè)點(diǎn)都與預(yù)測(cè)的語義類別相關(guān)聯(lián)。使用預(yù)訓(xùn)練的Mask RCNN[37]在觀測(cè)上對(duì)語義類別進(jìn)行預(yù)測(cè)。然后使用可區(qū)分的幾何計(jì)算將點(diǎn)云中的每個(gè)點(diǎn)投影到3D空間中，以獲得體素表征。再將體素表征轉(zhuǎn)換為語義地圖。將所有障礙、所有單元和每個(gè)類別的體素表征的高度維度相加，得到投影語義地圖的不同通道。然后使該投影語義地圖通過去噪神經(jīng)網(wǎng)絡(luò)，得到最終的語義地圖預(yù)測(cè)。如《學(xué)習(xí)探索使用主動(dòng)神經(jīng)SLAM》[5]所述，該地圖使用空間轉(zhuǎn)換（spatial transformation）和通道智慧池化（channel-wise pooling）的方法隨著時(shí)間聚合。在語義分割和語義地圖預(yù)測(cè)上，使用帶有交叉熵?fù)p失（crossentropy loss）的有監(jiān)督學(xué)習(xí)方法訓(xùn)練該語義映射模塊。該幾何投影是使用可區(qū)分的操作實(shí)現(xiàn)的，這樣一來，如果需要的話，在語義地圖預(yù)測(cè)上的損失可以反向傳播到整個(gè)模塊。

面向目標(biāo)的語義策略。面向目標(biāo)的語義策略根據(jù)當(dāng)前語義地圖確定一個(gè)長(zhǎng)期目標(biāo)，以達(dá)到給定的對(duì)象目標(biāo)。如果類別對(duì)應(yīng)的通道有一個(gè)非零元素，即觀測(cè)到對(duì)象目標(biāo)，那么簡(jiǎn)單地選擇所有非零元素作為長(zhǎng)期目標(biāo)。如果對(duì)象目標(biāo)沒有被觀測(cè)到，那么面向目標(biāo)的語義策略需要選擇一個(gè)最有可能被找到的目標(biāo)類別對(duì)象作為長(zhǎng)期目標(biāo)。這需要學(xué)習(xí)對(duì)象和區(qū)域的相對(duì)排列的語義先驗(yàn)。我們使用神經(jīng)網(wǎng)絡(luò)來學(xué)習(xí)這些語義先驗(yàn)。它將語義地圖、智能體當(dāng)前和過去的位置以及對(duì)象目標(biāo)作為輸入，并在自頂向下的地圖空間中預(yù)測(cè)長(zhǎng)期目標(biāo)。

基于目標(biāo)的語義策略使用強(qiáng)化學(xué)習(xí)的方法進(jìn)行訓(xùn)練，并以距離縮短到最近的目標(biāo)對(duì)象作為獎(jiǎng)勵(lì)。我們?cè)谝粋€(gè)粗略的時(shí)間尺度上對(duì)長(zhǎng)期目標(biāo)采樣，每u=25步采樣一次，類似于《學(xué)習(xí)探索使用主動(dòng)神經(jīng)SLAM》[5]中目標(biāo)不確定的全局策略。這就將RL探索的時(shí)間范圍指數(shù)化地減少，從而減少了樣本的復(fù)雜度。

確定性局部策略。局部策略使用快速行進(jìn)方法（Fast Marching Method）[16]，根據(jù)語義地圖的障礙通道，從當(dāng)前位置規(guī)劃出一條通往長(zhǎng)期目標(biāo)的路徑。它只是沿著通往路徑采取確定性的動(dòng)作以達(dá)到長(zhǎng)期目標(biāo)。我們使用了確定性的局部策略與《學(xué)習(xí)探索使用主動(dòng)神經(jīng)SLAM》[5]中經(jīng)過訓(xùn)練的局部策略作比較，因?yàn)樗鼈冊(cè)谖覀兊膶?shí)驗(yàn)中表現(xiàn)出了類似的性能。請(qǐng)注意，盡管上述語義策略在粗略的時(shí)間尺度內(nèi)起作用，但局部策略在細(xì)小的時(shí)間尺度內(nèi)起作用。在每一個(gè)時(shí)間步中，我們都會(huì)更新地圖并重新規(guī)劃通往長(zhǎng)期目標(biāo)的路徑。

結(jié)論

在本文中，我們提出了一種基于語義感知的探索模型來處理大型現(xiàn)實(shí)環(huán)境中的對(duì)象目標(biāo)導(dǎo)航任務(wù)。該模型與先前的方法相比有兩個(gè)主要的改進(jìn)：一是將語義加入顯性的情景記憶;二是學(xué)習(xí)面向目標(biāo)的語義探索策略。我們的方法在對(duì)象目標(biāo)導(dǎo)航任務(wù)上實(shí)現(xiàn)了杰出的性能，并在CVPR 2020 Habitat ObjectNav挑戰(zhàn)賽上獲勝。消融研究表明，該模型可以學(xué)習(xí)語義先驗(yàn)，從而實(shí)現(xiàn)更高效的目標(biāo)驅(qū)動(dòng)導(dǎo)航。與領(lǐng)域無關(guān)的模塊設(shè)計(jì)讓我們成功地將該模型遷移到現(xiàn)實(shí)世界中。我們還分析了該模型的誤差模式，并在未來的研究中沿著兩個(gè)重要的維度（語義映射和面向目標(biāo)的探索）量化改進(jìn)的空間。該模型還可以被擴(kuò)展以處理一系列的對(duì)象目標(biāo)，通過利用情景地圖為后續(xù)目標(biāo)進(jìn)行更高效的導(dǎo)航。

參考文獻(xiàn)

[1] Piotr Mirowski，Razvan Pascanu，F(xiàn)abio Viola，Hubert Soyer，Andrew J Ballard，Andrea Banino，Misha Denil，Ross Goroshin，Laurent Sifre， Koray Kavukcuoglu，et al. Learning to navigate in complex environments. ICLR，2017.

[2] Saurabh Gupta，James Davidson， Sergey Levine，Rahul Sukthankar，and Jitendra Malik. Cognitive mapping and planning for visual navigation. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition，pages 2616-2625，2017.

[3] Yuke Zhu，Roozbeh Mottaghi，Eric Kolve，Joseph J Lim，Abhinav Gupta，Li Fei-Fei， and Ali Farhadi. Target-driven visual navigation in indoor scenes using deep reinforcement learning. In 2017 IEEE international conference on robotics and automation（ICRA），pages 3357-3364. IEEE，2017.

[4] Arsalan Mousavian，Alexander Toshev， Marek Fi?er，Jana Ko?eck，Ayzaan Wahid，and James Davidson. Visual representations for semantic target driven navigation. In 2019 International Conference on Robotics and Automation（ICRA），pages 8846-8852. IEEE， 2019.

[5] Devendra Singh Chaplot，Dhiraj Gandhi， Saurabh Gupta，Abhinav Gupta，and Ruslan Salakhutdinov. Learning to explore using active neural slam. In International Conference on Learning Representations（ICLR），2020.

[6] Peter Henry，Michael Krainin，Evan Herbst，Xiaofeng Ren，and Dieter Fox. Rgb-d mapping：Using depth cameras for dense 3d modeling of indoor environments. In Experimental robotics，pages 477-491. Springer， 2014.

[7] Shahram Izadi，David Kim，Otmar Hilliges，David Molyneaux，Richard Newcombe， Pushmeet Kohli，Jamie Shotton，Steve Hodges， Dustin Freeman，Andrew Davison，and Andrew Fitzgibbon. KinectFusion：real-time 3D reconstruction and interaction using a moving depth camera. UIST，2011.

[8] Noah Snavely，Steven M Seitz，and Richard Szeliski. Modeling the world from internet photo collections. International journal of computer vision，80（2）：189-210，2008.

[9] J. Fuentes-Pacheco，J. Ruiz-Ascencio， and J. M. Rendón-Mancha. Visual simultaneous localization and mapping：a survey. Artificial Intelligence Review，2015.

[10] Sean L Bowman，Nikolay Atanasov， Kostas Daniilidis，and George J Pappas. Probabilistic data association for semantic slam. In 2017 IEEE international conference on robotics and automation（ICRA），pages 1722-1729. IEEE， 2017.

[11] Liang Zhang，Leqi Wei，Peiyi Shen，Wei Wei，Guangming Zhu，and Juan Song. Semantic slam based on object detection and improved octomap. IEEE Access，6：75545-75559，2018.

[12] Lingni Ma，J?rg Stückler，Christian Kerl，and Daniel Cremers. Multi-view deep learning for consistent semantic mapping with rgb-d cameras. In 2017 IEEE/RSJ International Conference on Intelligent Robots and Systems （IROS），pages 598-605. IEEE，2017.

[13] Lydia E Kavraki，Petr Svestka，J-C Latombe，and Mark H Overmars. Probabilistic roadmaps for path planning in high-dimensional configuration spaces. RA，1996.

[14] Steven M Lavalle and James J Kuffner Jr. Rapidly-exploring random trees：Progress and prospects. In Algorithmic and Computational Robotics：New Directions，2000.

[15] John Canny. The complexity of robot motion planning. MIT press，1988.

[16] James A Sethian. A fast marching level set method for monotonically advancing fronts. Proceedings of the National Academy of Sciences，93（4）：1591-1595，1996.

[17] Brian Yamauchi. A frontier-based approach for autonomous exploration. In cira， volume 97，page 146，1997.

[18] Guillaume Lample and Devendra Singh Chaplot. Playing FPS games with deep reinforcement learning. In Thirty-First AAAI Conference on Artificial Intelligence，2017.

[19] Devendra Singh Chaplot and Guillaume Lample. Arnold：An autonomous agent to play fps games. In Thirty-First AAAI Conference on Artificial Intelligence，2017.

[20] Manolis Savva，Angel X. Chang，Alexey Dosovitskiy，Thomas Funkhouser，and Vladlen Koltun. MINOS：Multimodal indoor simulator for navigation in complex environments. arXiv：1712.03931，2017.

[21] Karl Moritz Hermann，F(xiàn)elix Hill，Simon Green，F(xiàn)umin Wang，Ryan Faulkner，Hubert Soyer，David Szepesvari，Wojtek Czarnecki，Max Jaderberg，Denis Teplyashin，et al. Grounded language learning in a simulated 3d world. arXiv preprint arXiv：1706.06551，2017.

[22] Devendra Singh Chaplot，Kanthashree Mysore Sathyendra，Rama Kumar Pasumarthi， Dheeraj Rajagopal，and Ruslan Salakhutdinov. Gated-attention architectures for task-oriented language grounding. arXiv preprint arXiv：1706.07230，2017.

[23] Manolis Savva，Abhishek Kadian， Oleksandr Maksymets，Yili Zhao，Erik Wijmans， Bhavana Jain，Julian Straub，Jia Liu，Vladlen Koltun， Jitendra Malik，et al. Habitat：A platform for embodied ai research. In Proceedings of the IEEE International Conference on Computer Vision， pages 9339-9347，2019.

[24] Erik Wijmans，Abhishek Kadian，Ari Morcos，Stefan Lee，Irfan Essa，Devi Parikh， Manolis Savva，and Dhruv Batra. Decentralized distributed ppo：Solving pointgoal navigation. arXiv preprint arXiv：1911.00357，2019.

[25] Emilio Parisotto and Ruslan Salakhutdinov. Neural map：Structured memory for deep reinforcement learning. ICLR，2018.

[26] Devendra Singh Chaplot，Emilio Parisotto，and Ruslan Salakhutdinov. Active neural localization. ICLR，2018.

[27] Joao F Henriques and Andrea Vedaldi. Mapnet：An allocentric spatial memory for mapping environments. In proceedings of the IEEE Conference on Computer Vision and Pattern Recognition，pages 8476–8484，2018.

[28] Daniel Gordon，Aniruddha Kembhavi， Mohammad Rastegari，Joseph Redmon，Dieter Fox，and Ali Farhadi. Iqa：Visual question answering in interactive environments. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition，pages 4089-4098，2018.

[29] Nikolay Savinov，Alexey Dosovitskiy， and Vladlen Koltun. Semi-parametric topological memory for navigation. In International Conference on Learning Representations（ICLR）， 2018.

[30] Nikolay Savinov，Anton Raichuk， Rapha?l Marinier，Damien Vincent，Marc Pollefeys，Timothy Lillicrap，and Sylvain Gelly. Episodic curiosity through reachability. In ICLR， 2019.

[31] Yi Wu，Yuxin Wu，Aviv Tamar，Stuart Russell，Georgia Gkioxari，and Yuandong Tian. Learning and planning with a semantic model. arXiv preprint arXiv：1809.10842，2018.

[32] Wei Yang，Xiaolong Wang，Ali Farhadi， Abhinav Gupta，and Roozbeh Mottaghi. Visual semantic navigation using scene priors. arXiv preprint arXiv：1810.06543，2018.

[33] Mitchell Wortsman，Kiana Ehsani， Mohammad Rastegari，Ali Farhadi，and Roozbeh Mottaghi. Learning to learn how to learn：Self-adaptive visual navigation using meta-learning. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition，pages 6750-6759，2019.

[34] Devendra Singh Chaplot，Ruslan Salakhutdinov，Abhinav Gupta，and Saurabh Gupta. Neural topological slam for visual navigation. In CVPR，2020.

[35] Devendra Singh Chaplot，Helen Jiang， Saurabh Gupta，and Abhinav Gupta. Semantic curiosity for active visual learning. arXiv preprint arXiv：2006.09367，2020.

[36] Peter Anderson，Angel Chang，Devendra Singh Chaplot，Alexey Dosovitskiy，Saurabh Gupta，Vladlen Koltun，Jana Kosecka，Jitendra Malik，Roozbeh Mottaghi，Manolis Savva，et al. On evaluation of embodied navigation agents. arXiv preprint arXiv：1807.06757，2018.

[37] K. He，G. Gkioxari，P. Dollár， and R. Girshick. Mask r-cnn. In 2017 IEEE International Conference on Computer Vision （ICCV）， pages 2980-2988，2017.