融合場景理解與機器視覺的礦山巡檢機器人導(dǎo)航避障研究

王 斌 田寶雄 趙明輝

(1.國能神東煤炭集團有限責任公司,內(nèi)蒙古 鄂爾多斯 017200;2.中國神華能源股份有限公司神東煤炭分公司,陜西 神木 719315;3.同濟大學(xué)電子與信息工程學(xué)院,上海 201804;4.中煤科工集團上海有限公司,上海 200030)

隨著計算機技術(shù)的不斷發(fā)展,人工智能技術(shù)已經(jīng)逐漸被應(yīng)用于各個領(lǐng)域,其中包括礦山巡檢領(lǐng)域。 在礦山巡檢過程中,機器人作為一種高效的工具,應(yīng)用日趨廣泛。 礦山巡檢機器人是一種能夠在礦山環(huán)境中進行巡檢和檢測的自主移動機器人,具有高效、安全、節(jié)能等優(yōu)勢。 但是,機器人巡檢礦山時,往往需要面臨很多復(fù)雜的地形和環(huán)境,例如山間峽谷、巖石堆放等,這些地形會給機器人導(dǎo)航和避障帶來很大的困難,安全隱患也隨之增加[1-3]。 礦山巡檢機器人可以代替人類在危險和惡劣環(huán)境中進行巡檢工作,提高礦山生產(chǎn)的安全性和效率。 在礦山巡檢過程中,機器人需要在復(fù)雜的地形環(huán)境中自主導(dǎo)航和避障,這對機器人的場景理解和機器視覺能力提出了更高要求[4]。

礦山巡檢是一項危險而重要的工作,需要人們在惡劣的環(huán)境下進行長時間的巡視和檢查。 為了提高效率和安全性,礦山巡檢機器人已經(jīng)成為了一個備受關(guān)注的領(lǐng)域。 然而,傳統(tǒng)的機器人導(dǎo)航技術(shù)往往只能依靠GPS 或激光雷達等設(shè)備進行定位和避障,這些設(shè)備在礦山環(huán)境中容易受到干擾或失靈[5]。 對此,近年來越來越多的研究者開始探索融合場景理解與機器視覺技術(shù)的礦山巡檢機器人導(dǎo)航避障方法。 該類方法可以通過對場景信息的理解和分析,使機器人能夠更加準確地感知周圍環(huán)境,并做出更加智能化的決策[6-7]。 邵明志等[8]設(shè)計了一種多傳感器信息融合算法,將陀螺儀、里程計和電子羅盤采集的數(shù)據(jù)進行融合。 該算法以多種導(dǎo)航定位傳感器組合為融合單元,采用擴展卡爾曼濾波算法進行實現(xiàn)。 研究表明:通過這種算法的應(yīng)用,移動機器人可以在復(fù)雜環(huán)境中進行自主定位,并且有效避開障礙物。 郭愛軍等[9]提出了一種利用虛擬遠程操控技術(shù)進行煤礦井下多旋翼飛行器避障的控制方法;構(gòu)建了煤礦井下巷道多旋翼飛行器虛擬遠程操控系統(tǒng),在該系統(tǒng)中建立了虛擬巷道模型及全局導(dǎo)航地圖,以此獲得飛行器移動過程中已知的靜態(tài)障礙物信息。 試驗結(jié)果表明:該算法能夠有效地實現(xiàn)煤礦井下多旋翼飛行器避障。現(xiàn)代導(dǎo)航和避障系統(tǒng)不僅需要機器人能夠感知周圍環(huán)境,還需要機器人能夠理解這些環(huán)境,知道如何在不同環(huán)境下做出不同的響應(yīng)。 在這個過程中,融合場景理解和機器視覺技術(shù)是十分關(guān)鍵的。 場景理解技術(shù)可以幫助機器人更好地理解周圍環(huán)境和任務(wù)需求,提高機器人的自主性和智能性[10-12]。 機器視覺技術(shù)則可以幫助機器人準確地感知周圍環(huán)境中的各類信息,包括障礙物、危險區(qū)域、巡檢點位等。 通過融合場景理解和機器視覺技術(shù),礦山巡檢機器人可以更加精確地規(guī)劃巡檢路徑,避開危險區(qū)域,同時可以根據(jù)場景需求自動調(diào)整巡檢速度和機器人行為。

場景理解是一種基于計算機視覺、感知和軟件工程等領(lǐng)域的技術(shù),它可以實現(xiàn)對物體、場景和情境的檢測、定位、識別和理解等多個層次的通用計算機視覺功能。 在礦山巡檢機器人中,通過場景理解技術(shù)對礦山環(huán)境進行分析,可以識別礦石、設(shè)備和人員,并對礦山環(huán)境中的障礙物進行檢測和分類,從而為機器人的導(dǎo)航和避障提供更加精準的信息[13-14]。 機器視覺技術(shù)可實現(xiàn)巡檢機器人的自主感知和導(dǎo)航,通過圖像處理、機器學(xué)習等技術(shù),可以讓機器人自主獲取周圍環(huán)境的信息,如物體位置、形狀、大小、顏色等,并將這些信息轉(zhuǎn)化為可處理的數(shù)字信號,提高機器人的識別和判斷能力[15-17]。

基于以上技術(shù)手段,本研究提出了一種融合場景理解和機器視覺的礦山巡檢機器人導(dǎo)航避障方法。首先通過機器視覺技術(shù)對礦山環(huán)境進行識別和定位,獲取當前機器人所處的位置和周圍場景信息。 然后,利用場景理解技術(shù)對礦山場景進行分析,包括識別各種礦石、設(shè)備和人員,并對礦山環(huán)境中的障礙物進行檢測和分類。 最后,將融合后的場景理解和機器視覺信息應(yīng)用于機器人的導(dǎo)航和避障控制,使機器人能夠在復(fù)雜的礦山環(huán)境中精準地自主導(dǎo)航和避免障礙物。該方法的實現(xiàn)和應(yīng)用有助于推進智能礦山建設(shè),提高礦山生產(chǎn)效率、降低巡檢成本。

1 模型架構(gòu)設(shè)計與理論分析

1.1 模型設(shè)計的基本理念

場景理解可以幫助機器人更好地理解周圍環(huán)境,識別出可能存在的危險因素。 機器視覺可以讓機器人更準確地感知周圍環(huán)境,并做出相應(yīng)的反應(yīng)。 具體來說,在礦山巡檢中,場景理解可以幫助機器人識別出可能存在的危險因素,例如未爆炸的炸藥、坍塌風險等。 同時,場景理解還可以幫助機器人識別出重要的設(shè)備和區(qū)域,并進行標記和記錄。 機器視覺則可以幫助機器人更準確地感知周圍環(huán)境,并做出相應(yīng)的反應(yīng)。 例如,在遇到障礙物時,機器人可以通過機器視覺技術(shù)快速識別出障礙物的位置和形狀,并做出相應(yīng)的避讓動作。

1.2 場景理解

場景理解是指通過計算機對于真實世界中的場景信息進行分析和理解,在礦山巡檢機器人導(dǎo)航避障研究中,場景理解包括以下用途[18-19]:

(1)環(huán)境感知。 通過傳感器獲取環(huán)境信息,如激光雷達、攝像頭等,融合這些信息可以得到環(huán)境地圖,進而確定機器人在環(huán)境中的位置和朝向。

(2)障礙識別。 根據(jù)環(huán)境地圖,結(jié)合機器視覺、深度學(xué)習等技術(shù),能夠自動判斷環(huán)境中的各類障礙物或危險區(qū)域,進而規(guī)避風險。

(3)規(guī)劃路徑。 利用場景理解的地圖和障礙物信息,可以進行路徑規(guī)劃和行進策略制定,確保智能化巡檢機器人能夠更快、更安全地完成任務(wù)。

(4)增強決策能力。 通過分析和理解場景信息,可以系統(tǒng)化產(chǎn)生是否移動、選擇哪個方向移動等決策的過程,進而提高智能化巡檢機器人的運行安全性和效率。

特征提取網(wǎng)絡(luò)由特征預(yù)處理結(jié)構(gòu)和多個不同維度的特征提取模塊串聯(lián)組成。 特征預(yù)處理結(jié)構(gòu)在降維的同時從多個角度提取輸入圖像特征,減少噪聲干擾、保障有效特征提取,并降低后續(xù)提取高維特征的計算量。 特征提取模塊通過逐層提取并融合特征信息,以密集連接的方式提升整體網(wǎng)絡(luò)的非線性表達能力。 特征提取網(wǎng)絡(luò)結(jié)構(gòu)如圖1 所示。 本研究場景理解網(wǎng)絡(luò)的詳細結(jié)構(gòu)參數(shù)設(shè)置見表1。

表1 場景理解的詳細網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)Table 1 Detailed network structure parameters for scenario understanding

圖1 場景理解網(wǎng)絡(luò)結(jié)構(gòu)示意Fig.1 Schematic of scenario understanding network structure

綜上所述,通過利用場景理解技術(shù),能夠大大增強礦山巡檢機器人的導(dǎo)航和避障能力,通過智能化的反饋和決策過程,使得機器人能夠?qū)崿F(xiàn)快速、自主、精確地完成巡檢任務(wù)。

1.3 機器視覺

機器視覺是一種利用計算機和傳感器等技術(shù),可以模擬人類視覺系統(tǒng)進行環(huán)境感知與決策的過程。機器視覺技術(shù)在礦山巡檢機器人導(dǎo)航避障中的應(yīng)用包括以下方面[20-21]:

(1)物體檢測。 通過物體檢測算法結(jié)合攝像頭或其他傳感器,能夠識別出環(huán)境中各種不同類型的物體,包括設(shè)備、障礙物和建筑等,并對其進行標記。

(2)物體分類。 基于深度學(xué)習、卷積神經(jīng)網(wǎng)絡(luò)等技術(shù),可以對環(huán)境中檢測到的物體進行歸類,進一步增強礦山巡檢機器人對環(huán)境的感知能力。

(3)距離測量。 利用激光雷達、紅外線等傳感器,可以實現(xiàn)精確的距離測量,通過建立環(huán)境中物體之間的距離關(guān)系,提供更精確的信息來支撐導(dǎo)航避障算法運行。

(4)地圖構(gòu)建。 根據(jù)機器視覺技術(shù)獲得的數(shù)據(jù),在三維空間下建立礦場地圖,提供給導(dǎo)航規(guī)劃算法使用,以實現(xiàn)智能化的路線規(guī)劃和導(dǎo)航操作。

(5)智能決策。 結(jié)合機器視覺技術(shù)所獲取的環(huán)境和障礙信息,可以運用深度學(xué)習、強化學(xué)習等技術(shù),進行決策,并實時調(diào)整巡檢機器人行為,從而提高其導(dǎo)航避礙能力。

首先,將彩色圖像進行灰度化處理,然后采用多幀平均法建立基于灰度圖的背景模型:

式中,Ak是第k幀礦山巡檢圖像中的背景模型;m為礦山巡檢圖像幀數(shù);A(x,y) 為礦山巡檢圖像中各個像素點的灰度值;Bk(x,y) 表示在第k幀礦山巡檢圖像序列中由所有像素點所構(gòu)成的整幅礦山巡檢背景圖像。

從當前幀的礦山巡檢灰度圖像Ck(x,y) 中減去該礦山巡檢背景圖像Ak(x,y) ,再進行二值化處理,得到礦山巡檢前景圖像:

式中,T為閾值,決定了圖像分割的精度和效果,本研究設(shè)置為100。

綜上所述,機器視覺技術(shù)的應(yīng)用對于礦山巡檢機器人導(dǎo)航避障非常重要,具有豐富的場景感知和辨識能力,通過高度自動化和精細化處理,可以為礦山巡檢機器人提供更貼近真實生產(chǎn)環(huán)境條件的數(shù)據(jù)支撐和操作指引。

1.4 融合場景理解和機器視覺的分析

為便于計算,本研究將礦山巡檢機器人外形簡化為矩形,并分別標記車輛輪廓線左前點、右前點、右后點、左后點、后軸中點為A、B、C、D、M′。 記RA、RB、RC、RD、R為車輛輪廓各頂點及后軸中點M′的行駛路徑圓弧半徑。 礦山巡檢機器人從起始點出發(fā),不斷調(diào)整礦山巡檢機器人位置和姿態(tài)角,然后沿圓上圓弧行駛進入礦山。 當?shù)V山巡檢機器人定轉(zhuǎn)角運動時,其各點運動軌跡為定圓。 因此,由幾何關(guān)系可知,機器人定轉(zhuǎn)角行駛時,車位尺寸需滿足以下條件:

式中,lad和lab分別為礦山巷道的左側(cè)和右側(cè)寬度,m;Lr為礦山巡檢機器人長度,m;LK為礦山巡檢機器人寬度,m;RB和RC可分別進行如下計算:

式中,L為機器人后軸中點M′到前軸中點N的距離,m;Lf為機器人前軸中點N′到車頭最前端的距離,m;R為機器人后軸中點M′的行駛路徑圓弧半徑,m。

礦山巡檢機器人的最小車位尺寸可以進行如下計算:

以R為變量對上式求導(dǎo),可得:

由上式可知:當機器人結(jié)構(gòu)參數(shù)一定時,避障所需的車位尺寸與車輛運動靈活度即機器人轉(zhuǎn)彎半徑相關(guān),所需車位長度隨著轉(zhuǎn)彎半徑增大而增大,寬度隨轉(zhuǎn)彎半徑增大而減小。 代入機器人結(jié)構(gòu)參數(shù),由上式可得車位最小長度與寬度隨礦山巡檢機器人轉(zhuǎn)彎半徑的相關(guān)聯(lián)系。

由 Ackerman 轉(zhuǎn)向幾何原理[22]可知:

式中,φ為礦山巡檢機器人前軸等效轉(zhuǎn)角(弧度);L為軸距,m;R′為后軸中點運動曲線半徑,m;ρ為路徑曲線曲率,如圖2 所示。

圖2 Ackerman 轉(zhuǎn)向幾何原理Fig.2 Ackerman steering geometry

礦山巡檢機器人是一種用于取代傳統(tǒng)人工巡檢的智能化設(shè)備。 在礦山巡檢中,機器人需要在復(fù)雜、多變的地形和環(huán)境中進行導(dǎo)航,同時避免碰撞或跌落等意外情況,融合場景理解和機器視覺的模型框架如圖3 所示。 為此,機器人需要完成以下步驟:

圖3 礦山機器人導(dǎo)航避障框架Fig.3 Framework of mine robot navigation obstacle avoidance

(1)場景建模。 通過機器視覺技術(shù),將礦山環(huán)境中的各種物體、建筑等進行三維建模,得到環(huán)境地圖和空間布局信息。

(2)路徑規(guī)劃。 基于場景建模結(jié)果,機器人可以規(guī)劃出最優(yōu)路徑,確定前進方向和速度,同時考慮到設(shè)備自身限制、風險評估等因素,確保安全與高效。

(3)避障檢測。 機器人通過激光雷達、攝像頭等設(shè)備進行障礙物檢測和路徑規(guī)避。 當機器人偵測到障礙物時,可以利用場景理解技術(shù)分析障礙物的性質(zhì)(例如大石頭或小石塊)和位置,決定是停止或繼續(xù)前進以及調(diào)整航向。

(4)定位更新。 機器人在行進過程中需要實時根據(jù)自身傳感器讀數(shù)來定位其在地圖中的位置,這可以通過融合場景理解與機器視覺數(shù)據(jù)實現(xiàn),如融合相機和慣性傳感器的輸出。

2 試驗驗證與分析

2.1 試驗設(shè)置

本研究在Matlab2021b 軟件上進行軌跡規(guī)劃和避障算法的控制試驗。 模擬設(shè)定一些包含不同類型障礙物和地形變化的測試路線,其中,包括不同類型的道路(如直線、彎曲、上坡、下坡等)、地形(如平整、崎嶇、石頭、沙土等)和障礙物(如大型設(shè)備、建筑物、懸崖等)。

試驗步驟為:① 運行機器人獲取環(huán)境信息,并將數(shù)據(jù)處理為可供深度學(xué)習使用的格式;② 利用經(jīng)過訓(xùn)練的深度學(xué)習模型實現(xiàn)場景理解和距離估計;③ 基于場景理解和深度估計產(chǎn)生礦山地圖,并進行路徑規(guī)劃和行進策略制定;④ 機器人進行自主導(dǎo)航,實時感知障礙物并進行規(guī)避。

試驗指標為:① 導(dǎo)航成功率,機器人是否能夠安全、快速地完成任務(wù);② 避障成功率,機器人是否能夠及時、準確地避免障礙物;③ 時間效率,機器人完成巡檢任務(wù)的耗時;④ 精度,機器人對于礦山場景的理解和跟蹤精度。

2.2 試驗結(jié)果分析

為驗證礦山巡檢道路導(dǎo)航中線提取的有效性及與實際道路信息的偏差,本研究將礦山中常規(guī)道路、彎曲道路以及陰影道路3 種類型的圖片(圖4)傳入MATLAB 軟件進行處理。 在礦山圖像中的路面上繪制等距的分割線,利用中心點公式計算各分割塊中心點的虛擬坐標,并通過相機標定將虛擬坐標轉(zhuǎn)換為實際屏幕坐標。 將實際畫出的礦山巡檢道路中心點連線與軟件擬合成的虛擬導(dǎo)航線進行對比,分析其偏差情況,結(jié)果見表2。 在融合場景理解與機器視覺的礦山巡檢機器人導(dǎo)航避障過程中,擬合坐標與實際坐標之間存在一定的誤差,主要是由于攝像頭畸變、姿態(tài)變化、光照變化等因素所致。 為了分析誤差情況,本研究將實際測量得到的礦山中心點坐標與機器視覺算法計算得到的虛擬坐標進行對比。 通過求取兩者之間的歐氏距離或者垂直距離等度量指標,對誤差進行量化評估。 從試驗結(jié)果來看,由于不同因素影響,擬合坐標與實際坐標之間的誤差大小不同。 例如,對于彎曲道路和陰影道路,由于照明條件不佳,容易出現(xiàn)較大的誤差;在常規(guī)道路等相對簡單的環(huán)境下,誤差則相對較小。 為了提高導(dǎo)航精度,可以在擬合算法中引入濾波技術(shù),剔除異常值,進一步減小誤差。

表2 擬合坐標與實際坐標的誤差分析Table 2 Error analysis of fitted coordinates and actual coordinates

圖4 不同類型道路Fig.4 Different types of roads

融合場景理解與機器視覺的狹小空間內(nèi)礦山巡檢機器人導(dǎo)航避障具有顯著效果。 通過場景理解技術(shù),可以獲取礦山環(huán)境中大量的語義信息,如建筑物、設(shè)備、堆場等,并且將這些信息以地圖形式進行表示。通過機器視覺技術(shù),可以對礦山巡檢機器人的周圍環(huán)境進行感知,識別出不同類型的實體物體,并提供精確的位置和距離信息。 在導(dǎo)航避障方面,礦山巡檢機器人可以通過融合場景理解和機器視覺技術(shù)來規(guī)劃最優(yōu)路徑,避開各種障礙物和危險區(qū)域,實現(xiàn)高效安全地行進。 同時,場景理解與機器視覺的融合還可以提高礦山巡檢機器人在夜間或惡劣氣候下的導(dǎo)航能力。 從試驗結(jié)果來看,融合場景理解和機器視覺的機器人導(dǎo)航避障效果明顯優(yōu)于單一技術(shù)的應(yīng)用效果。導(dǎo)航速度更快且更準確,可以適應(yīng)更為多樣化的礦山巡檢環(huán)境,提高了生產(chǎn)效率和安全性。

機器人避障試驗仿真圖是評估系統(tǒng)性能的有效手段,如圖5 所示。 圖中“五角星”符號所在位置表示礦山巡檢機器人實體,曲線表示導(dǎo)航避障路線,直線框表示礦山中的障礙物。 仿真效果主要受到環(huán)境建模、光照條件、傳感器配置等多因素影響。 在建模時,需要準確地將礦山環(huán)境中的各種實體物體以幾何圖形進行表示,并標注其語義信息。 光照條件的不同也會影響模擬環(huán)境中實體物體的外觀和表現(xiàn)形式。同時,傳感器的分辨率和視野范圍也會影響系統(tǒng)的感知范圍和精度。 從試驗結(jié)果來看,融合場景理解與機器視覺的機器人避障試驗仿真效果較好。在各種情況下,機器人均能夠通過識別障礙物、規(guī)劃最優(yōu)路徑等方式,在不同復(fù)雜環(huán)境下安全高效行進。 同時,仿真圖清晰明了,反映了礦山環(huán)境中各種實體物體的位置、形態(tài)、顏色等關(guān)鍵信息,可以有效地評價系統(tǒng)性能。

圖5 礦山巡檢機器人避障試驗仿真結(jié)果Fig.5 Experimental simulation results of obstacle avoidance for mine inspection robot

機器人導(dǎo)航避障過程中,成功率和時間效率是評價算法性能的重要指標。 4 次試驗指標分析結(jié)果見表3。 表3 中,導(dǎo)航成功率反映機器人在目標點之間導(dǎo)航的成功概率。 在融合場景理解和機器視覺的情況下,機器人能夠更加準確地識別環(huán)境中的關(guān)鍵信息,如道路、建筑物和障礙物等,并能夠規(guī)劃出更為優(yōu)化的導(dǎo)航路徑。 因此,導(dǎo)航成功率相對較高。 避障成功率反映機器人在行進中避開障礙物的成功概率。通過融合場景理解和機器視覺技術(shù),機器人能夠更好地感知到周圍環(huán)境并及時調(diào)整行進路徑,進而有效地避免碰撞。 時間效率主要衡量機器人從起點到達目標點所需的時間。 通過結(jié)合應(yīng)用場景理解和機器視覺技術(shù),機器人能夠更快速準確地識別環(huán)境信息并規(guī)劃出更優(yōu)路徑,從而縮短了導(dǎo)航時間。 同時,算法優(yōu)化也能有效提高避障和導(dǎo)航效率,進一步提高時間效率。

表3 試驗指標分析Table 3 Analysis of the test indexes

融合場景理解與機器視覺及其單一方法的導(dǎo)航避障路徑長度對比如圖6 所示。 由圖6 可知:本研究方法可以得到最短的路徑值。 總體來看,融合場景理解與機器視覺的技術(shù)應(yīng)用,能夠顯著提高導(dǎo)航成功率、避障成功率以及時間效率,有助于推動機器人在礦山巡檢等各種實際場景中的應(yīng)用。

3 結(jié) 論

(1)本研究出了一種融合場景理解和機器視覺技術(shù)的礦山巡檢機器人導(dǎo)航避障方法,不僅可以提高機器人在復(fù)雜礦山環(huán)境中的適應(yīng)性和實用性,而且可以大幅度降低相關(guān)巡檢工作成本,提高生產(chǎn)效率和安全性。

(2)基于場景理解和機器視覺技術(shù)的礦山巡檢機器人導(dǎo)航避障方法可以更加精準地識別和定位礦山環(huán)境中的物體、設(shè)備和人員,并對礦山環(huán)境中的障礙物進行檢測和分類,從而為機器人自主導(dǎo)航和避障提供更加準確的信息。

(3)隨著人工智能和機器人技術(shù)不斷發(fā)展,基于場景理解和機器視覺技術(shù)的礦山巡檢機器人導(dǎo)航避障方法將不斷得到升級和改進。 例如,可以引入先進的深度學(xué)習算法和強化學(xué)習技術(shù),進一步提高機器人的感知能力,不斷提升其智能化水平。