房建武,李旭陽,杜 凱,薛建儒
(1.長安大學(xué)運輸工程學(xué)院,西安 710061;2.長安大學(xué)電子與控制工程學(xué)院,西安 710061;3.西安交通大學(xué)人工智能學(xué)院,西安 710061)
利用無人機對地面目標(biāo)進(jìn)行觀測是當(dāng)前無人系統(tǒng)技術(shù)研究領(lǐng)域的重要任務(wù)。目標(biāo)的軌跡預(yù)測可以為目標(biāo)的運動趨勢以及潛在碰撞風(fēng)險提供線索,在軍事、農(nóng)業(yè)、交通等領(lǐng)域應(yīng)用廣泛。相較于車輛等地面設(shè)備,無人機在條件允許的情況下可以采集更大視野的復(fù)雜環(huán)境場景數(shù)據(jù)。由于無人機體積小、機動性高,增強了執(zhí)行任務(wù)的能力。同時,由于無人機視角相對穩(wěn)定、視野內(nèi)目標(biāo)尺度變化小,可高精度提取動靜目標(biāo)軌跡數(shù)據(jù),進(jìn)而對目標(biāo)的未來軌跡做出預(yù)測?,F(xiàn)有基于無人機視角的軌跡預(yù)測方法大多依賴單一無人機的固定視角,所觀測場景存在幅寬局限性,軌跡數(shù)據(jù)缺乏長時連續(xù)性。同時建筑物和大尺度障礙物的視野干擾因素制約著大范圍、精準(zhǔn)的地面目標(biāo)軌跡預(yù)測技術(shù)的發(fā)展。
近年來,基于無人機集群技術(shù)對目標(biāo)進(jìn)行聯(lián)合監(jiān)測的研究取得了一定的進(jìn)展,研究問題主要集中于多無人機對觀測目標(biāo)的跟蹤上。在目標(biāo)軌跡跟蹤方面,一般根據(jù)目標(biāo)歷史數(shù)據(jù),估計下一個時刻的目標(biāo)位置,進(jìn)而調(diào)整無人機集群策略。一些方法通過快速更新歷史數(shù)據(jù)、逐步預(yù)測的形式,提高了跟蹤的精確度和實時性。在長期觀測和追蹤時,考慮動態(tài)避障所帶來的短時間目標(biāo)丟失問題,跟蹤器應(yīng)具有自檢測能力,能夠通過檢測器重新檢測到再次出現(xiàn)的目標(biāo),并繼續(xù)完成任務(wù)。此外,人工勢場法為多無人機下的目標(biāo)跟蹤提供了搜索范圍限制,能及時調(diào)整無人機姿態(tài)和飛行策略,從而實現(xiàn)長時間精準(zhǔn)跟蹤。例如,在人工勢場法的基礎(chǔ)上,基于模糊控制決策對動態(tài)目標(biāo)進(jìn)行預(yù)測跟蹤,通過設(shè)計無人機速度跟蹤控制器,依據(jù)目標(biāo)軌跡實現(xiàn)無人機集群的速度控制,完成持續(xù)目標(biāo)跟蹤。此外,各類通信設(shè)施的發(fā)展,提升了無人機的靈活性及環(huán)境適用性,從而為多無人機的集群策略提供了更多的可能性。地面目標(biāo)和多架無人機可以通過配備超寬帶(Ultra Wide Band,UWB)模塊,測量無人機間的相對距離,并將各無人機的定位信息發(fā)送至服務(wù)器,服務(wù)器依據(jù)跟蹤目標(biāo)的歷史數(shù)據(jù)對其未來軌跡做出估計,并將目標(biāo)下一時刻的定位信息返回至各無人機,使得無人機群可以形成固定隊列,如正多邊形,并將目標(biāo)對象置于多邊形的正中心??紤]到現(xiàn)實環(huán)境中存在大尺度障礙物或者大型建筑,在采用超寬帶模塊等通信技術(shù)的基礎(chǔ)上,文獻(xiàn)[5]將無人機對目標(biāo)監(jiān)測到的測量數(shù)據(jù)分為視距測量和非視距測量,通過測量來估計目標(biāo)位置,并對目標(biāo)未來短時軌跡做出預(yù)測,進(jìn)而提升跟蹤性能,此強化學(xué)習(xí)方法可使多無人機在不同環(huán)境下學(xué)習(xí)到最佳的集群策略。
上述研究成果促進(jìn)了無人機集群的發(fā)展,但沒有對環(huán)境的復(fù)雜性做出更深的探討,尤其是在對于目標(biāo)對象的穩(wěn)定軌跡預(yù)測以及未來長時間的位置估計上研究不足。為了更好地探討群體視角下的軌跡預(yù)測問題,本文通過多架無人機的不同觀測視角確定目標(biāo)位置,并對目標(biāo)未來軌跡做出長時預(yù)測。受無人機集群技術(shù)發(fā)展的啟發(fā),本文將討論無人機集群技術(shù)在軌跡預(yù)測領(lǐng)域面臨的挑戰(zhàn)和解決思路。
單無人機視角下的運動目標(biāo)觀測,一般存在以下幾點問題:
1)受場景中障礙物影響嚴(yán)重。在無人機采集目標(biāo)軌跡數(shù)據(jù)集時,一般將拍攝的圖像按幀抽取,并以一定的間隔提取參與者的坐標(biāo)信息。為了保證軌跡的連貫性,要求能夠持續(xù)地觀測參與者的活動,使得單一視角在執(zhí)行上述任務(wù)時需要選取足夠空曠的場景;而在有障礙物覆蓋的空域內(nèi),如樹木遮蔽,監(jiān)測性能受影響嚴(yán)重。由此,在類似場景下采集數(shù)據(jù)時,單一視角存在兩個局限性:
a)受到地面建筑物和其他障礙物的影響,在城市等建筑高密度區(qū)域使用受限,對觀測行人這類目標(biāo),很容易受到遮擋干擾;
b)為保證數(shù)據(jù)質(zhì)量,往往需要降低無人機高度,這會減小拍攝范圍,不能長遠(yuǎn)地追蹤某個目標(biāo)。如圖1(a)所示,對于行人對象,右側(cè)無人機在單獨拍攝時,會受到樹木遮擋嚴(yán)重影響;而對于無人機集群而言,左側(cè)的無人機可以很好地補充左側(cè)視野的盲區(qū),如圖1(b)所示。
(a) 存在障礙物遮擋示意圖
(b) 交叉視角觀測目標(biāo)示意圖圖1 障礙物存在遮擋及交叉視角觀測目標(biāo)示意圖Fig.1 Schematic diagram of obstacle presence with occlusion in the views of UAVs, and the observation by UAVs with cross views
2)對目標(biāo)位置的確定受視角傾斜及地面起伏影響較大。在無人機觀測視角與水平線夾角(定義為觀測夾角)較大時(垂直地面觀測具有最大的觀測夾角),由于圖像尺寸和縱深畸變,對于視野邊緣的目標(biāo)位置識別能力差;同時,同類目標(biāo)中的不同個體,由于視角限制只能觀測到目標(biāo)局部,如行人頭部,不利于區(qū)分不同個體。當(dāng)觀測夾角較小時(與地面平行具有最小的觀測夾角),受環(huán)境變化和無人機動作調(diào)整等因素影響,會降低拍攝的目標(biāo)清晰度,或?qū)е履繕?biāo)尺寸在短時間內(nèi)急劇變化,從而影響對目標(biāo)的觀測。而當(dāng)不同無人機處于不同觀測夾角時,如圖2所示,可以分別從多個側(cè)面對目標(biāo)進(jìn)行觀測,通過它們視野的交叉可以更精準(zhǔn)地確定目標(biāo)位置。
圖2 無人機的不同觀測夾角示意圖及觀測畫面案例,其中右側(cè)圖來自于文獻(xiàn)[10]Fig.2 Schematic diagram and typical observed examples of different observation perspectives, with image on the right adapted from reference NO.10
3)對目標(biāo)丟失情況的處理效果差。在對目標(biāo)進(jìn)行軌跡預(yù)測時,需要控制無人機處于較好位置,以獲取清晰圖像。然而,由于環(huán)境復(fù)雜多變,在無人機規(guī)避障礙物時,有可能丟失目標(biāo),且當(dāng)目標(biāo)有意識地擺脫無人機時,目標(biāo)丟失的概率急劇增大。在此情形下,采用無人機集群可以擴大整體的觀測范圍,在目標(biāo)被遮擋時執(zhí)行不同的策略以降低風(fēng)險。
相較于單無人機視角下的軌跡預(yù)測,在無人機群體視角下進(jìn)行軌跡預(yù)測時,除了對移動目標(biāo)的軌跡預(yù)測外,還需要關(guān)注無人機集群的協(xié)同控制,以保持整個無人機集群的穩(wěn)定,規(guī)避碰撞等安全問題。近十年內(nèi),協(xié)同導(dǎo)航技術(shù)得到了快速發(fā)展,得益于多無人機定位精度的提高和多無人機編隊穩(wěn)定性的提升,無人機集群的應(yīng)用范圍得到了極大擴展。無人機群在執(zhí)行觀測任務(wù)時,各無人機處于不同的視角,能夠獲取的目標(biāo)特征也有所不同。因此,圖3所示為無人機群體視角下軌跡預(yù)測所面臨的問題和挑戰(zhàn),其中交叉定位基本原理中坐標(biāo)系的說明見2.1節(jié)。以下將問題進(jìn)一步細(xì)分為五點進(jìn)行闡述:1)交叉視角下目標(biāo)定位問題;2)多視角下目標(biāo)再關(guān)聯(lián)問題;3)無人機集群自身的軌跡預(yù)測問題;4)面向軌跡預(yù)測的集群感知問題;5)目標(biāo)軌跡預(yù)測問題。
傳統(tǒng)的單無人機一般結(jié)合角度測量和測距來獲取目標(biāo)的位置信息,而多無人機在觀測時則形成了一個基于集群的協(xié)同觀測系統(tǒng),具有多傳輸和多集合的特點。將各無人機作為不同的收發(fā)單元,由于收發(fā)單元的空間幾何結(jié)構(gòu),目標(biāo)坐標(biāo)的確定可以融合更多信息。如圖3所示,由無人機航拍圖像中的坐標(biāo)到具體目標(biāo)的坐標(biāo)之間,往往要經(jīng)過若干個坐標(biāo)系的轉(zhuǎn)換和輔助,例如,利用全球定位系統(tǒng)(Glo-bal Positioning System,GPS)進(jìn)行目標(biāo)定位時,由緯度()、經(jīng)度()和距離地面高度()表征目標(biāo)空間位置;同時,過渡到無人機機載相機坐標(biāo)系(,,),軸為視軸線方向,形成右手坐標(biāo)系法則;再過渡到圖像坐標(biāo)系(,,),其中圖像坐標(biāo)系原點為拍攝圖像左上方,、分別與、平行。在無人機群執(zhí)行觀測任務(wù)時,由于其空間分布比較廣泛,各個無人機對目標(biāo)的觀測距離和視角皆不相同,獲取的圖像在尺寸和清晰度上也有區(qū)分。而由于集群協(xié)作的復(fù)雜性和目標(biāo)軌跡預(yù)測的實時性要求,為無人機集群執(zhí)行相應(yīng)任務(wù)帶來了挑戰(zhàn)。
圖3 多無人機面臨的挑戰(zhàn)問題Fig.3 Challenges faced by multi-UAVs
目前,關(guān)于無人機群協(xié)同觀測的研究并不多。從整體的地面目標(biāo)定位系統(tǒng)出發(fā),通過機載的光電測量系統(tǒng)可以實現(xiàn)基礎(chǔ)的定位功能,而進(jìn)一步的目標(biāo)定位則取決于傳感器的分辨率以及數(shù)據(jù)鏈的延遲和坐標(biāo)系變換等其他因素,在此基礎(chǔ)上,構(gòu)建多無人機偵察平臺對目標(biāo)進(jìn)行定位。該方法以及一些傳統(tǒng)方法依賴于光電測量系統(tǒng)獲取光測距信息,提高了無人機集群的整體成本。而隨著深度學(xué)習(xí)等技術(shù)的發(fā)展,可以通過基于深度學(xué)習(xí)的檢測網(wǎng)絡(luò)對無人機航拍的圖像進(jìn)行數(shù)據(jù)提取,獲取圖像坐標(biāo)系下的目標(biāo)位置信息,之后再進(jìn)行坐標(biāo)系轉(zhuǎn)換,從而能夠在不依賴光電測量系統(tǒng)的基礎(chǔ)上對目標(biāo)進(jìn)行定位。上述方法在進(jìn)行目標(biāo)坐標(biāo)系轉(zhuǎn)換時,沒有進(jìn)一步探討對環(huán)境的約束。從環(huán)境的復(fù)雜程度出發(fā),在城市等多約束條件下,可以基于分布式無人機集群策略,結(jié)合多個優(yōu)化目標(biāo)的不同重要性,能夠獲得同時滿足目標(biāo)優(yōu)化和重要性等級要求的最佳無人機群路徑,從而更好地獲取目標(biāo)位置信息。此外,從檢測和定位算法出發(fā),將多機聯(lián)合最大似然估計算法應(yīng)用于分布式無人機集群協(xié)同檢測,可以降低定位的誤差。
無人機群在完成對目標(biāo)的定位之后,需要一定的評估方法對定位精準(zhǔn)度進(jìn)行評價。使用不同的設(shè)備組合進(jìn)行目標(biāo)定位時,評估方法存在差異。無人機觀測對象的不同和場景的變化也會產(chǎn)生不同的評估指標(biāo)要求。因此,需要明確技術(shù)指標(biāo)要求,規(guī)范測試方法,使得無人機群在執(zhí)行不同的觀測任務(wù)時,對目標(biāo)的定位具有更好的適用性。
當(dāng)目標(biāo)處于無人機群共同視野內(nèi)時,可以通過交叉視角定位來鎖定目標(biāo);而當(dāng)各無人機的視野沒有重疊時,判斷目標(biāo)從一個視野轉(zhuǎn)到另一個視野內(nèi),就需要應(yīng)用目標(biāo)檢測和目標(biāo)再關(guān)聯(lián)技術(shù)進(jìn)行同一目標(biāo)的重識別。隨著計算機視覺技術(shù)的不斷發(fā)展,行人和車輛再關(guān)聯(lián)問題在領(lǐng)域內(nèi)取得了優(yōu)異的成果。然而,當(dāng)無人機集群在野外場景下執(zhí)行任務(wù)時,受到視角改變、光照等因素的影響,目標(biāo)前后的差異可能要大于不同目標(biāo)間的差異。在軌跡預(yù)測領(lǐng)域,目標(biāo)再關(guān)聯(lián)技術(shù)主要應(yīng)用于目標(biāo)丟失后的再次定位以及不同相機內(nèi)的模型遷移。
無人機集群主要通過通信的方式獲取彼此的實時位置,在規(guī)避障礙物或穿越復(fù)雜地形時,集群的隊形會發(fā)生變化,而在環(huán)境惡劣時,會導(dǎo)致通信能力下降。為了保證集群內(nèi)相對穩(wěn)定,避免部分無人機脫節(jié),在無人機群對目標(biāo)進(jìn)行軌跡預(yù)測時,需要對其他無人機進(jìn)行軌跡預(yù)測,綜合之后做出路徑規(guī)劃。這時無人機集群的目標(biāo)觀測任務(wù)需要根據(jù)不同情形,在時間以及任務(wù)上進(jìn)行自主分配。而在對其他無人機觀測時,勢必需要調(diào)整觀測視角,以免造成視角有限。此時需要根據(jù)無人機的主從關(guān)系進(jìn)行觀測視角層的協(xié)同,確保觀測全面。
無人機群在執(zhí)行觀測任務(wù)時,往往處于未知的復(fù)雜環(huán)境,并且由于目標(biāo)活動的不確定性,觀測任務(wù)是高度動態(tài)的,即任務(wù)本身由對目標(biāo)和環(huán)境的感知需求而驅(qū)動。隨著集群技術(shù)的發(fā)展,無人機集群的應(yīng)用場景得到了擴展,一些信號和光源缺失的惡劣環(huán)境對集群的感知提出了新的挑戰(zhàn)。視覺和激光雷達(dá)是常用的感知技術(shù)?;谝曈X和激光雷達(dá)的環(huán)境感知、自主導(dǎo)航等技術(shù)存在著比較顯著的機理差異,傳感器的不同是產(chǎn)生差異的直接原因。早先的一些工作考慮了任務(wù)需求和傳感器的要求,對面向感知的多Agent(Perception Oriented Cooperation Agent,POCA)的概念和模型做出了闡述,主要包括多無人機感知規(guī)劃和調(diào)度Agent,但仍然缺乏能夠?qū)崿F(xiàn)以上功能的可靠機制。近年來的一些工作主要聚焦于環(huán)境重建、降維等方法,以感知充分的場景信息。無人機在執(zhí)行任務(wù)時,由于機載傳感器的限制,獲取的環(huán)境信息以圖像為主,但高維的圖像數(shù)據(jù)不能直接作為環(huán)境狀態(tài)的直接表示,此時,可以提取高維數(shù)據(jù)中的關(guān)鍵特征,實現(xiàn)數(shù)據(jù)降維,從而從原始的感知信號(圖像等)中學(xué)習(xí)到環(huán)境的狀態(tài)空間表示,通過結(jié)合自編碼結(jié)構(gòu),適應(yīng)更加復(fù)雜的環(huán)境。同樣地,基于降維的方法,可以通過雙目攝像頭實時重建環(huán)境外部的3D點云信息,進(jìn)而將3D信息映射到2D平面,提取平面mask,能夠更好地引導(dǎo)無人機群在特殊情況下(如目標(biāo)丟失、無人機故障等)進(jìn)行自主著陸。此外,當(dāng)面臨其他的一些特殊情況,如目標(biāo)丟失、無人機受到阻擋等時,無人機群通過感知決策機制能夠識別周圍實時的障礙物空間,進(jìn)而設(shè)計出避讓路徑。
上述方法采用的感知機制都基于傳感器獲取不同的場景數(shù)據(jù),通過對數(shù)據(jù)做變換處理,以指導(dǎo)集群下一步的移動路徑。然而,不同的環(huán)境對各類傳感器的需求也有所不同,不同傳感器所獲取的數(shù)據(jù)也要做不同的處理。考慮到軌跡預(yù)測任務(wù)的實時性要求,如何設(shè)計無人機集群的感知機制既是重點也是難點。
近年來,關(guān)于目標(biāo)軌跡預(yù)測的研究主要集中在行人和車輛目標(biāo)上。受客觀環(huán)境的影響,行人、車輛以及其他交通參與者間的交互關(guān)系建模是軌跡預(yù)測所面臨的重點問題之一。隨著深度學(xué)習(xí)的發(fā)展,各類深度神經(jīng)網(wǎng)絡(luò)方法在軌跡預(yù)測領(lǐng)域取得了長足發(fā)展。長短期記憶(Long Short Term Memory,LSTM)網(wǎng)絡(luò)、生成對抗網(wǎng)絡(luò)(Generative Adversarial Networks,GAN)和圖卷積網(wǎng)絡(luò)(Graph Convolution Network,GCN)成為軌跡預(yù)測建模的主要模型。
2.5.1 行人軌跡預(yù)測
針對行人軌跡預(yù)測的研究,主要關(guān)注于網(wǎng)絡(luò)設(shè)計和方法模型兩方面。在網(wǎng)絡(luò)模型的設(shè)計上,軌跡預(yù)測模型一般將行人歷史軌跡、場景語義信息或兩者結(jié)合作為模型的輸入。在方法模型上,針對行人軌跡的時序性特征,循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Networ-ks,RNN)以及其變體LSTM、門控循環(huán)遞歸單元(Gated Recurrent Unit,GRU)在序列學(xué)習(xí)上具有強大的適應(yīng)能力。早先在學(xué)習(xí)行人的社會行為時,基于人群場景中的行人軌跡預(yù)測,一般采用數(shù)據(jù)驅(qū)動的社會交互建模方法,如采用交互關(guān)系優(yōu)化的LSTM網(wǎng)絡(luò)(State Refinement LSTM, SR-LSTM),在考慮臨近(一定半徑范圍內(nèi))行人的影響時,引入了一個社會感知信息的選擇機制,以篩選更加有用的信息。而關(guān)于軌跡預(yù)測的合理性,在采用LSTM模型時,可以考慮交互關(guān)系、區(qū)域交叉和場景語義三個因素對軌跡的影響,并采用多個池化機制以引入相應(yīng)的特征信息。此外,行人的潛在目的地對其運動路徑選擇產(chǎn)生影響,按照路線類別(Routine Class,RC)對行人軌跡進(jìn)行分類,基于軌跡聚合得到的RC和LSTM模型,能夠分兩個階段先后預(yù)測目標(biāo)區(qū)域和相對應(yīng)的軌跡。
先前的大部分軌跡預(yù)測研究集中于預(yù)測一條輸出軌跡,由于軌跡預(yù)測的不確定性,多模態(tài)軌跡預(yù)測開始受到廣泛關(guān)注。在此情形下,一些研究采用GAN以展示所有可能的未來軌跡,克服了以往方法只預(yù)測一條軌跡的不足。將序列預(yù)測和GAN進(jìn)行結(jié)合,通過循環(huán)的序列到序列(Sequence to Sequence)模型觀察目標(biāo)過去的軌跡,通過對抗性訓(xùn)練生成多樣化的未來軌跡。但由于GAN不易收斂,當(dāng)生成器和判別器不平衡時,其梯度會消失,且容易受到模型崩潰的影響??紤]到傳統(tǒng)GAN的上述局限性,J.Amirian 等實現(xiàn)了一個Info-GAN架構(gòu),基于學(xué)習(xí)數(shù)據(jù)輸入的解耦表示,并引入新的編碼變量作為輸入,通過真實和合成數(shù)據(jù)集驗證,證明了Info-GAN在保持預(yù)測分布的基礎(chǔ)上,可以生成更多樣的樣本,而隨著圖注意力網(wǎng)絡(luò)(Graph Attention Network,GAT)研究的發(fā)展,發(fā)現(xiàn)其能夠更好地模擬行人間的復(fù)雜交互。因此,將GAN與GAT進(jìn)行結(jié)合,通過STI-GAN捕捉行人軌跡的不確定性,生成多模態(tài)樣本,并通過GAT對行人交互進(jìn)行建模,進(jìn)而考慮時空上的交互信息,顯著提升了軌跡預(yù)測的準(zhǔn)確度。
由于行人交互關(guān)系的復(fù)雜性,除了從時間上探索行人的運動規(guī)律外,還需要考慮空間上的影響關(guān)系。為了更好地模擬行人在時間和空間兩個維度上的復(fù)雜交互,很多研究嘗試將時空圖應(yīng)用于行人軌跡預(yù)測領(lǐng)域。在考慮視覺注意力和軌跡多模態(tài)的基礎(chǔ)上,通過LSTM節(jié)點可以將人與環(huán)境交互的時空圖轉(zhuǎn)換為特征編碼,并通過全局節(jié)點來整合場景信息,從而獲取豐富的混合特征。先前的大多數(shù)研究往往采用聚合的方法對行人交互進(jìn)行建模,在社會時空圖卷積神經(jīng)網(wǎng)絡(luò)(Social Spatio-Temporal Graph Convolutional Neural Network,Social-STGCNN)中,則通過圖的方法代替聚合方法,在模型架構(gòu)中采用一個核函數(shù)將行人間的社交互動嵌入到鄰接矩陣中,繼承了行人軌跡間可以預(yù)期的行為。同時,該模型僅采用20%的訓(xùn)練數(shù)據(jù),便可以超過現(xiàn)有大部分工作的平均位移誤差指標(biāo)。
從軌跡預(yù)測選用的模型來講,現(xiàn)有的大部分工作是基于LSTM模型的,但由于其迭代的訓(xùn)練方式,在對模型訓(xùn)練時不夠高效。近年來逐漸興起的Transformer模型由于其并行的訓(xùn)練方式,在軌跡預(yù)測研究中表現(xiàn)出良好的性能。STAR是一個時空圖Transformer框架,其僅通過注意力機制對行人交互進(jìn)行建模,并通過在時間Transformer和空間Transformer之間交錯以捕獲行人間復(fù)雜的時空交互,STAR在5個常用的行人軌跡預(yù)測數(shù)據(jù)集中實現(xiàn)了最先進(jìn)的性能。
2.5.2 車輛軌跡預(yù)測
與RNN應(yīng)用于行人軌跡預(yù)測所衍生的問題相似,在車輛軌跡預(yù)測問題上,許多研究采用LSTM解決RNN導(dǎo)致的梯度消失和梯度爆炸問題。但現(xiàn)有的LSTM模型在密集交通中進(jìn)行長期軌跡預(yù)測時,不能描述不同車輛間的空間相互作用以及相應(yīng)軌跡間的時間關(guān)系。因此,戴盛哲等提出了基于時空關(guān)系的改進(jìn)LSTM模型(Spatial-Temporal-LSTM, ST-LSTM)。如圖4所示,一方面將空間交互嵌入到LSTM模型中,另一方面引入兩個連續(xù)的LSTM層處理梯度消失??紤]到一些特殊情況,如交通擁擠時,處于擁堵中的車輛在相對較短的距離內(nèi),可能存在很多其他車輛,但只有一小部分會對其未來軌跡造成較大影響,因此將具有共享權(quán)重的LSTM對車輛動力學(xué)進(jìn)行編碼,同時用簡單的卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks,CNN)便可以提取交互特征。對于車輛運動軌跡的預(yù)測研究,大部分工作聚焦于對交互關(guān)系進(jìn)行建模,而在車輛軌跡預(yù)測中嵌入駕駛意圖或行駛動機,并通過LSTM開發(fā)預(yù)測網(wǎng)絡(luò),可以實現(xiàn)軌跡預(yù)測中的行駛區(qū)域上下文推理,并通過軌跡解碼器輸出非線性的軌跡。
圖4 車輛軌跡預(yù)測中的交互關(guān)系建模示意圖Fig.4 Schematic diagram of interaction relation modeling in vehicle trajectory prediction
對于車輛未來軌跡的多模態(tài)性質(zhì),近年來也引起了一定的關(guān)注。由于車輛更易受到場景約束,在不同的道路場景下,網(wǎng)絡(luò)設(shè)計的關(guān)注點也有所不同。在交叉路口等混合場景下,場景中的參與者交互十分復(fù)雜,對目標(biāo)車輛的軌跡預(yù)測需要充分考慮與其他參與者的交互關(guān)系。而在高速公路、環(huán)島等結(jié)構(gòu)化場景下,則以車輛間的交互為主,此時應(yīng)該更多地關(guān)注車輛間的超車、換道等行為。
在對行人及車輛的軌跡預(yù)測分析的基礎(chǔ)上,無人機集群視角下的行人及車輛的軌跡預(yù)測問題涉及目標(biāo)軌跡的跨視角聯(lián)動、運動區(qū)域的多視野配準(zhǔn)及融合以及目的地等多視野內(nèi)上下文信息的綜合利用,這些問題都會催生新的理論以及研究方法。
依據(jù)觀測目標(biāo)的差異,群體視角下的軌跡預(yù)測大致可以分為兩類:1)以區(qū)域為導(dǎo)向的巡航拍攝視角下的軌跡預(yù)測(無人機位置穩(wěn)定);2)以目標(biāo)為導(dǎo)向的追蹤拍攝視角下的軌跡預(yù)測(無人機位置機動)。
鑒于無人機集群的視野優(yōu)勢,其可以獲取地面目標(biāo)交互較為豐富的區(qū)域數(shù)據(jù),從而研究更加復(fù)雜的軌跡預(yù)測問題。在進(jìn)行巡航觀測時,無人機群有如下特點:1)無人機集群速度相對較慢,相機抖動幅度小,目標(biāo)尺寸變化較?。?)無人機集群可按照一定隊形進(jìn)行編隊飛行,集群內(nèi)的軌跡預(yù)測要求較低。
以行人軌跡預(yù)測為例,無人機在航拍行人軌跡數(shù)據(jù)時,一般是統(tǒng)計行人在不同時間點的、坐標(biāo),以視頻幀ID的間隔表示相距的時間步長,用不同的ID進(jìn)行編號。為了減少位置標(biāo)注的誤差,要求圖像足夠清晰。對于未受遮擋的行人,可通過交叉定位以獲得更準(zhǔn)確的目標(biāo)位置。而當(dāng)目標(biāo)行人在部分無人機視野中被遮擋時,可通過目標(biāo)再關(guān)聯(lián)技術(shù),將未受遮擋時無人機視野中的目標(biāo)軌跡與先前的軌跡進(jìn)行結(jié)合,以獲取完整的行人軌跡數(shù)據(jù)。
在此情形下,研究的側(cè)重點可以圍繞目標(biāo)再關(guān)聯(lián)問題和交叉定位問題展開。首先,依據(jù)場景特點做宏觀上的無人機集群路徑規(guī)劃。其次,設(shè)置合適的高度以獲取清晰圖像。當(dāng)行人消失后,對目標(biāo)的丟失程度進(jìn)行判斷,部分受遮擋時,通過交叉定位繼續(xù)鎖定該行人;若行人丟失,則考慮目標(biāo)再關(guān)聯(lián)技術(shù)。無人機集群在進(jìn)行觀測時,將各無人機拍攝的圖像按幀抽取并進(jìn)行畫面拼接,可得到集群下的大范圍參與者軌跡圖像。如圖5所示,在各無人機視野緊密貼合的理想情況下,通過圖像拼接技術(shù),集群能夠獲得更大的觀測視野。但實際中,各無人機的觀測視野會有或多或少的重疊,且視野重疊部分的形狀也會隨時發(fā)生改變。圖6所示為簡化了的無人機拍攝圖像重疊部分示意圖,通過將重疊部分作為錨點,可以校正并匹配各無人機視野中目標(biāo)的相對位置,同時交叉視野中的目標(biāo)位置會更加精準(zhǔn)。當(dāng)行人消失在重合區(qū)域時,其他無人機可以繼續(xù)觀測;當(dāng)行人消失在非重疊區(qū)域時,該無人機需要通過再關(guān)聯(lián)算法保存其特征,通過目標(biāo)自檢測算法進(jìn)行目標(biāo)再現(xiàn)時的捕捉和識別。
圖5 無人機群采集的圖像Fig.5 Images collected by UAV group
圖6 圖像視野重疊示意圖Fig.6 Schematic diagram of vision view overlap of UAVs
以目標(biāo)為導(dǎo)向的無人機觀測是時下無人機領(lǐng)域的重點研究方向之一。具體而言,首先提取目標(biāo)特征,確定要觀測的目標(biāo)之后,對目標(biāo)未來軌跡做出預(yù)測。其中,保持對目標(biāo)的跟蹤是持續(xù)進(jìn)行目標(biāo)軌跡預(yù)測的前提。目前的跟蹤算法雖然在精度上有了較大的提升,但目標(biāo)丟失和遮擋仍是重要的挑戰(zhàn)因素。無人機集群的設(shè)置主要用于解決此類干擾因素。
3.2.1 主、次無人機的設(shè)置
在對目標(biāo)進(jìn)行軌跡預(yù)測時,需要持續(xù)、穩(wěn)定地觀測。為了降低目標(biāo)丟失的風(fēng)險,需要盡可能地擴大集群觀測范圍。在為無人機集群設(shè)計策略時,可將其中一架無人機作為主無人機,其余無人機作為僚機。如圖7所示,在觀測目標(biāo)時,主無人機應(yīng)盡可能從上空接近目標(biāo),而僚機則以一定的隊形排列在主無人機周圍,從側(cè)面觀測目標(biāo)。
圖7 無人機集群中主、次無人機示意圖Fig.7 Schematic diagram of the primary and secondary UAV in UAV Group
3.2.2 集群內(nèi)的軌跡預(yù)測
以目標(biāo)觀測為導(dǎo)向時,無人機集群會存在協(xié)同移動問題,此時,如果無人機集群內(nèi)的通信手段因為復(fù)雜環(huán)境影響發(fā)生中斷或者失效時,則需要為無人機布設(shè)對周圍其他無人機的軌跡預(yù)測方法。無人機集群內(nèi)的軌跡預(yù)測,主要是為了保證無人機集群內(nèi)相對穩(wěn)定。而無人機集群在進(jìn)行各自視野內(nèi)的軌跡預(yù)測時,需要充分考慮無人機集群內(nèi)的協(xié)同定位問題。當(dāng)前利用衛(wèi)星導(dǎo)航系統(tǒng)(GPS)獲知無人機的精準(zhǔn)位置是重要的手段之一。通過將來自GPS的無人機位置導(dǎo)航解決方案組合在一起,再基于歐洲地球靜止導(dǎo)航重疊服務(wù)和色容差進(jìn)行定位融合,能夠顯著提升定位的準(zhǔn)確度,但衛(wèi)星導(dǎo)航系統(tǒng)也會導(dǎo)致成本過高。除此以外,可以通過基于數(shù)學(xué)模型的導(dǎo)航定位算法設(shè)計對無人機進(jìn)行定位。而由于無人機群具有共同的行為和動力學(xué),也可以對無人機集群之間的交互行為動力學(xué)方程進(jìn)行分析。在此基礎(chǔ)上,通過映射表建立無人機集群之間的交互關(guān)系,并結(jié)合神經(jīng)網(wǎng)絡(luò)關(guān)系推理模型,可以對無人機群未來軌跡進(jìn)行預(yù)測?;蛘?,采用誤差區(qū)間傳播方法計算飛行軌跡的置信區(qū)間,在飛行期間使用傳入的 GPS 測量值進(jìn)行更新,以完善其位置估計。
在完成無人機集群的定位問題后,需要依據(jù)各無人機的相對位置,對集群的未來路徑進(jìn)行規(guī)劃。目前仍然比較缺乏無人機群相對位置的算法,尤其是分布式相對位置估計。因此,文獻(xiàn)[36]設(shè)計了一種基于分布式超寬帶的相對定位框架,驗證了影響相對定位估計與實際位置誤差的因素,對未來探討無人機協(xié)同飛行優(yōu)化位置具有重要的實用價值。此外,為了更加便捷地研究無人機群的集群策略,可以將集群間的運動分為吸引力和排斥力,與主、次無人機設(shè)置原則相同,將集群中的一架視為領(lǐng)導(dǎo)者,其余無人機視為成員。同時,在增設(shè)引力和斥力的基礎(chǔ)上,也可將無人機群的前置形心作為另一個引力源,以打破無人機的受力平衡,使無人機朝目標(biāo)的方向移動,在無人機群飛行過程中,前置形心可以依據(jù)障礙物的大小進(jìn)行調(diào)整,能夠較好地適用于障礙物環(huán)境。無人機群中,領(lǐng)導(dǎo)者與成員的關(guān)系并非固定。當(dāng)目標(biāo)短時間內(nèi)速度和方向大幅改變時,以視野和距離為基準(zhǔn),更換主無人機,原先的無人機變?yōu)榇螣o人機。如圖8所示,目標(biāo)汽車的速度在短時間內(nèi)大幅改變,主無人機由a號無人機變?yōu)閎號無人機。
圖8 主無人機變更示意圖Fig.8 Schematic diagram for the change of dominant right of UAV group
通常,在理想空曠場景下,無人機集群只需根據(jù)目標(biāo)在方向、速度上的改變,對自身做出同樣策略的調(diào)整。然而,實際情況中環(huán)境的復(fù)雜多變使得無人機群應(yīng)具備更智能的集群策略。集群策略的目標(biāo)為:在最短時間內(nèi),依據(jù)環(huán)境的實時變化改變策略,實現(xiàn)動態(tài)的集群穩(wěn)定,以穩(wěn)定持續(xù)地進(jìn)行目標(biāo)觀測。在現(xiàn)實情形下,環(huán)境對無人機的影響是多方面的。雨雪霧等天氣會削弱目標(biāo)的能見度,同時影響無人機的正常姿態(tài),造成相機抖動、機身失控等問題,天氣等帶來的影響主要可通過無人機自身對極端天氣的適應(yīng)性能提升來克服。此外,極端天氣下,場景中的障礙物和遮擋更為常見,目標(biāo)不可見會對后續(xù)的觀測任務(wù)造成影響。無人機集群相對于單一無人機設(shè)備能更好地處理目標(biāo)被遮擋的情況,但根據(jù)不同環(huán)境需要設(shè)計不同的集群策略。
3.2.3 依據(jù)目標(biāo)遮擋程度調(diào)節(jié)無人機集群策略
場景中障礙物的遮擋會使目標(biāo)外觀不完整,也可能給目標(biāo)區(qū)域帶來背景干擾。如何應(yīng)對由于障礙物遮擋導(dǎo)致的目標(biāo)丟失,是現(xiàn)有目標(biāo)跟蹤的主要挑戰(zhàn)之一。
1)當(dāng)目標(biāo)未受遮擋時,無人機群的首要任務(wù)為追蹤。為了獲取較好的觀測視野,需要依據(jù)目標(biāo)運動狀態(tài)規(guī)劃無人機的運動路徑。Dubins曲線是常用的路徑規(guī)劃方法,可以對不同的地面移動目標(biāo)進(jìn)行仿真驗證。而在觀測單個目標(biāo)的基礎(chǔ)上,考慮到協(xié)調(diào)多架無人機進(jìn)行觀測的問題,可以通過協(xié)作算法來預(yù)測目標(biāo)的軌跡。實際中的觀測目標(biāo)以行人和車輛居多,對于行人的觀測,如果可以獲取高精度的圖像,便可以將面部特征作為顯著的區(qū)分點。Quadrotor 無人機可以拍攝高清的人臉影像,將其發(fā)送至Wi-Fi連接的計算機,通過Viola Jones算法檢測人臉,使得無人機可以繼續(xù)識別目標(biāo)的人臉特征。對于移動中的車輛,可以提煉出緊致表觀特征。例如,對于移動中的車輛,將汽車分割得到目標(biāo)的質(zhì)心作為追蹤的輸入,并通過卡爾曼濾波估計目標(biāo)的動態(tài)狀態(tài)。在完成對目標(biāo)的跟蹤后,即無人機群可以持續(xù)、穩(wěn)定地觀測目標(biāo)時,就可以獲取目標(biāo)坐標(biāo)和實時的場景圖。在搭建軌跡預(yù)測模型時,將目標(biāo)歷史軌跡和場景語義信息作為輸入,通過時空關(guān)系、語義信息及交互關(guān)系等對目標(biāo)的未來軌跡做出預(yù)測。因此,目標(biāo)未受遮擋時,具體的方案設(shè)計可以分為以下幾個步驟:
a)集群內(nèi)通過協(xié)作算法以規(guī)避碰撞。次無人機根據(jù)主無人機的歷史軌跡數(shù)據(jù),對主無人機的未來軌跡做出預(yù)測,進(jìn)而修正自身的運動狀態(tài)。
b)提取高保真及區(qū)分性強的目標(biāo)特征,保證無人機集群對目標(biāo)的跟蹤穩(wěn)定性。通過設(shè)計速度跟蹤器保證集群與目標(biāo)間相對位置穩(wěn)定,減少因相機抖動對于觀測質(zhì)量造成的影響。
c)通過目標(biāo)的觀測影像,獲取準(zhǔn)確歷史軌跡,進(jìn)而通過時空關(guān)系、語義信息及交互關(guān)系等建模,約束軌跡預(yù)測中的不確定性。將預(yù)測的目標(biāo)位置及時發(fā)送至主無人機,主無人機根據(jù)預(yù)測結(jié)果調(diào)整自身運動狀態(tài)。
2)當(dāng)目標(biāo)部分遮擋,即部分無人機視野中仍能正常觀測時。丟失目標(biāo)的無人機調(diào)整飛行策略,其余無人機繼續(xù)觀測,并將預(yù)測的軌跡共享給丟失目標(biāo)的無人機。先前大部分工作中,無人機通過基于視覺的障礙物識別來感知環(huán)境。一些研究嘗試直接使用場景深度圖,通過邊緣信息對原有的匹配方法進(jìn)行改進(jìn),能夠提升對于室內(nèi)多障礙物環(huán)境下的適應(yīng)性,但沒有考慮障礙物檢測失敗對無人機路徑規(guī)劃的影響。同樣基于立體視覺,可以引入多傳感設(shè)備,用于彌補單一傳感檢測失敗的情況,進(jìn)而更完整地獲取環(huán)境特征。從環(huán)境因素考慮,室內(nèi)的光照等條件較為簡單,而室外的復(fù)雜環(huán)境會對影像質(zhì)量產(chǎn)生較大影響,上述獲取場景立體深度的方法在更復(fù)雜的室外環(huán)境下受到限制?;诖祟悜?yīng)用場景,衍生了一種機載攝像機視覺目標(biāo)跟蹤算法,在無人機與目標(biāo)相對位置發(fā)生動態(tài)變化時,生成偽濾波器,進(jìn)而提高無人機視覺追蹤的穩(wěn)定性。同時,針對障礙環(huán)境下多無人機協(xié)同追蹤問題,可以通過無人機制導(dǎo)律控制無人機規(guī)避障礙物,并設(shè)計相位控制以保持對目標(biāo)追蹤的合適角度。而各無人機在規(guī)避障礙物時也存在碰撞的風(fēng)險,尤其是集群內(nèi)的無人機數(shù)目較多或者飛行區(qū)域比較狹小的情況下。因此,針對無人機間的協(xié)同避障問題,可以考慮將避障制導(dǎo)過程轉(zhuǎn)化為序列問題,由馬爾可夫博弈理論建立數(shù)學(xué)模型,基于神經(jīng)網(wǎng)絡(luò)實現(xiàn)無人機自主避障。綜上,目標(biāo)部分受遮擋時的方案設(shè)計如下:
a)通過設(shè)計無人機制導(dǎo)律,控制受障礙物阻擋的無人機繞開障礙物;
b)正常觀測的無人機獲取觀測對象的特征信息,并發(fā)送至受阻擋無人機,受阻擋無人機在繞開障礙物后通過目標(biāo)再關(guān)聯(lián)技術(shù)重新追蹤目標(biāo),并結(jié)合其他無人機觀測視野中的目標(biāo)位置,校驗?zāi)繕?biāo)識別結(jié)果;
c)受阻擋無人機在規(guī)避障礙物時,自身的高度、速度等會發(fā)生變化,由于目標(biāo)觀測需要良好的角度,因此可設(shè)計相位控制,在目標(biāo)再識別成功后,調(diào)節(jié)無人機的觀測角度;
d)當(dāng)觀測目標(biāo)不再受遮擋時,依據(jù)無遮擋情形下的策略繼續(xù)對目標(biāo)做軌跡預(yù)測。
3)當(dāng)目標(biāo)完全被遮擋,即所有無人機均丟失目標(biāo)時。集群從原先的追蹤任務(wù),轉(zhuǎn)變?yōu)樗阉?再識別任務(wù),此時需要對區(qū)域搜索問題進(jìn)行研究?,F(xiàn)有的方法以提升搜索的速度和精度為主。執(zhí)行任務(wù)時,可將最后丟失目標(biāo)的無人機作為主無人機,調(diào)整其余僚機的高度和相對位置。綜上,目標(biāo)完全被遮擋時的方案設(shè)計如下:
a)將最后失去目標(biāo)視野的無人機作為主無人機,依據(jù)目標(biāo)最近時刻的速度和方向前進(jìn),其余無人機調(diào)整飛行策略,以主無人機為中心散開;
b)將對目標(biāo)的搜索問題轉(zhuǎn)化為代價函數(shù)的優(yōu)化問題,設(shè)計算法,輔助調(diào)整次無人機運動狀態(tài);
c)當(dāng)某無人機視野中出現(xiàn)特征匹配度較高的對象時,控制該無人機靠近目標(biāo)以獲取更好的觀測質(zhì)量,若目標(biāo)匹配程度高于一定閾值,則視為目標(biāo)再識別成功,此時,將該無人機轉(zhuǎn)變?yōu)橹鳠o人機,其余無人機以主無人機為中心,調(diào)整自身運動狀態(tài);
d)當(dāng)觀測目標(biāo)不再受遮擋時,依據(jù)最初策略繼續(xù)對目標(biāo)做軌跡預(yù)測。
通過本文的討論,針對無人機自身的性能和特點,考慮其集群下的軌跡預(yù)測問題的各個環(huán)節(jié),結(jié)合可能存在的干擾因素,設(shè)計了相關(guān)解決思路。基于此,對未來相關(guān)的研究做出以下展望:
1)大規(guī)模無人機集群感知數(shù)據(jù)平臺開發(fā)。現(xiàn)有研究中,無人機對地觀測的數(shù)據(jù)平臺已經(jīng)廣泛存在,但是公開、可用的多無人機集群數(shù)據(jù)集非常稀缺。近年來,關(guān)于多智能體感知的相關(guān)研究開始采用Airsim模擬器衍生無人機集群數(shù)據(jù)集,即通過飛行控制器和PX4進(jìn)行軟件和硬件的開發(fā),抓取攝像頭所拍攝的圖像信息。其中,Airsim-MAP數(shù)據(jù)集是近年規(guī)模最大的多無人機虛擬數(shù)據(jù)集。通過模擬仿真若干架無人機,操縱無人機群進(jìn)行拍攝,并將各無人機拍攝的畫面同步顯示出來。如圖9所示,數(shù)據(jù)集中包含5~6架無人機獲取的RGB圖像、點云圖、相機姿態(tài)以及語義分割標(biāo)簽。該數(shù)據(jù)集可以進(jìn)一步研究多Agent感知的解決方案。
圖9 Airsim-MAP 數(shù)據(jù)集示意圖Fig.9 Schematic diagram of Airsim-MAP dataset
2)無人機具有靈活性高、易于操縱的特點,鑒于其機身體積小,不能承載過于復(fù)雜的算法,藉由服務(wù)器等設(shè)備作為信息處理的橋梁是時下常用的手段之一,但信息的交換具有延時性。因此,從無人機本身性能考慮,未來的研究可以從硬軟件著手,硬件上搭載更豐富的傳感器以提升無人機的適用性,軟件上對算法做輕量化處理。
3)從單一無人機到無人機集群,需要額外考慮集群內(nèi)的通信和策略問題。依據(jù)觀測目標(biāo)所處環(huán)境的不同,無人機和無人機之間、無人機集群和目標(biāo)之間以及無人機集群和地面系統(tǒng)之間需要進(jìn)行有機協(xié)調(diào)。此外,考慮到軌跡預(yù)測的實時性和安全性,要求未來的集群發(fā)展在網(wǎng)絡(luò)通信技術(shù)上實現(xiàn)突破。
4)除了提升無人機自身的性能之外,可以考慮與其他設(shè)備進(jìn)行聯(lián)合,以處理因無人機穩(wěn)定性不足而難以適應(yīng)的環(huán)境。一般選取地面設(shè)備和無人機進(jìn)行聯(lián)合,以車載設(shè)備為例,藉由車載的傳感器和雷達(dá)等,能夠獲取詳盡的周邊信息,彌補無人機在數(shù)據(jù)細(xì)節(jié)上的不足,進(jìn)而獲取更為豐富的環(huán)境信息和目標(biāo)特征。
5)在無人機執(zhí)行觀測任務(wù)時,復(fù)雜的環(huán)境仍會對無人機造成干擾。未來的無人機研究需要發(fā)展感知技術(shù),使得無人機能夠自主地對目標(biāo)周邊環(huán)境進(jìn)行建模,加強對三維護(hù)環(huán)境特征的提取,從而更好地實現(xiàn)軌跡預(yù)測。
6)無人機群體視角下的軌跡預(yù)測在實際設(shè)計時,是一個復(fù)雜的系統(tǒng),包含但不限于協(xié)同技術(shù)、通信技術(shù)、目標(biāo)再識別技術(shù)和軌跡預(yù)測技術(shù)等。將各項技術(shù)的最新成果結(jié)合應(yīng)用,是群體視角下軌跡預(yù)測發(fā)展所要面臨的挑戰(zhàn)。因此,未來應(yīng)以任務(wù)為中心,重視各項技術(shù)的協(xié)調(diào)發(fā)展。
隨著無人機技術(shù)的發(fā)展,無人機在多個領(lǐng)域已經(jīng)進(jìn)行了成功應(yīng)用。無人機集群技術(shù)應(yīng)用在地面目標(biāo)軌跡預(yù)測領(lǐng)域,可以以更大視野、更長時間獲取場景內(nèi)的軌跡和交互信息。本文主要論述了無人機群體視角下的軌跡預(yù)測在具體實現(xiàn)上存在的挑戰(zhàn)以及相應(yīng)的解決方案設(shè)計思路,并根據(jù)當(dāng)下的研究進(jìn)展,展望了未來無人機集群技術(shù)與軌跡預(yù)測結(jié)合的發(fā)展趨勢。本文希望以上述討論和展望,為未來無人機集群下的軌跡預(yù)測問題提供幫助。