李行 楊昌其 賢繼佳
摘要: 針對目前機場跑道安全問題,在跑道運行過程當中,會出現(xiàn)其他航空器侵入跑道的現(xiàn)象,針對這種不安全因素,提出在跑道安全區(qū)及滑行道附近安裝攝像頭的方法,獲取跑道航空器實時運行數(shù)據(jù)。采用核化相關濾波跟蹤技術,對跑道內(nèi)航空器進行檢測,對非法進入跑道的航空器進行預警,以提高機場中跑道安全保障。通過對航空器數(shù)據(jù)集的測試,尺寸變化較小的情況下,準確度達到了85%以上,識別速度能夠達到實時的需要,可以作為一種預防跑道侵入的新手段。
Abstract: ?In view of the current airport runway safety issues, during the runway operation, other aircraft will invade the runway. In response to this unsafe factor, a method of installing cameras in the runway safety zone and near the taxiway is proposed to obtain real-time operation data of the runway aircraft. Kernelized Correlation Filter tracking technology is used to detect aircraft on the runway and provide early warning to aircraft illegally entering the runway to improve the safety of the runway in the airport. Through the test of the aircraft data set, the accuracy is more than 85% when the size change is small, and the recognition speed can meet the real-time needs, which can be used as a new method to prevent runway incursions.
關鍵詞: 跑道侵入;跑道安全;目標檢測;核化相關濾波
Key words: runway incursion;runway safety;object detection;Kernelized Correlation Filter
中圖分類號:V328 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?文獻標識碼:A ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?文章編號:1006-4311(2020)15-0103-04
0 ?引言
近年來,民航業(yè)發(fā)展迅速,各類軍民機場在全國各地建設,以應對急劇增長的客運和貨運量,隨之而來的,機場的運載承受能力遭到嚴重的考驗。在保障機場正常運行中,跑道安全是其中最重要的內(nèi)容,跑道承擔著航空器飛機起降,保障跑道安全也是保障起降的重要因素。自2016虹橋“1011跑道侵入事件”以來,險些造成嚴重航空事故,這也給中國民航敲響安全的警鐘,在此基礎上,跑道侵入問題更加成為民航跑道安全保障中需要重視的一個環(huán)節(jié)。國際民航組織(ICAO)將跑道侵入定義為:在機場發(fā)生的任何飛機、車輛或人員不正確地出現(xiàn)在指定用于飛機著陸和起飛的地面保護區(qū)的事件[1]。根據(jù)國際民航組織給出的定義,我們可以知道,在跑道及保護區(qū)出現(xiàn)不該出現(xiàn)的車輛人員都將被視為跑道侵入。根據(jù)現(xiàn)今的研究和發(fā)展,對跑道侵入的預防還沒有行之有效的方法,還處于依靠場面雷達和人工檢測的階段,這樣的方法雖然也能一定程度上避免跑道侵入,保證跑道安全,但是還有很大的發(fā)展空間。視頻圖像技術的快速發(fā)展,從而使目標跟蹤技術也有了長足的進步。雖然目標跟蹤技術已經(jīng)在智能監(jiān)控、人機交互等多個領域有了廣泛的應用,但是有些方面方面還不能達到我們的要求,比如精度還需要提高 [2]。雖然目標跟蹤發(fā)展的非常迅速,但是在民航領域應用較少,并沒有相應的機場及單位通過視頻圖像的提取,將目標跟蹤檢測作為預防跑道侵入的手段,在跑道安全亟需得到保證的前提下,如何將目標跟蹤應用到預防跑道侵入上是民航領域的一個熱點。通過研究,在跑道安全區(qū)附近安裝攝像頭,獲取跑道運行情況,是目前比較可行的實施方案。
目標跟蹤算法目前主要分為生成式目標跟蹤算法和判別式目標跟蹤算法。生成式模型主要通過統(tǒng)計學的方法進行檢測,可以反應各個區(qū)域與目標物體的相似程度,卻不需要關心這個區(qū)域在哪個位置。在圖像區(qū)域內(nèi)整個范圍內(nèi)進行搜索,完成目標定位。判別式目標跟蹤將目標跟蹤看作是一個二元分類問題,同時提取目標和背景信息用來訓練分類器,將目標區(qū)域作為正樣本,背景區(qū)域作為負樣本,將目標從圖像序列背景中分離出來,從而得到當前幀的目標位置。在多種跟蹤方法中,基于相關濾波的跟蹤算法成為主流跟蹤算法,基于相關濾波的跟蹤方法具有速度快、精度高、穩(wěn)健性好的特點[3]。
本文主要針對的是特定的應用研究,提出了用核化相關濾波(KCF)目標跟蹤算用于檢測機場跑道中航空器物體,在檢測到發(fā)生跑道侵入的情況或者是出現(xiàn)沖突的情況下,將檢測結果告知飛行員以及管制員,發(fā)出告警,使管制員和機組人員采取相應措施,減少跑道侵入,保障跑道安全。
1 ?跑道侵入類型
根據(jù)中國民航局機場司和空管辦聯(lián)合下發(fā)的《防止機場地面車輛和人員跑道侵入管理規(guī)定》[4]中明確規(guī)定,跑道保護區(qū)是由跑道的地面保護區(qū)和空中保護區(qū)組成。如圖1所示。所以,我們可以認為跑道侵入發(fā)生的情況可能會發(fā)生在地面,也有可能發(fā)生在空中。
根據(jù)跑道侵入定義以及發(fā)生跑道侵入事件進行分析,可以大體分為三類威脅跑道安全的情況。第一種情況:在航空器進行起飛或降落時,跑道當中有航空器在跑道交叉的滑行道滑行并穿越跑道,如圖2所示,這種情況定義為穿越?jīng)_突,虹橋1011事件也是此類情景。
第二種情況:在航空器進行落地時,此時有航空器進入跑道進行起飛,如圖3所示,此時跑道已經(jīng)被占用,構成了飛行間的沖突,此種情況下會造成對頭沖突,后果嚴重。
第三種情況則是一架航空器進行起飛滑跑時,跑道已經(jīng)被占用,此時有另一架航空器也進入跑道,這種情況下則會造成相向沖突,如圖4所示。降落情景和起飛情景類似。
針對以上三種跑道侵入類型,則都是在跑道被占用的情況下,而繼續(xù)使航空器進入跑道,造成跑道侵入的現(xiàn)象,大多數(shù)情況下,發(fā)生跑道侵入是沒有預警的。如果在安全區(qū)附近安裝攝像頭,在跑道被占用情況下,如果檢測到跑道安全區(qū)出現(xiàn)未經(jīng)許可的航空器,此時發(fā)出告警,人員及時進行調(diào)控,可以有效減少出現(xiàn)跑道侵入的現(xiàn)象。
2 ?核相關濾波算法
基于相關濾波(CF)的跟蹤算法屬于判別式跟蹤算法。2010年Bolme等[5]提出將相關濾波(CF)應用于目標跟蹤領域,并在此基礎上提出了最小均方差濾波器(MOSSE),從此相關濾波的思想則進入目標跟蹤領域,相關濾波是信號處理領域的概念,用來描述兩個信號相似程度。一般情況下,輸入信號和響應之間是一一對應的,輸出響應越大,則代表著兩個信號越相近。相關濾波跟蹤算法中通過響應圖像的值判斷候選位置與初始化目標的相關性,響應值越大,則相關性越大,在響應值最大的位置,則認為是此刻的跟蹤目標位置,從而確定了跟蹤目標位置。為了提高運算的速度,將時域的卷積運算轉換到頻域的點成,通過這樣的操作,大大降低了運算復雜度,提高了效率,這也為后來的跟蹤算法奠定了一個理論基礎。Henriques等人[6]于2012年提出核循環(huán)結構(CSK)算法,樣本的提取方式有隨機采樣和稠密采樣,隨機采樣雖然可以更全面的采集圖像像素信息,但是卻不可避免的會產(chǎn)生圖像之間的重疊,會造成外觀模型沒有更好的體現(xiàn),也會造成采集過多無用信息,為了改善樣本提取問題,選取循環(huán)采樣。為了提升算法性能,Henriques等[7]在相關濾波中引入核空間,提出了核相關濾波算法(KCF),在算法中采用多通道梯度方向直方圖(HOG)特征,以改善之前只采取單通道灰度特征的缺點,通過核函數(shù)將線性空間的嶺回歸問題映射到非線性空間,提高了高維特征空間中樣本分類的速度。
核相關濾波的核心思想是相關性,因此提出以濾波器作為模板,獲取輸出響應,進而獲得最大響應處的位置。在此理論基礎上,核相關濾算法跟蹤算法的核心也就是濾波器進行構造,濾波器在時域公式為式(1):
g=f*h(1)
式(1)中h為濾波器模板,也就是我們想要得出的內(nèi)容,g為輸出相應,f為輸入圖像,*表示卷積。
由于矩陣的卷積運算過于復雜,為了提高運算速度,則要通過快速傅里葉變換,從而使計算空域中的卷積計算變?yōu)轭l域中的點乘計算,從而簡化了運算,從而達到了提高跟蹤速度的目的,變換為式(2):
G=F·H*(2)
H*為濾波模板h的復共軛形式,F(xiàn)為輸入樣本圖像f的傅里葉變換,G則是輸出響應g的傅里葉變換,。最終變化得到濾波器模板公式為式(3):
目標識別需要在多次重復情況下完成訓練,另外考慮到目標的外觀變換影響,則需要將多個目標圖像作為訓練樣本,以獲得準確的濾波器模板。同時引入最小平方差的概念,通過隨機放射變換生成多個樣本求平方差誤差的最小值,即:
KCF算法改善了MOSSE算法中只采用單通道灰度特征的缺點圖像,單通道灰度特征表達能力有限,在復雜場景中容易丟失跟蹤目標,雖然速度較快但準確率不足,并通過循環(huán)采樣的方式,降低了運算復雜度。假設一個1×n的矢量,表示目標物體的圖像信息,記為x。我們將其稱為基礎樣本。我們的目標是使用一個包括基礎樣本和一些通過平移獲得的虛擬樣本用來訓練分類器。
使用置換矩陣P對唯一的目標區(qū)域樣本圖像進行循環(huán)移位,得到訓練樣本集合{Pix│i=0,…,n-1}。其中:
P= 0 ?0 ?… ?0 ?0 ?1 1 ?0 ?… ?0 ?0 ?0 0 ?1 ?… ?0 ?0 ?0┆ ┆ ? ? ┆ ┆ ┆ 0 ?0 ?… ?1 ?0 ?0 0 ?0 ?… ?0 ?1 ?0(7)
為了計算樣本平移的回歸值,我們可以使用一組方程(7)作為矩陣的X行運算,記Xi為循環(huán)移動i位后的訓練樣本,Xi=Pix,?坌i=0,1,…,n-1構成循環(huán)矩陣X,此時構建了訓練樣本X。
X=C(x)= x1 ? ? x2 ?… ?xn-2 ?xn-1 ?xn xn ? ? x1 ?… ?xn-3 ?xn-2 ?xn-1 xn-1 ? xn-2 … ?xn-4 ?xn-3 ?xn-2 ┆ ? ┆ ? ? ? ?┆ ? ┆ ?┆ x3 ? ? x4 ?… ? x4 ? ?x3 ? ?x2 x2 ? ? x2 ?… ? x3 ? ?x2 ? ?x1(8)