無人機位姿測量的點特征視覺方法*

吳 雷，黃 斌，李旺靈，孫永榮

(南京航空航天大學 導航研究中心·南京·211106)

0 引 言

無人飛行器具有成本低、體積小、質量小、機動性強等獨到優(yōu)勢，因而在軍事、農業(yè)和工業(yè)領域有著廣闊的應用前景[1]。無人機在執(zhí)行任務時需要感知自身的位姿參數(shù)及周圍的環(huán)境信息。其常用的導航方式(如GPS和慣導技術)因使用環(huán)境和成本等原因，難以滿足無人機在復雜環(huán)境下對高精度實時定位的需求。基于視覺技術的位姿測量方法因結構簡單、非接觸、成本低、近距精度高等優(yōu)點，在無人機定位領域得到了廣泛的應用[2-3]?，F(xiàn)有的基于機器視覺技術的無人機位姿測量方法，多通過對無人機本身進行識別和定位而實現(xiàn)其功能，其精度與可靠性都不能令人滿意，而利用人工標記點進行識別的方法，存在著特征點布局及標定等問題。

為了滿足各種場景下的高精度、高速率的無人機位姿測量的要求，本文提出了一種以人工標志信號燈為特征點的單目視覺測量方案[4]，利用由多場景確定的點位置測量方法[5]預先確定標記點在無人機機體系下的三維空間位置，隨后用相機實時采集特征點的成像圖片，并提取它們的亞像素坐標[6]，最后將點的二維和三維坐標進行匹配，利用EpnP算法[7]求解無人機的位置和姿態(tài)。

1 特征點空間位置求解

1.1 攝像機模型

常用的攝像機成像模型包括3種：小孔成像模型、正交投影模型、擬透視投影模型。其中，獲得應用最多的是小孔成像模型，其也被稱為針孔相機模型。針孔成像模型涉及到圖1中4個坐標系之間的轉換，現(xiàn)具體說明如下：

(4)像素坐標系：它的位置與像平面坐標系一致，以像素為單位。不同于以上三者，其以物理長度為單位。它的原點位于圖像的左上角，u軸與像平面坐標的X軸平行，v軸與像平面坐標系的Y軸平行,其坐標系關系如圖1所示。

圖1 坐標系關系Fig.1 Relationship of coordinate systems

通過對上述坐標系進行一系列的坐標轉換，最終可以得到世界坐標與像素坐標之間的轉換關系，即針孔成像模型。

(1)

1.2 特征點三維位置的測量方法

在進行無人機位姿測量時，首先需要獲得特征點在無人機機體系中的三維空間位置，而在實際應用中，特征點的分布往往不規(guī)則，即使預先確定了位置，在安裝時也會出現(xiàn)誤差。如何精確地確定多個特征點的三維坐標，是無人機位姿測量的基礎。本文采用了一種基于視覺技術的由多場景確定的空間點位置測量方法，其核心思想在于首先利用標定模板標定出各個場景的位姿參數(shù)，然后利用各個場景下的二維圖像坐標與場景參數(shù)，求解特征點的三維空間位置。

本文使用的標定模板是棋盤格標定板，將棋盤標定板的橫軸、縱軸分別作為X軸、Y軸，Z軸垂直于棋盤平面，并以此建立棋盤坐標系。由此，標定板上每一個棋盤角點的三維坐標已知，再由相機采集的場景圖片提取棋盤角點的圖像坐標，通過坐標之間的對應關系可以解算出該場景的位姿參數(shù)。在此基礎上，再從每個場景的圖像中利用手動標記的方法給出待測量的特征點的圖像坐標，結合對應的場景位姿參數(shù)，根據(jù)相機模型便可以解算出特征點的三維空間位置，最后利用LM迭代算法使得重投影誤差實現(xiàn)最小化，從而提高位置求解的精度。如圖2所示，將棋盤格標定板與無人機置于同一場景下，棋盤格用于求解當前的場景信息，藍色的十字是由手動選取的特征點的圖像位置。經(jīng)實驗測量，手動選點的方式可以滿足應用精度需求。圖2(b)是由該方法獲得的特征點在棋盤坐標系下的三維坐標，通過對比可知，該方法的三維標定誤差小于2mm。

(a) 特征點三維標定場景圖(a) Scene of calibration

(b) 特征點三維標定結果圖(b) Result of calibration圖2 特征點的三維標定Fig.2 Three-dimensional calibration of the feature points

2 特征點圖像坐標求解

2.1 特征點識別與跟蹤

本文采用多個紅色的LED燈作為標記點。通電之后，LED燈會呈現(xiàn)出圓形的紅色光斑，且亮度較高，與環(huán)境及無人機本身的對比度較大，易于被檢測和識別。本文對于特征點的識別也正是基于顏色、亮度和形狀這3個特征。

在圖像處理中，顏色通常由3個獨立的屬性來描述，由此構成顏色空間。按照構成原理，顏色空間可分為2大類：基色顏色空間和色、亮分離顏色空間。前者的典型代表是RGB顏色空間，后者的典型代表是HSV空間。HSV空間將亮度從色彩中分離出來，從而可以更好地感知圖像中的顏色和亮度信息，繼而方便從圖像中提取感興趣的區(qū)域。工業(yè)相機采集的圖片一般為RGB格式，先將圖片從RGB空間轉換到HSV空間，紅色的范圍為0～10和156～180 兩個區(qū)間，然后以此為閾值對圖片進行分割，提取出其中的紅色區(qū)域。在實際應用中，可根據(jù)實際情況對參數(shù)進行微調。

考慮到在實際應用場景中可能出現(xiàn)其他紅色物體，進而影響特征點的識別，因而需要加入更多的約束條件。由于LED燈的亮度較高，可以將其作為1項判斷指標，對亮度通道進行篩選。如果對亮度分量采用閾值分割的方法，閾值的選擇會對檢測效果影響較大，難以滿足亮度變化范圍較大的場景的需求。本文使用了一種調整相機曝光率的方法來對亮度特征進行篩選，使得檢測效果對曝光率的選取不敏感。在實驗中，發(fā)現(xiàn)了1個合適的曝光率，其可以兼容亮度大范圍變化的環(huán)境。圖3為相機在低曝光率下采集的特征點的圖片，特征點的亮度特征使其與背景實現(xiàn)了分割。進一步地，本文以目標的圓形形狀作為第3層篩選條件，從而提高了識別的可靠性，即先對上述提取出的區(qū)域進行輪廓檢測，然后以區(qū)域的長寬比、周長面積比為指標，剔除不滿足條件的區(qū)域。

上文通過特征點的顏色、亮度及形狀3個特征對目標進行識別，為了提高提取特征點的速度，本文在識別環(huán)節(jié)之后加入了跟蹤環(huán)節(jié)。由于無人機的運動是連續(xù)的，而且工業(yè)相機的幀率較高，因而在相鄰幀之間，無人機的運動幅度不大?；谶@一點，可以由上一幀檢測出的目標位置預測下一幀的目標位置，從而減小跟蹤的候選區(qū)域，縮短算法的處理時間。為了提高預測的可靠性，預測框要大于檢測框。當開始處理下一幀時，先要縮小預測框。本文采用的方法是在RGB空間做差。在幀與幀之間，目標的RGB三通道像素值都可被視作固定不變，所以在跟蹤環(huán)節(jié)中，只需要將預測框中的三通道像素值與上一幀中目標的三通道像素值做差，即可對目標進行分割，這樣可以實現(xiàn)預測框的最小化，最后在這個最小化的預測框中執(zhí)行上述檢測算法。跟蹤環(huán)節(jié)即充分利用上一幀的先驗信息，將下一幀的檢測范圍最小化，使得目標識別的速度大大提升。

圖3 相機在低曝光率下采集的特征點圖像Fig.3 Feature points image at low exposure rate

2.2 特征點坐標提取

本文采用的LED標記點在圖像中呈現(xiàn)為圓形小區(qū)域，其中心坐標即可被視作特征點的二維圖像坐標。如何提取目標中心點，是視覺測量中的一個重要問題。對此，研究人員已經(jīng)提出了多種方法，方法主要可以分為基于區(qū)域的方法和基于邊緣的方法2種。本文采用的是基于區(qū)域的重心法。通過求取區(qū)域的矩特征獲得其重心坐標，并將重心坐標作為圓形區(qū)域的中心。

矩是描述圖像特征的算子，矩技術被廣泛應用于圖像檢索和識別、圖像匹配等領域。常見的矩描述子有幾何矩、正交矩等。使用幾何矩可以方便地求取區(qū)域的重心

(2)

圖4 特征點提取效果圖Fig.4 Effect drawing of feature points extracted

3 無人機位姿參數(shù)求解

目標物體的位姿測量即是求解攝像機坐標系與物體空間坐標系的轉換關系，一般可分為2種情況，一種是物體空間坐標系的原點和方向固定，當物體運動時，求解物體在固定的空間坐標系下的位姿參數(shù)；另一種是空間坐標系隨物體一起運動，此時物體位姿解算即為求解攝像機坐標系與物體空間坐標系的位姿關系。針對無人機的位姿測量，一般采用的是第2種形式，即將物體空間坐標系與無人機機體坐標系固連，測量無人機相對于攝像機的平移和旋轉關系。針對平移關系的描述，通常采用3×1的平移向量，而針對旋轉關系，通常采用3×3的旋轉矩陣來描述。

n點透視問題簡稱為PNP(Perspective-N-Points)問題，主要研究在給定相機內參數(shù)和一系列2D-3D對應點時，如何求解目標物體的位置和姿態(tài)信息。當特征點的個數(shù)和布局不同時，PNP問題的求解算法和解算精度都不同。經(jīng)典的PNP算法包括P3P、DLS、NPL、EpnP等，其中EpnP算法的使用最為廣泛，當前針對PNP問題的研究也大都建立在EpnP的基礎上。本文使用的位姿參數(shù)求解算法也是EpnP算法。

EpnP算法用非迭代方式求解PNP問題，它的計算復雜度與特征點的個數(shù)n線性相關，所以該算法的速度超過了大多數(shù)算法，其精度也只比部分迭代算法略低，而遠高于其他非迭代算法。EpnP的核心思想在于將n個3D點表示為4個虛擬控制點的加權和。如圖5所示，空間中任意3D點的坐標均可以用4個不共面的3D點坐標的權重表示。PNP問題可以簡化為估計這些控制點在相機參考系下的坐標。這些坐標可以表示為1個12×12的矩陣的特征向量的加權和，通過求解少量二次方程，算出權重系數(shù)，即可求解控制點的坐標。

圖5 EpnP算法的原理示意圖Fig.5 Principle of EpnP Algorithm

在求解目標位姿參數(shù)時，EpnP算法需要相機內參數(shù)及3個以上的2D-3D特征點對，其中相機的內參數(shù)使用張正友相機標定法求得，特征點的三維世界坐標可通過第1節(jié)的多場景下點的標定方法求解，特征點的二維圖像坐標可由第2節(jié)的圖像檢測與跟蹤算法獲得，然后將二維坐標與三維坐標進行匹配，以確定它們之間的對應關系，最后基于EpnP算法精確而快速地測出目標無人機的位置、姿態(tài)信息。

4 實驗結果與分析

在實驗中，以六旋翼無人機的一側安裝的6個紅色的LED燈作為標記點，其空間布局如圖2(b)所示。采用Point Grey公司的CMLN系列工業(yè)相機，對上文提出的算法進行實驗測試，如圖6所示。本文從穩(wěn)定性、速度和精度3個方面測試了算法性能，算法的穩(wěn)定性用正確識別的幀數(shù)占總幀數(shù)的比率來衡量。在實驗中，正確識別率達到了98%以上。針對單幀圖片的處理時間，可以作為衡量算法速度的指標。本文算法對單幀圖片的處理時間可分為2類，檢測狀態(tài)下的平均處理時間為5ms,跟蹤狀態(tài)下的平均處理時間為2ms，說明該算法的實時性較好。

圖6 安裝LED燈的旋翼機實驗裝置圖Fig.6 Experimental device with LED lights in UAV

位姿解算算法的另一項重要指標是其解算精度。高精度的位姿參數(shù)是無人機完成復雜任務的基礎，因而在實驗中，需重點對位姿解算誤差進行測試和分析。本文從位置解算誤差和姿態(tài)解算誤差2個方面分別進行了討論。針對位置誤差的測量，本文采用的實驗裝置是高精度的三軸移動平臺。在實驗中，將相機固定在平臺的移動支架上，而將無人機保持靜止，通過電機精確地控制相機在橫向、縱向、前向3個方向上的移動，對比相機移動距離與視覺算法解算的距離變化值，即可得到算法的解算誤差。對于姿態(tài)誤差的測量，本文采用的是三軸轉臺。在實驗中，將旋翼機安裝在轉臺上，保持相機靜止，控制轉臺，改變機體的航向、俯仰、橫滾三個角度，并將其與解算的變化值進行對比，以測量姿態(tài)解算的誤差。

如圖7所示，本文算法在空間坐標系的三個軸向上的位置解算誤差均小于2%，且在深度方向上的誤差相比橫向和縱向的誤差均略大；本文算法在機體坐標系上的姿態(tài)解算誤差約為8%。大多數(shù)應用場合，對于位置信息的準確度需求較高，而對姿態(tài)的精度需求略低，因而本文算法可以滿足多數(shù)場合對無人機定位的需求。

圖7 位姿解算誤差圖Fig.7 Error of position solution

5 結 論

本文提出了一種基于特征點的無人機位姿單目視覺測量方法，采用多場景下點的三維位置標定方法解決了特征點的三維位置求解問題。通過應用該方法，特征點標記不需要精確地安裝至特定位置，而可以在安裝之后進行標定求解，大大地降低了特征點安裝的難度；利用特征標記的亮度、顏色和形狀特征提取特征點成像區(qū)域，用跟蹤算法提高特征點提取速度，通過重心法獲得特征點的二維亞像素坐標，最后用EpnP算法求解目標的位置和姿態(tài)參數(shù)。實驗結果表明，該方法的穩(wěn)定性和運行速度較高，位置解算誤差小于2%，姿態(tài)解算誤差約為8%，可以滿足一般場景對無人機定位精度的需求。