基于LM算法的相對測量相機非線性標(biāo)定技術(shù)

田少雄，盧 山，劉宗明，孫 玥，劉付成，曹姝清

（1.上海航天控制技術(shù)研究所，上海 201109；2.上海市空間智能控制技術(shù)重點實驗室，上海 201109）

0 引言

基于光學(xué)成像的視覺相對導(dǎo)航系統(tǒng)因其體積小、重量輕、壽命長和可靠性高等優(yōu)點，已成為空間任務(wù)中獲得航天器間相對位姿信息的重要手段［1］。計算機視覺系統(tǒng)用相機從空間獲取圖像信息，如欲通過三維重建得到空間物體的位置、姿態(tài)等信息，須知道三維空間點與圖像像素間的對應(yīng)關(guān)系，這就需要對相機進(jìn)行標(biāo)定。相機標(biāo)定技術(shù)主要分為傳統(tǒng)標(biāo)定方法和自標(biāo)定方法兩類。自標(biāo)定方法又稱為弱標(biāo)定，精度不高，魯棒性不強［2－3］。傳統(tǒng)的標(biāo)定方法又分為線性標(biāo)定和非線性標(biāo)定兩類。相機線性標(biāo)定不考慮相機鏡頭的畸變，算法速度快，但精度較低，且對噪聲敏感，適用一般場合［4］。相機非線性標(biāo)定引入了相機的畸變參數(shù)，模型更精確，標(biāo)定精度較高。在非線性模型中，雖然引入相機畸變因素可補償鏡頭畸變的影響，但算法的迭代需選取良好的初值，且模型越精確，計算代價越高。文獻(xiàn)［5］基于徑向約束（RAC）的兩步法標(biāo)定，可保證較高的精度，但需對圖像中心等參數(shù)進(jìn)行預(yù)標(biāo)定。文獻(xiàn)［6］引入一階徑向畸變，用非線性迭代法優(yōu)化攝像機相關(guān)參數(shù)，一定程度提高了標(biāo)定精度。文獻(xiàn)［7］采用基于神經(jīng)網(wǎng)絡(luò)的標(biāo)定方法，可求解復(fù)雜的非線性問題，但訓(xùn)練網(wǎng)絡(luò)需要有足夠的樣本，且泛化能力差。

Levenberg－Marquardt算法是一種性能優(yōu)良的最優(yōu)化算法，結(jié)合了梯度法和牛頓法的優(yōu)點，且收斂性強。為此，本文對一種基于 Levenberg－Mar－quardt算法的相機非線性標(biāo)定方法進(jìn)行了研究。

1 相機非線性模型

相機的針孔模型又稱為線性相機模型［8］?？臻g中任意一點P在圖像中的投影點p可用針孔模型近似表示，如圖1所示。

圖1 相機模型Fig.1 Camera model

設(shè)（u，v）為投影點p的圖像像素坐標(biāo)；（Xc，Yc，Zc）為空間點P在相機坐標(biāo)系中的坐標(biāo)，兩者關(guān)系可用齊次坐標(biāo)表示為

式中：s為比例因子；αx，αy分別為u、v軸上的尺度因子；（u0，v0）為像面主點位置。

設(shè)（Xw，Yw，Zw）為空間點P在世界坐標(biāo)系中的坐標(biāo)，點P在世界坐標(biāo)系和相機坐標(biāo)系中的關(guān)系可用齊次坐標(biāo)表示為

式中：R為相機坐標(biāo)系的旋轉(zhuǎn)矩陣；t為世界坐標(biāo)系和平移向量。

由式（1）、（2）可得，世界坐標(biāo)系表示的空間點P與其投影點p坐標(biāo)的關(guān)系為

式中：M1為線性相機內(nèi)部參數(shù)，取決于αx，αy，u0，v0；M2為相機外部參數(shù)，取決于相機坐標(biāo)系相對世界坐標(biāo)系的方位。

實際工程中，由于鏡頭的彎曲和安裝誤差等影響，鏡頭并非理想的透鏡成像，而帶有不同程度的畸變，使空間點所成的像不在線性模型描述的位置，而是在受到鏡頭失真后影響有一定偏移［9］。

在針孔模型中對Pc（Xc，Yc，Zc）作歸一化投影，可得歸一化的圖像坐標(biāo)為

式中：（x，y）為理想圖像坐標(biāo)值。

令（xd，yd）為在受鏡頭失真后影響而偏移的實際像平面坐標(biāo)，且

式中：δx，δy為線性畸變值。畸變模型一般包括徑向畸變和切向畸變。

a）徑向畸變

徑向畸變主要來自鏡頭形狀，光學(xué)中心的徑向畸變?yōu)?，隨著向邊緣移動，徑向畸變越來越嚴(yán)重，其數(shù)學(xué)模型為

式中：r2＝x2＋y2；k1，k2，…為徑向畸變系數(shù)。

b）切向畸變

切向畸變主要是由透鏡制造中的缺陷使透鏡本身與圖像平面不平行產(chǎn)生的，其數(shù)學(xué)模型為

式中：p1，p2，…為切向畸變系數(shù)。

為保證精度和迭代速度，本文僅考慮徑向畸變和切向畸變的前兩項，這已能獲得足夠的精度，則（xd，yd），（x，y）滿足關(guān)系

將歸一化的實際圖像坐標(biāo)轉(zhuǎn)換為在圖像像素坐標(biāo)系的坐標(biāo)，由式（1）有

上述線性模型的參數(shù)αx，αy，u0，v0與非線性畸變參數(shù)k1，k2，p1，p2構(gòu)成了非線性模型的相機內(nèi)部參數(shù)。

2 初值求解

本文用直接線性變換法（DLT）計算相機內(nèi)外參數(shù)的初值，通過求解線性方程可求得相機模型的參數(shù)。

由式（3）可得

式中：（Xwi，Ywi，Zwi，1）為3D 立體靶標(biāo)第i個點的坐標(biāo)；（ui，vi，1）為第i個點的圖像坐標(biāo)。式（10）消去si后可得兩個關(guān)于mij的線性方程

對n個特征點，可得2n個關(guān)于M陣元素的線性方程。實際上，M陣乘以任意不為零的常數(shù)不會影響（Xw，Yw，Zw）與（u，v）間的關(guān)系，故可指定m34＝1，當(dāng)2n＞11時，可用最小二乘法可求出M陣的所有元素。求出M后，可分解獲得相機的線性內(nèi)外參數(shù)。

3 Levenberg－Marquardt非線性優(yōu)化

由直接線性變換法求得相機線性模型的內(nèi)外參數(shù)初值后，對其進(jìn)行非線性優(yōu)化。對于n個標(biāo)定點，可通過最小化目標(biāo)函數(shù)

對內(nèi)外參數(shù)進(jìn)行優(yōu)化。此處：（xdi，ydi），（ui，vi）分別為第i個點的模型和實際坐標(biāo)。

本文用LM算法求解最優(yōu)化問題，LM算法是求解非線性最優(yōu)化問題的典型算法，結(jié)合了最速下降法和 Gauss－Newton法的優(yōu)點［10］。

設(shè)xk為當(dāng)前解，對式（12），Gauss－Newton法求解問題的試探步為）

式中：J（xk）為Jocobian矩陣。Gauss－Newton法要求Jocobian矩陣為行滿秩，故無法用其求解非線性方程組奇異問題。

LM算法對Gauss－Newton法進(jìn)行改進(jìn)，將一個正定矩陣ukI加到（J（xk））TJ（xk）上，使之成為正定矩陣，LM算法步長

式中：I為單位矩陣；u為LM參數(shù)，當(dāng)時u→0時，趨于Gauss－Newton法，當(dāng)u→ ∞ 時，dk趨于最速下降法。

將直接線性變換求得的內(nèi)外參數(shù)作為初值，取k1，k2，p1，p2初值為0，進(jìn)行迭代計算，算法步驟為

a）輸入初值x0，初始參數(shù)u＝0.01，設(shè)定精度ε＝1×10－7；

b）計算F（x），J（x）；

c）計算dk，則xk＋1＝xk＋dk；

d）若F（xk＋1）＜F（xk），且 ‖dk‖ ＜ε，停止迭代，輸出結(jié)果；否則，令u＝u／10，轉(zhuǎn)至步驟b）；

e）若F（xk＋1）≥F（xk），令u＝10u，重新計算dk，返回到步驟d）。

4 實驗結(jié)果

實驗相機分辨率2 048pixel×2 048pixel，鏡頭焦距f＝10mm，像元尺寸5.5μm×5.5μm。以精密三維坐標(biāo)機為標(biāo)定靶標(biāo)，三維坐標(biāo)機前后移動3個面，共采集世界坐標(biāo)采樣點196個。對采集的靶標(biāo)點進(jìn)行圖像處理后，可得對應(yīng)的圖像像素坐標(biāo)。由此獲得世界坐標(biāo)和圖像坐標(biāo)點對196組。

實驗中，用直接線性變換法求出相機內(nèi)外參數(shù)的初值，取k1，k2，p1，p2初值為0，用LM 法迭代計算精確解，結(jié)果見表1。

迭代優(yōu)化完成后，分別用初始的內(nèi)外參數(shù)和優(yōu)化后的內(nèi)外參數(shù)重新投影，計算實測圖像坐標(biāo)與由模型得到的圖像坐標(biāo)的像點坐標(biāo)誤差，初始參數(shù)重新投影的像點誤差如圖2所示，LM優(yōu)化參數(shù)重新投影得到的像點誤差如圖3所示。

定義實測圖像坐標(biāo)（u，v）與根據(jù)模型投影的圖像坐標(biāo)（U，V）的距離平均值

表1 標(biāo)定結(jié)果Tab.1 Calibration result

圖2 初始參數(shù)反投誤差Fig.2 Reprojection error of initial parameters

圖3 LM優(yōu)化參數(shù)反投誤差Fig.3 Reprojection error of LM optimation parameters

用式（15）分別求得初始參數(shù)與LM優(yōu)化參數(shù)反投得到的圖像坐標(biāo)與實測坐標(biāo)的距離平均值分別為0.172 33，0.045 48。

由重新投影后的像點誤差圖和距離平均值可知：經(jīng)非線性優(yōu)化后，反投像點的誤差更趨近于零，與實測坐標(biāo)間的平均距離也減小很多，標(biāo)定精度有一定提高。

為進(jìn)一步驗證算法有效性，將本文算法與相機標(biāo)定的經(jīng)典算法Tsai法進(jìn)行比較。Tsai標(biāo)定法標(biāo)定結(jié)果為：k1＝－0.022 61；內(nèi)參、外參分別為

Tsai法只考慮了一階徑向畸變，本文方法考慮了一階和二階的徑向、切向畸變。Tsai重新投影的像點誤差如圖4所示。

圖4 Tsai法標(biāo)定參數(shù)反投誤差Fig.4 Reprojection error of Tsai method calibration parameters

由式（15），可得Tsai法標(biāo)定參數(shù)反投得到的圖像坐標(biāo)與實測坐標(biāo)的距離平均值為0.112 99，略大于本文算法得到距離平均值。比較反投誤差和距離平均值和距離平均值可知，本文算法精度較高。

5 結(jié)束語

在考慮相機徑向畸變和切向畸變情況下，本文用立體坐標(biāo)機獲得標(biāo)定所用特征點數(shù)據(jù)，由直接線性變換法求出了相機的線性模型內(nèi)外參數(shù)，用LM算法迭代求解出非線性模型的內(nèi)外參數(shù)。與初始標(biāo)定結(jié)果和Tsai法標(biāo)定結(jié)果比較表明：本文算法能有效提高相機標(biāo)定精度。

［1］ PHILIP N K，ANANTHASAYANAM M R.Relative position and attitude estimation and control schemes for the final phase of an antonomous docing mission of spacecraft［J］.Acta Astronauica，2003，52：511－522.

［2］ FAUGERAS Q，LUONG T，MAYBANK S.Camera self－calibration：theory and experiments［C］／／In Proceeding of the 2nd European Conference on Computer Vision.Santa Margherita Ligure：Computer Vision－ECCV，1992：321－334.

［3］ MAYBANK S，F(xiàn)AUGERAS O.A theory of self－calibration of a moving camera［J］.International Journal of Computer Vision，1992，8（2）：123－151.

［4］ 高宏偉.計算機雙目立體視覺［M］.北京：電子工業(yè)出版社，2012.

［5］ TSAI R Y.A versatile camera calibration technique for high－accuracy 3Dmachine vision metrology using off－the－shelf TV cameras and lenses［J］.IEEE journal of Robotics and Automation，1987，RA－3（4）：323－344.

［6］ 夏 艷，蘇 中，吳細(xì)寶.雙目視覺測量系統(tǒng)的標(biāo)定及三維測量［J］.中國圖像圖形學(xué)報，2008，13（7）：1298－1302.

［7］ 秦慶兵.基于神經(jīng)網(wǎng)絡(luò)的攝像機畸變校正研究［D］.沈陽：東北大學(xué)，2010.

［8］ 張廣軍.視覺測量［M］.北京：科學(xué)出版社，2008.

［9］ 葛寶臻，李曉潔，邱 實.基于共面點直接線性變換的相機畸變校正［J］.中國激光，2010，37（2）：488－494.

［10］ 袁亞湘，孫文瑜.最優(yōu)化理論與方法［M］.北京：科學(xué)出版社，2001.