師 平

(江蘇航空職業(yè)技術(shù)學(xué)院，江蘇 鎮(zhèn)江 212134)

魚眼圖像徑向畸變校正的一種新方法

師 平

(江蘇航空職業(yè)技術(shù)學(xué)院，江蘇 鎮(zhèn)江 212134)

由于魚眼相機(jī)視場廣闊在很多領(lǐng)域都得到了廣泛應(yīng)用，但其圖像存在著明顯的徑向畸變，需要在應(yīng)用之前加以校正。為此分析了徑向畸變模型解析解的非唯一性；根據(jù)徑向畸變的對稱性，得出了畸變直線與理想直線之間的關(guān)系，即畸變校正的解析表達(dá)式；提出了一種魚眼圖像徑向畸變校正的新方法。實(shí)驗(yàn)證明，該方法計(jì)算簡單，能有效校正包含直線特征的場景。

徑向畸變；魚眼圖像；幾何校正；畸變校正

魚眼鏡頭因其寬視場的特點(diǎn)廣泛應(yīng)用于區(qū)域監(jiān)控、機(jī)器導(dǎo)航和智能交通等領(lǐng)域。但是魚眼鏡頭拍攝的圖像存在較大程度的失真，為了后續(xù)處理的方便，必須對失真圖像進(jìn)行處理，即畸變圖像校正[1]。目前，畸變圖像校正大體可分為2種途徑：①將畸變模型代入小孔成像模型中，然后通過標(biāo)定攝像機(jī)的內(nèi)外參數(shù)求出的畸變模型將圖像校正，常見的標(biāo)定方法有基于特征點(diǎn)的標(biāo)定[2]、基于相機(jī)扭曲系數(shù)的標(biāo)定[3]。②不標(biāo)定攝像機(jī)內(nèi)外參數(shù)，僅利用單幅圖像的幾何特征建立統(tǒng)一的畸變模型，再通過數(shù)值方法優(yōu)化出最優(yōu)解進(jìn)行校正，常見的方法有根據(jù)畸變曲線的彎曲特點(diǎn)[4]、用橢球面模型[5]、球面坐標(biāo)投影模型[6]和弧面映射模型[7]等去逼近和擬合；還有利用直線畸變后形成的曲線的圓心共線約束[8]、利用直線畸變特征[9]和利用直線投影幾何不變性[10]等許多思路。文獻(xiàn)[11]提出了一種不預(yù)先設(shè)定模型，通過像點(diǎn)之間的約束來解算模型的新算法。文獻(xiàn)[12]提出了畸變能量的定義方法，可用于評價(jià)畸變的程度。該方法的優(yōu)勢在于不設(shè)定畸變模型首先減少了模型誤差對標(biāo)定的影響。

本文通過分析徑向畸變的對稱性，得出畸變曲線與理想直線之間的關(guān)系，即曲線畸變校正的解析表達(dá)式；進(jìn)而提出一種基于徑向畸變模型的幾何校正方法。采用魚眼圖像進(jìn)行實(shí)驗(yàn)，對不同階次的模型進(jìn)行對比。

1 徑向畸變模型

畸變可分為徑向畸變和切向畸變，由于切向畸變較小，本文僅對徑向畸變進(jìn)行建模。徑向畸變根據(jù)鏡頭的不同可以大致分為桶形畸變和枕形畸變兩種[13]。一般來說，徑向畸變模型可以表述為[14]

如列向量 (x, y,1)T為圖像點(diǎn) P測量的坐標(biāo)，(x', y',1)T為矯正后的理想像點(diǎn) P'的坐標(biāo)，而(x,y ,1)T為徑向失真中心P0的坐標(biāo)，r為實(shí)際像oo點(diǎn)到徑向失真中心的距離，即。L(r)是徑向失真因子，僅是半徑r的函數(shù)。

其中，只有 r為已知量，r'與 L（ r）均是未知的，對于一個(gè)多元方程，其解析解并不是唯一的。下面通過分析將說明徑向畸變模型的最優(yōu)解是一組線性相關(guān)的解。

假設(shè)物點(diǎn) Pi在攝像機(jī)坐標(biāo)系下的坐標(biāo)為(Xi, Yi, Zi)，其對應(yīng)的實(shí)際像點(diǎn)為 pi( xi, yi)，采用基于重投影最小準(zhǔn)則的標(biāo)定方法，得到畸變因子為L( ri)，焦距為f。證明畸變因子 L'( ri) = L( ri)×λ，焦距f'=f×λ，也可以使重投影達(dá)到最小。

重投影公式為

其中，內(nèi)參數(shù)(f, L( r))與(f',L'( r))在代數(shù)上等價(jià)，都可以使重投影最小，說明其解都是最優(yōu)解，即徑向畸變模型的最優(yōu)解是一組線性相關(guān)的解。

因此，本文用的徑向畸變模型有不唯一的解析解，其數(shù)值最優(yōu)解是一組線性相關(guān)的解。

2 徑向畸變模型的對稱性分析

2.1 畸變的對稱性

根據(jù)式(2)，發(fā)現(xiàn)當(dāng)實(shí)際像點(diǎn)矢徑 r相同時(shí)，其畸變量也是一致的，即與主點(diǎn)距離相同的點(diǎn)其畸變量也相同，稱這種規(guī)律為畸變的對稱性，用公式表述則為：

(1) 主點(diǎn)距離相同的 2個(gè)像點(diǎn)為 P1( x1, y1)、P2( x2,y2)，即

此規(guī)律體現(xiàn)了畸變圖像中各像點(diǎn)之間的聯(lián)系與制約關(guān)系，且直線畸變后形成的曲線也不是相互獨(dú)立的，下面探討畸變直線之間的量化關(guān)系，進(jìn)而據(jù)此得出畸變曲線對應(yīng)的理想直線的參數(shù)。

2.2 畸變曲線校正

假設(shè)像點(diǎn)P1、P2分別在畸變曲線C1、C2上，其對應(yīng)的理想直線分別用列向量表示為 l1T=(a1, b1,1)， l2T=(a2, b2,1)，則有分別在l1、l2，即

將式(4)～(7)轉(zhuǎn)化為代數(shù)表達(dá)式則為

經(jīng)過整理得

當(dāng)取主點(diǎn)為原點(diǎn)，則有

根據(jù)式(9)，可以得出以下2個(gè)結(jié)論：

結(jié)論1. 當(dāng)l1=l2時(shí)，

利用該結(jié)論，可以直接求解出畸變曲線對應(yīng)的理想直線的斜率。

利用該結(jié)論可以進(jìn)一步求解出兩條理想直線第2個(gè)參數(shù)之間的關(guān)系。

至此可以得出畸變點(diǎn)和理想直線參數(shù)之間的關(guān)系，只要找到主點(diǎn)，就可以直接求出畸變曲線對應(yīng)的理想直線的參數(shù)。

3 畸變校正算法

到主點(diǎn)就可以找到畸變曲線和理想直線之間的關(guān)系，即可以將畸變曲線還原為其本來的理想直線，進(jìn)而可以求出畸變模型。具體的畸變校正算法流程如圖1所示。

3.1 主點(diǎn)擬合

擬合主點(diǎn)的方式有很多，本文采用畸變曲線對稱軸交匯的方法進(jìn)行求解，具體方法見圖2。

圖2中，P0為畸變中心；曲線C1、C2為直線畸變后形成的曲線；T1、T2為曲線C1、C2上部分點(diǎn)擬合形成的二次曲線。根據(jù)畸變對稱性原理，畸變曲線是軸對稱圖形，并且主點(diǎn)必過對稱軸，則有二次曲線對稱軸就是畸變曲線的對稱軸，多條對稱軸的交點(diǎn)即為主點(diǎn)。

3.2 直線參數(shù)求解

如圖3所示，以曲線C1為例，說明其理想直線的參數(shù)求解過程，以 P0( x0,y0)為圓心，以rk1為半徑做圓交曲線C1于 (xk11,yk11)、( xk12,yk12)兩點(diǎn)，根據(jù)式(9)，則有

依照此方法，可以求出 k2, k3,… ,kn等。

根據(jù)2.2節(jié)的結(jié)論2求解直線的第2個(gè)參數(shù)。假設(shè)b1=1(根據(jù)第一節(jié)證明的徑向畸變模型的解不唯一性，這樣的假設(shè)是有效的)，以 (x0,y0)為圓心，以rb1為半徑做圓交曲線C1、C2于 (xb11,yb11)、(xb12,yb12)兩點(diǎn)以此方法，可以依次求出 b2, b3,…,bn等。

3.3 求解畸變模型

同文獻(xiàn)[15]所提方法類似，根據(jù)理想直線和畸變曲線的對應(yīng)關(guān)系，可以計(jì)算得出一組點(diǎn)的矢徑r1, r2,… ,rn，對應(yīng)的理想像點(diǎn)的矢徑 r1', r2' ,… ,rn' ，然后可以選擇模型去擬合畸變因子函數(shù)L( r)。本文選擇多項(xiàng)式模型進(jìn)行擬合，模型的階次需要根據(jù)校正效果進(jìn)行選擇，即參數(shù) n是一個(gè)經(jīng)驗(yàn)值，需要通過實(shí)驗(yàn)進(jìn)行設(shè)置。事實(shí)上，本文通過實(shí)驗(yàn)證明，取 n=3時(shí)，校正的效果就已經(jīng)不錯(cuò)了。進(jìn)一步提高階數(shù)，大大增加了計(jì)算量，效果改善卻并不明顯。

得到畸變模型后，畸變校正就是畸變模型的反變換。利用式(1)，根據(jù)擬合模型求得的最優(yōu)模型可以將原圖像上的像素點(diǎn)進(jìn)行映射，即可得到校正后的圖像。

4 實(shí)驗(yàn)與分析

本文實(shí)驗(yàn)采用魚眼鏡頭實(shí)際拍攝棋盤格圖像，圖像大小為720×480。如圖4所示，任意選取6條直線，在每條直線上選取15個(gè)點(diǎn)，根據(jù)式(11)擬合出各條直線，對應(yīng)如下式的二次曲線

進(jìn)一步根據(jù)該二次曲線的對稱軸求其交點(diǎn)，可以得出主點(diǎn)坐標(biāo)為(340.0868 202.6049)。據(jù)式(12)和(13)，求出6條直線的2個(gè)參數(shù)如表1所示。

圖4 魚眼鏡頭畸變后的圖像

表1 擬合直線參數(shù)表

在求得的主點(diǎn)坐標(biāo)和理想直線的基礎(chǔ)上，可以用畸變因子表征直線不同位置點(diǎn)的畸變程度，即不同矢徑對應(yīng)不同的畸變因子，其關(guān)系可用圖5所示。其中橫坐標(biāo)為徑矢r，單位為像素；縱坐標(biāo)為畸變因子，單位是無量綱。

圖5 矢徑與畸變因子對應(yīng)的關(guān)系圖

圖6 各階畸變誤差及校正圖

如圖 6所示，采用一、二階模型時(shí)，校正誤差較大，三階以上誤差變化不明顯。而三階模型的計(jì)算量更少，因此畸變模型一般采用三階就可以了。

與文獻(xiàn)[13]相比，本文方法計(jì)算簡單，原理清晰，可以用較少的數(shù)據(jù)量得到比較精確的結(jié)果。

5 結(jié)論與展望

隨著魚眼相機(jī)的廣泛應(yīng)用，魚眼圖幾何畸變校正已經(jīng)成為當(dāng)前重要的研究熱點(diǎn)。本文研究了徑向畸變模型，證明其解析解不唯一，且最優(yōu)解是一組線性相關(guān)的解；分析了徑向畸變的對稱性，得出畸變曲線與理想直線之間的關(guān)系，即曲線畸變校正的解析表達(dá)式；提出了一種基于徑向畸變模型的幾何校正方法。實(shí)驗(yàn)證明，該方法計(jì)算簡單，能有效校正包含直線特征的場景。且對于該模型，并不是階次越高越好：三階以前擬合誤差隨著階次的升高而降低，三階以后下降的不太明顯。因此，通常選擇三階模型。

下一步工作主要關(guān)注 2個(gè)方面：①多項(xiàng)式擬合中存在龍格現(xiàn)象，文章沒有考慮；②畸變模型中沒有考慮切向畸變。

[1] Faisal B, Matthew N. Automatic radial distortion estimation from a single image [J]. Journal of Mathematical Imaging and Vision, 2013, 25(1): 31-45.

[2] 劉 艷, 李騰飛. 對張正友相機(jī)標(biāo)定法的改進(jìn)研究[J].光學(xué)技術(shù), 2014, 40(6): 565-570.

[3] 黃 淼, 周志光, 陶煜波, 等. 基于數(shù)碼相機(jī)參數(shù)還原的多屏拼接幾何校正技術(shù)[J]. 計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào), 2010, 22(10): 1803-1809.

[4] Dunne A K, Mallon J, Whelan P F. Efficient generic calibration method for general cameras with single centre of projection [C]//IEEE 11th International Conference on Computer Vision. New York: IEEE Press, 2007: 1-8.

[5] 楊中偉, 楊 鳴. 基于橢球面模型的魚眼圖像校正方法[J]. 光學(xué)儀器, 2015, 37(2): 127-131.

[6] Xiao S Z, Wang F W. Generation of panoramic view from 360 degree fisheye images based on angular fisheye projection [C/OL]//Distributed Computing and Applications to Business, Engineering and Science (DCABES), 2011 Tenth International Symposium on. [2015-08-10]. https://www.computer.org/csdl/proceedings/ dcabes/2011/4415/00/4415a187.pdf.

[7] Formea R T, Tahri O, Chaumette F. Distance-based and orientation-based visual servoing from three points [J]. IEEE Transactions on Robotics, 2011, 27(2): 256-267.

[8] 朱云芳, 杜 歆. 基于圓心共線約束的魚眼鏡頭徑向畸變估計(jì)[J]. 光電工程, 2014, 41(11): 36-43.

[9] Ricardo G, Agustin O, Ricaro F, et al. Uncertainty analysis of the DLT-Lines calibration algorithm for cameras with radial distortion [J]. Computer Vision and Image Understanding, 2015, 40(3): 115-126.

[10] 傅 丹, 周 劍, 邱志強(qiáng), 等. 基于直線的幾何不變性標(biāo)定攝像機(jī)參數(shù)[J]. 中國圖象圖形學(xué)報(bào), 2009, 14(6): 1058-1063.

[11] Hartley R I, Kang S B. Parameter-free radial distortion correction with centre of distortion estimation [J]. IEEE Transaction on Pattern Analysis and Machine Intelligence, 2007, 29(8): 1309-1321.

[12] Shi J, Zhao X Y, Zhang C M, et al. An evaluation method for distortion energy parameterization of triangular meshes [J]. Computer Aided Drafting, Design and Manufacturing, 2013, 23(3): 13-17.

[13] Zuzana K, Martin B, Klas J. et al. Fast and robust numerical solutions to minimal problems for cameras with radial distortion [J]. Computer Vision and Image Understanding, 2010, 114(2): 234-244.

[14] Wu Y H, Hu Z Y, Li Y F. Radial distortion invariants and lens evaluation under a single-optical-axis omnidirectional camera [J]. Computer Vision and Image Understanding, 2014, 126(9): 11-27.

[15] 張海彬, 余 燁, 李 琳, 等. 基于視點(diǎn)糾正的魚眼圖像場景化漫游方法[J]. 圖學(xué)學(xué)報(bào), 2014, 35(3): 435-441.

A Novel Method for Fish-Eye Image Radial Distortion Correction

Shi Ping
(Jiangsu Aviation Technical College, Zhen jiang Jiangsu 212134, China)

Since the fish-eye camera has wide view field, it has been used widely in many fields. However, there is seriously radial distortion, needed to be corrected before any application. Fish-eye image geometric correction is a hot and difficult problem in current industrial applications and theoretical research. This paper presents a radial distortion model, and point out its analytical solution is not unique. According the symmetry of the radial distortion, reveals the relationship between a distortion curve and its ideal straight line, called the analytical expression of the curve distortion correction. Based on the previous analysis, this paper proposes a geometric correction method. Experiments show that this method is simple, can effectively corrects the scene which containing line features.

radial distortion; fish-eye image; geometric correction; distortion correction

TP 37

10.11996/JG.j.2095-302X.2016060805

A

2095-302X(2016)06-0805-05

2016-05-09；定稿日期：2016-05-29

師 平(1969-)，男，江蘇鎮(zhèn)江人，副教授，碩士。主要研究方向?yàn)橹悄苤圃?。E-mail：zj2119663@126.com