稀疏激光雷達(dá)與可見光/紅外成像系統(tǒng)的標(biāo)定方法

劉 宇，蔡 毅，戎寧濤，周云揚(yáng)，王嶺雪

〈系統(tǒng)與設(shè)計(jì)〉

稀疏激光雷達(dá)與可見光/紅外成像系統(tǒng)的標(biāo)定方法

劉 宇，蔡 毅，戎寧濤，周云揚(yáng)，王嶺雪

（北京理工大學(xué) 光電學(xué)院 光電成像技術(shù)與系統(tǒng)教育部重點(diǎn)實(shí)驗(yàn)室，北京 100081）

激光雷達(dá)與成像系統(tǒng)之間的位姿標(biāo)定是激光點(diǎn)云與圖像像素進(jìn)行融合的前提。目前主流的離線標(biāo)定方法中，普通棋盤格標(biāo)定板用于64線及以上的激光雷達(dá)時(shí)效果較好，而用于16線激光雷達(dá)時(shí)由于其數(shù)據(jù)稀疏而導(dǎo)致誤差較大。而且，涉及紅外成像系統(tǒng)的標(biāo)定時(shí)，需要特制的棋盤格來獲得發(fā)射率差異。本文針對(duì)稀疏激光雷達(dá)點(diǎn)云數(shù)據(jù)較少的問題，研究了可以同時(shí)標(biāo)定激光雷達(dá)與可見光、紅外成像系統(tǒng)的方法，設(shè)計(jì)了菱形九孔標(biāo)定板，并提出幾何約束損失函數(shù)來優(yōu)化特征點(diǎn)的坐標(biāo)。最后，分別使用紅外和可見光成像系統(tǒng)與16線激光雷達(dá)進(jìn)行標(biāo)定，實(shí)驗(yàn)結(jié)果表明，平均重投影誤差均在3個(gè)像素之內(nèi)，取得了較好的效果。本文方法還能用于稀疏激光雷達(dá)與可見光-紅外多波段成像系統(tǒng)的標(biāo)定。

稀疏激光雷達(dá)；位姿估計(jì)；標(biāo)定；標(biāo)定板；紅外成像

0 引言

近年來，自動(dòng)駕駛技術(shù)發(fā)展迅速，該技術(shù)將慣性導(dǎo)航系統(tǒng)、毫米波雷達(dá)、超聲波雷達(dá)、激光雷達(dá)、成像系統(tǒng)、全球定位系統(tǒng)等部署在汽車上，配合車載高性能計(jì)算平臺(tái)進(jìn)行數(shù)據(jù)融合，在車輛行駛過程中自動(dòng)完成場(chǎng)景理解、定位、避障，以保障車輛的安全行駛。

激光雷達(dá)根據(jù)激光測(cè)距原理，輸出激光點(diǎn)云數(shù)據(jù)，可以得到目標(biāo)的距離數(shù)據(jù)。常用成像系統(tǒng)根據(jù)工作波段以及成像原理的不同，分為可見光成像系統(tǒng)和紅外成像系統(tǒng)。紅外成像系統(tǒng)因可以全天時(shí)工作，也逐漸應(yīng)用于自動(dòng)駕駛，是對(duì)可見光圖像的有益補(bǔ)充。激光雷達(dá)與可見光和紅外成像系統(tǒng)融合，可獲得周圍環(huán)境的三維信息。這些信息在融合之前，需要先對(duì)成像系統(tǒng)進(jìn)行內(nèi)標(biāo)定，在此基礎(chǔ)上，再完成激光雷達(dá)與成像系統(tǒng)之間的外標(biāo)定。內(nèi)標(biāo)定獲得成像系統(tǒng)的內(nèi)參矩陣，包括像素主點(diǎn)、像素焦距、畸變參數(shù)等。內(nèi)參矩陣反映了圖像像素與對(duì)應(yīng)空間點(diǎn)的關(guān)系；外標(biāo)定獲得成像系統(tǒng)坐標(biāo)系和激光雷達(dá)坐標(biāo)系之間的剛體變換矩陣，包括旋轉(zhuǎn)矩陣和平移向量等。剛體變換矩陣反映了成像系統(tǒng)與激光雷達(dá)之間的位姿關(guān)系。

激光雷達(dá)與成像系統(tǒng)之間的標(biāo)定方法主要有兩類：離線標(biāo)定和在線標(biāo)定。

離線標(biāo)定又稱有目標(biāo)標(biāo)定，是在非任務(wù)場(chǎng)景下，使用特定目標(biāo)（通常是標(biāo)定板），在兩個(gè)系統(tǒng)中分別找到特定目標(biāo)的對(duì)應(yīng)特征點(diǎn)。早期，由于激光雷達(dá)線數(shù)較少，如4線、8線、16線，標(biāo)定板設(shè)計(jì)通常比較簡(jiǎn)單。Rodriguez等[1]設(shè)計(jì)了挖孔同心圓標(biāo)定板，特征點(diǎn)為同心圓的圓心；陳東等[2]設(shè)計(jì)了挖孔圓與棋盤格結(jié)合的標(biāo)定板，特征點(diǎn)為棋盤格的角點(diǎn)。近年來，隨著激光雷達(dá)技術(shù)的發(fā)展，激光雷達(dá)的線數(shù)也越來越多，機(jī)械掃描式激光雷達(dá)已經(jīng)達(dá)到了128線，固態(tài)激光雷達(dá)也可以達(dá)到等效100線以上的水平。因此，標(biāo)定任務(wù)開始轉(zhuǎn)向使用非挖孔的棋盤格標(biāo)定板來完成。使用棋盤格標(biāo)定板的主要好處在于，在稠密的激光點(diǎn)云中可以方便地通過算法自動(dòng)找到棋盤格平面的角點(diǎn)以及平面方程建立約束求解；棋盤格同時(shí)又可用于成像系統(tǒng)內(nèi)參矩陣的標(biāo)定。Zhou[3-4]和Geiger[5]等基于從激光點(diǎn)云中找到的棋盤格設(shè)計(jì)平面約束與直線約束獲得剛體變換矩陣。

在線標(biāo)定又稱無目標(biāo)標(biāo)定，不需要使用特定目標(biāo)，可以在執(zhí)行任務(wù)的運(yùn)動(dòng)過程中完成。在線標(biāo)定通常是基于手眼標(biāo)定（hand-eye calibration）[6]完成的，即Ishikawa[7]等通過分別計(jì)算運(yùn)動(dòng)過程中激光雷達(dá)與成像系統(tǒng)的運(yùn)動(dòng)估計(jì)，求解方程。近年來，使用卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural networks, CNN）進(jìn)行在線標(biāo)定成為研究熱點(diǎn)，只需輸入激光點(diǎn)云與對(duì)應(yīng)的圖像，網(wǎng)絡(luò)即可求解得到剛體變換矩陣。Schneider[8]等提出了RegNet，該網(wǎng)絡(luò)使用大量標(biāo)定好的激光點(diǎn)云和圖像數(shù)據(jù)進(jìn)行訓(xùn)練，執(zhí)行任務(wù)時(shí)直接回歸計(jì)算得到剛體變換矩陣；Ganesh等[9]提出了自監(jiān)督網(wǎng)絡(luò)CalibNet，通過最大化點(diǎn)云與圖像在幾何和光度上的一致性得到剛體變換矩陣。

目前主流的棋盤格離線標(biāo)定方法用于64線及以上的激光雷達(dá)效果較好，而用于16線激光雷達(dá)時(shí)由于其數(shù)據(jù)稀疏而導(dǎo)致誤差較大，且由于棋盤格標(biāo)定板是一個(gè)整體，不存在溫度差，無法用于紅外成像系統(tǒng)。

因此，本文設(shè)計(jì)一種標(biāo)定方法以及標(biāo)定板，可以滿足16線稀疏激光雷達(dá)、紅外成像系統(tǒng)與可見光成像系統(tǒng)的標(biāo)定要求。16線激光雷達(dá)原理同樣是激光測(cè)距，但點(diǎn)云信息較少，因此設(shè)計(jì)了挖孔標(biāo)定板，且在挖孔特征點(diǎn)之間建立了幾何約束；可見光成像系統(tǒng)成像原理是光的反射，為方便在可見光圖像中分辨孔和標(biāo)定板，將標(biāo)定板整體設(shè)計(jì)為黑色；紅外成像系統(tǒng)的成像原理是熱輻射，挖孔標(biāo)定板的孔和標(biāo)定板存在溫度差，可以在紅外圖像中分辨。

1 原理

1.1 標(biāo)定原理

激光雷達(dá)與成像系統(tǒng)的標(biāo)定實(shí)質(zhì)上是坐標(biāo)系之間的轉(zhuǎn)換。本文使用(l,l,l)表示以激光雷達(dá)為中心的雷達(dá)坐標(biāo)系3D點(diǎn)坐標(biāo)；使用(c,c,c)表示成像系統(tǒng)坐標(biāo)系下3D點(diǎn)坐標(biāo)；使用(w,w,w)表示世界坐標(biāo)系下3D點(diǎn)坐標(biāo)；使用(,)表示圖像的像素坐標(biāo)系下2D點(diǎn)的坐標(biāo)。相機(jī)的投影過程可以使用式(1)表示，激光雷達(dá)與成像系統(tǒng)的坐標(biāo)轉(zhuǎn)換可以使用式(2)表示：

式中：為成像系統(tǒng)的內(nèi)參矩陣，可以使用張正友標(biāo)定法[10]獲得，wc和wc是世界坐標(biāo)系到相機(jī)坐標(biāo)系的旋轉(zhuǎn)矩陣和平移向量，lc和lc是激光雷達(dá)坐標(biāo)系到成像系統(tǒng)坐標(biāo)系的旋轉(zhuǎn)矩陣和平移向量，組合起來就是剛體變換矩陣。

通過找到對(duì)應(yīng)特征點(diǎn)在激光雷達(dá)坐標(biāo)系的坐標(biāo)(l,l,l)以及像素坐標(biāo)系的坐標(biāo)(,)，就可以通過兩種不同方法求解得到lc和lc。

第一種方法不必求解成像系統(tǒng)坐標(biāo)系下坐標(biāo)，直接使用2D和3D的對(duì)應(yīng)特征點(diǎn)，來求解PnP（perspective N points）問題。將式(1)和式(2)組合，并使用齊次坐標(biāo)，將內(nèi)參和外參組合到一起，得到式(3)。這是一個(gè)有12個(gè)未知數(shù)的方程組，每一對(duì)點(diǎn)可以提供兩個(gè)方程，因此最少需要6對(duì)特征點(diǎn)即可解出12個(gè)未知數(shù)，進(jìn)而解出旋轉(zhuǎn)矩陣和平移向量的初值。然后將二者作為初始解，使用L-M迭代法，對(duì)式(4)的代價(jià)函數(shù)迭代優(yōu)化，得到lc和lc的迭代解，其中l(wèi)i與p是一對(duì)雷達(dá)和像素坐標(biāo)對(duì)應(yīng)點(diǎn)，≥6。

第二種方法需要求出特征點(diǎn)在成像系統(tǒng)坐標(biāo)系下的坐標(biāo)，使用3D和3D對(duì)應(yīng)點(diǎn)來進(jìn)行求解。根據(jù)張正友標(biāo)定法[10]，在知道標(biāo)定板的物理尺寸時(shí)，假定標(biāo)定板所在平面的世界坐標(biāo)為w＝0，就可以將式(1)中的投影過程轉(zhuǎn)換為求解單應(yīng)性矩陣（homography matrix）的過程，進(jìn)而求解成像系統(tǒng)的內(nèi)參矩陣。同理，也可以使用來分解單應(yīng)性矩陣得到wc和wc，再根據(jù)式(1)，計(jì)算得到特征點(diǎn)在成像系統(tǒng)坐標(biāo)系下坐標(biāo)(c,c,c)。對(duì)于多對(duì)3D特征點(diǎn)，建立幾何空間約束，即可求解方程組得到lc和lc的初值，然后使用ICP（iterative closest point）算法進(jìn)行迭代求解。空間約束以及迭代方法根據(jù)標(biāo)定板以及實(shí)驗(yàn)設(shè)備不同都有所不同，將在下一部分進(jìn)行具體介紹。

1.2 本文3D約束方法

對(duì)于稀疏激光雷達(dá)，使用普通棋盤格標(biāo)定板矩形邊界點(diǎn)作為特征點(diǎn)，效果不夠好，因此需要使用挖孔標(biāo)定板的內(nèi)部信息作為特征點(diǎn)。如圖1所示，本文標(biāo)定板由9個(gè)半徑相等的圓孔組成，特征點(diǎn)對(duì)為激光雷達(dá)坐標(biāo)系和圖像像素坐標(biāo)系中9個(gè)圓心的坐標(biāo)。9個(gè)圓心之間有嚴(yán)格的幾何約束關(guān)系，如平行約束、垂直約束、中點(diǎn)約束等；使用這些約束完成特征點(diǎn)坐標(biāo)的優(yōu)化計(jì)算以及l(fā)c和lc的初值計(jì)算。

圖1 本文設(shè)計(jì)的標(biāo)定板

對(duì)于圖像中的特征點(diǎn)，通過Hough圓變換對(duì)圖像中的圓進(jìn)行檢測(cè)，在每張圖像中可以找到9個(gè)圓心的像素坐標(biāo)(,)。

在激光雷達(dá)點(diǎn)云中，每條激光掃描線經(jīng)過圓孔，會(huì)產(chǎn)生距離突變，如圖2所示。假設(shè)有兩條雷達(dá)掃描線經(jīng)過該圓，這兩條掃描各自會(huì)產(chǎn)生一段距離突變，突變的兩個(gè)端點(diǎn)在圓上，即圖中的、、、四點(diǎn)；又因圓上3點(diǎn)可確定一個(gè)圓，可將問題轉(zhuǎn)換為求三角形外接圓的問題，使用、、三點(diǎn)即可求解圓心坐標(biāo)。假設(shè)、、三點(diǎn)在激光雷達(dá)坐標(biāo)系下坐標(biāo)分別為(l1,l1,l1)、(l2,l2,l2)、(l3,l3,l3)，由、、三點(diǎn)確認(rèn)的平面方程為＋＋＋＝0，圓心坐標(biāo)為(l,l,l)，半徑為（＞0）?？梢缘玫接蒷、l、l、四個(gè)未知數(shù)組成的線性方程組，如式(5)所示。解該方程組，即可得到圓心坐標(biāo)以及半徑。為了使結(jié)果更準(zhǔn)確，本文從、、、四點(diǎn)中任選三點(diǎn)，計(jì)算4次，結(jié)果求平均值作為圓心坐標(biāo)。

圖2 激光雷達(dá)數(shù)據(jù)計(jì)算圓心坐標(biāo)

由于測(cè)量過程存在誤差，在求得2D和3D的9個(gè)圓心特征點(diǎn)的坐標(biāo)之后，還需利用標(biāo)定板的幾何約束對(duì)兩個(gè)坐標(biāo)系下特征點(diǎn)坐標(biāo)進(jìn)行優(yōu)化。本文設(shè)計(jì)了損失函數(shù)（loss function），優(yōu)化loss，使坐標(biāo)的誤差盡可能小。如圖1，本文標(biāo)定板存在中點(diǎn)約束，比如為中點(diǎn)等；垂直約束，比如^等。本文使用lossmid表示中點(diǎn)約束誤差，如式(6)所示，即點(diǎn)與中點(diǎn)的距離；本文使用lossvertical表示垂直約束誤差，如式(7)所示，即兩個(gè)向量之間點(diǎn)積的絕對(duì)值；整體loss如式(8)所示，每個(gè)點(diǎn)均使用了4次，所占權(quán)重相等以免引入新的誤差。本文使用隨機(jī)搜索（random search）的方法，不斷優(yōu)化loss接近于0，降低9個(gè)點(diǎn)的誤差。

分別對(duì)2D特征點(diǎn)和3D特征點(diǎn)坐標(biāo)進(jìn)行優(yōu)化后，使用本文1.1節(jié)介紹的第二種方法來求lc和lc的初值，先將2D特征點(diǎn)轉(zhuǎn)換為成像系統(tǒng)坐標(biāo)系下3D坐標(biāo)，然后與激光雷達(dá)坐標(biāo)系下的3D特征點(diǎn)建立約束。與第一種求解PnP問題，直接得到外參矩陣的方法相比，第二種方法對(duì)旋轉(zhuǎn)矩陣和平移向量是分別求解的，可以更好地減少二者的誤差，因此效果更好。在第2章的仿真實(shí)驗(yàn)中，本文也將對(duì)比這兩種方法的效果。首先建立約束來求解lc，相比于點(diǎn)坐標(biāo)，空間向量只受到lc的約束，因此，使用直線的方向向量與平面的法向量來建立約束，如式(9)(10)所示：

對(duì)于兩個(gè)坐標(biāo)系下對(duì)應(yīng)的9個(gè)特征點(diǎn)，求6條線的方向向量：、、CD、、、建立約束，分別使用、三點(diǎn)和、三點(diǎn)求解兩次平面法向量建立約束；這樣可以保證9個(gè)點(diǎn)都用了兩次，所占權(quán)重一致。一個(gè)位置下的9組對(duì)應(yīng)點(diǎn)可以建立8個(gè)約束，通過奇異值分解（singular value decom- position，SVD）的方法即可解出lc的初值，使用多個(gè)位置下的多組對(duì)應(yīng)點(diǎn)，建立更多約束，可得到更精確的初值結(jié)果。

使用上面得到的lc的初值作為lc，計(jì)算lc的初值，使用的約束有平面約束、直線約束以及垂直約束，如式(11)(12)(13)所示：

對(duì)于一個(gè)位置下的9組對(duì)應(yīng)點(diǎn)，求出了2個(gè)平面法向量和6個(gè)直線方向向量。使用9個(gè)點(diǎn)的質(zhì)心和兩個(gè)平面法向量代入式(11)得到2個(gè)方程；使用6條線段的中點(diǎn)和方向向量代入式(12)得到18個(gè)方程；使用雷達(dá)坐標(biāo)系下、、、四個(gè)點(diǎn)在成像系統(tǒng)坐標(biāo)系的投影點(diǎn)，分別代入式(13)，建立^、^、^、^四個(gè)垂直約束，得到4個(gè)方程，一共得到24個(gè)方程。因?yàn)槠揭葡蛄縧c有3個(gè)未知數(shù)，24個(gè)方程構(gòu)成的是超定線性方程組，可以求得lc的線性最小二乘解作為初值。

在求得lc和lc的初值之后，就可以使用3D-2D點(diǎn)迭代或3D-3D點(diǎn)迭代的方法來求解lc和lc的優(yōu)化解，本文激光雷達(dá)與成像系統(tǒng)標(biāo)定方法的整體流程如下：

輸入：多組圖像與對(duì)應(yīng)的激光雷達(dá)點(diǎn)云數(shù)據(jù)；

輸出：激光雷達(dá)到成像系統(tǒng)的旋轉(zhuǎn)矩陣lc和平移向量lc；

1） 使用張正友標(biāo)定法[10]獲得相機(jī)內(nèi)參；

2） 每組數(shù)據(jù)在圖像中和點(diǎn)云中分別找到對(duì)應(yīng)的9個(gè)圓心點(diǎn)坐標(biāo)；

3） 使用設(shè)計(jì)的loss優(yōu)化點(diǎn)的坐標(biāo)（2D和3D）；

4） 根據(jù)像素坐標(biāo)得到相機(jī)坐標(biāo)系下坐標(biāo)；

5） 建立相機(jī)和雷達(dá)坐標(biāo)系下的3D約束，求得lc和lc初值；

6） 使用3D-2D點(diǎn)迭代或3D-3D點(diǎn)迭代，得到lc和lc的優(yōu)化解。

2 仿真

實(shí)際情況下，lc和lc的真實(shí)值是未知的，通常使用特征點(diǎn)的重投影誤差來評(píng)價(jià)lc和lc的準(zhǔn)確性。但這個(gè)指標(biāo)默認(rèn)了特征點(diǎn)沒有誤差，為了更好地驗(yàn)證本文方法的有效性，本文進(jìn)行了仿真實(shí)驗(yàn)。

2.1 初值結(jié)果與PnP初值結(jié)果對(duì)比

本文1.1中介紹過，使用3D約束求解初值比PnP求解初值效果更好，本節(jié)將進(jìn)行仿真實(shí)驗(yàn)驗(yàn)證結(jié)果。首先使用隨機(jī)的尺寸生成標(biāo)定板，并隨機(jī)生成特征點(diǎn)的激光雷達(dá)坐標(biāo)、lc和lc；使用固定的內(nèi)參矩陣，得到成像系統(tǒng)坐標(biāo)系和像素坐標(biāo)系下坐標(biāo)，分別使用3D約束和PnP方法求解lc和lc初值，與實(shí)際值進(jìn)行對(duì)比，多次仿真結(jié)果如表1所示。lc使用旋轉(zhuǎn)軸的單位向量和旋轉(zhuǎn)角度表示，lc使用向量表示。表中表示使用3D約束的結(jié)果，表示使用PnP方法的初值結(jié)果，旋轉(zhuǎn)軸誤差和平移誤差均為旋轉(zhuǎn)軸向量與平移向量相對(duì)于實(shí)際的1誤差，角誤差為旋轉(zhuǎn)角與實(shí)際旋轉(zhuǎn)角的誤差，單位是弧度。可以看到，使用3D約束方法求初值的誤差相對(duì)于PnP方法的誤差小了幾個(gè)數(shù)量級(jí)，因此使用3D約束求初值可以大大減少后續(xù)迭代求解所需要的迭代次數(shù)，而PnP方法的優(yōu)點(diǎn)在于簡(jiǎn)單。

2.2 本文3D約束方法的仿真

2.1節(jié)仿真了理想情況下求解初值的結(jié)果，驗(yàn)證了本文方法的有效性。在實(shí)際測(cè)量中，得到的特征點(diǎn)坐標(biāo)存在一定的誤差，需要對(duì)2.1節(jié)生成的激光雷達(dá)坐標(biāo)系數(shù)據(jù)和成像系統(tǒng)坐標(biāo)系數(shù)據(jù)隨機(jī)增加誤差，來模擬測(cè)量值，然后使用本文方法得到lc和lc的結(jié)果，仿真結(jié)果如表2所示。

表1 兩種方法初值誤差對(duì)比

表2 本文方法的仿真結(jié)果

從表2中可以看出，本文方法可以將特征點(diǎn)的loss大幅降低，以此方法解得的lc和lc誤差與實(shí)際的誤差非常小。仿真實(shí)驗(yàn)驗(yàn)證了本文方法的有效性，下一章將進(jìn)行實(shí)際實(shí)驗(yàn)。

3 實(shí)驗(yàn)

3.1 實(shí)驗(yàn)設(shè)備

本次實(shí)驗(yàn)使用激光雷達(dá)分別與可見光成像系統(tǒng)、紅外成像系統(tǒng)進(jìn)行標(biāo)定，以驗(yàn)證本文方法的有效性。

可見光成像系統(tǒng)使用LT-USB1080P型號(hào)的高清工業(yè)攝像頭，成像分辨率為1920×1080像素，焦距為6mm；紅外成像系統(tǒng)使用艾睿光電的IR-Pilot 640型號(hào)熱像儀，成像分辨率為640×512像素，焦距6.9mm，工作波段為8～14mm；激光雷達(dá)使用Velodyne VLP-16型號(hào)的16線稀疏激光雷達(dá)，垂直視場(chǎng)角為－15°～15°，分辨率為2°；水平視場(chǎng)角為360°，分辨率最高為0.1°，兩種實(shí)驗(yàn)系統(tǒng)如圖3(a)(b)所示。根據(jù)前面的原理介紹，標(biāo)定板的每個(gè)圓孔需要有至少兩條激光掃描線穿過，結(jié)合激光雷達(dá)與成像系統(tǒng)的參數(shù)以及作用距離，設(shè)定標(biāo)定板的尺寸為1.2m×1.35m，每個(gè)圓孔的半徑為9cm。

3.2 實(shí)驗(yàn)過程

將標(biāo)定板置于激光雷達(dá)和成像系統(tǒng)視場(chǎng)的重合區(qū)域，距離系統(tǒng)大概2m左右，使用實(shí)驗(yàn)系統(tǒng)采集多組數(shù)據(jù)，根據(jù)1.2節(jié)的本文的算法流程進(jìn)行實(shí)驗(yàn)，圖4(a)(b)展示了一組可見光圖像和激光點(diǎn)云的對(duì)應(yīng)數(shù)據(jù)。圖4(c)(d)分別展示了紅外實(shí)驗(yàn)系統(tǒng)的實(shí)驗(yàn)場(chǎng)景以及紅外成像系統(tǒng)得到的紅外圖像。實(shí)驗(yàn)中使用Matlab的相機(jī)標(biāo)定工具箱，獲取成像系統(tǒng)的內(nèi)參矩陣，使用Opencv中對(duì)應(yīng)的函數(shù)來完成圖像中的圓檢測(cè)以及畸變校正，方法的其他部分使用Python進(jìn)行編寫。根據(jù)標(biāo)定板的距離以及激光雷達(dá)的水平分辨率，可以計(jì)算得到，相鄰激光掃描點(diǎn)之間的距離大約為0.5cm；也就是說理想情況下判斷圓上點(diǎn)時(shí)的誤差最大為0.5cm，考慮到一些激光點(diǎn)可能無法接收到返回值，以及激光雷達(dá)的誤差和算法的誤差，認(rèn)為雷達(dá)坐標(biāo)系中圓心點(diǎn)誤差最大為5cm，像素坐標(biāo)系中圓心點(diǎn)最大誤差為10像素。根據(jù)這兩個(gè)參數(shù)來優(yōu)化loss，取多組數(shù)據(jù)建立3D約束求得初值，然后分別使用3D-3D的ICP算法和3D-2D的LM迭代法得到優(yōu)化解。

3.3 實(shí)驗(yàn)結(jié)果

在可見光和紅外兩個(gè)波段系統(tǒng)的實(shí)驗(yàn)中，本文使用相同數(shù)量的特征點(diǎn)，迭代相同次數(shù)，得到最后的結(jié)果。

可見光系統(tǒng)以及紅外系統(tǒng)的多次實(shí)驗(yàn)結(jié)果如表3、表4所示，其中表示使用ICP算法進(jìn)行3D-3D迭代的結(jié)果，表示使用L-M迭代法進(jìn)行3D-2D迭代的結(jié)果，均使用3D到2D特征點(diǎn)在和方向的平均重投影誤差（單位為像素）來評(píng)價(jià)方法的準(zhǔn)確性。

圖3 標(biāo)定實(shí)驗(yàn)裝置

圖4 實(shí)驗(yàn)場(chǎng)景及數(shù)據(jù)

表3 可見光系統(tǒng)實(shí)驗(yàn)結(jié)果

對(duì)于可見光系統(tǒng)，可以看到，本文方法在使用3D-3D迭代情況下，重投影誤差平均在4個(gè)像素左右，而使用3D-2D迭代情況下，重投影誤差平均小于3個(gè)像素，都取得了很好的效果。

對(duì)于紅外系統(tǒng)，本文方法在使用3D-3D迭代情況下，重投影誤差平均在4個(gè)像素以內(nèi)，使用3D-2D迭代，重投影誤差平均在3個(gè)像素以內(nèi)，效果很好。

圖5(a)(b)展示了兩種迭代方法的特征點(diǎn)重投影誤差散點(diǎn)圖?？梢钥吹?，除了部分特征點(diǎn)之外，重投影誤差都比較小，誤差較大的點(diǎn)可能是因?yàn)榧す饫走_(dá)、圖像算法等引入了測(cè)量誤差。

圖6(a)(b)分別展示了可見光系統(tǒng)和紅外系統(tǒng)使用實(shí)驗(yàn)結(jié)果lc和lc將點(diǎn)云數(shù)據(jù)投影到圖像上的融合結(jié)果，可以看到，除了在一些距離突變很大的邊緣點(diǎn)有一點(diǎn)偏移之外，16條激光掃描線都很連貫，說明標(biāo)定的效果很好，得到的融合數(shù)據(jù)可以用于后續(xù)的其他任務(wù)中。

表4 紅外系統(tǒng)實(shí)驗(yàn)結(jié)果

圖5 重投影誤差

4 結(jié)論

本文針對(duì)稀疏激光雷達(dá)與可見光及紅外成像系統(tǒng)之間的標(biāo)定問題，設(shè)計(jì)了一種菱形九孔標(biāo)定板，并根據(jù)標(biāo)定板的約束，設(shè)計(jì)了幾何約束loss來優(yōu)化特征點(diǎn)的測(cè)量坐標(biāo)，減小誤差；根據(jù)3D幾何約束得到lc和lc的初值，使用迭代法得到lc和lc的迭代解。

本文分別使用可見光成像系統(tǒng)、紅外成像系統(tǒng)與16線激光雷達(dá)進(jìn)行標(biāo)定實(shí)驗(yàn)。在可見光系統(tǒng)中平均重投影誤差在3個(gè)像素之內(nèi)，在紅外系統(tǒng)中平均重投影誤差在3個(gè)像素之內(nèi)。

圖6 激光雷達(dá)點(diǎn)云投影結(jié)果

本文方法還適用于可見光-紅外多波段成像系統(tǒng)，只需采集一組激光點(diǎn)云數(shù)據(jù)，以此為基準(zhǔn)分別與多波段成像系統(tǒng)多個(gè)相機(jī)進(jìn)行標(biāo)定，方便了多波段的成像信息與激光雷達(dá)點(diǎn)云數(shù)據(jù)的融合過程。

[1] Fremont V, Bonnifait P. Extrinsic calibration between a multi-layer lidar and a camera[C]//, 2008: 214-219.

[2] 陳東. 三維激光和單目視覺間的聯(lián)合標(biāo)定與數(shù)據(jù)融合[D]. 大連: 大連理工大學(xué), 2009.

CHEN Dong. Calibration and Data Fusion between 3D-Laser Scanner and Monocular Vision[D]. Dalian: Dalian University of Technology, 2009.

[3] ZHOU L, DENG Z. Extrinsic calibration of a camera and a lidar based on decoupling the rotation from the translation[C]//, 2012: 642-648..

[4] ZHOU L, LI Z, Kaess M. Automatic extrinsic calibration of a camera and a 3d lidar using line and plane correspondences[C]//(IROS), 2018: 5562-5569.

[5] Geiger A, Moosmann F, Car O , et al. Automatic camera and range sensor calibration using a single shot[C]//, 2012: 3936-3943.

[6] Horaud R, Dornaika F. Hand-eye calibration[J]., 1995, 14(3): 195-210.

[7] Ishikawa R, Oishi T, Ikeuchi K. Lidar and camera calibration using motions estimated by sensor fusion odometry[C]//(IROS), 2018: 7342-7349.

[8] Schneider N, Piewak F, Stiller C, et al. RegNet: multimodal sensor registration using deep neural networks[C]/(IV), 2017: 1803-1810.

[9] Iyer G, Ram R K, Murthy J K, et al. CalibNet: geometrically supervised extrinsic calibration using 3D spatial transformer networks[C]//(IROS), 2018: 1110-1117.

[10] ZHANG Z. A flexible new technique for camera calibration[J]., 2000, 22(11): 1330-1334.

Calibration Between Sparse LIDAR and Visible/Infrared Imaging Systems

LIU Yu，CAI Yi，RONG Ningtao，ZHOU Yunyang，WANG Lingxue

(,,,100081,)

Pose estimation between LIDAR and imaging system is the prerequisite for the data fusion. Among current mainstream off-line calibration methods,common checkerboard is generally effective for 64-line and above LIDAR, but not for 16-line LIDAR due to its sparse data and will lead to large error. Furthermore, when involving calibration of infrared imaging system, specially-made checkerboard is needed to produce difference of emissivity. Aiming at the problem of less information provided by sparse LIDARs, we propose a new calibration method that can jointly calibrate LIDAR and visible/infrared imaging systems. A novel diamond-shaped nine-hole calibration board is designed, and a geometric constraint loss function is proposed to optimize the coordinates of feature points. Finally, the infrared and visible light imaging systems are used respectively, to calibrate with 16-line LIDAR. Good results are achieved and show that, all the average reprojection error is within 3 pixels.The proposed method can also be used in calibration of multi-band imaging systems that include sparse LIDAR, visible imaging system and infrared imaging system.

sparse LIDAR, pose estimation, calibration, calibration board, infrared imaging

TP249

A

1001-8891(2022)12-1264-09

2022-03-12；

2022-04-19.

劉宇（1997-），男，遼寧沈陽人，碩士研究生，主要從事激光雷達(dá)與圖像處理的研究。E-mail：andyliu0881@163.com。

王嶺雪（1973-），女，云南石屏人，副教授，博士，主要從事紅外成像、圖像處理和紅外光譜等方面的研究。E-mail：neobull@bit.edu.cn。