有約束條件的監(jiān)控影像解析方法

楊承昆，姚吉利，王 建，趙 猛，趙雪瑩，張大富

(山東理工大學(xué) 建筑工程學(xué)院，山東 淄博 255049)

近年來，道路交通發(fā)展迅速，公路通車里程和機動車輛保有量迅速增長，交管部門在預(yù)防和處理交通事故時面臨著嚴峻的挑戰(zhàn)。客觀、公正、高效地對事故現(xiàn)場進行測量采樣與分析處理非常重要[1-3]。隨著科技的發(fā)展，除了傳統(tǒng)的人工現(xiàn)場測量方法，越來越多更精確、快速的測量方法被運用到交通事故現(xiàn)場證據(jù)采集工作中來[4-5]。其中攝影測量技術(shù)因其快速、靈活、非接觸式的特點，常用于交通事故處理中的事故現(xiàn)場重建與事故再現(xiàn)工作，是交通事故勘查、處理的重要輔助依據(jù)[6-7]。

使用攝影測量方法進行交通事故現(xiàn)場勘查工作，需要相機的內(nèi)、外方位元素、比例尺不一致系數(shù)和x、y軸不正交系數(shù)。而一般使用的相機為非量測相機，需要人為地去求解這些參數(shù)后才能用作量測工具，該求解過程在計算機視覺領(lǐng)域稱為相機標定，在攝影測量領(lǐng)域稱為相機檢校[8-9]。相機檢校需要測量物方空間和像方平面的同名點坐標，大部分學(xué)者在運用攝影測量方法進行交通事故現(xiàn)場勘查工作時，都選擇占用事故現(xiàn)場進行同名點物方坐標的量測工作：如Lu等[10-12]通過人工測量事故現(xiàn)場的特征線和特征矩形，進行相機檢校；苗新強等[13-14]在現(xiàn)場布設(shè)相機檢校場，對單目相機進行現(xiàn)場檢校。這些方法都需要較長時間占用交通事故現(xiàn)場來進行現(xiàn)場采樣勘查。還有很多學(xué)者使用已檢校相機進行事故現(xiàn)場重現(xiàn)，如Du 等[15-16]基于雙目立體視覺原理，同時使用兩個已檢校相機，用于交通事故現(xiàn)場勘查取證工作；楊博等[17]使用已在檢校場檢校過的參數(shù)不變的相機進行交通事故重現(xiàn)。還有人嘗試將攝影測量技術(shù)與其他技術(shù)相結(jié)合，如Bodensteiner等[18]嘗試了融合單目影像與LiDAR數(shù)據(jù)進行相機檢校；Geiger等[19]提出單目影像和量程傳感器結(jié)合使用等。這些相機標定方法繁瑣或要用到數(shù)個量測設(shè)備同時工作，無法廣泛適用。

目前，在我國大部分城市與部分農(nóng)村中，交通監(jiān)控體系己經(jīng)完成基本覆蓋，視頻圖像是交通監(jiān)控體系獲取基礎(chǔ)數(shù)據(jù)最主要的形式。但是單憑監(jiān)控視頻圖像提供的二維平面數(shù)據(jù)的數(shù)據(jù)量有限，結(jié)合監(jiān)控系統(tǒng)與攝影測量技術(shù)可以極大地加強監(jiān)控獲得現(xiàn)場數(shù)據(jù)的能力。雖然攝影測量學(xué)者對攝影測量技術(shù)在交通事故勘查中的應(yīng)用作了一些研究，但仍缺少不需要占用交通事故道路且適用于普通道路監(jiān)控的方法。

為解決該問題，利用監(jiān)控影像定點、定向、幀率相同的特性，可將其分解為內(nèi)、外方位元素相同且完全重疊的序列影像?；谠撎攸c，本文給出一種以直接線性變換(Direct Linear Transformation，DLT)反變換的數(shù)學(xué)模型為基礎(chǔ)、基于自檢校的、有約束條件的、適用于普通單目道路監(jiān)控的影像解析方法。并在交通事故勘查作業(yè)的應(yīng)用中，針對交通事故勘查對效率高要求的特殊性，建立移動三維檢校場以作為不占用交通事故路段進而高效率勘查的解決辦法。

1 有約束條件的監(jiān)控序列影像解析

首先在布設(shè)好標準的三維相機檢校場后，測得檢校場各標志點的物方三維空間坐標；隨后通過直接線性變換反變換可計算出相機參數(shù)，即完成相機檢校；最后以路平面方程為約束條件的DLT公式解算目標特征點物方坐標，解析監(jiān)控序列影像。

1.1 單目監(jiān)控相機三維檢校場

在布設(shè)單目監(jiān)控相機三維檢校場時應(yīng)遵循以下基本原則：

1)為解算DLT表達式中N個變換系數(shù)，至少需要n(n=N/2)個攝影標志。另外為了檢驗觀測精度，需在視場內(nèi)可觀察到n個以上的攝影標志，其中多余觀測點用作精度評定。

2)不同于二維相機檢?？刂茍?，三維控制場需要有一定的深度，攝影標志在空間中錯落分布。

3)為提高相機檢校可靠性，攝影標志應(yīng)不易變形，耐腐蝕，標志點之間的幾何關(guān)系長期或在一定時期內(nèi)穩(wěn)定。

4)影像中攝影標志易分辨，與周圍環(huán)境顏色有較大反差，以方便圖像中攝影標志的自動提取，即自動測量其像點坐標。

1.2 單目相機檢校

1.2.1 DLT基本公式

經(jīng)典的三維空間DLT直接線性變換表達式[20]：

(1)

其中x、y為目標像方坐標系坐標，X、Y、Z為目標物方坐標系坐標，l1～l11為11個變換系數(shù)。

根據(jù)式(1)，當(dāng)有n(n≥6)個像控點的像方坐標和同名物方坐標已知時，就可以解出11個變換系數(shù)，該步驟即為DLT正算。

1.2.2 相機參數(shù)

通過11個變換系數(shù)l1～l11可計算出x方向線性改正參數(shù)Δx，y方向線性改正參數(shù)Δy；內(nèi)方位元素：主點x0、y0，主焦距fx，副焦距fy；外方位元素：直線元素XS、YS、ZS，角元素ω、φ、κ；x軸與y軸比例尺不一致系數(shù)ds及CCD非正交性畸變系數(shù)dβ。

1.2.3 相機檢校精度

一般相機檢校精度評定由已知點物方坐標和被檢校相機中像方平面坐標反算出的物方坐標相比較。本文為驗證相機檢校精度，使用三維激光掃描儀測得已知點物方坐標并計算出同一輛車的輪距真值，與使用本文方法檢校的監(jiān)控相機在每幀圖像中測量的輪距相比較，并計算距離中誤差。

1.3 目標特征點坐標解算

1.3.1 路平面方程

一般的，發(fā)生交通事故的一小段道路的一側(cè)路面呈空間平面狀，設(shè)物方空間中道路平面E的法向量為n=(A,B,C)，道路平面上的點坐標P(X,Y,Z)∈E滿足

E∶AX+BY+CZ+1=0

(2)

式(2)即為路面平面方程。

1.3.2 路平面約束條件下特征點坐標解算

當(dāng)解算出11個變換系數(shù)l1～l11后，測量目標特征點的像點坐標，可解算出物方點的X、Y、Z坐標，這個過程就是DLT的反變換。根據(jù)式(1)，對直接測量像點坐標進行線性和非線性改正后變?yōu)?/p>

(3)

其中(X、Y、Z)為目標物方坐標。

從式(2)可得到目標接觸地面的物方點的Z坐標：

(4)

將上式代入式(3)可解出目標物方點的X、Y坐標：

(5)

之后再將算得的X、Y坐標帶入式(4)算得物方點的Z坐標。至此就完成了特征點坐標解算。

2 實驗研究

為驗證本文提出方法的可用性，設(shè)計了如下試驗，步驟為：(1)建立車載移動三維檢校場；(2)監(jiān)控相機拍下移動檢校場后自動檢校，獲取變換系數(shù)、線性改正參數(shù)以及監(jiān)控相機的內(nèi)、外方位元素；(3)根據(jù)車輪與地面接觸點，確定該段道路路面的特征參數(shù)；(4)選擇車輛的明顯影像特征參考點，如車輪與道路接觸點，逐幀影像提取影像參考點的像點坐標，帶入公式計算參考點的物方坐標；(5)根據(jù)車輛參考點序列坐標，繪制運動軌跡并根據(jù)目標幾何特征，還原不同時刻目標物之間相對位置和方位。本文方法總體路線如圖1所示。

2.1 移動三維檢校場建立

傳統(tǒng)相機檢校需要在檢校時設(shè)立檢校場，其方法為在事故現(xiàn)場布設(shè)臨時相機檢校場或者對現(xiàn)場特征進行人為測量工作，此舉有可能造成交通阻塞和次生事故。

為了避免這種情況的發(fā)生，設(shè)計了一種車載移動三維檢校場。根據(jù)三維檢校場的布設(shè)原則，控制點數(shù)目最少為6個，多余控制點可以作為精度評定。按上述單目監(jiān)控相機檢校場要求，在移動檢校場上均勻布設(shè)38個控制標靶，標靶的每個角點都作為一個控制點。檢校場和標靶如圖2所示。

(a)三維檢校場

(b)四邊形標靶

用索佳NET-05全站儀測得所有控制點在統(tǒng)一坐標系下的三維物方空間坐標和四個車輪與地面交點坐標。再用Z+F5006h三維激光掃描儀對該檢校場進行掃描，得到該檢校場的密集點云坐標。通過點云坐標與全站儀測得的公共點坐標進行坐標系轉(zhuǎn)換，統(tǒng)一兩坐標系坐標，用坐標系轉(zhuǎn)換后的密集點云中的公共點驗證控制點坐標的正確性。

2.2 相機自檢校

檢校監(jiān)控相機時，移動檢校場駛過交通事故發(fā)生路段。用Photoshop軟件在此段錄像中提取出移動檢校場拍攝清晰且占畫面比較大的圖像幀，用Shi-Tomasi算子自動提取移動檢校場上6個以上的控制點坐標，并運用式(1)計算出11個變換系數(shù)。并根據(jù)該變換系數(shù)求出相機內(nèi)、外方位元素，比例尺不一致系數(shù)和x與y軸不正交系數(shù)，就此完成了道路監(jiān)控相機的檢校。

2.3 實際交通事故目標特征點測量

以模擬交通事故為例。可從監(jiān)控錄像中看出，機動車與非機動車(自行車)在道路中同向并行，行駛一段距離后機動車與自行車“相撞”。

獲取監(jiān)控錄像，畫面分辨率為1 920*1 080 像素，錄像幀速率為24幀/s。取機動車與自行車從相遇到相撞之間的15 s錄像，用Photoshop軟件每秒取第1幀圖像并記錄時間，根據(jù)實驗車車輪與地面接觸點坐標，帶入式(2)中計算出肇事道路路面的特征參數(shù)，得到肇事路段一側(cè)路面的空間平面方程。并在每幀圖像中選機動車右前輪與地面交點和自行車后輪與地面交點的像方坐標。圖3為截取的該交通事故模擬監(jiān)控錄像的16個圖像幀。

圖3 交通事故模擬現(xiàn)場縮略圖

從截取的16個時刻序列影像中分別獲取機動車右前輪、右后輪、左后輪、自行車后輪與地面接觸點的像方坐標，另外在第1幀圖像中獲取道路邊特征線的任意兩處坐標。將獲取的像方坐標帶入式(5)計算出各個時刻機動車右前輪、右后輪、左后輪、自行車后輪與地面接觸點的物方坐標、道路邊線關(guān)鍵點的物方坐標。

2.4 多目標空間幾何關(guān)系還原

在目標特征點測量結(jié)束后，需要進行目標的空間幾何關(guān)系再現(xiàn)。首先根據(jù)獲得的機動車右前輪、右后輪、左后輪的物方坐標與車頭、車尾距車輪的距離模擬出機動車的空間模型，并通過獲得的物方坐標繪制樣條曲線，模擬出雙運動目標的物方運動軌跡和道路邊線，根據(jù)各個時刻運動目標的物方模型與運動軌跡還原目標的物方空間幾何關(guān)系并進行事故模擬，圖4為事故重現(xiàn)三維模型在事故道路面上的投影。

圖4 交通事故車輛軌跡模擬圖

由圖4可知，在第1幀圖像中機動車前輪與自行車后輪前后位置一致，在第11幀時兩車距離最近。對第11幀圖像中兩車“相撞”空間幾何關(guān)系進行再現(xiàn)(圖5)。從圖5中可以看出，機動車和自行車在道路右邊線位置“相撞”。

圖5 交通事故車輛空間幾何關(guān)系模擬圖

2.5 精度評定

為了驗證本文方法的測量精度，現(xiàn)用Z+F5006h三維激光掃描儀對機動車進行掃描，得到該車的密集點云坐標，在密集點云中測量機動車后輪外輪距真值173.4 cm，與本文方法中測得的數(shù)據(jù)進行比較，誤差結(jié)果如圖6所示。

圖6 距離誤差折線圖

由上，機動車后輪輪距最小相對誤差和最大相對誤差分別為0.06%和1.7%。為考慮總體誤差，計算測量數(shù)據(jù)的中誤差：

(6)

由式(6)求得機動車輪距誤差中誤差為1.8 cm，相對誤差為1.0%。該數(shù)據(jù)作為事故分析和責(zé)任認定依據(jù)，此精度已經(jīng)完全適用于交通事故勘查應(yīng)用[21]。

3 結(jié)束語

本文給出了應(yīng)用在交通事故勘查中的影像解析方法，該方法通過在實際交通事故中應(yīng)用分析，其優(yōu)勢表現(xiàn)在如下方面：

1)該方法與其他人工或基于攝影測量技術(shù)的監(jiān)控下交通事故勘查方法相對，無需在事故現(xiàn)場臨時布設(shè)固定三維檢校場，無需進行人工實地測量，只需要事先準備好的檢校車駛過該處監(jiān)控下路段，便能夠?qū)文勘O(jiān)控相機進行檢校，進而解析交通事故影像，大大提高了交通事故勘查效率。

2)使用加入了路面方程進行約束的DLT反變換的數(shù)學(xué)模型進行影像解析，用三維激光掃描儀對測量精度進行了驗證，在測量目標長度為50 cm～10 m級別時相對誤差為1%，具有較高的測量精度。

3)通過影像解析得到的運動目標的部分物方坐標、幾何特征和幾何姿態(tài)關(guān)系，可通過小部分數(shù)據(jù)還原監(jiān)控錄像中部分被車體和樹木遮擋的部分，增加了監(jiān)控錄像的可讀性，為交通事故勘查鑒定提供可靠依據(jù)。

4)普通監(jiān)控相機經(jīng)一次檢校后便具備影像解析條件，在監(jiān)控鏡頭固定的情況下可在長時間內(nèi)多次用于現(xiàn)場勘查工作。

本文方法已應(yīng)用于多處監(jiān)控下有遮擋的交通事故勘查工作，并為事故勘查提供可靠依據(jù)。本文方法還存在待改進的問題，在下一步研究工作中考慮利用多張序列影像進行相機檢校，從而增加檢校標靶在圖像中的分布面積以提高相機檢校精度。