陳文軒,郭佑民
?
雙目測距技術(shù)在調(diào)車作業(yè)中的研究與應(yīng)用
陳文軒,郭佑民
(蘭州交通大學(xué) 機(jī)電技術(shù)研究所,甘肅 蘭州 730070)
為實(shí)現(xiàn)調(diào)車作業(yè)視頻監(jiān)控與測距的目的,設(shè)計(jì)一種用于調(diào)車頂送作業(yè)的雙目測距系統(tǒng),其通過安裝于機(jī)車車廂的雙目攝像機(jī),采集機(jī)車已掛車廂與待掛車廂之間實(shí)時(shí)視頻并測量其距離。在OpenCV計(jì)算機(jī)視覺庫與Windows平臺(tái)下,使用張正友標(biāo)定法對雙目攝像機(jī)進(jìn)行標(biāo)定,并獲得畸變校正后的圖像與攝像機(jī)參數(shù)。通過SGBM特征匹配算法實(shí)現(xiàn)車廂目標(biāo)特征提取與立體匹配。最后利用三維重建方法獲得深度信息。系統(tǒng)分別在實(shí)驗(yàn)室環(huán)境與現(xiàn)場環(huán)境下進(jìn)行實(shí)驗(yàn),現(xiàn)場實(shí)驗(yàn)結(jié)果表明,測距結(jié)果比實(shí)際距離稍偏大,最大誤差小于1 m,滿足實(shí)際現(xiàn)場環(huán)境要求,可有效地輔助人工瞭望進(jìn)行調(diào)車作業(yè)。
鐵路運(yùn)輸;視頻監(jiān)控;調(diào)車作業(yè);雙目測距
調(diào)車作業(yè)是鐵路車站行車組織中的關(guān)鍵環(huán)節(jié),在摘掛機(jī)車作業(yè)時(shí),目前主要通過作業(yè)人員瞭望來確認(rèn)機(jī)車和車廂之間的距離。工作強(qiáng)度大,疲勞、疏忽等因素可能引起調(diào)車事故發(fā)生[1?2]?,F(xiàn)有技術(shù)中,國內(nèi)主要使用無線調(diào)車機(jī)車信號和監(jiān)控系統(tǒng)[3],其針對整車站的機(jī)車信號進(jìn)行監(jiān)控,無法實(shí)時(shí)監(jiān)控單個(gè)調(diào)車作業(yè)過程。以美國和日本為主的一些國家,使用GPS定位技術(shù)獲得機(jī)車的位置信息,并傳輸?shù)奖O(jiān)控室的電子地圖,以此獲得機(jī)車地面信息。歐洲一些國家通過GSM-R技術(shù)[4]由監(jiān)控中心值班員向裝有無線設(shè)備的機(jī)車發(fā)送相關(guān)指令,機(jī)車司機(jī)可根據(jù)這些指令來進(jìn)行作業(yè)。現(xiàn)有技術(shù)大多采用虛擬的位置信息,無法實(shí)時(shí)地監(jiān)控調(diào)車作業(yè)過程,具有一定的局限性。本文基于視頻監(jiān)控[5]記錄調(diào)車作業(yè)的過程,利用雙目測距技術(shù),實(shí)現(xiàn)調(diào)車作業(yè)過程實(shí)時(shí)監(jiān)控的效果,并且輔助人工瞭望判斷距離。此外,結(jié)合視頻監(jiān)控中行人檢測等其他視頻圖像處理技術(shù)輔助調(diào)車作業(yè),可實(shí)時(shí)記錄調(diào)車作業(yè)過程,提高作業(yè)安全性,減輕人工作業(yè)的強(qiáng)度,彌補(bǔ)現(xiàn)有技術(shù)和設(shè)備的不足。
雙目測距是根據(jù)2臺(tái)參數(shù)相同的攝像機(jī)在不同位置對同一目標(biāo)進(jìn)行成像,利用目標(biāo)點(diǎn)在左右視圖上成像的橫坐標(biāo)差異(即視差)與目標(biāo)點(diǎn)到成像平面之間距離的反比關(guān)系,獲得目標(biāo)點(diǎn)的深度信息。雙目測距主要由圖像獲取、相機(jī)標(biāo)定、圖像預(yù)處理、特征提取與立體匹配、三維重建及深度信息提取5個(gè)過程實(shí)現(xiàn)[6?7]。
如圖1(a)所示,雙目攝像機(jī)對目標(biāo)點(diǎn)1和2等成像;如圖1(b)所示,點(diǎn)為目標(biāo)點(diǎn),O與O分別為左右攝像機(jī)的光心,x與x分別為在左右攝像機(jī)上的成像點(diǎn),為點(diǎn)至光心面的距離,即為深度距離,攝像機(jī)焦距為,為2個(gè)攝像頭O與O之間的距離,根據(jù)相似三角形原理,由
得深度距離:
其中:x與x為點(diǎn)在攝像機(jī)平面的投影點(diǎn)橫坐標(biāo)值,視差=x?x,如圖1(c)所示。
(a) 雙目攝像機(jī);(b) 測距原理圖;(c) 視差深度圖
如圖2所示,搭建雙目測距系統(tǒng)硬件框架。將2個(gè)相同參數(shù)攝像機(jī)放置在同一平面內(nèi),保持光軸平行。如圖3所示,使用2個(gè)型號、內(nèi)參數(shù)一致的數(shù)字?jǐn)z像機(jī)。本實(shí)驗(yàn)選取奧尼HD LENS CAMERA型攝像機(jī),其焦距為4.8 mm,分辨率為640×480,將2個(gè)攝像機(jī)使用硬紙板固定。在Visual Studio2012與開源跨平臺(tái)計(jì)算機(jī)視覺庫OpenCV2.4.9開發(fā)環(huán)境下,通過OpenCV的capture類函數(shù),結(jié)合DirectShow函數(shù)來實(shí)現(xiàn)雙攝像頭的捕捉與圖像采集功能。
圖2 雙目測距系統(tǒng)硬件框架
圖3 雙目攝像機(jī)
由于張正友標(biāo)定算法只考慮了影響最大的徑向畸變,則其數(shù)學(xué)表達(dá)式為:
即可得到畸變系數(shù)。
雙目攝像機(jī)標(biāo)定使用的棋盤格大小為22 mm×22 mm,角點(diǎn)數(shù)為9×6,圖像大小為640×480,標(biāo)定板如圖4所示。
圖4 標(biāo)定板
如圖5所示,設(shè)定實(shí)際距離為400 mm,2臺(tái)攝像機(jī)光心距離為30 mm,通過改變攝像機(jī)與標(biāo)定板之間的角度(每次10°)和距離(0~3 cm之間),拍攝了10對20張標(biāo)定圖,實(shí)現(xiàn)雙目攝像機(jī)的標(biāo)定過程。利用cvFindChessboardCorners函數(shù)得到棋盤在攝像機(jī)鏡頭中的2D位置,在主函數(shù)中添加角點(diǎn)數(shù):arg[1]=“?=9”;arg[2]=“?=6”,編譯運(yùn)行程序得到最終求解參數(shù)如表1。
圖5 攝像機(jī)標(biāo)定
圖6 畸變校正前后的圖像
表1 攝像機(jī)內(nèi)外參數(shù)
根據(jù)計(jì)算結(jié)果,旋轉(zhuǎn)矩陣趨向于0,2臺(tái)攝像機(jī)之間的旋轉(zhuǎn)矢量可忽略不計(jì),系統(tǒng)滿足雙目測距模型的要求[10]。對左右攝像機(jī)圖像進(jìn)行雙目校正,消除畸變對視圖的影響,如圖6所示,為完成校正的圖像。
圖像特征提取是從圖像中提取有價(jià)值的數(shù)值、符號等信息,常見的特征類型有邊緣、角、區(qū)域等。通過提取這些高質(zhì)量的特征,進(jìn)行精準(zhǔn)的匹配。立體匹配通過對左右攝像機(jī)成像的相同部分進(jìn)行匹配,得到視差圖?;趯ζヅ渚燃疤幚硇Ч囊?,本文使用一種半全局立體匹配算法SGBM (semi-global block matching)算法[11?12]。其核心步驟為:選取每個(gè)像素點(diǎn)的視差,組建成視差圖,設(shè)置一個(gè)和視差圖相關(guān)的全局能量函數(shù),使得這個(gè)能量函數(shù)最小化,達(dá)到求解每個(gè)像素點(diǎn)最優(yōu)視差的目 的[13?14]。SGBM算法基本流程為:
1) 預(yù)處理及像素匹配計(jì)算。實(shí)驗(yàn)使用自適應(yīng)線性濾波進(jìn)行預(yù)處理,去除畫面較突出的噪點(diǎn)。SGBM算法采用水平Sobel算子,使得每個(gè)像素點(diǎn)映射成新的梯度圖像。
2) 代價(jià)計(jì)算。采用一維約束近似二維約束的方法,給像素點(diǎn)設(shè)置8個(gè)路徑,計(jì)算最小代價(jià)路徑,得到近似二維約束匹配計(jì)算。
3) 剔除誤匹配。搜索左右像素點(diǎn)不相同的無效匹配,如圖7(a)所示,目標(biāo)書本上沿區(qū)域(A區(qū)域)產(chǎn)生較多誤匹配,進(jìn)行剔除后,得到匹配圖7(b)。
4) 左右視差計(jì)算。通過動(dòng)態(tài)迭代規(guī)劃,最小代價(jià)計(jì)算到的視差值為該像素點(diǎn)的視差。
(a) 實(shí)驗(yàn)?zāi)繕?biāo)匹配圖;(b) 實(shí)驗(yàn)?zāi)繕?biāo)剔除誤匹配圖
如圖8所示,reprojectImageTo3D函數(shù)生成 3D點(diǎn)云,得到視差圖像,圖中白色部分表示,3D點(diǎn)云中保存有2D圖像的三維坐標(biāo),進(jìn)行空間三維重建[15]。以左攝像機(jī)光心為世界坐標(biāo)系的原點(diǎn),由式(2)和矩陣計(jì)算,可求得深度信息[16]。如圖9所示,得到測量結(jié)果,隨機(jī)取部分測距結(jié)果進(jìn)行統(tǒng)計(jì),如表2所示。
圖8 實(shí)驗(yàn)?zāi)繕?biāo)視差圖
圖9 實(shí)驗(yàn)?zāi)繕?biāo)測距結(jié)果圖
表2 實(shí)驗(yàn)測距結(jié)果
如圖10所示,雙目測距系統(tǒng)包括視頻圖像采集裝置,圖像處理與測距系統(tǒng)及視頻圖像與距離信息顯示裝置[17]。視頻圖像信息采集裝置由數(shù)字?jǐn)z像機(jī)和光照裝置組成,實(shí)現(xiàn)實(shí)時(shí)視頻圖像信息采集工作[18]。
圖像處理與測距系統(tǒng)使用C++語言,結(jié)合SGBM算法,在OpenCV2.4.9與Visual Studio2012配置環(huán)境下運(yùn)行,性能測試實(shí)驗(yàn)在CPU1.90 GHz,64位Windows7操作系統(tǒng),4G內(nèi)存的計(jì)算機(jī)上運(yùn)行。系統(tǒng)軟件程序流程包括初始化系統(tǒng)配置、獲取圖像、檢測圖像可用性、圖像匹配并計(jì)算坐標(biāo)值得出目標(biāo)的距離信息。視頻圖像與距離信息顯示在可視化的程序界面,在司機(jī)室上位機(jī)界面上可實(shí)現(xiàn)實(shí)時(shí)視頻、測距結(jié)果與警戒報(bào)警距離等信息的顯示。
圖10 雙目測距系統(tǒng)總體結(jié)構(gòu)
圖11 雙目測距系統(tǒng)示意圖
如圖11所示,在機(jī)車行駛至車廂的過程中,安裝于機(jī)車車廂的攝像機(jī)采集待測距離間的實(shí)時(shí)畫面,通過有線傳輸方式,顯示在司機(jī)室的上位機(jī)界面。將采集到的幀圖像,經(jīng)過圖像處理與圖像匹配算法,得到視差圖像,利用雙目測距技術(shù),獲得機(jī)車與車廂之間動(dòng)態(tài)實(shí)時(shí)距離[19],并顯示在司機(jī)室上位機(jī)界面。此外,系統(tǒng)可設(shè)定距離報(bào)警值,方便司機(jī)工作。
在實(shí)際場景中,以車廂為測距目標(biāo),進(jìn)行實(shí) 驗(yàn)[20]。在已掛車廂人工瞭望位置與角度安裝攝像機(jī),保持2臺(tái)攝像機(jī)在同一平面內(nèi)且保持光軸平行。為減少誤差,再次進(jìn)行攝像機(jī)標(biāo)定與圖像校正。之后,通過攝像機(jī)采集并獲取幀圖像。如圖12所示,圖12(a)為目標(biāo)匹配圖,車廂頂部區(qū)域誤匹配較大,進(jìn)行剔除誤匹配,圖12(b)為剔除誤匹配之后的 圖像。
得到較理想的匹配圖像后,進(jìn)行空間三維重建和深度信息的提取。如圖13所示為測距目標(biāo)視差圖像,圖中白色部分為可測距離的匹配像素點(diǎn),實(shí)際目標(biāo)為車廂左部及部分軌道。圖14為目標(biāo)周圍隨機(jī)點(diǎn)測距結(jié)果。
(a) 目標(biāo)匹配圖;(b) 剔除誤匹配圖
圖13 目標(biāo)視差圖
從實(shí)驗(yàn)結(jié)果中,隨機(jī)選取10組數(shù)據(jù)進(jìn)行分析,如表3所示。
圖14 測距程序結(jié)果圖
表3 實(shí)際目標(biāo)測距結(jié)果
基于雙目測距實(shí)驗(yàn)基礎(chǔ),在實(shí)際場景中進(jìn)行雙目測距在調(diào)車作業(yè)中的應(yīng)用實(shí)驗(yàn)。由表3實(shí)驗(yàn)數(shù)據(jù)分析,與車廂實(shí)際距離約為75 m,隨機(jī)選擇10組測距結(jié)果,進(jìn)行計(jì)算比較,誤差最大為971 mm,誤差控制在1 m以內(nèi),基本符合實(shí)際工作要求。在不同距離重復(fù)上述實(shí)驗(yàn)10次,每次取最接近平均誤差的數(shù)據(jù)作為本次的實(shí)驗(yàn)數(shù)據(jù)進(jìn)行統(tǒng)計(jì)。如表4所示,統(tǒng)計(jì)結(jié)果表明,實(shí)驗(yàn)最大誤差為997 mm,隨著距離的增大,誤差相應(yīng)地變大,主要原因是視差變化造成的,微小的視差變化,都將產(chǎn)生測量結(jié)果的巨大變化。對比人工瞭望時(shí)人眼產(chǎn)生的誤差,本實(shí)驗(yàn)結(jié)果滿足調(diào)車作業(yè)實(shí)際工作要求。
表4 10組實(shí)驗(yàn)結(jié)果
1) 研究雙目測距技術(shù)在調(diào)車作業(yè)測距中的應(yīng)用,采用SGBM特征匹配算法,通過圖像獲取、相機(jī)標(biāo)定、圖像預(yù)處理、特征提取與立體匹配、三維重建及深度信息提取5個(gè)過程,實(shí)現(xiàn)雙目測距。
2) 分別在實(shí)驗(yàn)室及現(xiàn)場環(huán)境下進(jìn)行多次測距實(shí)驗(yàn),結(jié)果表明測量距離為83.2 m時(shí)最大誤差不超過1 m,10組數(shù)據(jù)平均絕對誤差為497 mm,滿足實(shí)際工作要求。實(shí)現(xiàn)了利用雙目測距技術(shù)輔助調(diào)車作業(yè)測距的效果。
3) 初步實(shí)現(xiàn)了雙目測距技術(shù)在調(diào)車作業(yè)中的應(yīng)用,但現(xiàn)場實(shí)驗(yàn)環(huán)境為較開闊的白天,在較多遮擋物和能見度不良的夜間環(huán)境下測距誤差較大,下一步工作將升級硬件系統(tǒng)及優(yōu)化算法,實(shí)現(xiàn)復(fù)雜環(huán)境下調(diào)車作業(yè)的測距效果。
[1] 劉鵬鑫. 鐵路調(diào)車人因事故可靠性研究[J]. 鐵道貨運(yùn), 2016, 34(8): 45?49. LIU Pengxin. Study of the reliability of human factor in railway shunting accident[J]. Railway Freight Transport, 2016, 34(8): 45?49.
[2] 張亮. 鐵路車務(wù)系統(tǒng)中間站調(diào)車作業(yè)安全防控對策分析[J]. 鐵道運(yùn)輸與經(jīng)濟(jì), 2018, 40(5): 71?74. ZHANG Liang. An analysis on the safety management of shunting operation at intermediate stations[J]. Railway Transport and Economy, 2018, 40(5): 71?74.
[3] 曹海霞. 無線調(diào)車機(jī)車信號和監(jiān)控系統(tǒng)(STP)的應(yīng)用分析[J]. 鐵道通信信號, 2017, 53(9): 33?36. CAO Haixia. Application analysis of STP[J]. Railway Signalling & Communication, 2017, 53(9): 33?36.
[4] 龔驍猷. 鐵路GSM-R網(wǎng)絡(luò)編號方案關(guān)鍵問題研究[J].鐵道標(biāo)準(zhǔn)設(shè)計(jì), 2018, 62(2): 160?166. GONG Xiaoyou. Research on key problems of railway GSM-R network numbering program[J]. Railway Standard Design, 2018, 62(2): 160?166.
[5] 黃鐵軍, 鄭錦, 李波, 等. 多媒體技術(shù)研究: 2013——面向智能視頻監(jiān)控的視覺感知與處理[J]. 中國圖象圖形學(xué)報(bào), 2014, 19(11): 1539?1562. HUANG Tiejun, ZHENG Jin, LI Bo, et al. Visual perception and processing for intelligent video surveillance: a review[J]. Journal of Image and Graphics, 2014, 19(11): 1539?1562.
[6] 黃松梅, 畢遠(yuǎn)偉, 劉殿通, 等. 雙目立體視覺非接觸式測量研究[J]. 煙臺(tái)大學(xué)學(xué)報(bào)(自然科學(xué)與工程版), 2017, 30(4): 323?327. HUANG Songmei, BI Yuanwei, LIU Diantong, et al. Non-contact measurement with binocular stereo vision[J]. Journal of Yantai University (Natural Science and Engineering Edition), 2017, 30(4): 323?327.
[7] 安果維, 王耀南, 周顯恩, 等. 基于顯著性檢測的雙目測距系統(tǒng)[J]. 智能系統(tǒng)學(xué)報(bào), 2018(6): 1?9. AN Guowei, WANG Yaonan, ZHOU Xian’en, et al. Binocular distance measurement system based on saliency detection[J]. CAAI Transactions on Intelligent Systems, 2018(6): 1?9.
[8] ZHANG Zhengyou. A flexible new technique for camera cablibration[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2000, 22(11): 1330?1334.
[9] 許威, 丁學(xué)文, 宋蘭草, 等. 基于MATLAB和OpenCV的雙目視覺測距系統(tǒng)的實(shí)現(xiàn)[J]. 天津職業(yè)技術(shù)師范大學(xué)學(xué)報(bào), 2017, 27(4): 47?52. XU Wei, DING Xuewen, SONG Lancao, et al. Realization of binocular stereo vision distance measurement system based on MATLAB and OpenCV[J]. Journal of Tianjin University of Technology and Education, 2017, 27(4): 47?52.
[10] 汪珍珍, 趙連玉, 劉振忠. 基于MATLAB與OpenCV相結(jié)合的雙目立體視覺測距系統(tǒng)[J]. 天津理工大學(xué)學(xué)報(bào), 2013, 29(1): 45?48. WANG Zhenzhen, ZHAO Lianyu, LIU Zhenzhong. Binocular stereo vision distance measurement system based on a combination of Matlab and OpenCV[J]. Journal of Tianjin University of Technology, 2013, 29(1): 45?48.
[11] 張歡, 安利, 張強(qiáng), 等. SGBM算法與BM算法分析研究[J]. 測繪與空間地理信息, 2016, 39(10): 214?216. ZHANG Huan, AN Li, ZHANG Qiang, et al. SGBM algorithm and B-M algorithm analysis and research[J]. Geomatics & Spatial Information Technology, 2016, 39(10): 214?216.
[12] Rostam H, Haidi I, Eduard L. Literature survey on stereo vision disparity map algorithms[J]. Journal of Sensors, 2015, 10(2): 34?51.
[13] Hirschmuller H. Accurate and efficient stereo processing by semi global matching and mutual information[C]// Proc of IEEE Conference on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE Press, 2005: 807?814.
[14] Bleyer M, Gelautz M. Graph-cut-based stereo matching using image segmentation with symmetrical treatment of occlusions[J]. Signal Processing: Image Communication, 2007, 22(2): 127?143.
[15] 楊韜, 符文星, 王民鋼, 等. 基于光場成像的雙目深度圖像獲取[J]. 西北工業(yè)大學(xué)學(xué)報(bào), 2015, 33(5): 727?731. YANG Tao, FU Wenxing, WANG Minggang, et al. Binocular stereo depth map acquisition based on light field images[J]. Journal of Northwestern Polytechnical University, 2015, 33(5): 727?731.
[16] 任繼昌, 楊曉東. 基于互信息的高精度雙目視覺測距方法研究[J]. 控制工程, 2015, 22(1): 199?204. REN Jichang, YANG Xiaodong. Improving range- measuring accuracy of stereo vision based on mutual information registration[J]. Control Engineering of China, 2015, 22(1): 199?204.
[17] 王予見. 圖像處理技術(shù)在調(diào)車作業(yè)安全防護(hù)中的應(yīng)用研究[D]. 蘭州: 蘭州交通大學(xué), 2015. WANG Yujian. Application research of image processing technologies on safety protection for shunting operation [D]. Lanzhou: Lanzhou Jiaotong University, 2015.
[18] 佟卓遠(yuǎn). 基于機(jī)器視覺的前方車輛檢測與測距系統(tǒng)設(shè)計(jì)[D]. 哈爾濱: 哈爾濱工業(yè)大學(xué), 2015. TONG Zhuoyuan. The design of preceding vehicles detection and distance measurement system based on machine vision[D]. Harbin: Harbin Institute of Technology, 2015.
[19] 張穎江, 潘堯, 吳聰. 基于車載系統(tǒng)雙目CCD相機(jī)測距[J]. 信息安全與技術(shù), 2016, 7(1): 57?62. ZHANG Yinjiang, PAN Yao, WU Cong. Distance measurement of binocular CCD camera on vehicle-mounted system[J]. Information Security and Technology, 2016, 7(1): 57?62.
[20] 王志遠(yuǎn), 王茂森. 基于雙目視覺的移動(dòng)機(jī)器人測距與定位系統(tǒng)[J]. 兵器裝備工程學(xué)報(bào), 2017, 38(11): 173?177. WANG Zhiyuan, WANG Maosen. Ranging and positioning system of mobile robot based on binocular vision[J]. Journal of Ordnance Equipment Engineering, 2017, 38(11): 173?177.
Research and application of binocular distance measurement technology to shunting operation
CHEN Wenxuan, GUO Youmin
(Mechanical and Electronic Technology Institute, Lanzhou Jiaotong University, Lanzhou 730070, China)
In order to achieve the purpose of video surveillance and distance measurement in shunting operation, a distance measurement system was designed. With a camera mounted on the connected carriage, it collected the real-time video and measured distance among carriage connected and unconnected. Under the OpenCV computer vision and windows platform, the intrinsic and extrinsic parameters of cameras and rectified images were determined using Zhang’s calibration method. The target feature extraction and stereo matching were achieved though the SGBM feature matching algorithm. Finally, the depth information was obtained using 3D-reconstruction method. The distance measurement system has been tested under the laboratory environment and field environment. The experimental results show that the distance of the system is slightly larger than the actual one, and the maximum error is less than 1 meters. It can effectively assist manual work for shunting operation.
railway transportation; video surveillance; shunting operations; binocular distance measure
10.19713/j.cnki.43?1423/u.2019.03.034
TP391
A
1672 ? 7029(2019)03 ? 0819 ? 08
2018?05?22
郭佑民(1968?),男,甘肅隴西人,教授,從事車輛工程、數(shù)字圖像處理的研究;E?mail:lqzymc@qq.com
(編輯 陽麗霞)