黃偉 趙德安 劉曉洋

摘 要：隨著全球貿(mào)易的發(fā)展，集裝箱運(yùn)輸增長(zhǎng)迅速，集裝箱卡車和吊車在集裝箱運(yùn)輸中發(fā)揮著極其重要的作用。針對(duì)集裝箱裝卸作業(yè)中因集卡和集裝箱之間固定鎖未完全打開而導(dǎo)致集卡被誤吊起的危險(xiǎn)情況，提出一種基于機(jī)器視覺的港口集裝箱卡車防吊方法。該方法使用兩個(gè)攝像頭實(shí)時(shí)采集集卡車身圖像，為保證圖像檢測(cè)過程的實(shí)時(shí)性和準(zhǔn)確性，采用ORB特征點(diǎn)檢測(cè)算法對(duì)圖像進(jìn)行特征點(diǎn)提取，利用FLANN特征點(diǎn)匹配算法將檢測(cè)到的特征點(diǎn)與起吊前基準(zhǔn)圖像中的特征點(diǎn)進(jìn)行匹配，通過分析匹配成功特征點(diǎn)之間的坐標(biāo)變化，判斷集卡是否被誤吊起。一旦縱坐標(biāo)變化超出閾值，控制系統(tǒng)則會(huì)向主控PLC發(fā)送停止起吊指令，從而避免安全事故發(fā)生。通過大量現(xiàn)場(chǎng)試驗(yàn)，結(jié)果表明，該方案在應(yīng)對(duì)各種復(fù)雜環(huán)境時(shí)都能取得很好的效果，可以滿足港口自動(dòng)化要求。

關(guān)鍵詞：機(jī)器視覺；特征檢測(cè)；集卡；防吊

DOI：10. 11907/rjdk. 182300

中圖分類號(hào)：TP301 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1672-7800（2019）005-0037-04

Abstract： With the development of global economic trade， container transportation has grown rapidly. Container trucks and cranes play an extremely important role in container transportation. In view of the dangerous situation that during the container loading and unloading operation， the container car is mistakenly lifted because the fixed lock between the truck and the container is not fully opened， this paper proposes a machine vision-based port container truck anti-lifting technology. The technology uses two cameras to collect images of the body of the truck in real time. To ensure the real-time and accuracy of the whole image detection process， the ORB （Oriented FAST and Rotated BRIEF） feature point detection algorithm is used to extract the feature points of the image， using FLANN feature point matching algorithm matches the detected feature points with the feature points in the reference image before lifting， and judge whether the card is hanged mistakenly by analyzing the coordinate changes between the matching feature points. Once the change of the ordinate exceeds the threshold， it can be judged that it is mistakenly lifted up， and the control system will send an instruction to the main control PLC to stop the hoisting. The technical solution has passed a large number of field tests and can achieve good results in dealing with various complex environments， which can meet the requirements of port automation.

Key Words： machine vision； feature detection； container card； anti-lifting

0 引言

港口作為水路交通的集結(jié)點(diǎn)和樞紐，在全球資源配置中發(fā)揮著越來越重要的作用。集裝箱作為港口貿(mào)易的載體，已成為國(guó)際通用的運(yùn)輸方式。港口發(fā)展經(jīng)歷了從人力、電氣化到逐步自動(dòng)化的過程。近年來，隨著計(jì)算機(jī)信息技術(shù)的迅速發(fā)展，尤其是大數(shù)據(jù)、人工智能等新興技術(shù)的產(chǎn)生，為傳統(tǒng)行業(yè)轉(zhuǎn)型，尤其是港口發(fā)展帶來了前所未有的新機(jī)遇與新挑戰(zhàn)[1]。為了提高生產(chǎn)組織效率與港口裝備的智能化水平，提高港口整體作業(yè)效率，興建自動(dòng)化、無人化的集裝箱碼頭迫在眉睫，現(xiàn)已出現(xiàn)了以青島港、洋山港為代表的無人化碼頭。

集卡（集裝箱卡車的簡(jiǎn)稱）分為內(nèi)集卡和外集卡。負(fù)責(zé)碼頭內(nèi)集裝箱運(yùn)輸?shù)耐宪嚪Q為內(nèi)集卡，外集卡則是開出港口的拖車。由于港區(qū)內(nèi)路面平整，不需要長(zhǎng)距離運(yùn)輸，內(nèi)集卡通過安裝在車身四周的擋板固定集裝箱，而外集卡在往返港口運(yùn)送集裝箱過程中，為防止運(yùn)輸過程中由于路況顛簸造成箱子意外掉落的情況，需要在集卡車身4個(gè)角以及中間部位安裝機(jī)械鎖頭，鎖頭可以插入集裝箱底部鎖孔內(nèi)，從而固定集裝箱。

當(dāng)外集卡到達(dá)港口堆場(chǎng)進(jìn)行卸車作業(yè)時(shí)，集卡司機(jī)會(huì)事先將鎖頭解開，然后等待輪胎吊或其它吊車將集卡上的集裝箱卸下。由于吊車司機(jī)視線受阻，無法清晰地觀察并判斷鎖頭是否被完全打開，如果集卡司機(jī)忘記解鎖或沒有完全解開所有的鎖，在集裝箱起吊過程中，車身會(huì)被一并提起，嚴(yán)重時(shí)可能對(duì)車輛造成損壞甚至危及集卡司機(jī)安全。因此，在集裝箱堆場(chǎng)作業(yè)中，如何防止集卡被誤吊起是集裝箱裝卸中的一大安全課題。

目前，已有人工監(jiān)控、光電檢測(cè)、激光雷達(dá)檢測(cè)與圖像檢測(cè)等多種方式可實(shí)現(xiàn)對(duì)集裝箱卡車誤吊起的檢測(cè)，但是受限于成本或檢測(cè)效果尚難以普及。因此，迫切需要提出一套自動(dòng)化檢測(cè)控制方案。由于該研究具有巨大的市場(chǎng)需求，很多企業(yè)及高校也進(jìn)行了相關(guān)研究。如上海港集裝箱股份有限公司[2]針對(duì)該問題設(shè)計(jì)了一種防止集裝箱起重機(jī)誤吊集裝箱卡車的測(cè)控裝置。該裝置通過兩個(gè)光電開關(guān)進(jìn)行集裝箱檢測(cè)，若集裝箱被吊至設(shè)定高度仍能檢測(cè)到設(shè)定物體信號(hào)，則立即停止起吊。但該方法可靠性不高，容易出現(xiàn)漏檢情況，且檢測(cè)到卡車被吊起時(shí)，卡車已上升了一定高度，雖然不會(huì)造成重大事故，但仍會(huì)給車輛造成損傷；潤(rùn)邦卡哥特科工業(yè)有限公司[3]提出一種防止集裝箱卡車被吊起的自動(dòng)檢測(cè)保護(hù)系統(tǒng)及其應(yīng)用方法，通過車道一側(cè)地梁作業(yè)平臺(tái)下的區(qū)域傳感器檢測(cè)卡車是否被吊起。但該方法需要在固定位置鋪設(shè)傳感器進(jìn)行檢測(cè)，工程量大，且不能隨吊車轉(zhuǎn)場(chǎng)，靈活不強(qiáng)，難以進(jìn)行普遍應(yīng)用；上海大學(xué)[4]提出一種用于軌道吊機(jī)的集裝箱卡車防吊系統(tǒng)及方法，該方法通過兩個(gè)激光掃描儀對(duì)集裝箱和卡車進(jìn)行掃描，通過幾何約束原則找出二者相對(duì)位置，從而判斷卡車是否被吊起。該方法檢測(cè)準(zhǔn)確性較高，但是由于激光雷達(dá)成本較高，因而難以普及應(yīng)用。

1 系統(tǒng)組成

本文提出的方法由硬件和軟件兩部分構(gòu)成。硬件主要包括安裝在吊車外的攝像頭和主控室內(nèi)的工控機(jī)。攝像頭負(fù)責(zé)圖像采集，工控機(jī)負(fù)責(zé)圖像處理以及與主控PLC通信。軟件部分的核心是圖像處理算法，其基本步驟如下：①集卡到位，在起吊前采集一張圖像作為基準(zhǔn)圖像，并對(duì)車架部分進(jìn)行特征點(diǎn)提取；②收到起吊信號(hào)，檢測(cè)系統(tǒng)每隔500ms進(jìn)行一次圖像采集，并對(duì)車架部分進(jìn)行特征點(diǎn)提取；③將步驟②中提取的特征點(diǎn)與基準(zhǔn)圖像進(jìn)行匹配；④計(jì)算所有匹配成功特征點(diǎn)x和y的平均差值并與設(shè)定閾值進(jìn)行比較，如果y的差值大于閾值，則可判斷為誤吊，檢測(cè)系統(tǒng)向主控PLC發(fā)送停止起吊命令。

2 ORB特征點(diǎn)提取

特征點(diǎn)匹配算法廣泛應(yīng)用于視覺導(dǎo)航、運(yùn)動(dòng)目標(biāo)識(shí)別檢測(cè)等領(lǐng)域。目前在機(jī)器視覺領(lǐng)域常用的特征點(diǎn)檢測(cè)算法主要有 SIFT、SURF[6]和ORB（Oriented FAST and Rotated BRIEF）。在ICCV2011，Rublee等[7]提出ORB特征點(diǎn)檢測(cè)算法。ORB算法將FAST角點(diǎn)檢測(cè)和二進(jìn)制局部特征描述符BRIEF相結(jié)合[9]，實(shí)時(shí)性明顯優(yōu)于SIFT、SURF等浮點(diǎn)型局部特征描述符。

本文采用ORB特征提取算法對(duì)圖像進(jìn)行特征點(diǎn)提取。ORB特征點(diǎn)檢測(cè)主要有以下兩個(gè)步驟：①利用Oriented FAST檢測(cè)算子進(jìn)行特征點(diǎn)檢測(cè)；②采用Rotated BRIEF描述符對(duì)特征點(diǎn)進(jìn)行二進(jìn)制向量描述。

3 FLANN特征匹配

FLANN算法是由Muja&Lowe[16]在2009年提出的，算法核心是通過K均值或KD-TREE[18]搜索算法找到歐式距離最小點(diǎn)[17]。該算法可根據(jù)數(shù)據(jù)集分布特點(diǎn)、映射精度與空間資源消耗要求推薦索引類和檢索參數(shù)，而且在高維空間最近鄰查找不受局部敏感哈希影響。

在KD-TREE中檢索出歐氏距離最小的點(diǎn)通常需要如下幾個(gè)步驟：首先根據(jù)相關(guān)方法將KD-TREE數(shù)據(jù)點(diǎn)劃分成N維空間上的幾部分，將所有歐氏距離集合采用KD-TREE結(jié)構(gòu)進(jìn)行存儲(chǔ)，整個(gè)檢索過程則變成了KD-TREE由上而下的遞歸過程[19]。以某一特征維數(shù)為基準(zhǔn)，將目標(biāo)點(diǎn)與分割點(diǎn)的值進(jìn)行比較，從而確定目標(biāo)點(diǎn)所在的N維空間區(qū)域，然后遍歷區(qū)域，直到成功檢索到目標(biāo)點(diǎn)。在KD-TREE上進(jìn)行數(shù)據(jù)檢索效率較高[20]，對(duì)于給定的高維目標(biāo)采用高效的查找算法能快速得到最近鄰點(diǎn)[21]。

如圖3所示，當(dāng)?shù)踯噷⒓b箱緩慢吊起時(shí)，F(xiàn)LANN算法能夠快速、準(zhǔn)確地與基準(zhǔn)圖像中的特征點(diǎn)進(jìn)行匹配。該試驗(yàn)選取100個(gè)特征點(diǎn)，最終匹配成功的為97對(duì)。根據(jù)97對(duì)點(diǎn)的縱坐標(biāo)可計(jì)算出當(dāng)前集卡車身位移為10個(gè)像素。

4 實(shí)驗(yàn)與結(jié)果分析

實(shí)驗(yàn)平臺(tái)為：研華ARK-2121工控機(jī)，Intel Celeron J1900，2.0GHz四核處理器，操作系統(tǒng)為：64位Windows7，攝像頭為：大恒MER-132-43GM，125萬像素。本文提出的解決方案已使用C++結(jié)合Opencv2.4加以實(shí)現(xiàn)，并在Visual studio 2013上通過Qt編寫出完整測(cè)試軟件。軟件界面如圖4所示，主界面主要用來顯示攝像頭采集的圖像。通過參數(shù)配置界面可以設(shè)定橫向和縱向報(bào)警閾值，并設(shè)置相機(jī)亮度、曝光時(shí)間以及是否使用自動(dòng)曝光等功能。檢測(cè)完成后，系統(tǒng)還可將每次檢測(cè)結(jié)果保存到數(shù)據(jù)庫中。該軟件已經(jīng)分別在上海洋山港無人化碼頭以及鎮(zhèn)江港碼頭的場(chǎng)地輪胎吊上進(jìn)行了實(shí)際測(cè)試。

能夠攜帶20英尺和40英尺的外集卡一般有8個(gè)鎖頭，車身四角4個(gè)加上車身中部4個(gè)。由于集裝箱尺寸大小不同，需要不同位置的鎖頭組合。20英尺集裝箱在裝卸過程中需要使用4個(gè)鎖頭。經(jīng)過現(xiàn)場(chǎng)觀察和分析，主要有如下幾種工況：①4個(gè)鎖都打開；②4個(gè)鎖都沒有打開；③車架前兩角鎖住，后兩角打開；④車架后兩角鎖住，前兩角打開；⑤車架外側(cè)兩鎖打開，內(nèi)側(cè)兩角鎖住；⑥車架內(nèi)側(cè)后面的角打開，其余3個(gè)角鎖??；⑦車架內(nèi)側(cè)前面的角打開，其余3個(gè)角鎖??；⑧車架內(nèi)側(cè)前面的角鎖住，其它角打開；⑨車架內(nèi)側(cè)后面單角鎖住，其它角打開；⑩車架外側(cè)兩角鎖住，內(nèi)側(cè)兩角打開。其中取集卡靠近輪胎吊控制室的一側(cè)為內(nèi)側(cè)，另一側(cè)為外側(cè)。

在鎮(zhèn)江港國(guó)際集裝箱碼頭，150cm高的集卡裝載20英尺集裝箱，針對(duì)以上10種情況進(jìn)行現(xiàn)場(chǎng)試驗(yàn)。根據(jù)港口工作人員提出的安全要求，集裝箱被吊起至180cm前必須作出及時(shí)判斷，因此將縱向Y的閾值設(shè)定為45像素。每種情況試驗(yàn)10次，記錄每一次系統(tǒng)報(bào)警時(shí)集卡正對(duì)兩個(gè)攝像頭中間位置被吊起的高度，試驗(yàn)結(jié)果如表1所示。

根據(jù)試驗(yàn)結(jié)果可以看出，在絕大多數(shù)工況下，該防吊檢測(cè)系統(tǒng)在集卡被吊起25cm左右（除去車身起伏，車輪離地10cm以內(nèi)）即能準(zhǔn)確作出預(yù)警判斷。但是對(duì)于車架外側(cè)兩角鎖住、內(nèi)側(cè)兩角打開這一工況，在碼頭的安全要求下，實(shí)際試驗(yàn)效果并不理想。主要原因是在該情況下，車架外側(cè)被吊起的高度不足以使內(nèi)側(cè)車板產(chǎn)生明顯位移。在后續(xù)試驗(yàn)中增加外側(cè)被吊起的高度后，該檢測(cè)系統(tǒng)則能作出及時(shí)、準(zhǔn)確的判斷。

5 結(jié)語

本文提出一種基于機(jī)器視覺的港口集卡防吊方法，能夠很好地針對(duì)港口集卡被誤吊起情況進(jìn)行檢測(cè)，與傳統(tǒng)方法相比，該方法具有更高的可靠性與更低的成本，因而具有較好的應(yīng)用前景。該方法能夠快速、準(zhǔn)確地進(jìn)行防吊預(yù)警，從而很好地滿足了當(dāng)前港口自動(dòng)化及無人化的需求。該方法還具備很好的魯棒性，在陰雨天和夜晚（安裝補(bǔ)充光源）進(jìn)行相關(guān)試驗(yàn)仍取得了很好的效果。但在車架內(nèi)側(cè)兩鎖打開，僅外側(cè)有鎖鎖住的情況下，檢測(cè)效果則不夠理想，可以適當(dāng)增加其它傳感器，以提高檢測(cè)的實(shí)時(shí)性和準(zhǔn)確性。

參考文獻(xiàn)：

[1] 王英澤. 一種新型港口輪胎吊吊具自動(dòng)控制系統(tǒng)[D]. 濟(jì)南：山東大學(xué)， 2017.

[2] 上海港集裝箱股份有限公司. 防止集裝箱起重機(jī)誤吊集裝箱卡車的測(cè)控方法及裝置[P]. 中國(guó)，CN1872652A，2006-12-06.

[3] 陳金波. 一種用于軌道吊機(jī)的集裝箱卡車防吊起系統(tǒng)及方法[P]. 中國(guó)， CN104386582A， 2015-03-04.

[4] 王重陽，崔立，開焱，等. 一種防止集裝箱卡車被吊起的自動(dòng)檢測(cè)保護(hù)系統(tǒng)及其應(yīng)用[P]. 中國(guó)， CN103803416A，2014-05-21.

[5] LOWE D G. Distinctive image features from scale-invariant keypoints[J]. International Journal of Computer Vision，2004，60（2）：91-110.

[6] BAY H，ESS A，TUYTELAARS T，et al. Speeded-up robust features（SURF）[J]. Computer Vision and Image Understanding， 2008， 110（3）：346-359.

[7] RUBLEE E，RABAUD V，KONOLIGE K，et al. ORB： an efficient alternative to SIFT or SURF [C]. Proceedings of IEEE International Conference on Computer Vision，Washington，USA，2011：2564-2571.

[8] ROSTEN E，DRUMMOND T. Machine learning for high-speed corner detection[J]. European Conference on Computer Vision， 2006，3951：430-443.

[9] 劉婷婷， 張?bào)@雷. 基于ORB特征的無人機(jī)遙感圖像拼接改進(jìn)算法[J]. 計(jì)算機(jī)工程與應(yīng)用，2018，54（2）：193-197.

[10] 許宏科，秦嚴(yán)嚴(yán)，陳會(huì)茹. 基于改進(jìn)ORB 的圖像特征點(diǎn)匹配[J]. 科學(xué)技術(shù)與工程，2014，14（18）：105-109，128.

[11] 智金波. 基于局部特征點(diǎn)的圖像配準(zhǔn)算法及應(yīng)用研究[D]. 北京：北京印刷學(xué)院，2015.

[12] CALONDER M，LEPETIT V，STRECHA C，et al. BRIEF： binary robust independent elementary features[C]. Proceedings of European Conference on Computer Vision， Greece，2010，63（14）：778-792.

[13] 謝成明. 基于ORB特征的目標(biāo)檢測(cè)與跟蹤研究[D]. 合肥：合肥工業(yè)大學(xué).

[14] 王國(guó)東，文鵬程，程岳. 一種利用ORB特征進(jìn)行航拍圖像拼接的方法[J]. 內(nèi)蒙古師范大學(xué)學(xué)報(bào)：自然科學(xué)漢文版，2014（4）：425-429.

[15] 李小紅，謝成明，賈易臻，等. 基于ORB特征的快速目標(biāo)檢測(cè)算法[J]. 電子測(cè)量與儀器學(xué)報(bào)，2013，27（5）：455-460.

[16] ZENG Q H， CHEN Y，WANG Y S， et al. A fast matching method for large viewpoint changes images based on ORB algorithm[J]. Control and Decision， 2017， 32（12）：2233-2239.

[17] 王金龍， 周志峰. 基于SIFT圖像特征提取與FLANN匹配算法的研究[J]. 計(jì)算機(jī)測(cè)量與控制，2018（2）：175-178.

[18] BERECZK Y， NIKOLET T， NéMET H，et al. Quad-kd trees： a general framework for KD trees and Quad trees[J]. Theoretical Computer Science，2016，616：126-140.

[19] 馮亦東，孫躍. 基于SURF特征提取和FLANN搜索的圖像匹配算法[J]. 圖學(xué)學(xué)報(bào)， 2015（4）：650-654.

[20] 鐘云. 大數(shù)據(jù)中基于KD-Tree的多維索引技術(shù)[D]. 北京：北京大學(xué)，2013.

[21] 黃家琦. 雙攝像頭視頻拼接算法研究與實(shí)現(xiàn)[D]. 西安：西安交通大學(xué)，2012.

（責(zé)任編輯：黃 ?。?/p>