基于HOG與SVM的集裝箱鎖孔識(shí)別及定位研究

張羽達(dá) 趙德安 劉曉洋

摘 要：隨著港口自動(dòng)化技術(shù)的發(fā)展，碼頭需要對(duì)集裝箱進(jìn)行自動(dòng)裝卸作業(yè)。為了解決集裝箱裝卸作業(yè)中對(duì)集裝箱鎖孔的識(shí)別定位問(wèn)題，提出一種基于機(jī)器視覺(jué)的集裝箱鎖孔識(shí)別方法，用于輔助碼頭集裝箱的自動(dòng)化裝卸作業(yè)。首先采集集裝箱照片，對(duì)照片中的集裝箱鎖孔進(jìn)行人工標(biāo)注，制作成鎖孔樣本，并進(jìn)行歸一化處理，進(jìn)而提取鎖孔樣本的HOG特征，然后對(duì)SVM進(jìn)行訓(xùn)練作為集裝箱鎖孔識(shí)別分類(lèi)器，最后采用多尺度滑窗對(duì)圖像進(jìn)行掃描檢測(cè)。使用300張測(cè)試樣本進(jìn)行測(cè)試實(shí)驗(yàn)，結(jié)果表明，該方法對(duì)集裝箱鎖孔的識(shí)別率達(dá)到92%，鎖孔誤檢率低于3%，而且能夠在各種復(fù)雜光照及背景條件下進(jìn)行鎖孔檢測(cè)，可以滿足港口自動(dòng)化的實(shí)際要求。

關(guān)鍵詞：方向梯度直方圖;支持向量機(jī);機(jī)器視覺(jué);分類(lèi)器;集裝箱鎖孔

DOI：10. 11907/rjdk. 182016

中圖分類(lèi)號(hào)：TP301文獻(xiàn)標(biāo)識(shí)碼：A文章編號(hào)：1672-7800（2019）003-0016-04

0 引言

近年來(lái)，隨著國(guó)際貿(mào)易的飛速發(fā)展，我國(guó)出口貿(mào)易量急劇增加。集裝箱運(yùn)輸方式因具有運(yùn)輸成本低、可靠性高且運(yùn)輸方便等優(yōu)點(diǎn)，在國(guó)際貿(mào)易運(yùn)輸中運(yùn)用普遍，因此需求量增長(zhǎng)迅猛。但是隨著集裝箱運(yùn)貨量的提升，集裝箱運(yùn)輸對(duì)港口裝卸效率的要求也越來(lái)越高。傳統(tǒng)手動(dòng)控制裝卸集裝箱對(duì)操作過(guò)程要求很高，不但工作強(qiáng)度大、耗時(shí)久，而且容易引發(fā)安全事故，嚴(yán)重影響了集裝箱裝卸速度與貨物運(yùn)輸效率。港口起重機(jī)作為主要工程機(jī)械，也開(kāi)始向自動(dòng)化與智能化方向發(fā)展。因此，在起吊過(guò)程中，如何引導(dǎo)吊具與集裝箱鎖孔中心快速對(duì)準(zhǔn)顯得格外重要。

隨著計(jì)算機(jī)硬件技術(shù)的發(fā)展，許多研究人員和工程師開(kāi)始使用圖像視覺(jué)系統(tǒng)定位與識(shí)別目標(biāo)[1]。圖像視覺(jué)系統(tǒng)首先用于識(shí)別集裝箱箱號(hào)。Wu等[2]利用機(jī)器視覺(jué)技術(shù)識(shí)別集裝箱箱號(hào)，通過(guò)訓(xùn)練后的支持向量機(jī)對(duì)集裝箱箱體字符進(jìn)行識(shí)別，為碼頭、堆場(chǎng)、海關(guān)自動(dòng)化管理關(guān)鍵技術(shù)提供了解決方案;Mi等利用圖像處理技術(shù)解決港口人員的安全問(wèn)題;Peng對(duì)基于機(jī)器視覺(jué)的起重機(jī)操作進(jìn)行改進(jìn)，利用視覺(jué)系統(tǒng)跟蹤及引導(dǎo)起重機(jī)操作;傅圣雪等[3]通過(guò)模板匹配實(shí)現(xiàn)集裝箱定位與追蹤，系統(tǒng)利用Matlab獲取實(shí)時(shí)視頻流，將HSV顏色空間量化編碼成162色，從而實(shí)現(xiàn)對(duì)圖像匹配區(qū)域的壓縮，然后通過(guò)直方圖相交算法計(jì)算檢測(cè)圖像與模板相似度，進(jìn)而識(shí)別圖像中的集裝箱，并且通過(guò)步長(zhǎng)平移搜索方案提高系統(tǒng)識(shí)別速度，滿足了系統(tǒng)實(shí)時(shí)性要求;Hee-Joo等[4]使用雙目視覺(jué)系統(tǒng)對(duì)集裝箱鎖孔進(jìn)行追蹤與定位，具體過(guò)程為：首先識(shí)別集裝箱邊緣，然后根據(jù)邊緣處的拐角定位集裝箱鎖孔，進(jìn)而計(jì)算集裝箱中心位置，以及吊具與集裝箱的高度和角度，以輔助集裝箱的自動(dòng)裝卸操作。但該方法不能直接檢測(cè)集裝箱鎖孔，所以對(duì)于自動(dòng)化集裝箱碼頭，如何快速識(shí)別與定位集裝箱鎖孔則顯得尤為重要，但目前國(guó)內(nèi)外對(duì)集裝箱鎖孔定位研究并不多。

目前，國(guó)內(nèi)大多數(shù)集裝箱碼頭仍然采用遠(yuǎn)程手動(dòng)操作方式完成集裝箱裝卸。由于缺少集裝箱鎖孔識(shí)別技術(shù)，只能由司機(jī)憑經(jīng)驗(yàn)將吊具鎖頭對(duì)準(zhǔn)集裝箱各個(gè)鎖孔，不但勞動(dòng)強(qiáng)度大，而且容易引發(fā)安全事故。如果出現(xiàn)誤操作，容易導(dǎo)致集裝箱箱體破損，嚴(yán)重影響集裝箱碼頭裝卸效率[5]。因此，本文提出一種自動(dòng)識(shí)別集裝箱鎖孔的方法，采用機(jī)器視覺(jué)技術(shù)，結(jié)合計(jì)算機(jī)的高速計(jì)算完成集裝箱鎖孔識(shí)別與定位。該方法可有效減輕集裝箱裝卸人員的工作壓力，實(shí)現(xiàn)港口的自動(dòng)化，從而提升集裝箱碼頭的經(jīng)濟(jì)效益。

1 HOG特征提取算法

1.1 特征提取算法簡(jiǎn)介

傳統(tǒng)集裝箱鎖孔識(shí)別方法是首先對(duì)集裝箱圖像進(jìn)行預(yù)處理、圖像分割，進(jìn)而提取集裝箱鎖孔的幾何與顏色特征，然后進(jìn)行識(shí)別。但該方法穩(wěn)定性不強(qiáng)，在復(fù)雜光照及背景條件下則無(wú)法進(jìn)行定位追蹤。實(shí)現(xiàn)集裝箱鎖孔自動(dòng)檢測(cè)與識(shí)別的核心在于特征提取，特征提取算法對(duì)目標(biāo)識(shí)別的檢測(cè)速度和準(zhǔn)確度有著巨大影響。目標(biāo)檢測(cè)中較為成熟的技術(shù)有人臉識(shí)別、車(chē)牌識(shí)別、車(chē)輛檢測(cè)、行人檢測(cè)，其中的常用算法有HOG特征（Histogram of Oriented Gradient，方向梯度直方圖）、LBP（Local Binary Pattern，局部二值模式）特征、Haar-like特征、顏色特征等，Haar-like和LBP特征可以很好地描述圖像明暗變化[6]，所以多用于人臉檢測(cè)，而HOG的優(yōu)點(diǎn)在于對(duì)物體形狀比較敏感，所以在行人識(shí)別領(lǐng)域應(yīng)用較多。由于集裝箱鎖孔的形狀與輪廓較為明顯，因此本文選取HOG特征作為集裝箱鎖孔的特征提取算法。

1.2 樣本圖像制作

集裝箱鎖孔檢測(cè)框架如圖1所示。集裝箱鎖孔在不同角度與光照強(qiáng)度下，外觀具有較大差異，所以需要建立充足的集裝箱鎖孔樣本集。本文使用的集裝箱照片及視頻是在晴天、陰天等不同天氣情況下，從鎮(zhèn)江港集裝箱碼頭采集的。集裝箱頂部共有4個(gè)鎖孔，因?yàn)閷?shí)際采集的測(cè)試樣本存在遮擋情況，一些集裝箱鎖孔上的污漬反射光以及圖像某些區(qū)域亮度過(guò)高，對(duì)識(shí)別效果造成一定影響。因此，考慮在特征提取與訓(xùn)練分類(lèi)前先進(jìn)行圖像增強(qiáng)。由于集裝箱鎖孔外觀是外方內(nèi)圓，輪廓特征較為明顯，所以圖像增強(qiáng)主要采用高通濾波銳化和拉普拉斯算子[7]。根據(jù)在集裝箱碼頭拍攝的現(xiàn)場(chǎng)裝卸視頻，通過(guò)編寫(xiě)程序讀取視頻文件并逐幀保存為圖片文件，然后從圖片文件中標(biāo)注出集裝箱頂面的4個(gè)集裝箱鎖孔樣本，并將圖片尺寸歸一化，進(jìn)而進(jìn)行特征選擇與提取。集裝箱鎖孔作為正樣本，如圖2所示，不含鎖孔的圖像作為負(fù)樣本，如圖3所示。

1.3 HOG算法分析

HOG是法國(guó)學(xué)者Dalal[8]于2005年在CVPR（Conference on Computer Vision and Pattern Recognition）上提出的一種特征提取算法，HOG特征首先用于行人檢測(cè)[9]。在本文中，只需在集裝箱頂部圖像中檢測(cè)到4個(gè)角的集裝箱鎖孔。與人體復(fù)雜特征相比，集裝箱鎖孔的邊緣輪廓特征更加明顯，理論上可以得到更高的識(shí)別準(zhǔn)確率。HOG特征提取步驟大致如下：

（1）色彩空間標(biāo)準(zhǔn)化。因?yàn)樵谔崛OG特征過(guò)程中顏色對(duì)其影響不大，所以需要先將彩色圖像轉(zhuǎn)化為灰度圖，B、G、R分別為藍(lán)色、綠色與紅色通道的原始像素值，將三通道轉(zhuǎn)換為單通道公式如下：

為了調(diào)節(jié)圖像對(duì)比度，減少噪音以及陰影與光照對(duì)圖片的影響，可以采用Gamma校正法對(duì)圖像進(jìn)行歸一化處理[10]，以有效降低光照變化引起的干擾，Gamma=[12]，公式如下：

（2）圖像梯度計(jì)算。通過(guò)計(jì)算圖像中橫坐標(biāo)與縱坐標(biāo)方向的梯度，并計(jì)算出每個(gè)像素的梯度方向值，獲得圖像紋理信息，進(jìn)而繼續(xù)弱化陰影與光照的影響。

根據(jù)式（3），圖像中像素點(diǎn)[（x，y）]的梯度為：

（3）為細(xì)胞單元構(gòu)建方向梯度直方圖。通過(guò)一個(gè)16*16的像素塊（block）對(duì)檢測(cè)窗口進(jìn)行掃描，該像素塊被分成4個(gè)8*8的細(xì)胞單元（cell），梯度方向被分為9部分，稱(chēng)為箱（bin）。通過(guò)9個(gè)bin的直方圖統(tǒng)計(jì)細(xì)胞單元梯度信息。

（4）圖像HOG特征提取。將細(xì)胞單元組合成塊并歸一化梯度直方圖。將各個(gè)細(xì)胞單元組合成連通的塊，并將塊內(nèi)所有細(xì)胞單元的特征向量合并起來(lái)，稱(chēng)為該塊的特征向量。因?yàn)橛兄丿B區(qū)域，所以特征向量雖然結(jié)果不同，但仍可以將其保存至特征向量中[11]，歸一化后的塊描述向量即為HOG描述符。最后對(duì)所有塊進(jìn)行HOG特征提取，將其處理為特征向量用于之后的訓(xùn)練分類(lèi)[12]。

至此，訓(xùn)練樣本已建立完成，正樣本合計(jì)1 095張，負(fù)樣本5 762張。集裝箱鎖孔樣本尺寸越大，識(shí)別精度越高，然而，若圖像尺寸過(guò)大會(huì)導(dǎo)致特征維度過(guò)高，從而使程序運(yùn)行耗時(shí)較長(zhǎng)，且占用較大內(nèi)存。所以本文經(jīng)過(guò)測(cè)試，將集裝箱鎖孔樣本大小調(diào)整為120*80像素，胞元大小為8*8像素，塊大小為16*16像素，每個(gè)像素點(diǎn)梯度分為9級(jí)，支持向量個(gè)數(shù)為905，檢測(cè)子維數(shù)為4 537，在保證運(yùn)行速度的同時(shí)，也滿足了實(shí)際操作中對(duì)識(shí)別精度的要求。

2 SVM分類(lèi)器訓(xùn)練

2.1 SVM原理介紹

Cortes & Vapnik[13]在1995年首次提出SVM（Support Vector Machine，支持向量機(jī)），其在解決小數(shù)據(jù)集、非線性與高維模式識(shí)別問(wèn)題方面具有明顯優(yōu)勢(shì)。因?yàn)橥ㄟ^(guò)HOG特征提取集裝箱鎖孔的特征維數(shù)較高，所以可以使用SVM作為識(shí)別集裝箱鎖孔的分類(lèi)器。支持向量機(jī)是一種新型機(jī)器學(xué)習(xí)算法，其改善了神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)過(guò)程中容易陷入局部極小點(diǎn)以及過(guò)學(xué)習(xí)等缺點(diǎn)[14]。支持向量機(jī)可看作一個(gè)二值分類(lèi)模型，其主要功能是分類(lèi)與回歸，并最終轉(zhuǎn)換為一個(gè)二次尋優(yōu)問(wèn)題，即找到全局最優(yōu)點(diǎn)，所以可用來(lái)解決神經(jīng)網(wǎng)絡(luò)中的局部極小值問(wèn)題，在數(shù)據(jù)分類(lèi)及模式識(shí)別中有著廣闊的應(yīng)用前景。

2.2 SVM訓(xùn)練流程

步驟1：樣本預(yù)處理。根據(jù)在處理區(qū)域捕獲的圖像，集裝箱鎖孔保持為120*80像素窗口大小，將其作為正樣本。負(fù)樣本大小與正樣本保持一致。

步驟2：HOG特征提取。正樣本標(biāo)記為[yp]= +1，負(fù)樣本標(biāo)記為[yp]= -1，然后提取每個(gè)樣本的HOG特征。

步驟3：SVM初始化分類(lèi)訓(xùn)練。將步驟2得到的HOG特征用于生成初始SVM分類(lèi)器。

步驟4：難例。利用初始SVM分類(lèi)器檢測(cè)負(fù)樣本將出現(xiàn)一些誤判[15]，被錯(cuò)誤分類(lèi)的負(fù)樣本稱(chēng)為難例，如圖4所示。

步驟5：根據(jù)難例對(duì)SVM分類(lèi)器進(jìn)行二次訓(xùn)練。將難例加入負(fù)樣本集合進(jìn)行二次訓(xùn)練，通過(guò)難例中的HOG特征提取，將初始HOG特征組合為新的HOG特征空間。因此，可以通過(guò)新的HOG特征空間訓(xùn)練出最終的SVM分類(lèi)器，從而顯著減少誤判。

鎖孔識(shí)別主要依靠鎖孔外方內(nèi)圓的形狀特征，然后采用滑窗加圖像金字塔的方式對(duì)圖像進(jìn)行框選。雖然滑動(dòng)窗口大小不變，但窗口滑動(dòng)過(guò)程中圖片尺度可以放大或縮小。所以在實(shí)際檢測(cè)中，將圖片放大或縮小到各種分辨率進(jìn)行檢測(cè)，可以實(shí)現(xiàn)對(duì)不同大小鎖孔的識(shí)別，并根據(jù)框選區(qū)域特征進(jìn)行分類(lèi)。

3 實(shí)驗(yàn)與結(jié)果分析

為了驗(yàn)證所用方法的可靠性與實(shí)用性，本文在Windows 7平臺(tái)下使用Visual studio 2012結(jié)合OpenCV2.4.4編寫(xiě)集裝箱鎖孔識(shí)別程序，并在處理器為Inter Core（TM）i7-7707HQ CPU@2.80GHz、內(nèi)存為8G的筆記本電腦上運(yùn)行。同時(shí)考慮到實(shí)際測(cè)試需要，在Visual studio2012上使用MFC編寫(xiě)程序圖形界面，主要功能為對(duì)圖片與視頻中的集裝箱鎖孔進(jìn)行識(shí)別，如圖5所示。

本文使用300張測(cè)試樣本對(duì)程序識(shí)別效果進(jìn)行測(cè)試，測(cè)試樣本由4個(gè)攝像頭采集的圖像組合而成，大小為1 920*1 080像素，同時(shí)本文還使用LBP+Adaboost方法進(jìn)行對(duì)比試驗(yàn)。LBP指局部二值模式，是一種用來(lái)描述圖像局部特征的算子，LBP特征由于計(jì)算簡(jiǎn)單，在計(jì)算機(jī)視覺(jué)領(lǐng)域得到了廣泛應(yīng)用[16]。Adaboost分類(lèi)器是一種元算法分類(lèi)器，其利用同一種基分類(lèi)器（弱分類(lèi)器），基于分類(lèi)器的錯(cuò)誤率分配不同權(quán)重參數(shù)，最后累加加權(quán)的預(yù)測(cè)結(jié)果作為輸出。本文通過(guò)LBP算子提取集裝箱鎖孔特征，通過(guò)調(diào)節(jié)參數(shù)訓(xùn)練出合適的級(jí)聯(lián)分類(lèi)器，對(duì)集裝箱鎖孔進(jìn)行識(shí)別。LBP+Adaboost識(shí)別效果如圖6所示，HOG+SVM識(shí)別效果如圖7所示，矩形框?yàn)樽R(shí)別出的集裝箱鎖孔。通過(guò)兩張圖片的對(duì)比，可以看出LBP算法存在明顯的誤檢情況，并且對(duì)集裝箱鎖孔的定位存在一定偏差，而HOG特征結(jié)合SVM方法的定位更加精準(zhǔn)。由統(tǒng)計(jì)得到的測(cè)試結(jié)果（見(jiàn)表1）可知，HOG特征結(jié)合SVM識(shí)別方法的集裝箱鎖孔識(shí)別率與誤檢率均優(yōu)于LBP+Adaboost識(shí)別方法。集裝箱鎖孔識(shí)別程序在識(shí)別測(cè)試樣本時(shí)準(zhǔn)確率達(dá)到92%以上，且定位效果良好，識(shí)別時(shí)間為170ms左右，基本可以滿足實(shí)際要求。

4 結(jié)語(yǔ)

本文針對(duì)集裝箱鎖孔定位問(wèn)題，提出一種集裝箱鎖孔多尺度檢測(cè)算法。與傳統(tǒng)集裝箱鎖孔檢測(cè)方法相比，該算法具有更高的識(shí)別準(zhǔn)確率與更低的誤檢率，綜合識(shí)別率達(dá)到92%以上，很好地解決了在實(shí)際港口裝卸過(guò)程中集裝箱鎖孔容易受到光照引起光學(xué)畸變，以及因污漬導(dǎo)致的特征覆蓋等問(wèn)題。同時(shí)當(dāng)攝像頭角度發(fā)生變化引起一定的幾何畸變時(shí)，該識(shí)別方法仍然可以進(jìn)行識(shí)別，具有較強(qiáng)的魯棒性，因而具有較好的應(yīng)用前景。但其在對(duì)集裝箱鎖孔中心點(diǎn)定位時(shí)還不夠精準(zhǔn)，在本文基礎(chǔ)上應(yīng)再設(shè)計(jì)鎖孔二次精準(zhǔn)定位算法，以提高集裝箱鎖孔識(shí)別的準(zhǔn)確性，從而對(duì)集裝箱自動(dòng)裝卸起到更好的輔助作用。

參考文獻(xiàn)：

[1] 李靜，高曉蓉，楊凱. 基于HOG特征及SVM的機(jī)車(chē)車(chē)底螺栓檢測(cè)方法[J]. 信息技術(shù)，2016（3）：125-127，135.

[2] WU W， LIU Z， CHEN M， et al. An automated vision system for container-code recognition[J]. Expert Systems with Applications， 2012， 39（3）：2842-2855.

[3] LOURENCO L H A， WEINGAERTNER D， TODT E. Efficient implementation of Canny edge detection filter for ITK using CUDA[C]. Computer Systems. IEEE， 2012：33-40.

[4] YOON H J， HWANG Y C， CHA E Y. Real-time container position estimation method using stereo vision for container auto-landing system[C]. International Conference on Control Automation and Systems. IEEE， 2010：872-876.

[5] 漆靜.? 基于機(jī)器視覺(jué)集裝箱吊具智能定位系統(tǒng)研究[D]. 成都：西南交通大學(xué)， 2015.

[6] HAN S，HAN Y，HAHN H. Vehicle detection method using Haar-like feature on real time system[J].? Chemistry，2009，15（37）：455-459.

[7] 錢(qián)松，李建榮. 應(yīng)用拉普拉斯算子設(shè)計(jì)高通濾波器進(jìn)行圖像增強(qiáng)分析[J]. 軟件導(dǎo)刊，2011，10（12）：158-159.

[8] DALAL N，TRIGGS B. Histograms of oriented gradients for human detection[C]. IEEE Computer Society Conference on Computer Vision & Pattern Recognition. IEEE Computer Society， 2005：886-893.

[9] 徐淵，許曉亮，李才年，等. 結(jié)合SVM分類(lèi)器與HOG特征提取的行人檢測(cè)[J]. 計(jì)算機(jī)工程，2016，42（1）：56-60，65.

[10] ZHU Q， YEH M C， CHENG K T， et al. Fast human detection using a cascade of histograms of oriented gradients[C]. Computer Vision and Pattern Recognition， 2006 IEEE Computer Society Conference on. IEEE， 2006：1491-1498.

[11] SUARD F，RAKOTOMAMONJY A，BENSRHAIR A， et al. Pedestrian detection using infrared images and histograms of oriented gradients[C]. Intelligent Vehicles Symposium. IEEE， 2006：206-212.

[12] 郭烈，趙宗艷，聶倩，等. 利用腿部區(qū)域HOG特征的行人檢測(cè)方法[J]. 計(jì)算機(jī)工程與應(yīng)用，2013，49（1）：217-221.

[13] BURGES C J C. A tutorial on support vector machines for pattern recognition[J]. Data Mining & Knowledge Discovery， 2008， 2（2）：121-167.

[14] SUN Z， BEBIS G， MILLER R. Quantized wavelet features and support vector machines for on-road vehicle detection[C]. International Conference on Control， Automation， Robotics and Vision. IEEE， 2002：1641-1646.

[15] 李曉飛. 基于深度學(xué)習(xí)的行人及騎車(chē)人車(chē)載圖像識(shí)別方法[D].? 北京：清華大學(xué)， 2016.

[16] 董曉曉. 基于多塊LBP及AdaBoost算法的公交車(chē)客流量統(tǒng)計(jì)方法研究[D]. 西安：西安電子科技大學(xué)， 2016.

（責(zé)任編輯：黃 ?。?/p>