基于SIFT 和DDIS 的智能立體倉庫貨物自動識別

楊歡，幸蘆笙

（五邑大學智能制造學部，廣東江門529020）

目前，應(yīng)用于智能立體倉庫的自動識別技術(shù)很多，例如，條碼識別技術(shù)、磁卡（條）識別技術(shù)、RFID 無線射頻識別技術(shù)、機器視覺圖像識別技術(shù)等. 但紙質(zhì)標簽易損壞、易遮擋，而電子標簽價格昂貴、系統(tǒng)集成穩(wěn)定性差、國內(nèi)無統(tǒng)一標準，同時，標簽并不是貨物的固有屬性. 因此，本文利用機器視覺圖像識別技術(shù)，根據(jù)貨物本身的固有屬性，通過圖像匹配方法來提取圖像中貨物的特征信息，對貨物進行自動識別入庫，可以有效地避免貼標簽所帶來的一系列問題.

部分研究已將機器視覺圖像識別技術(shù)應(yīng)用于智能立體倉庫，主要分為基于模板[1-2]和基于特征[3]的圖像匹配自動識別技術(shù). 但這些方法在進行圖像匹配時僅考慮了貨物形狀或進行簡單的數(shù)字識別，不能滿足真實貨物圖像復(fù)雜度高等情況. 近年來，由于三維深度傳感器的出現(xiàn)，研究者提出基于點對特征描述子的三維物體識別與定位方法[4]，但該方法成本高，需要很高的硬件條件. 本文通過對貨物圖像提取最小外接矩形（Minimum Bounding Rectangle，MBR）[5]，突出圖像識別范圍，再采用特征粗匹配尺度不變特征變換（Scale Invariant Feature Transform，SIFT）算法[6]和模板精匹配可形變多相似性度量（Deformable Diversity Similarity，DDIS）算法[7]對復(fù)雜貨物圖像進行匹配.

1 本文方法

本文針對匹配圖像特征點太少或相同導致識別正確率降低的情況，提出一種特征匹配與模板匹配相結(jié)合的方法. 首先，對倉庫中待匹配貨物圖像進行采集和預(yù)處理；其次，提取圖像中貨物MBR作為圖像匹配的模板；然后，采用優(yōu)化后的SIFT 算法進行貨物圖像的粗匹配，對匹配特征點對進行判別，若大于2 對且僅有一幅圖像特征點對數(shù)最多，則匹配成功；最后，對特征匹配無法識別的貨物圖像采用模板匹配，優(yōu)化后的DDIS 算法進行精匹配.

1.1 圖像目標的MBR 提取

傳統(tǒng)的特征匹配方法在目標匹配前僅對圖像進行灰度化、二值化等單一的預(yù)處理，導致圖像匹配準確度不高. 本文采用目標MBR 提取方式對預(yù)處理后的圖像進行目標提取，得到更精確的目標對象，這樣既避免貨物圖像中背景對貨物識別造成的影響，又減少圖像匹配時所需計算的圖像面積大小，從而縮短運行時間. 本文圖像目標MBR 提取方法采用運算速度極快的尋找主軸法[8]，并將得到的圖像目標MBR 裁剪出來作為圖像匹配時的模板圖像. 具體步驟如下：

步驟1：目標MBR 提取. 本文利用尋找主軸法得到圖像目標MBR，該方法確定矩形邊較容易，旋轉(zhuǎn)次數(shù)少，運算速度快.

步驟2：旋轉(zhuǎn)目標圖像. 大多數(shù)目標對象得到的MBR 并非正立，影響裁剪效果. 故本文對圖像進行旋轉(zhuǎn)，假設(shè)矩形從左上角開始，順時針四個頂點分別為，由得到的目標MBR 可知，將圖像逆時針旋轉(zhuǎn)θ 度，便可得到正立矩形的圖像. 旋轉(zhuǎn)角度θ 為：

步驟3：裁剪目標圖像. 根據(jù)矩形的頂點A （x1,y1），和矩形的兩鄰邊長，裁剪目標圖像，得到SIFT 算法匹配的模板圖像.

1.2 優(yōu)化的SIFT 算法

由于需要考慮立體倉庫中光照環(huán)境和貨物的擺放形態(tài)，在提取貨物圖像的特征時，要求此特征對旋轉(zhuǎn)、亮度等保持不變性，對視角變化、仿射變換、噪聲也要保持一定程度的穩(wěn)定性，所以本文選用SIFT 特征，它是一種非常穩(wěn)定的局部特征，符合倉庫復(fù)雜環(huán)境下貨物圖像的特征要求. SIFT 算法具有特征檢測和特征匹配兩個部分，本文將SIFT 算法特征檢測前的匹配圖像目標進行提取，避免背景對特征檢測的干擾，減少無關(guān)的特征點.

在特征匹配部分，在待匹配圖像中查找與參考圖像每個特征點最近鄰的兩個特征點，如果最近的距離除以次近的距離小于某個固定的閾值，則選取最近距離的這一對匹配點作為匹配對. 假設(shè)參考圖像中的SIFT 描述子為待匹配圖像中的SIFT 描述子為則兩個特征點描述子的歐式距離為：

本文對圖像匹配距離閾值進行修改，Lowe[6]選取的閾值為0.8，本文實驗發(fā)現(xiàn)當閾值選取過高時，目標對象的匹配對數(shù)會大大減少，不利于圖像最終的識別，故本文方法選取的閾值為0.7.

1.3 優(yōu)化的DDIS 算法

由于圖像中能找到的SIFT 特征點總是有限且不多的，就有可能匹配不到目標圖像，或者匹配到特征點對數(shù)相同的幾幅圖片. 此時，本文選用DDIS 算法進行精匹配，獲得最終匹配結(jié)果. DDIS 算法匹配前，需手動對模板圖像和匹配圖像的目標矩形框進行標記，即需預(yù)先計算好的矩形尺寸和位置信息，便于圖像匹配時直接調(diào)用. 但該方法需進行大量前期工作，為解決此問題，本文在匹配過程中通過圖像目標的MBR 自動計算矩形框尺寸和位置，如圖1-a、b 所示. 圖1-a為以圖像目標的MBR 作為模板框的模板圖像，由于得到的矩形框是傾斜狀態(tài)，難用于模板匹配，故將圖像旋轉(zhuǎn)，得到正立的MBR 模板框圖（如圖1-b），圖1-c 為DDIS 算法匹配結(jié)果.

2 實驗結(jié)果及分析

本實驗在4.2GHz Intel i3-7350K CPU 處理器、16 GB 內(nèi)存、Window 10 64 位操作系統(tǒng)的主機上，利用VS2015 和MATLAB R2016b 進行仿真.

2.1 圖像采集及預(yù)處理

本文所用到的圖像采用手機移動設(shè)備代替?zhèn)}庫專用相機，仿照倉庫環(huán)境拍攝獲取. 采集的樣本圖像庫有7 種貨物圖像.每種貨物至少有3 張不同角度，不同背景，不同光照的圖像，故圖像庫共有36 張圖片，如圖2 所示. 待匹配貨物圖像采用同樣的采集方式，共12 張圖片，如圖3 所示. 為方便后續(xù)工作，本文對圖像進行裁剪、灰度化和二值化等預(yù)處理操作.

圖1 DDIS 算法匹配

圖2 部分貨物圖像庫

圖3 待匹配貨物圖像

2.2 實驗結(jié)果分析

為更好地說明本文方法的優(yōu)越性，將與目前流行的匹配算法進行對比，采用的對比算法為原始SIFT 算法[6]，vl_SIFT 算法、Harris+vl_SIFT 算法[9]，SIFT+RANSACS 算法[10]. 對比實驗結(jié)果如表1所示，表中識別正確用T(Ture)表示，識別錯誤用F(False)表示，未找到識別圖像用N(Null)表示.

表1 各種算法的實驗結(jié)果比較

由表1 可知，待匹配圖pair0001 有3 種方法識別正確，2 種方法識別錯誤. 這張圖像能在圖像庫中找的正確匹配圖如圖1-c 所示，其目標被部分遮擋，識別較困難.原始SIFT 方法找到的最大特征匹配對數(shù)為5 對，且有兩張圖像符合要求，一張正確和一張錯誤的圖像，恰好正確的圖像在圖像庫中排序靠前，所以識別正確是具有較大偶然性的；本文方法對兩張匹配對數(shù)為5 的圖像采用DDIS算法與待匹配圖像進行匹配，最終根據(jù)模板圖像的模板框和目標圖像的目標框重疊范圍作為匹配得分，得分高的即為最終匹配圖像，識別正確.

圖像pair0010 只有本文方法和vl_SIFT 方法識別正確；這張圖片光照強度大，且光照方向?qū)D像目標的曝光度大，使目標處于背光處，所以特征點檢測很困難，本文方法提取目標圖像后，檢測到的匹配對少于兩對，故轉(zhuǎn)為采用DDIS 匹配出正確圖像.

圖像pair0011 只有本文方法識別正確；這張圖片光照強度較大，與圖像庫中正確匹配圖像相比有一定的視角變化，SIFT 特征點較少，且檢測到幾張圖像最大匹配數(shù)都是3 對，故采用DDIS 算法匹配出最終結(jié)果，識別正確.

通過實驗結(jié)果及上述分析，本文方法優(yōu)于其他幾種方法，對圖像遮擋、光照變化、尺度變化、視角變化等的圖像匹配具有較好的適應(yīng)性，適用于智能立體倉庫貨物識別的環(huán)境.

實驗結(jié)果表明，12 張待匹配圖像中，Harris+vl_SIFT 方法正確識別6 張，識別正確率為50%；原始SIFT、vl_SIFT、SIFT+ RANSACS 方法正確識別9 張，識別正確率為75%；本文方法正確識別11 張，識別正確率為91.7%，如表2 所示. 因此本文算法識別準確率高于其他幾種方法.

表3 為各算法匹配速度，本文方法每識別一個貨物需要大約1 min，快于原始SIFT 方法和SIFT+ RANSACS 方法，這是由于本文方法在圖像匹配前，對待匹配貨物圖像進行MBR 提取，避免背景干擾，縮小特征檢測范圍；慢于采用VLFeat 算法庫的方法，本文通過增加時間提高了識別正確率，在智能立體倉庫貨物識別模塊識別準確率的優(yōu)先級高于識別速度，所以此時間也在可接受范圍內(nèi).

表2 各種算法的識別正確率比較

表3 各種算法的平均識別速度比較

3 總結(jié)

本文針對智能立體倉庫中貨物自動識別方法中，標簽不是貨物的固有屬性，且其他圖像匹配方法匹配正確率較低的問題，提出一種特征匹配與模板匹配相結(jié)合的貨物圖像識別方法. 首先對待匹配圖像進行目標MBR 提取作為匹配模板圖像；然后采用優(yōu)化后的SIFT 算法進行粗匹配，篩選出特征匹配無法識別的貨物圖像，最后采用優(yōu)化后的DDIS 模板匹配方法進行精匹配，找到匹配圖像. 實驗結(jié)果表明，本文方法在可接受識別時間范圍內(nèi)識別準確率有所提高，具有一定的實用價值. 針對本文方法的不足之處，在后續(xù)的研究中還需要考慮實時性，可以參考VLFeat 算法庫的方法，提高算法識別速度，從而滿足智能立體倉庫所要求的高實時性和高準確率.