基于特征匹配的螺柱視覺識別方法研究

劉 哲，唐立新

（華中科技大學 機械科學與工程學院，湖北 武漢 430073）

0 引言

機械零件的視覺識別技術對提高制造過程中的檢測、裝配、分揀、入庫的自動化程度有著十分重要的意義［1］。在工業(yè)生產(chǎn)中，工件分揀是關鍵環(huán)節(jié)之一，其準確率和速度對整條生產(chǎn)線有著直接的影響。工件的識別與定位是分揀工作的核心。傳統(tǒng)的工件分揀有人工分揀和機器分揀兩種方式。人工分揀是工人用眼睛完成對工件的識別與定位，進而進行分揀工作，這種方式工作效率低下且難以保證工作質量。機器分揀多采用工業(yè)機器人實現(xiàn)，需將工件位置和機器人動作進行嚴格的預先設定，因而難以實現(xiàn)智能化，大大限制了機器人的應用。將機器視覺技術應用到工業(yè)機器人分揀系統(tǒng)中，利用視覺識別技術完成對工件的識別與定位，可以很好地彌補傳統(tǒng)機器人工件分揀方式的不足。

本文將討論基于視覺的螺柱分揀問題，為了實現(xiàn)對不同類型螺柱的自動識別與定位，提出了一種基于特征匹配的螺柱視覺識別方法，利用該方法可完成視場范圍內任意位置、無遮擋場景下螺柱的自動識別與定位。

1 螺柱視覺識別系統(tǒng)結構

螺柱視覺識別系統(tǒng)的結構框圖如圖1所示。系統(tǒng)工作過程分為訓練階段和識別階段。在訓練階段中，將不同類型的螺柱作為訓練樣本輸入，經(jīng)過預處理和圖像分割后，進行特征選擇和提取，構造特征向量并將其保存至特征庫。在識別階段，經(jīng)過對待識別圖像進行預處理，將圖像中的螺柱逐個進行分割；然后提取螺柱特征和位姿信息，將提取到的特征與特征庫中的特征信息進行匹配，對螺柱進行分類；最后輸出匹配結果和位姿信息，以供分揀機構完成螺柱分揀。

圖1 螺柱視覺識別系統(tǒng)框圖

2 螺柱樣本特征庫的建立

螺柱樣本特征庫用于存儲不同類型螺柱樣本的特征信息。建立樣本特征庫的過程如下：采集螺柱樣本圖像，對圖像進行預處理和邊緣檢測；根據(jù)邊緣判斷螺柱傾斜角度范圍，選擇合適的圖像分割方法，確定原圖像中螺柱最小外接四邊形的4個頂點坐標；對螺柱樣本進行特征提取和選擇，將提取到的特征向量存儲至樣本特征庫。

圖像預處理［2］的目的是平滑螺柱邊緣，以便于進行特征選擇和提取工作。圖像預處理過程包括3個步驟［3］：圖像縮小、圖像二值化和二值閉運算。第一步利用雙線性插值法［4］將圖像縮小至原圖像的0.25倍，以提高圖像處理速度，并平滑螺柱邊緣；第二、三步分別進行圖像二值化與二值閉運算，對螺柱的螺紋狀邊緣作進一步平滑處理，使之趨近于一條直線，便于螺柱區(qū)域圖像分割。

在螺柱邊緣的提取中，采用改進的Canny算子實現(xiàn)，對Canny算子的改進主要是加入了邊緣細化環(huán)節(jié)，以提取到足夠平滑的單像素邊緣。

判斷螺柱傾斜角度θ的取值范圍，當0°≤θ＜45°或135°＜θ≤180°時，采用基于列掃描的圖像分割算法；當45°≤θ≤135°時，采用基于行掃描的圖像分割算法完成螺柱圖像分割。

特征選擇指從已有的M個特征中選擇N個特征，使得系統(tǒng)的特定指標最優(yōu)化［5，6］，將最終選擇和提取的特征描述量構成如下特征向量：

其中：x1為螺柱螺紋類型標記量，值取為0或1，0代表普通雙頭螺柱，1代表全螺紋螺柱；x2為螺柱總長度L；x3為螺柱公稱直徑d；x4為旋入機體端螺紋段長度b1；x5為旋入螺母端螺紋段長度b2。

樣本圖像特征提取算法與識別階段中特征提取算法相同，完成特征提取工作之后，將提取到的特征向量以文本格式存儲至特征庫。

3 螺柱識別與定位

螺柱識別與定位流程如下：首先，對采集到的待識別圖像進行預處理，提取目標邊緣；其次，分別用基于行掃描的圖像分割方法和基于列掃描的圖像分割方法對螺柱逐個進行分割，同時確定螺柱的位姿信息；最后，對分割出的螺柱進行特征提取，并與樣本特征庫中的螺柱樣本特征進行匹配，確定螺柱類型，輸出結果。

3.1 目標邊緣提取

為確定螺柱類型，需提取圖像中螺柱的外邊緣輪廓，即目標邊緣。邊緣提取包含兩個步驟：利用改進的Canny算子提取邊緣和保留外輪廓目標邊緣。由Canny算子提取的邊緣既包括外輪廓目標邊緣，又包括部分螺柱內部螺紋邊緣，一般外輪廓邊緣為連續(xù)封閉邊緣，而內部邊緣為斷續(xù)短邊緣。因此，可采用以下方法去除螺柱內部邊緣：首先，跟蹤并統(tǒng)計邊緣圖像中每段邊緣線所包含的像素總數(shù)；然后，設定一個閾值，將像素總數(shù)小于閾值的邊緣線作為螺柱內部邊緣去除；最后，保留下來的像素總數(shù)大于閾值的邊緣線便是目標邊緣。

3.2 螺柱圖像區(qū)域分割

在待識別圖像中，用每個螺柱的最小外接矩形分割螺柱，并根據(jù)最小外接矩形的中心確定螺柱的中心位置，由矩形長邊的斜率確定螺柱的傾斜角度?；谛袙呙璧膱D像分割方法和基于列掃描的圖像分割方法原理相同，下面以基于行掃描的螺柱圖像分割方法為例進行說明，其具體步驟如下：

（1）將目標邊緣圖像在豎直方向上m等分，循環(huán)進行m－1次行掃描，搜索并分別保存每一條行掃描線與邊緣線的交點（邊緣像素點），將交點標記為P［i］［j］（i＝0，1，…，m－2；j＝0，1，…，n－1；n為每條行掃描線上的交點總數(shù)）。

圖2 螺柱圖像分割示意圖

（3）求校正后的中心線MN。設點P［i］［2t＋1］，A，B的坐標分別為（x2t＋1，y2t＋1）、（xA，yA）和（xB，xB），且yA＜yB。令Δy＝y(tǒng)B－yA，在點A和B之間以Δy/5為間隔再次進行行掃描，若（yB－y2t＋1）＞（y2t＋1－yA），則自上而下掃描；反之，則自下而上掃描。當?shù)玫叫滦袙呙杈€與螺柱兩螺紋邊緣線的交點為Pl1和Pl2時，停止掃描。在點Pl1所在邊緣線上找到距點Pl2最近的邊緣像素點Pst2，Pst2Pl2中點為Pm2，求Pm1Pm2與螺柱兩端邊緣的交點M和N，則MN即為螺柱校正后的中心線。

（4）求出螺柱最小外接矩形的4個頂點坐標，同時確定螺柱的傾斜角度和中心位置坐標。螺柱最小外接矩形的兩長邊所在直線斜率應與中心線MN斜率k相等。過點M和N分別作兩直線的垂線，垂足分別為PLD和PRD、PLU和PRU。顯然，點PLD，PRD，PLU和PRU即為螺柱最小外接矩形的4個頂點，螺柱的傾斜角度θ＝tan－1k，螺柱的中心位置即為中心線MN的中點。

3.3 螺柱特征提取

圖像預處理過程中，將待識別圖像縮小到了原圖像的0.25倍。因此，待識別圖像中螺柱最小外接矩形的4個頂點坐標是PLD，PRD，PLU和PRU坐標的4倍。特征提取需在待識別圖像中進行，具體步驟如下：

（1）利用改進的Canny算子提取螺柱矩形區(qū)域圖像邊緣，并進行傾斜校正［7］，然后二值化，最后根據(jù)螺柱最小外接矩形4個頂點得到傾斜校正后的螺柱邊緣圖像，如圖3（a）所示。對螺柱圖像邊緣進行掃描取點，只保留螺柱兩螺紋邊緣上的目標邊緣像素點，結果如圖3（b）所示。

（2）確定螺柱螺紋類型。分別檢測圖3（b）中螺柱上邊緣的y坐標極大值點和螺柱下邊緣的y坐標極小值點。分析y坐標極值點中是否存在光桿部分端點PLD，PRD，PLU和PRU，若存在，則為普通雙頭螺柱；若不存在，則為全螺紋螺柱。

（3）計算螺柱公稱直徑d。采用RANSAC算法［8］分別對螺柱上、下邊緣的y坐標極值點進行直線擬合，擬合結果如圖3（c）所示。計算兩直線之間的距離，該距離即為螺柱公稱直徑。

（4）計算螺柱總長度L，螺柱兩段螺紋長度b1和b2。由圖2可知，螺柱中心線MN等于螺柱總長度L。若螺柱類型為全螺紋螺柱，則b1＝b2＝0；若為普通雙頭螺柱，設Pn1，Pn2，Pnr1和Pnr2的x坐標分別為xn1，xn2，xnr1和xnr2，且b1，b2分別為如圖3（c）所示的左、右兩段螺紋長度，則b1＝（xn1＋xnr1）/2，b2＝（2L－xn2－xnr2）/2。

（5）將提取到的特征值表示為特征向量：

其中：y1為螺柱類型標記量；y2為螺柱總長度L；y3為螺柱公稱直徑d；y4為螺紋段長度d1；y5為螺紋段長度d2。

圖3 特征提取中關鍵處理說明

3.4 螺柱特征匹配

計算待識別螺柱的特征向量Y與特征庫中的樣本特征向量Xr（r＝1，2，…，w；w為特征庫中樣本總數(shù)）之間的相似性度量，首先根據(jù)y1與xr1是否相等，判斷待識別螺柱與樣本Xr類型是否相同，若不同，則跳過該樣本；若相同，則計算特征向量之間的歐氏距離：

由于不確定螺紋長度y4和y5與旋入機體端和旋入螺母端螺紋長度x4和x5之間的對應關系，需將y4和y5交換位置后再計算一次，取兩次的較小值作為dr的值。當歐氏距離dr值為最小時，其對應的樣本Xr即為待識別螺柱的類型。

4 螺柱識別與定位實驗

為了驗證以上算法的正確性，建立了螺柱視覺識別與定位實驗系統(tǒng)。系統(tǒng)硬件包括光源、攝像機、鏡頭、圖像采集卡和計算機。其中，攝像機的圖像分辨率為2 048×1 536像素，鏡頭焦距為8mm，計算機配置為Inter Core i5處理器，主頻2.26GHz，內存2GB，64位Windows 7操作系統(tǒng)。系統(tǒng)軟件分為兩大模塊：訓練模塊和識別模塊，用Microsoft Visual Studio 2008開發(fā)，操作界面如圖4所示。實驗中，相機工作距離為200mm。在訓練階段，將11種不同類型的螺柱作為訓練樣本進行輸入，建立樣本特征庫。在識別階段，處理的待識別圖像均包含任意位置、無遮擋場景下的11種不同類型螺柱。對一幅待識別圖像的平均處理時間為1.9s，待識別圖像中螺柱的識別正確率平均為92.8%。

圖4 系統(tǒng)操作界面

5 結束語

該螺柱視覺識別方法采用基于特征匹配的思想，完成了對任意位置、無遮擋場景下螺柱的識別與定位。在圖像識別過程中，圖像分割效果的好壞直接影響最終的識別效果，本方法根據(jù)螺柱的形狀特點，采用基于行掃描和基于列掃描的圖像分割方法很好地完成了螺柱圖像分割工作，對提高識別計算速度和識別正確率起到了關鍵作用。實驗證明本文提出的螺柱視覺識別方法是可行有效的，具有一定的理論價值和實用價值。

［1］張道德.機械零件圖像識別的關鍵技術研究與實現(xiàn)［D］.武漢：華中科技大學，2008：10-13.

［2］章毓晉.圖像工程（上冊）—圖像處理［M］.北京：清華大學出版社，2006.

［3］岡薩雷斯.數(shù)字圖像處理［M］.阮秋琦，阮宇智，譯.北京：電子工業(yè)出版社，2003.

［4］Mastylo M.Bilinear interpolation theorems and applications［J］.Journal of Functional Analysis，2013，265（2）：185-207.

［5］王植，賀賽先.一種基于Canny理論的自適應邊緣檢測方法［J］.中國圖像圖形學報，2004（8）：65-70.

［6］姚旭，王曉丹，張玉璽，等.特征選擇方法綜述［J］.控制與決策，2012，27（2）：161-166.

［7］謝鳳英，趙丹培.Visual C＋＋數(shù)字圖像處理［M］.北京：電子工業(yè)出版社，2008.

［8］Richard H，Andrew Z.Multiple view geometry in computer vision［M］.2rd ed.Cambridge：The Press Syndicate of the University of Cambridge，2003.