機器視覺在鞋機運動軌跡識別中的應(yīng)用研究

丁度坤，舒雨峰，謝存禧，張 鐵

（1.東莞職業(yè)技術(shù)學(xué)院，廣東 東莞 523808；2.華南理工大學(xué) 機械與汽車工程學(xué)院，廣東 廣州 510640）

1 引言

隨著人們生活水平的提高，對自身所穿著的鞋類品質(zhì)提出了更高的要求，個性化定制是將會是未來鞋業(yè)發(fā)展的趨勢[1]。近年來，中國經(jīng)濟飛速發(fā)展，我國已經(jīng)代替歐美國家，成為世界上最大的鞋業(yè)出口國[1]。據(jù)中國皮革協(xié)會提供相關(guān)的統(tǒng)計數(shù)據(jù)顯示，2005年，我國鞋類產(chǎn)量是100億雙，占世界的60%，2010年我國的鞋類產(chǎn)量是130億雙，占到了世界總產(chǎn)量的65%。

鞋類的制作過程，通常包括造型、裁斷、裝配等幾大工藝流程，整鞋的裝配就是其中一道非常重要的工藝，其目的是將鞋幫和鞋底裝配在一起以成為最終的整鞋[2]。裝配工藝的好壞，直接關(guān)系到最終整鞋的外輪廓及舒適度，乃至消費者對該產(chǎn)品的最終認(rèn)同感。鞋類的裝配常見的有膠粘、縫制、模鞋、注塑及硫化等幾種方法。其中以膠粘工藝因其流程簡單等優(yōu)點，成為了應(yīng)用最廣泛的裝配工藝。據(jù)中國皮革協(xié)會統(tǒng)計，目前市場上80%以上的鞋子所采用的裝配方式都是膠粘工藝，它是用粘膠劑將鞋幫、內(nèi)底和外底粘合在一起的一種方法[3]。目前，制鞋的膠粘工藝基本上還是由工人手工完成，涂膠的質(zhì)量，容易受到工人情緒、健康及操作熟練程度的影響，無法保證涂膠厚度的一致性，同時涂膠過程中所揮發(fā)出來的氣體含有苯等劇毒元素，對工人的健康影響也很大。

實現(xiàn)涂膠過程的自動化，具有巨大的社會及經(jīng)濟效益。在鞋類自動涂膠機生產(chǎn)領(lǐng)域，國外的以意大利、法國的涂膠機較為知名。例如，意大利的Cerim公司開發(fā)了一種涂膠機，采用機器視覺自動識別鞋子的大小和形狀，將相關(guān)信息輸入給控制系統(tǒng)，再由控制器驅(qū)動5根軸聯(lián)動，使得涂膠手臂能夠在空間不同角度執(zhí)行涂膠作業(yè)；法國的ACTIS（豐雅）公司研制了一條涂膠生產(chǎn)線，以6軸工業(yè)機器人為核心，實現(xiàn)不同工藝間的連接[4]。目前我國的自動涂膠設(shè)備大多數(shù)制造企業(yè)仍處于仿制的階段，而且相關(guān)的功能單一，具有核心技術(shù)自主知識產(chǎn)權(quán)的企業(yè)還較少。

在鞋底運動軌跡的自動識別方面，國外的例如文獻[5]采用結(jié)構(gòu)光+機器視覺系統(tǒng)測量鞋底輪廓，獲取鞋底輪廓點數(shù)據(jù)，引入NURBS曲線進行點插補；文獻[6]先對鞋底進行三維CAD掃描，由此來獲取涂膠運動軌跡。國內(nèi)的例如文獻[7]基于鞋底的CAD模型，通過讀取鞋底CAD模型里的數(shù)據(jù)，獲取到了涂膠點云數(shù)據(jù)，再對所獲得的點云數(shù)據(jù)進行插補；文獻[8]中對涂膠路徑的規(guī)劃進行研究，在獲取到鞋底點數(shù)據(jù)的基礎(chǔ)上，用蟻群算法，以最短路程構(gòu)造優(yōu)化模型，生成最優(yōu)的涂膠路徑。從未來的發(fā)展來看，最新的機器人、人工智能、物聯(lián)網(wǎng)以及機器視覺技術(shù)在制鞋等生產(chǎn)制造領(lǐng)域的應(yīng)用是趨勢[9]。因此，研究了一種基于機器視覺的中后幫涂膠機運動軌跡識別新方法，在自主研發(fā)的涂膠機上，引入視覺檢測技術(shù)，在自然光條件下，實時采集鞋底中后幫圖像。在此基礎(chǔ)上，用最新的GA人工智能方法，自動獲取最優(yōu)閾值，得到理想的鞋底二值化圖像，并進行了邊緣提取，為后期的涂膠軌跡生成奠定基礎(chǔ)。

2 自開發(fā)中后幫鞋機自動涂膠系統(tǒng)

課題組自主開發(fā)了中后幫自動涂膠機，如圖1（a）所示。其硬件架構(gòu)，如圖1（b）所示。主要包括了機械本體、工控機、運動控制器、伺服驅(qū)動器、交流伺服電機、圖像采集卡及CCD相機等。其中工控機主機、運動控制器、伺服驅(qū)動系統(tǒng)及圖像采集系統(tǒng)安裝于床身之內(nèi)，人間交互通過與主機相連的觸摸屏及控制柜上的按鈕實現(xiàn)。機械本體主要包括了涂膠進給Y軸、左涂膠X1軸及右涂膠X2軸，三個軸均由交流伺服電機驅(qū)動。工作時，隨著Y軸的進給運動，X1軸及X2軸上的涂膠槍將逐漸偏離鞋底軌跡。此時，CCD相機實時采集鞋底信息，將運動點坐標(biāo)反饋給工控機，以驅(qū)動左右涂膠軸對涂膠過程的運動軌跡進行實時跟蹤，從而實現(xiàn)涂膠過程的自動化。

圖1 自開發(fā)涂膠機及其硬件架構(gòu)Fig.1 The Developped Gumming Automatic Shoe Machine and its Hardware Structure

3 基于遺傳算法的中后鞋底圖像識別研究

自然界的生物在與外界惡劣環(huán)境的抗?fàn)幹?，不斷進化，只有適應(yīng)環(huán)境的生物，才能夠生存下來，并不斷的繁衍總?cè)?，沒法適應(yīng)自然界環(huán)境的生物將慘遭淘汰。遺傳算法是對自然界生物“優(yōu)勝劣汰”機制的一種模擬，目前在機器人運動控制、尋優(yōu)計算、信息處理等各領(lǐng)域得到了廣泛應(yīng)用。利用遺傳算法強大的尋優(yōu)迭代功能，實時獲取最優(yōu)的鞋底圖像閾值[10]，提高圖像分割效果。

3.1 鞋底圖像灰度的編碼及解碼

初始的染色體總?cè)河捎嬎銠C隨機生成，以代表圖像的灰度等級。定義每條染色體個體包含8個基因位，基因位的取值為0或1，初始染色體個體的基因位取值由計算機隨機產(chǎn)生，染色體個體解碼，如式（1）所示：y=a8×27+a7×26+…+a1×20（1）

式中：y—鞋底圖像的分割閾值，取值范圍（0～255）；ai—圖像灰度染色體個體第i位的數(shù)值，ai=0或1。

3.2 鞋底圖像閾值適應(yīng)度函數(shù)

將圖像灰度的最大類間方差函數(shù)定義為灰度染色體個體的適應(yīng)度函數(shù)。假設(shè)當(dāng)前圖像的閾值為k（0≤k≤255），C0灰度級為［0，1，…，k-1］的像素類，C1為灰度值為［k，k+1，…，L-1］的像素類，則圖像灰度的類間方差定義如下[10]：

式（2）中各參數(shù)的表達式如下：

3.3 遺傳操作

遺傳算法來源于自然界的生物進化理論，對生物的遺傳、選擇與變異操作進行了數(shù)學(xué)化的模擬，以獲取問題的最優(yōu)解，具體的操作流程如下[10]。

3.3.1 選擇與復(fù)制

選擇與復(fù)制操作基于生物的“適者生存”原則，從總?cè)褐刑暨x適應(yīng)度最高的個體進行復(fù)制，個體的適應(yīng)度越高，其產(chǎn)生的后代個體也更多，從而使得優(yōu)秀生物個體的遺傳信息能夠更好的傳遞下去，選擇與復(fù)制操作原則如式（4）所示。

式中：gi—第i個灰度個體產(chǎn)生的后代個體數(shù)目，單位：個；N—生物總?cè)褐袀€體總數(shù)，單位：個；f（di）—第i個圖像灰度個體的適應(yīng)度。

3.3.2 交叉

交叉操作體現(xiàn)了自然界生物通過交換遺傳信息來創(chuàng)造新個體的機制，首先確定要交叉的基因位置，然后將親代生物個體左邊或右邊的染色體片段進行交換，由此產(chǎn)生新的生物個體，以期望能夠得到適應(yīng)度更高的生物個體，其過程，如圖2所示。

圖2 交叉操作Fig.2 The Crossover Operation

3.3.3 變異

在自然界中，當(dāng)生物受外界某些偶然因素的影響時，其基因位可能發(fā)生變異，由此創(chuàng)造出全新的生物個體，進而產(chǎn)生了適應(yīng)度不同的新個體，遺傳算法的變異操作就是對自然界生物這種變異現(xiàn)象的模擬。具體的過程為首先定義一個圖像灰度個體變異的概率值及總?cè)旱淖儺愰撝担叶葌€體的變異值由計算機隨機產(chǎn)生。當(dāng)個體的變異值大于總?cè)旱淖儺愰撝禃r，圖像灰度個體將發(fā)生變異，即圖像灰度個體中的基因位的數(shù)值將發(fā)生逆轉(zhuǎn)（0變?yōu)?，或者1變?yōu)?），如圖3所示。

圖3 變異操作Fig.3 The Variation Operation

4 基于遺傳算法的中后幫鞋底軌跡識別

4.1 中后幫鞋底圖像預(yù)處理

基于圖1的系統(tǒng)，在自然光條件下，采集中后幫鞋底圖像，如圖4（a）所示。由圖4（a）可以看出，由于未采用外加光源，圖像較為昏暗，對比度不足。與此同時，在鞋底的周邊還充斥著夾具、各種裝夾螺釘?shù)葯C械部件的干擾。為改善圖像質(zhì)量，提高鞋底與周邊機械部件的對比度，對圖像進行了中值濾波及灰度增強處理，處理后圖像如圖4（b）所示，由圖4（b）不難看出，經(jīng)過預(yù)處理后的圖像，亮度得到提高，對比度顯著增強，但鞋底周邊的干擾信息也得到了增強。

圖4 預(yù)處理前后鞋底圖像Fig.4 The Shoe Images Before and After Preprossing

4.2 基于遺傳算法的鞋底運動軌跡提取

由圖4的分析可以看出，圖像預(yù)處理在增強圖像對比度的同時，鞋底周邊的干擾信息也被強化了。必須選擇最優(yōu)的圖像分割閾值，以去除鞋底圖像周邊的夾具、各種裝夾螺釘?shù)雀蓴_信息。研究了基于遺傳算法的鞋底圖像閾值分割算法，以獲取最優(yōu)的圖像分割閾值。初始的圖像灰度個體由計算機隨機產(chǎn)生，將圖像灰度總?cè)簜€體數(shù)設(shè)為400，每個灰度級個體包括8個基因位，基因位取值分別為｛0，1｝。按照解碼公式（1），個體解碼后的數(shù)值對應(yīng)圖像的（0-255）共256個灰度等級，灰度個體交叉概率設(shè)為0.6，總?cè)鹤儺愰撝翟O(shè)為0.001，總?cè)捍鷶?shù)設(shè)為100代。如前所示，GA算法分別包括了圖像灰度個體的隨機生成、選擇、交叉、變異等遺傳操作。通過算法的不斷迭代，使總?cè)褐谢叶燃墏€體的適應(yīng)度不斷提高，直到個體的適應(yīng)度收斂于某一個限定值，即個體的適應(yīng)度不再提高了為止，圖像最終的閾值處理效果，如圖5（a）所示。普通的ostu閾值法處理效果，如圖5（b）所示。

圖5 GA與Otsu處理后圖像Fig.5 Images After GA and Ostu Process

由圖5（a）的圖像閾值處理結(jié)果不難看出，與傳統(tǒng)的Ostu算法對比，基于GA的自動閾值處理能夠獲取到更優(yōu)的分割閾值，有效地去除鞋底周邊機械部件的干擾，準(zhǔn)確地定位到鞋底區(qū)域，在去除周邊干擾信息的同時，較好地保留了鞋底圖像。從圖5（a）也可以看出，在中后幫鞋底圖像的周邊存在一些孤立點的干擾。為去除這些干擾，對圖5（a）的圖像進行了數(shù)學(xué)形態(tài)學(xué)處理，如圖6（a）所示。同時進行了邊緣檢測，得到了較為理想的鞋底邊緣，如圖6（b）所示。在忽略機械本體誤差的前提下，鞋底軌跡圖像誤差由圖像數(shù)學(xué)形態(tài)學(xué)的腐蝕處理造成，最終的圖像誤差為±0.03mm。

圖6 后期處理后圖像Fig.6 Image After Post Process

5 結(jié)論

（1）自主開發(fā)了中后幫鞋底自動涂膠機系統(tǒng)，引入了視覺檢測方法，采集鞋底圖像，并自動保存至計算機硬盤；（2）在自然光條件下，對采集到的鞋底圖像進行了中值濾波及灰度增強處理。在此基礎(chǔ)上，研究了基于遺傳算法的圖像閾值算法，獲取最優(yōu)的圖像分割閾值。結(jié)果表明，與傳統(tǒng)的ostu算法相比，基于遺傳算法的圖像分割能較好地去除周邊機械部件及由于亮度不均所帶來的信息干擾，準(zhǔn)確提取鞋底信息；（3）對閾值分割后的圖像進行了數(shù)學(xué)形態(tài)學(xué)處理，以濾除鞋底周邊的孤立點，并用邊緣檢測算法較好地提取了鞋底輪廓的邊緣，最終的圖像誤差為±0.03mm，為后期的鞋底運動軌跡生成奠定基礎(chǔ)。

［1］李波.基于變形控制的涂膠機器人結(jié)構(gòu)優(yōu)化設(shè)計［D］.南昌：南昌航空大學(xué)，2013.（Li Bo.A structural optimization of spraying robot based on the deformation errors control［D］.Nachang：Nanchang Hangkong University，2013.）

［2］趙燕偉，鐘允暉，陳建.基于制鞋涂膠工藝的機器人噴涂速度控制研究［J］.機械設(shè)計與制造，2013，42（3）.（Zhao Yan-wei，Zhong Yun-hui，Chen Jian.Study on the speed control of robot spraying based on shoemaking glue process［J］.Machine Design and Manufacture，2013，42（3）.）

［3］郝根旺.基于機器人的制鞋成型過程智能控制策略設(shè)計［D］.大連：大連理工大學(xué)，2014.（Hao Gen-wang.The design of intelligent control strategy for shoemaking assembly process based on robot［D］.Dalian：Dalian University of Technology，2014.）

［4］汪安國.甚干結(jié)構(gòu)光的鞋底信息提取與機器人噴膠軌跡生成方法研究［D］.杭州：浙江理工大學(xué)，2010.（Wang An-guo.Research on the methods for shoe information extraction basedonstructurelightandrobotgummingpathgeneration［D］.Hangzhou：Zhejiang Sci-Tech University，2010.）

［5］Hu Zhongxu，Bicker Robert，Taylor Paul.Computer vision for shoe upper profile measurement via upper and sole conformal matching［J］.Optics and Lasers in Engineering，2006，45（1）.

［6］Kim，J.Y.CAD-based automated robot programming in adhesive spray systems for shoe outsoles and uppers［J］.Journal of Robotic Systems，2004，21（11）.

［7］武傳宇，賀磊盈，李秦川.基于CAD模型的鞋底噴膠軌跡生成方法［J］.計算機輔助設(shè)計與圖形學(xué)學(xué)報，2008，20（5）.（Wu Chuang-wu，He Lei-ying，Li Qin-chuan.CAD-based method for generating spraying trajectory of adhesive on shoe soles［J］.Journal of Computer-Aided Design&Computer Graphics，2008，20（5）.）

［8］胡小兵，黃席樾.基于蟻群算法的三維空間機器人路徑規(guī)劃［J］.重慶大學(xué)學(xué)報，2004，27（8）.（Hu Xiao-bing，Huang Xi-yue.Path planning in 3-D space for robot based on ant colony algorithm［J］.Journal of Chongqing University，2008，20（5）.）

［9］拜穎乾，赫東鋒，劉波.表面貼裝LED全自動編帶機視覺檢測系統(tǒng)研制［J］.機械設(shè)計與制造，2013（7）.（Bai Ying-qian，He Dong-feng，Liu Bo.Led of automatic taping machine visiondetectionsystemdevelopment［J］.MachineryDesign&Manufacture，2013（7）.）

［10］段海濱，張祥銀，徐春芳.仿生智能計算［M］.北京：科學(xué)出版社，2011.（Duan Hai-bin，Zhang Xiang-yin，Xu Chun-fang.Bionic Intelligent Computing［M］.Beijing：Science press，2011.）