陳 罡, 金貴陽, 吳 菁, 羅 千

(1. 浙江機電職業(yè)技術學院 自動化學院, 浙江 杭州 310059; 2. 寧波大學 機械工程與力學學院, 浙江 寧波 315210; 3. 舒普智能技術股份有限公司, 浙江 寧波 315100)

服裝縫制行業(yè)是典型的勞動密集型產(chǎn)業(yè),人工依賴程度高,供應鏈周期長,長期以來面臨招工難等痛點。通過引進機器人,結合視覺技術,打造高效、專用、穩(wěn)定的高質量智能縫制成套裝備,降低縫紉技能要求、減少人工成本、緩解招工難題、提高縫制效率和質量,是今后發(fā)展的必然趨勢。本文設計了一種使用機器視覺技術引導工業(yè)機械臂完成面料的抓取、對齊、縫制,并能進行縫制軌跡規(guī)劃的智能服裝縫制成套裝備,為提高服裝行業(yè)的自動化、數(shù)字化、智能化程度提供了思路,助力服裝縫制行業(yè)加速轉型升級,為中國智能制造持續(xù)賦能。

縫制成套裝備開發(fā)過程中,主要有以下難點:

1)工業(yè)機械臂絕對定位精度不夠[1]。服裝面料要達到美觀的縫制效果,面料對齊精度要控制在0.2 mm以內(nèi)、機械臂抓取誤差要控制在0.2 mm以內(nèi)?，F(xiàn)有工業(yè)機械臂的絕對定位精度一般為毫米級,無法滿足高端制造領域和服裝縫制領域的精度要求。

2)輪廓提取困難[1]。面料縫制過程中,要求針、線的配合精度高,如果輪廓提取的精度不高或缺失,將影響縫制的質量。當前有些算法提取輪廓時,容易受到背景影響,易檢測到錯誤邊緣,需要對其改進。

3)機械臂與專用縫機協(xié)同控制困難。由于二者是2個獨立的系統(tǒng),需要做到二者精準的協(xié)同,才能完成面料的轉移、對齊和復雜的縫制任務,而當前主要依靠人工示教,費時費力、靈活性低,無法保證精度。

近年來,已有不少學者針對以上關鍵問題進行了相關的研究工作。對于機械臂絕對定位精度不夠,主要靠工業(yè)機械臂校準和誤差補償方法改進。工業(yè)機械臂校準方法有空間長度校準法、空間坐標校準法、空間姿態(tài)校準法[2];誤差補償方法有基于運動學模型的和基于非運動學模型的誤差補償方法[3-5],分別可以解決幾何參數(shù)誤差和非幾何參數(shù)誤差導致的工業(yè)機械臂絕對定位精度低的問題。對于輪廓提取算法,文獻[1]比較了基于邊緣算子、基于數(shù)學形態(tài)學、基于水平集的面料輪廓視覺提取算法,得出基于Canny算子的輪廓提取算法,更適用于服裝面料的輪廓提取。

綜合現(xiàn)有研究,針對智能縫制裝備的研究主要以綜述介紹性論文為主,泛泛介紹了相關的面料抓取技術[6]、輪廓提取技術及縫制線跡規(guī)劃技術[1],并沒有系統(tǒng)化研究縫制裝備關鍵技術。本文結合機器視覺、工業(yè)機械臂絕對定位誤差補償、輪廓提取技術、機械臂與縫紉機同步控制等技術,系統(tǒng)化地研究了智能縫制裝備所需的技術體系,開發(fā)出雙層衣片智能縫制成套裝備,并通過實際案例,分析了以上關鍵技術在服裝縫制行業(yè)中提質增效方面的效果,有效解決該行業(yè)人工依賴程度高等問題,有助于實現(xiàn)服裝縫制的智能化。

1 智能縫制成套裝備的組成

智能縫制成套裝備組成架構如圖1所示,主要由機器視覺單元、控制單元和執(zhí)行機構單元組成。

圖1 智能縫制成套裝備組成Fig. 1 Components of intelligent sewing machine

1)機器視覺單元主要包含相機和光源。縫制裝備上面料后,相機和光源共同完成對面料的高質量取像。

2)控制單元由工控機和人機界面等控制元件組成,可完成縫制成套裝備的實時控制。此單元是成套裝備的核心,協(xié)調視覺、機械臂、縫紉機、輔助設備協(xié)同工作,并完成縫制工作。工控機接收視覺單元發(fā)送過來的面料圖像,對面料進行精確定位、識別面料輪廓,據(jù)此生成面料輪廓像素坐標,并將其轉換為機械臂運動軌跡,引導機械臂完成面料抓取、轉移、疊放和縫制任務。人機界面包含人機交互功能和縫制生產(chǎn)數(shù)據(jù)管理功能。

3)執(zhí)行機構單元由上下料機構、機械臂、縫紉機和輔助機構組成。根據(jù)控制單元的指令,上下料機構完成面料的上下料,機械臂完成面料的抓取、轉移、疊放等動作,縫紉機完成面料的縫制工作。

2 智能縫制成套裝備關鍵技術

2.1 機械臂絕對定位誤差優(yōu)化補償技術

服裝縫制成套裝備的應用涉及工業(yè)機械臂的進給軌跡控制,要求較高的絕對定位精度,需要優(yōu)化機械臂的絕對定位誤差,才能滿足縫制任務要求。在不考慮環(huán)境及動力學因素的影響,機械臂絕對定位誤差主要由運動學參數(shù)的誤差引起[8]。一般通過運動學建模、測量、參數(shù)辨識、誤差補償4個步驟完成誤差校正[8-9]。

用于工業(yè)機械臂實際位姿的測量設備通常有激光跟蹤儀、球桿儀、三坐標測量儀和拉線編碼器等[10]。鑒于拉線編碼器的低成本且測量結果滿足精度要求,本文采用基于拉線編碼器的機械臂絕對定位誤差優(yōu)化補償算法。

如圖2所示,取機械臂基坐標系Cb空間中任意兩點P(i),P(i+1),兩點的理論位置為Pt(i),Pt(i+1), 實際的測量位置為Pm(i),Pm(i+1)。設兩點之間的理論距離為lt(i,i+1),實際距離為lm(i,i+1)。 則理論值與實際值的誤差為

圖2 基坐標系下兩點距離誤差Fig. 2 Two points distance error on base coordinate

Δl(i,i+1)=lm(i,i+1)-lt(i,i+1)=

[Pm(i+1)-Pm(i)]-[Pt(i+1)-Pt(i)]=

[Pm(i+1)-Pt(i+1)]-[Pm(i)-Pt(i)]=

ΔP(i+1)-ΔP(i)

(1)

式(1)表明,兩點之間的距離誤差可描述為兩點的位置誤差之差。上式兩邊乘理論長度得:

lt(i,i+1)·Δl(i,i+1)=[Pt(i+1)-Pt(i)]·(ΔP(i+1)-ΔP(i)),可化簡為

(2)

用拉線編碼器對絕對定位誤差校正時,選擇一端(Pbase)固定并作為基準點,通過精確定位,認為其位置誤差ΔPbase不存在,即ΔPbase=0,另一端(P(i))隨著機械臂末端移動,其位置誤差為ΔP(i),則式2可變?yōu)?

(3)

由于縫制成套裝備中的工業(yè)機械臂工作范圍主要集中在工作臺面上,可以避開奇異點問題。故采用4個參數(shù)的Denavit-Hartenberg(D-H)模型,即可完成絕對定位誤差的優(yōu)化。

由機械臂D-H模型可知,機械臂的名義(理論)末端位姿可由矩陣Tt求取

由Tm,Tt可得機械臂的位姿誤差矩陣:

dT=Tm-Tt

(4)

對該式的運動學參數(shù)進行微分,并忽略高階項(2階以上),可得機械臂的位姿誤差模型:

ΔE=J·ΔX

(5)

針對機械臂工具的某一點,則其ΔP(i)=Ji·ΔX,結合式3可得機械臂的距離誤差模型與機械臂運動學參數(shù)誤差之間的關系:

(6)

通過測量機械臂上拉線編碼器移動端的N個值(N個值都位于工作臺面上或附近位置),可得:

(7)

最后將優(yōu)化后的D-H參數(shù)ai,di,αi,θi,i=1,…,6, 寫入機械臂控制器中,提高機械臂絕對定位精度。

2.2 基于機器視覺的面料輪廓提取技術

縫制任務一般是對面料的外輪廓進行縫紉。基于機器視覺的面料輪廓識別即首先通過相機獲取待縫面料圖像,利用輪廓提取算法提取面料外輪廓曲線,并根據(jù)縫制要求計算縫制線跡的像素坐標點組,然后將線跡像素坐標點組轉換為機械臂基坐標系下的軌跡點組,最后通過機械臂帶動面料移動與縫機完成協(xié)同作業(yè),完成面料的縫制。

該技術的關鍵在于面料的外輪廓提取,比較多位專家對Sobel算子、Prewitt算子、Roberts算子、Log 算子、和Canny算子等輪廓檢測算法的研究[2],認為Canny檢測算法更符合服裝面料輪廓信息的提取,它由以下步驟實現(xiàn)。

1)用高斯濾波器平滑面料的灰度圖像,去除圖像噪聲

g(x,y)=h(x,y,σ)×f(x,y)

(8)

2)計算梯度大小和方向。求取圖像x、y2個方向的梯度大小和方向。圖像梯度大小可由式9計算得到:

(9)

梯度方向可由式(10)計算得到:

θM=arctan(dy/dx)

(10)

式中:dx=f(x,y)×Sobelx(x,y);dy=f(x,y)×Sobely(x,y),f(x,y)為原始灰度圖像,Sobelx(x,y),Sobely(x,y)為Sobel濾波器。

3)根據(jù)梯度方向對梯度幅值進行非極大值抑制。從上一步得到的梯度圖像存在邊緣粗寬、弱邊緣干擾等眾多問題,這一步使用非極大值抑制來尋找像素點局部最大值,將非極大值所對應的灰度值置0,剔除一大部分非邊緣的像素點。

4)用雙閾值算法檢測和連接邊緣。經(jīng)過以上三步,已得到較高的邊緣質量,但還存在一些偽邊緣,可采用雙閾值法,具體思路為選取兩個閾值,將小于低閾值的點認為是假邊緣置0,將大于高閾值的點認為是強邊緣置1,介于中間的像素點需進行進一步的檢查。通過選擇合適的閾值,可以得到很好的面料輪廓曲線。

5)提取輪廓上的關鍵點。提取輪廓上的關鍵點信息,一般為輪廓的頂點,然后以某個頂點為起點,根據(jù)線跡的直線、圓弧、曲線、曲率等要求,選用多邊形方式擬合出相應的點組,并將點組變換成機械臂的運行軌跡點組,并以數(shù)組的形式發(fā)送給機械臂控制器。

2.3 機械臂與縫紉機速度同步技術

機械臂與縫紉機一起協(xié)作完成縫制任務,縫機固定在工作平臺上,面料外側邊緣由縫機送布輪送進,被壓腳壓平,面料內(nèi)側由機械臂工具控制運動,如果面料邊緣速度與內(nèi)側速度不匹配,則縫制線跡錯亂或無法完成縫制,如果面料速度與機針速度不匹配,則縫制線跡將不規(guī)整。為了得到整齊規(guī)整的縫制線跡,必須對機械臂工具速度、送布輪送布速度和縫紉機機針速度進行同步控制。

機械臂工具運動速度(vtool)由縫機針頭的上下運動速度(n)和針距(d)決定,針距確定的情況下,為了提高縫制速度,就需要提高縫機轉速和機械臂工具運動速度。

(11)

式中:n存在最大值nmax和最小值nmin,表示縫機的最大和最小允許速度。針距d由縫制參數(shù)確定,在針距d確定的情況下,vtool與n滿足上式關系,即可得到規(guī)整的縫制線跡,當需要一些特殊縫制線跡時,可以通過非線性關系擬合vtool與n。

此外,還需控制縫紉機送布輪速度(vfeed),使其與機械臂工具運動速度(vtool)相等?？刂七^程中,將vtool作為送布輪速度vfeed的設定值發(fā)送給縫紉機控制器,由于控制系統(tǒng)慣性和機械誤差的存在,如果縫機控制器開環(huán)控制送布輪速度,必將存在誤差Δv,使得縫制效果打折扣。采用式(12)描述的PID算法閉環(huán)控制送布輪速度,可以提高速度跟隨的精度,獲得更好的縫制線跡。

(12)

式中:Kp、Td為比例、微分調節(jié)系數(shù);Ts為采樣時間;Δv為速度差值。

3 雙層衣片智能縫制裝備研發(fā)

舒普智能技術股份有限公司是縫制成套裝備的解決方案供應商,針對客戶需求開發(fā)了雙層衣片智能縫制裝備,如圖3、4所示,由機械臂、相機、縫紉機、工作平臺、上下料等輔助機構組成。機械臂采用 6軸機械臂,工作半徑為886 mm,滿足大尺寸面料的縫制任務。相機選用海康600萬像素工業(yè)相機,支持GiGE通訊接口,拍攝照片大小為900 mm×500 mm。 縫紉機采用公司自行開發(fā)的新一代物聯(lián)網(wǎng)縫機,支持以太網(wǎng)通信,可遠程控制縫制、抬壓腳、剪線等動作?？p制裝備為模塊化結構,可根據(jù)縫制需求組合出不同縫制設備,圖3示出上料工作平臺,通過橫移機構將面料放置到左右2個上料平臺,面料放置平臺下方為光照系統(tǒng)。圖4示出縫制裝備縫制模塊,在機器視覺的引導下,機械臂抓取上料平臺中的2片面料并疊放在一起,再送給縫機完成縫制。該縫制裝備能完成最大400 mm×400 mm面料的縫合任務,精度可達0.2 mm。

圖3 縫制裝備上料平臺Fig. 3 Feeding system of sewing equipment

圖4 縫制裝備縫制模塊Fig. 4 Sewing system of sewing equipment

4 雙層衣片智能縫制裝備分析

4.1 智能縫制控制系統(tǒng)架構分析

縫制裝備控制系統(tǒng)內(nèi)部通過以太網(wǎng)通信(見圖5中虛線部分)。選用含以太網(wǎng)接口的工業(yè)相機采集面料圖像,然后通過以太網(wǎng)接口發(fā)送給計算機,再使用OpenCV處理圖像,完成面料定位、輪廓提取、機械臂軌跡規(guī)劃等任務;機械臂的控制器、拉線編碼器也通過以太網(wǎng)連接到計算機上,完成手眼標定、誤差優(yōu)化等任務;機械臂與縫紉機通過以太網(wǎng)連接,在縫制作業(yè)時,機械臂發(fā)送同步、壓腳、剪線、縫制等命令給縫機,縫紉機據(jù)此控制機針和送布輪速度,實現(xiàn)機械臂與縫紉機的同步。

圖5 縫制裝備控制系統(tǒng)架構Fig. 5 Sewing equipment control system architecture

4.2 機械臂絕對定位誤差優(yōu)化分析

根據(jù)2.1節(jié)的機械臂絕對定位誤差優(yōu)化技術,開發(fā)了如圖6所示的機械臂標定軟件,并對縫制裝備的機械臂做誤差優(yōu)化。優(yōu)化過程分3個步驟:數(shù)據(jù)采集、機械臂標定和精度驗證。數(shù)據(jù)采集分單次采集和自動采集,本文通過示教程序自動采集工作臺平面上的50個位姿點;機械臂標定界面對六軸機械臂進行標定,在界面上設置P1～P6 6個軸的臂長,通過勾選需要優(yōu)化的參數(shù),利用采集的50個位姿點數(shù)據(jù)對D-H參數(shù)進行迭代計算;最后得到標定后的結果如表1所示。從標定結果可以看出,通過誤差補償優(yōu)化,機械臂工具中心點(TCP)處絕對定位誤差從均值1.263 5 mm降低到了0.128 5 mm,滿足了縫制線跡的縫制質量需求。

圖6 誤差優(yōu)化軟件機械臂標定界面Fig. 6 Calibration interface of calibration software

表1 機械臂的誤差補償前后的TCP誤差對比Tab. 1 Robotic arm TCP error information before and after error compensation

圖7示出絕對定位誤差優(yōu)化前后的縫制效果對比?？梢?未經(jīng)過誤差優(yōu)化的機械臂在運動過程中由于絕對定位精度不高,縫制線跡偏離設定軌跡,導致縫制線跡不完整(圖7(a)),經(jīng)過誤差優(yōu)化后,極大提高了面料的縫制質量(圖7(b))。

圖7 誤差優(yōu)化前后縫制效果Fig. 7 Sewing effect before error compensation(a)and after error compensation(b)

4.3 面料輪廓及關鍵點提取分析

面料輪廓和關鍵點提取是機械臂軌跡規(guī)劃的基礎。根據(jù)2.2節(jié)的面料輪廓提取技術,開發(fā)了基于OpenCV的面料輪廓及關鍵點提取程序。圖8(a)示出任意形狀的面料,代表了真實面料的直線、圓弧、曲線等各種輪廓。程序首先基于Canny算法提取圖像的邊緣,然后進行邊緣分析,尋找最外層輪廓,根據(jù)最外層輪廓進行多邊形和圓弧擬合,獲得輪廓關鍵點像素,并在二值圖像上繪制輪廓和關鍵點,將關鍵點像素坐標轉換成機械臂基坐標系下的關鍵點坐標值,并轉換成TCP坐標值送給機械臂控制器,做好縫制線跡的規(guī)劃工作。如圖8(b)所示,本算法能夠提取任意形狀面料的輪廓和關鍵點信息,并能根據(jù)輪廓曲率的不同生成不同數(shù)量的關鍵點,曲率越大,提取的關鍵點越多,便于機械臂軌跡規(guī)劃,提高縫制質量。

圖8 面料輪廓和關鍵點提取Fig. 8 Fabric contour extraction. (a) Fabric;(b)Contour line and key points

4.4 機械臂與縫紉機同步縫制效果分析

面料縫制線跡的質量很大程度取決于機械臂與縫紉機的同步能力。機械臂在運動過程中并非勻速,而存在加減速,如果縫紉機的機針速度與送布速度不能實時響應,則存在不協(xié)同的局部運動,造成縫制質量比較差?？咳斯な窘毯茈y做到機械臂與縫紉機的同步,必須依靠機械臂與縫紉機的通信,并將機械臂的速度發(fā)送給縫紉機,縫紉機控制系統(tǒng)根據(jù)發(fā)送過來的速度自動調整縫紉機的機針速度與送布速度,才能做到機械臂與縫紉機真正的協(xié)同控制。根據(jù)2.3節(jié)的機械臂與縫紉機速度同步技術,構建了如圖9所示的控制框圖及對應的控制程序,縫紉機機針速度為開環(huán)控制,其速度與機械臂TCP速度成比例關系;縫紉機送布輪速度為閉環(huán)控制,提高了送布輪速度跟隨機械臂TCP速度的跟隨能力;圖中字母含義參見2.3節(jié)。

圖9 機械臂與縫紉機同步控制框圖Fig. 9 Industrial robot and sewing machine synchronous control block diagram

圖10示出了機械臂與縫針速度未同步時的縫制效果,圖10(a)表示未同步時,由于面料曲率變大,縫針速度未能相應變小,導致針跡變密;圖10(b) 表示未同步時,由于起動階段機械臂存在加速度,機械臂速度逐漸變大,而縫針速度不能跟隨變大,導致針跡變疏。

圖10 機械臂與縫針未同步時縫制效果Fig. 10 Sewing effect with robot and sewing needle not synchronized. (a)Stitches become denser with curvature is large; (b)Stitches become sparse with robot has acceleration

機械臂與縫針同步后的效果可參考圖11。面料輪廓曲率即使變大,但縫針速度可以根據(jù)機械臂的速度做同步變化,使得針跡比較均勻。機械臂與縫紉機送布輪速度不匹配時,引起面料邊緣速度和內(nèi)側速度不一致,將導致縫制針腳錯亂甚至無法完成縫制。

圖11 曲率大處針跡不變的效果圖Fig. 11 Stitches remains constant with curvature is large

5 結論

本文基于機械臂絕對定位誤差優(yōu)化補償、面料輪廓和關鍵點提取、機械臂與縫紉機同步控制等技術,研發(fā)了智能縫制成套裝備,主要結論如下。

1)針對當前機械臂絕對定位精度不足以滿足縫制需求的問題,研究了基于拉線編碼器的機械臂運動學誤差優(yōu)化技術,開發(fā)了誤差優(yōu)化軟件,提高了機械臂的絕對定位精度。

2)針對面料外輪廓提取問題,研究了基于Canny算法的面料輪廓識別技術,開發(fā)了基于OpenCV的面料輪廓和關鍵點提取算法,滿足任意面料的外輪廓提取要求。

3)針對機械臂與縫紉機的速度同步問題,研究了機械臂與縫紉機的速度同步技術,開發(fā)了機械臂與縫紉機機針速度的開環(huán)控制算法,以及機械臂與縫紉機送布輪速度的閉環(huán)控制算法,提高了縫制線跡的質量。

4)研發(fā)了智能雙層衣片縫制成套裝備,并驗證了相關技術的有效性。

智能縫制成套裝備的研發(fā)有效減少了設備操作人員數(shù)量,解決了縫制工人短缺問題,為縫制裝備的自動化、智能化提供了技術積累,也為縫制行業(yè)其它工序的自動化、智能化、數(shù)字化轉型提供了技術基礎。下一步,將主要從以下2個方面對縫制成套裝備進行改進:將6軸機械臂改為SCARA機械臂,降低裝備成本及提高絕對定位精度;設計簡單易用的人機交互界面,方便操作及切換縫制任務。