顧寄南,許 悅,唐良穎
(江蘇大學(xué)制造業(yè)信息化研究中心,江蘇 鎮(zhèn)江 212013)
近年來,我國汽車行業(yè)的快速崛起,帶動了市場對剎車盤的需求。作為典型鑄件,目前剎車盤的生產(chǎn)多靠人工完成,自動化需求較高。而定位是實現(xiàn)自動上下料的關(guān)鍵步驟。
國內(nèi)外許多學(xué)者對視覺定位進(jìn)行了大量研究。文獻(xiàn)[1]將菱形目標(biāo)作為識別對象,利用其角點特征,確定了航天器對接中的相對位姿。文獻(xiàn)[2]對機(jī)器人高精度算法進(jìn)行了深入研究。文獻(xiàn)[3]利用歸一化的快速傅里葉變換完成了顯微鏡頭下的芯片定位。文獻(xiàn)[4]等利用模板匹配完成了多工件的定位。文獻(xiàn)[5]利用齒輪的幾何特性實現(xiàn)了齒輪中心的精確定位。而針對復(fù)雜工業(yè)背景下工件的定位研究還相對較少。因此,提出在利用模板匹配實現(xiàn)剎車盤的粗定位后,進(jìn)一步利用其自身的同心圓特性完成剎車盤工件的精定位。
視覺系統(tǒng)的硬件主要包括:工業(yè)相機(jī)、鏡頭、光源、計算機(jī)等。為獲得高質(zhì)量的圖片以供后續(xù)圖像處理,需對上述硬件進(jìn)行選型,并搭建合適的硬件平臺,如圖1 所示。
(1)相機(jī)及鏡頭。由于檢測對象剎車盤為鑄件,表面為灰色或高亮色,無顏色特征,因此選用灰度模式的工業(yè)相機(jī),其型號為:MV-EM510M;選用高清工業(yè)鏡頭:M2514-MP2。
(2)光源。選用條狀LED 光源對被測剎車盤進(jìn)行打光,以便獲得較高質(zhì)量圖像。
(3)計算機(jī)。主要進(jìn)行圖像處理及結(jié)果顯示。為高效、準(zhǔn)確的完成在線檢測,選用高性能的工控機(jī)。
(4)整體平臺。整體平臺包括輥道、擋板、用以固定相機(jī)和光源的安裝架等。其中,安裝架高度應(yīng)使相機(jī)視場能夠覆蓋傳送帶寬度,并為機(jī)械手抓取留下足夠空間。輥道兩邊安裝光電傳感器,若有工件運動至機(jī)械手抓取空間內(nèi),則利用plc 控制擋板升起,擋住工件。
創(chuàng)建了一種基于邊緣的模板匹配粗定位與基于同心圓幾何特性的精定位相結(jié)合的剎車盤定位算法,如圖2 所示??稍陔s亂背景中將剎車盤穩(wěn)定提取出來,并完成定位。
圖2 定位系統(tǒng)算法流程圖Fig.2 The Flow Chart of Location System Algorithm
上述平臺所獲原始圖像,如圖3(a)所示。由于擋板的存在,工件在圖中X 軸向的位置較為確定。因此,為減少運算量,首先將圖片中擋板前側(cè)的區(qū)域裁剪出來。具體裁剪方法為:右側(cè)沿?fù)醢暹吘?;為防止振動等原因?qū)е碌奈灰聘蓴_,左側(cè)預(yù)留一定區(qū)域。
由于視覺系統(tǒng)與鑄件打磨等裝備處于同一空間內(nèi),且待定位剎車盤位于傳送輥道上,故所得圖像受灰塵、振動、光線等因素的干擾較大。因此,需要對圖像進(jìn)行平滑。為去除一定的隨機(jī)噪聲,文中選用中值濾波器進(jìn)行圖像平滑[7]。預(yù)處理所得圖像,如圖3(b)所示。
圖3 原始及預(yù)處理所得圖像Fig.3 Raw and Pre-Processed Images
為提高模板匹配的成功率,使用工業(yè)環(huán)境下所拍圖片創(chuàng)建模板。而真實環(huán)境下的高亮輥道等背景較為復(fù)雜,無法利用常見的全局閾值法進(jìn)行圖像分割。由于視覺裝置與所拍攝背景相對靜止,選用背景差分法、最大類間差法與形態(tài)學(xué)重構(gòu)相結(jié)合,完成模板的創(chuàng)建。
控制光照不變,先拍攝一幀無工件的背景圖像IB,再將包含工件的圖像Iw與該背景圖像IB逐像素相減,得到差分圖像ΔI。利用最大類間差法求得差分圖像的分割閾值。若差分圖像灰度值小于該閾值,表示該像素區(qū)域為背景區(qū)域,將其灰度值置0;若灰度值大于該閾值,表示該像素區(qū)域為所需工件,保留Iw中對應(yīng)位置的像素,從而獲得ROI 工件圖像。
通過以上方法可以將工件區(qū)域分割出來,但圖像中仍存在一定的噪聲干擾。因此,利用形態(tài)學(xué)開運算來去除噪點,即:利用結(jié)構(gòu)元素對閾值分割后的圖像進(jìn)行腐蝕,并對腐蝕后的圖像進(jìn)行膨脹處理。通過形態(tài)學(xué)的開運算可去除圖中的噪聲,并基本不會改變所需提取的工件的形狀和位置。背景差分所得模板圖像,如圖4(a)所示。
由于背景輥道反光,對環(huán)境光較為敏感,一旦光照發(fā)生變化,就不能將剎車盤穩(wěn)定分割出來,如圖4(b)所示。因此,實際應(yīng)用時無法利用背景差分法穩(wěn)定提取工件位置。
圖4 模板圖像及光照變化后背景差分的分割效果Fig.4 Segmentation Effect of Template Image and Background Difference After Light Change
邊緣特征在機(jī)器視覺中有著重要地位,針對邊緣提取的研究也十分活躍。邊緣檢測算子中,Sobel 算子對灰度漸變和噪聲較多的圖像處理效果較好,且邊緣定位較為準(zhǔn)確[8],而所需處理的剎車盤圖像背景較復(fù)雜,因此,選用Sobel 算子進(jìn)行邊緣檢測。利用x、y 兩個方向的各向同性算子模板在圖像上滑動,模板與其覆蓋的待檢測圖像3*3 區(qū)域的9 個像素進(jìn)行卷積,求和后得到該方向的邊緣檢測幅值[9]:
式中:f(x,y)—待測圖像;Gx—水平方向算子與原圖卷積所得結(jié)果;Gy—豎直方向算子與原圖卷積所得結(jié)果;G—最終所得的邊緣幅值;θ—邊緣方向。
利用Sobel 算子所提取到的圖像邊緣,如圖5 所示。
圖5 Sobel 算子卷積所得邊緣圖像Fig.5 Edge Image Obtained by Convolution of Sobel Operator
3.4.1 模板匹配
模板匹配是利用已知模板的某些特征在待測圖像中進(jìn)行搜索,以實現(xiàn)待測目標(biāo)識別、定位的一種方法[9]。常見的模板匹配分為基于灰度相關(guān)的匹配和基于幾何特征的匹配。其中,基于邊緣的模板匹配以圖像邊緣信息作為特征參數(shù)進(jìn)行匹配,對于非線性光照的變化具有較好的抗干擾能力,更適用于工業(yè)場景[10]。因此,采用基于邊緣的模板匹配算法,計算邊緣模板中所有點與待測邊緣圖像中對應(yīng)點的方向向量的點積,并將其歸一化,作為相似度量:
所得匹配分?jǐn)?shù)小于1,并且越接近1 表示匹配程度越高;0表示最壞匹配效果。由于該相似度量進(jìn)行了歸一化運算,匹配不受環(huán)境光照變化的影響,穩(wěn)定性較好。
3.4.2 金字塔分層搜索
圖6 模板匹配所得結(jié)果Fig.6 Results of Template Matching
工業(yè)相機(jī)分辨率較高,直接進(jìn)行模板匹配算法復(fù)雜度較大。因此,為滿足實時性需求,利用圖像金字塔結(jié)構(gòu)進(jìn)行分層搜索。圖像金字塔是圖像多尺度表達(dá)的一種結(jié)構(gòu)。一幅圖像的金字塔是對原始圖像進(jìn)行下采樣,得到的一系列以金字塔形狀排列,且分辨率逐漸降低的圖像集合。為避免下采樣時出現(xiàn)的鋸齒效應(yīng),下采樣所得圖像需進(jìn)行平滑操作。在模板匹配時,先在低分辨率圖像中進(jìn)行初步搜索,將所得結(jié)果回溯到較高分辨率圖像中,得到相應(yīng)感興趣區(qū)域,以此循環(huán),直至在原圖中找到目標(biāo)對象。經(jīng)試驗,選用8 級金字塔。模板匹配所得結(jié)果,如圖6 所示。
通過上述粗略搜索匹配可得到剎車盤的大概位置,故可用掩膜屏蔽復(fù)雜輥道背景帶來的干擾,對剎車盤進(jìn)行精定位。
精定位利用剎車盤中的同心圓幾何特征完成。首先,將邊緣檢測時獲得的剎車盤內(nèi)的邊緣骨架化,得到單像素輪廓。由于模板中心與實際圓心坐標(biāo)之間差距不大,因此,在模板中心小范圍圓域Ω 內(nèi)歷遍各點,以已知的剎車盤上各同心圓的實際半徑為半徑定義圓形。統(tǒng)計以小圓域Ω 內(nèi)某點(x1,y1)為圓心所定義的圓與圖像輪廓像素點的重合點個數(shù),并將其作為累加陣列[x1,y1]處的值。歷遍各點后,累加陣列最大值處所對應(yīng)的坐標(biāo)即為剎車盤中心的準(zhǔn)確坐標(biāo)。
在Visual Studio 2010 環(huán)境下,運用C++進(jìn)行編程,對算法進(jìn)行了實現(xiàn)。在視覺系統(tǒng)進(jìn)行標(biāo)定后,將10 個不同剎車盤分別置于10 個不同位置或光照條件下進(jìn)行共100 組實驗。其中,部分圖像定位結(jié)果,如圖7 所示。所對應(yīng)的剎車盤圓心坐標(biāo),如表1 所示。實驗證明,合適光照條件下,輥道上各位置的剎車盤均能準(zhǔn)確定位。而因較為極限的光照條件,2 幅圖像中的剎車盤未能成功定位,總體定位成功率達(dá)98%,而惡劣光照條件可在實際應(yīng)用時得以避免。定位精度達(dá)±4mm,基本滿足上下料時的定位抓取需求。
圖7 部分樣本定位結(jié)果Fig.7 Part of the Sample Positioning Results
表1 這里算法定位結(jié)果Tab.1 Algorithm Positioning Results
提出了一種針對復(fù)雜工業(yè)背景的剎車盤定位方法。在預(yù)處理去除灰塵、光線等因素的干擾后,通過背景差分得到模板圖像。運用基于邊緣的模板匹配完成剎車盤粗定位,避免了復(fù)雜輥道背景的干擾。利用剎車盤的同心圓幾何特征完成其精確定位。試驗表明,該定位方法能夠滿足機(jī)械手實際上下料的需求。