王 堃, 唐厚君, 韓 斐

(1.上海交通大學(xué) 電子信息與電氣工程學(xué)院，上海 200240；2.上海寶承自動化設(shè)備有限公司，上海 200240)

0 引言

沖床作為沖壓工藝的載體，在我國基礎(chǔ)工業(yè)領(lǐng)域占有非常重要的地位，但是由于我國自動化發(fā)展起步較晚，沖床自動化程度整體比較低，大多數(shù)還屬于人工送料、套料、沖壓的階段，不僅危險(xiǎn)性較高，效率、質(zhì)量、材料利用率等也難以保證，而且對于重量或尺寸稍大的原材料，僅靠單個(gè)人力很難持續(xù)工作，大大限制了這類材料的利用[1]；現(xiàn)在市面上已推出少數(shù)沖床自動化送料設(shè)備，如搖擺機(jī)、基于機(jī)器人手臂的送料套料裝置等，其適用場景比較受限，搖擺機(jī)只能沖壓圈帶料，無法對一些板料或邊角料進(jìn)行送料套料處理，同時(shí)由于設(shè)備空間需求較大，廠房的空間利用率較低；基于機(jī)器人手臂的送料套料裝置，一般只能對固定形狀的板料進(jìn)行送料，一旦板料形狀發(fā)生更改，機(jī)械的校準(zhǔn)相對麻煩。而且當(dāng)前市面的大多數(shù)自動送料裝置，應(yīng)用程序都是基于PLC控制，這使得其擴(kuò)展性、靈活性都相對較差[2-4]。

本文設(shè)計(jì)了一種基于機(jī)器視覺的自動送料、套料的沖床自動送料機(jī)，可以自動識別待沖壓板料，并對其進(jìn)行套料處理，運(yùn)送到?jīng)_頭下進(jìn)行自動沖壓。機(jī)器視覺模塊的增加，使得理論上可以對任意形狀的板料，任意形狀的工件都能進(jìn)行沖壓；只需要對應(yīng)用程序進(jìn)行升級，增加對應(yīng)的工件模型的最優(yōu)套料算法，就可以對新的板料和工件進(jìn)行套料沖壓處理，這使得自動送料機(jī)的靈活性、可擴(kuò)展性大大增強(qiáng)。同時(shí)機(jī)械結(jié)構(gòu)的巧妙設(shè)計(jì)，也使得其場地的空間利用率得到了很大提高。

1 沖床自動送料機(jī)系統(tǒng)構(gòu)成

沖床自動送料機(jī)系統(tǒng)由硬件系統(tǒng)，圖像分析處理、套料軟件系統(tǒng)，以及運(yùn)動控制單元三部分構(gòu)成，運(yùn)動控制單元由上海寶承自動化設(shè)備有限公司輔助完成，本文重點(diǎn)在于介紹軟件控制系統(tǒng)的設(shè)計(jì)。

1.1 沖床自動送料機(jī)系統(tǒng)的硬件系統(tǒng)構(gòu)成

系統(tǒng)硬件主要包括工業(yè)相機(jī)、鏡頭、光源和運(yùn)算處理平臺等組成的控制系統(tǒng)，以及主要由傳動膠輥、電機(jī)以及運(yùn)動軸卡等構(gòu)成的運(yùn)動系統(tǒng)。自動送料系統(tǒng)的整體結(jié)構(gòu)如圖1所示。

工業(yè)相機(jī)和鏡頭的選取，直接影響了對板料的識別精度，進(jìn)而影響套料效果，因此對于相機(jī)和鏡頭的選取就顯得尤為重要。帶沖壓的板料檢測精度需要在0.5mm，相機(jī)的視場范圍是400mm × 300mm，物距60mm，因此可選用大恒的MER-500-7UM和M0814-MP2鏡頭。由于圖像提取的過程中主要是對二維平行板料進(jìn)行精確還原，因此在光源方面選擇的是面光源。計(jì)算處理平臺，選擇的是PC端的工業(yè)電腦，其在用戶現(xiàn)場運(yùn)行比較穩(wěn)定，而且運(yùn)算能力足夠。

圖1 沖床自動送料機(jī)硬件結(jié)構(gòu)

1.2 沖床自動送料機(jī)軟件系統(tǒng)設(shè)計(jì)

沖床自動送料機(jī)的軟件系統(tǒng)，主要由圖像采集模塊、圖像處理模塊和套料處理模塊構(gòu)成。其工作流程如圖2所示。

圖2 軟件處理流程圖

圖像采集模塊將板料信息采集上來，將圖像格式轉(zhuǎn)換成cv::Mat傳遞到圖像處理模塊進(jìn)行板料的提取處理，之后轉(zhuǎn)換成自定義的Image::Array格式，傳遞給套料處理模塊進(jìn)行套料和沖壓。

2 沖床自動送料機(jī)系統(tǒng)的軟件模塊實(shí)現(xiàn)

圖像采集模塊主要是通過標(biāo)定后的相機(jī)，對當(dāng)前的板料信息進(jìn)行實(shí)時(shí)采集，采集后進(jìn)行格式轉(zhuǎn)換；圖像處理模塊主要是對采集上來的圖像進(jìn)行高度補(bǔ)償、閾值分割、前景提取等操作，準(zhǔn)確提取出板料信息；套料模塊主要是在板料上進(jìn)行套料算法的實(shí)現(xiàn)，同時(shí)將圖像坐標(biāo)系轉(zhuǎn)換成機(jī)床坐標(biāo)系，并將待沖壓坐標(biāo)發(fā)送到下位機(jī)，進(jìn)行工件沖壓。

2.1 圖像采集模塊實(shí)現(xiàn)

圖像采集模塊主要實(shí)現(xiàn)相機(jī)的圖像采集，然后轉(zhuǎn)換為cv::Mat格式數(shù)據(jù)，傳遞給圖像處理模塊進(jìn)行處理。其中圖像采集是用C++開發(fā)完成，可以通過直接調(diào)用大恒相機(jī)的SDK獲得。

相機(jī)在使用前需要對其進(jìn)行標(biāo)定，以獲取相機(jī)的內(nèi)外參數(shù)。標(biāo)定相機(jī)內(nèi)參，用的是標(biāo)準(zhǔn)棋盤格標(biāo)定板，標(biāo)定過程由軟件實(shí)現(xiàn)；因?yàn)椴煌瑱C(jī)床的相機(jī)安裝位置有所變化，因此還需要一塊定制的棋盤格標(biāo)定板來標(biāo)定出相機(jī)外參。

2.1.1 相機(jī)標(biāo)定

相機(jī)標(biāo)定使用的原理是張正友標(biāo)定法[5]，以標(biāo)準(zhǔn)棋盤格標(biāo)定板作為標(biāo)定參照物。軟件標(biāo)定界面如圖3所示，采用QT/C++開發(fā)實(shí)現(xiàn)。進(jìn)行標(biāo)定的時(shí)候，客戶需要拍攝多張不同角度的標(biāo)定板照片，軟件會提示每張照片的識別情況，用于完成標(biāo)定。成功標(biāo)定后系統(tǒng)會反饋重投影誤差，用以判斷標(biāo)定的可靠性[6]。

圖3 相機(jī)標(biāo)定界面

采用相機(jī)的小孔成像模型，其數(shù)學(xué)模型表達(dá)式如下，其中Min是內(nèi)參矩陣，可以通過上述標(biāo)定求出：

(1)

2.1.2 拍照臺平面標(biāo)定

相機(jī)與拍照臺模型如圖4所示。

圖4 透視變換模型

(2)

由于使用的是二維空間信息，因此式(1)中zc維度可以忽略，聯(lián)立式(2)可得：

(3)

其中，H是單應(yīng)矩陣，由于其作用于齊次坐標(biāo)，因此只有8個(gè)自由度，求解該矩陣，至少需要4個(gè)已知亞像素精度的點(diǎn)。為了獲取更準(zhǔn)確的映射關(guān)系，使用定制的棋盤格來求解，如圖5所示。

圖5 棋盤格標(biāo)定板

該棋盤格規(guī)格是7×12,奇數(shù)和偶數(shù)分別代表X方向和Y方向，每個(gè)方格規(guī)格為20mm×20mm。通過cv::findChessboardCorners和cv::findHomography函數(shù)可以求解出H，同時(shí)可進(jìn)一步求出相機(jī)的外參矩陣Mex(通過cv::solvePnP分解求出旋轉(zhuǎn)矩陣R和平移矩陣T)。

2.2 圖像處理模塊實(shí)現(xiàn)

圖像處理模塊主要實(shí)現(xiàn)將輸入的cv::Mat圖像，通過平行高度補(bǔ)償以及圖像分割、前景提取等操作，精確提取出板料的具體輪廓信息，進(jìn)一步轉(zhuǎn)換為套料所需要的image::Array 類型數(shù)據(jù)，進(jìn)而將其傳入到套料處理模塊進(jìn)行下一步套料，流程如圖6所示。

圖6 圖像處理流程

2.2.1 平行平面高度補(bǔ)償

由于膠輥安放、板材厚度變化等機(jī)械結(jié)構(gòu)原因，板料和拍照臺平面存在高度差，這將引起放大效應(yīng)，導(dǎo)致圖像中直接測得的工件尺寸將比實(shí)際偏大。為了得到準(zhǔn)確的測量結(jié)果，必須對高度差進(jìn)行補(bǔ)償，高度補(bǔ)償后會重新生成新的單應(yīng)矩陣。

RT1=T1-R-1A
T2=T1-R-1A

其中，R和T1是在拍照臺平面標(biāo)定時(shí)，求解出來的平移和旋轉(zhuǎn)矩陣，故補(bǔ)償過后的單應(yīng)矩陣H為：

(3)

2.2.2 基于Otsu自適應(yīng)閾值的圖像分割

圖像分割算法有很多，最簡單是閾值分割，設(shè)定好一個(gè)固定閾值，每次都按照該值進(jìn)行提取，缺點(diǎn)在于環(huán)境適應(yīng)性比較差，對于環(huán)境光線條件比較敏感；基于邊緣的分割方法，是通過檢測圖像邊緣信息，分割邊緣兩側(cè)區(qū)域的一種分割方法，其缺點(diǎn)在于難以獲得邊緣的包含關(guān)系，對于有孔工件較難區(qū)分，同時(shí)易受噪聲影響；基于區(qū)域的分割方法是以分水嶺法、種子生長法等為代表的按照區(qū)域相似性準(zhǔn)則的分割方法，但是由于工件形狀位置皆不確定，且分割出來的工件前景而不再需要繼續(xù)分割其他區(qū)域，因此不適合。

Otsu 法是一種常用的灰度圖像動態(tài)二值化算法[7]。該算法試圖遍歷 0～255 的灰度值范圍直到找到一個(gè)閾值使得通過該閾值分割的前景類和背景類有最小的類內(nèi)方差和最大的類間方差，這個(gè)閾值即最優(yōu)的分割閾值。

對于M×N的灰度圖像，t為分割閾值且t∈(0,255)，g(i)表示像素i的灰度值，N0表示灰度值小于t的像素個(gè)數(shù)，N表示灰度值大于t的像素個(gè)數(shù)，g0表示前景像素的平均灰度，g1表示背景像素的平均灰度。

(4)

(5)

g(t)=ω0(t)·g0(t)+ω1(t)·g1(t)

(6)

類間方差定義為：

(7)

遍歷全部灰度值，尋找V最大值對應(yīng)閾值t即為最優(yōu)閾值。

(a) 拍照臺原始圖

(b) 閾值分割板料提取圖
圖7 板料前景提取對比圖

2.2.3 圖像格式轉(zhuǎn)換

為了方便后續(xù)的套料處理，自定義了板料圖片的格式image::Array，該格式包含了最基本的圖片中板料的邊緣信息，孔洞情況以及二值化之后的圖像信息等。具體格式轉(zhuǎn)換流程如圖8所示。

圖8 圖像格式轉(zhuǎn)換流程

2.3 套料處理模塊實(shí)現(xiàn)

套料問題是組合優(yōu)化中的經(jīng)典問題，在數(shù)學(xué)上屬于裝載問題(Packing Problem)，即在有限空間內(nèi)尋求放置最多指定物體的解[8]。但是，在沖床自動送料機(jī)的實(shí)際應(yīng)用中，又有其本身的特殊性。舉例而言，在沖床自動送料機(jī)的套料過程中，很難預(yù)知完整板料的輪廓，因?yàn)榘辶鲜潜恢鸩剿腿霗C(jī)器進(jìn)行套料的；另外，在套料過程中，單次套料最優(yōu)化的解不一定會導(dǎo)致最終套料結(jié)果的整體最優(yōu)；最后，套料的美觀性(如對稱)需要被考慮到方案中，這一點(diǎn)是出于用戶本身對產(chǎn)品的需求[9]。

2.3.1 套料算法實(shí)現(xiàn)

貪婪算法(Greedy Algorithm)的思想是在無法獲得全局最優(yōu)解的情況下，盡可能求得局部最優(yōu)解，用局部最優(yōu)解的合集逼近全局最優(yōu)解[10]。這是由于板料較長時(shí)，套料是隨著板料的一步一步送入疊加完成，無法單次獲取全部板料信息進(jìn)行套料?；谪澙匪惴ǖ乃枷?，設(shè)計(jì)了基于模板的單次套料方案，即根據(jù)板料和工件形狀，生成在無窮大平面內(nèi)最優(yōu)的套料模板，用已有模板對當(dāng)前板料進(jìn)行匹配套料。但是對于較小的拼接板料，普通的模板無法適配，因此需要通過板料輪廓內(nèi)區(qū)域進(jìn)行掃面套料，還需要進(jìn)一步采用回溯算法(Back-tracking Algorithm)，對套料結(jié)果進(jìn)行回溯篩選，得到最優(yōu)的套料結(jié)果[11]。

(a) 拼接后完整板料圖

(b) 軟件套料模擬圖圖9 套料前后對比圖

2.3.2 沖壓路徑的組合優(yōu)化

套料完成后，獲取到的是一些散亂的坐標(biāo)信息，為了最大限度的減少送料機(jī)的運(yùn)動幅度，需要對這些坐標(biāo)進(jìn)行路徑規(guī)劃，這屬于經(jīng)典的旅行商問題(Travelling salesman problem)，但是由于每次套料產(chǎn)生的坐標(biāo)個(gè)數(shù)較少，因此可以采用枚舉法，對所有坐標(biāo)間距進(jìn)行遍歷，對比選取出最優(yōu)的沖壓路徑。

圖10 沖壓路徑組合優(yōu)化示意圖

3 方案測試分析

為驗(yàn)證自動送料系統(tǒng)的運(yùn)行情況，測試沖壓了3種不同的板料，每種板子沖壓10張。令η表示沖壓效率，N表示沖壓總個(gè)數(shù)，T表示沖壓總時(shí)間，則沖壓效率表示為：

η=N/T

(8)

自動送料機(jī)和人工沖壓情況對比如表1所示。

表1 軟件人工沖壓對比

圖11 實(shí)際板料沖壓效果

通過上述對比表格可以看出，自動送料機(jī)能夠輕松完成三種常見板料的套料、沖壓工作，同時(shí)在沖壓速度和沖壓效率相較于人工而言有很大優(yōu)勢，平均效率提升30%左右，對于較小工件，邊角料的情況，效率提升效果更加明顯。

4 結(jié)論

自動送料機(jī)系統(tǒng)采用的是基于機(jī)器視覺的方案，利用圖像處理的方式將待沖壓板料提取出，并通過一系列套料算法進(jìn)行套料，同時(shí)也對沖壓路徑進(jìn)行了組合優(yōu)化，最后將沖壓坐標(biāo)發(fā)送到下位機(jī)進(jìn)行機(jī)械沖壓。通過實(shí)際對比測試發(fā)現(xiàn)，沖壓的整體效率相較于人工提升較為明顯，同時(shí)相較于市場上針對板料的專一送料機(jī)，該套系統(tǒng)具有足夠的靈活性，大大降低了對板料的依賴性。機(jī)器視覺模塊的加入，使得能夠?qū)崟r(shí)提取板料形狀，讓實(shí)時(shí)排料成為了可能；同時(shí)其對工件的提取也不僅僅局限于手動輸入，可以在拍照臺智能提取，因此對工件形狀的限制也大大降低；PC平臺的控制裝置，使得軟件升級變得更加便捷，為套料算法的持續(xù)性研發(fā)提供了基礎(chǔ)；這些設(shè)計(jì)都大大增加了自動送料裝置的靈活性和擴(kuò)展性。