基于機(jī)器視覺的鋪放頭視覺測量系統(tǒng)

何秀明，申祖武，吳迎峰，田會方

(武漢理工大學(xué) 機(jī)電工程學(xué)院，湖北 武漢 430070)

自動鋪放技術(shù)作為一種典型的復(fù)合材料技術(shù)，已經(jīng)廣泛應(yīng)用于航空航天和風(fēng)力發(fā)電等領(lǐng)域。美國Vought公司制造了世界上第一臺自動鋪放機(jī)，用于生產(chǎn)中小曲率大型飛機(jī)部件[1]。Ingersoll、M-Torres Forest-Line等公司研制了新一代多坐標(biāo)自動鋪放機(jī)用以商業(yè)生產(chǎn)，其鋪放精度已達(dá)到0.5 mm[2]。

國內(nèi)自動鋪放技術(shù)經(jīng)過多年的不斷努力也取得了一定的成果。文獻(xiàn)[3]成功研制了工業(yè)自動鋪放機(jī)，并實現(xiàn)了樣件的鋪放工作。文獻(xiàn)[4]設(shè)計了自動鋪放機(jī)鋪放頭，并開發(fā)了自動鋪放機(jī)的計算機(jī)控制系統(tǒng)。文獻(xiàn)[5]研制了7軸纖維鋪放頭和對應(yīng)的數(shù)控系統(tǒng)。但與國外相比，目前國內(nèi)的鋪放仍以手工鋪放為主，部分企業(yè)即使裝備了自動鋪放機(jī)，但是在某些環(huán)節(jié)仍然需要人為干預(yù)，自動化程度較低。

而機(jī)器視覺作為一種新興的技術(shù)，擁有非接觸、處理速度快、準(zhǔn)確和信息量大等特點。利用機(jī)器視覺技術(shù)，可以提高自動化設(shè)備的自動化程度、精度和速度，提高其生產(chǎn)效率，降低勞動成本[6]。因此，將機(jī)器視覺技術(shù)應(yīng)用到自動鋪放機(jī)中，建立了鋪放頭視覺測量系統(tǒng)，可將鋪放頭的位置信息傳輸?shù)戒伔艡C(jī)的控制系統(tǒng)，從而實現(xiàn)鋪放機(jī)的視覺反饋控制，大大提高鋪放機(jī)的自動化程度。鋪放頭視覺測量系統(tǒng)作為鋪放機(jī)視覺反饋控制的前提，具有十分重要的研究價值。

1 視覺測量系統(tǒng)的算法原理

1.1 相機(jī)標(biāo)定原理

如圖1所示，將圖像的像素坐標(biāo)系中的一點p(u,v)投影到三維世界坐標(biāo)系中的對應(yīng)點P(X,Y,Z)，需要經(jīng)過4個坐標(biāo)系的轉(zhuǎn)化：像素坐標(biāo)系O-uv、毫米坐標(biāo)系O1-xy、相機(jī)坐標(biāo)系OC-XCYCZC和三維世界坐標(biāo)系OW-XWYWZW。

圖1 相機(jī)標(biāo)定原理圖

像素坐標(biāo)系和毫米坐標(biāo)系間的轉(zhuǎn)化關(guān)系為：

(1)

式中:dx和dy為每像素分別在x和y方向的實際物理尺寸;cx和cy為毫米坐標(biāo)系O1-xy和像素坐標(biāo)系O-uv原心O1和O的偏移量。

根據(jù)針孔相機(jī)模型[7]，點P在毫米坐標(biāo)系下的坐標(biāo)(x,y)與在相機(jī)坐標(biāo)系下的坐標(biāo)(XC,YC,ZC)的轉(zhuǎn)化關(guān)系為：

(2)

式中：s=Zc；F為透鏡的物理焦距長度。

點P在相機(jī)坐標(biāo)系下的坐標(biāo)(XC,YC,ZC)與其在三維世界坐標(biāo)系下的坐標(biāo)(XW,YW,ZW)的轉(zhuǎn)化關(guān)系為：

(3)

式中：R和T分別為點P從相機(jī)坐標(biāo)系到三維世界坐標(biāo)系的旋轉(zhuǎn)矩陣和平移向量，R為3×3矩陣，T為3×1向量。

聯(lián)立式(1)、式(2)和式(3)，并化簡可得：

(4)

式中：fx=F/dx；fy=F/dy；M1和M2分別為相機(jī)的內(nèi)參數(shù)矩陣和外參數(shù)矩陣，相機(jī)標(biāo)定的目的即獲得M1和M2。

1.2 三維重建原理

基于雙目視覺建立鋪放頭視覺測量系統(tǒng)，其三維重建主要包括立體校正、立體匹配和三維重投影。

首先，用極線約束來簡化立體校正[8]。極線約束就是一幅圖像上的某特征在另一幅圖像上的匹配視圖一定在對應(yīng)的極線上。因此，立體校正可表述為：使得左右兩幅圖像的對極線剛好在同一水平線上，從而讓左右圖像嚴(yán)格地行對齊，只需在對應(yīng)行進(jìn)行一維搜索即可匹配到對應(yīng)點。

接著選擇運(yùn)行速度較快的BM(block matching)算法來對嚴(yán)格對齊的左右兩幅圖像進(jìn)行一維搜索，從而實現(xiàn)立體匹配[9]。用BM算法將兩圖像上的目標(biāo)點匹配成功后，得到該點的視差d。

最后根據(jù)如圖2所示的三角測量原理，將目標(biāo)點在左右圖像平面的視差d轉(zhuǎn)化成距離，從而得到目標(biāo)點的三維坐標(biāo)，實現(xiàn)三維重投影[10]。

圖2 三角測量原理圖

圖2中，兩相機(jī)的圖像平面位于同一平面，兩相機(jī)的主光線平行，兩相機(jī)間的距離T一定，兩相機(jī)的焦距相同，都為f。三維世界坐標(biāo)系下的點P在左右圖像上的成像點的橫坐標(biāo)分別為xl和xr，視差d=xl-xr。利用相似三角形可得出點P到投影中心的垂直距離Z，如式(5)所示。

(5)

將一個二維點a(x,y)和其關(guān)聯(lián)的視差d重投影到三維世界中：

(6)

式中，重投影矩陣Q中的參數(shù)可以通過相機(jī)標(biāo)定獲得。因此，可以根據(jù)式(6)得到二維點a對應(yīng)的三維坐標(biāo)(X/V,Y/V,Z/V)。

2 鋪放頭視覺測量系統(tǒng)設(shè)計

2.1 總體設(shè)計

鋪放頭視覺測量系統(tǒng)主要包括圖像采集模塊和圖像預(yù)處理與數(shù)據(jù)計算模塊，如圖3所示。

圖3 鋪放頭視覺測量系統(tǒng)總體框圖

圖3中，圖像采集模塊需要首先做好準(zhǔn)備工作，將光源放置于鋪放頭特定位置，在鋪放頭的運(yùn)動范圍內(nèi)布置足夠的相機(jī)，確保鋪放頭始終在兩兩相機(jī)組成的雙目系統(tǒng)的視場范圍內(nèi)，然后通過相機(jī)實時獲取鋪放頭的圖像信息，最后將其轉(zhuǎn)化為相應(yīng)的數(shù)字信號傳給PC機(jī)；圖像預(yù)處理與數(shù)據(jù)計算模塊則首先對相機(jī)進(jìn)行標(biāo)定，以獲得相機(jī)的內(nèi)外參數(shù)，接著通過圖像預(yù)處理，得到實時獲取的圖像中目標(biāo)點(光源)的二維坐標(biāo)，最后通過三維重建，結(jié)合相機(jī)的內(nèi)外參數(shù)，將目標(biāo)點的圖像二維坐標(biāo)轉(zhuǎn)化為其在三維世界坐標(biāo)系下的三維坐標(biāo)，得到鋪放頭的位置。

2.2 硬件設(shè)計

鋪放頭視覺測量系統(tǒng)的硬件部分主要包括：光源、相機(jī)、鏡頭、圖像采集卡和PC機(jī)。其中，光源選用深圳市百優(yōu)特光電科技有限公司生產(chǎn)的F5 940 nm 0.4 W紅外LED燈，相機(jī)選用JAI公司生產(chǎn)的CB-140GE工業(yè)相機(jī)，鏡頭選用型號為M0814-MP2的日本Computar工業(yè)鏡頭。

鋪放機(jī)初步的鋪放任務(wù)所要求的空間不大，因此，圖像采集模塊使用兩臺相機(jī)即可完成鋪放機(jī)鋪放頭初步的位置測量。考慮到今后可能會增加相機(jī)的數(shù)目以擴(kuò)大系統(tǒng)的測量范圍或者測量某些特定細(xì)節(jié)，對相機(jī)進(jìn)行串聯(lián)式連接，如圖4所示。該連接方式下，圖像采集卡只需一個輸入接口，交換式集線器作為相機(jī)與圖像采集卡的中轉(zhuǎn)站，將所有相機(jī)傳輸?shù)膱D像信息“串聯(lián)”起來傳給圖像采集卡，所有相機(jī)和圖像采集卡屬于路由器提供的一個網(wǎng)絡(luò)。

圖4 相機(jī)串聯(lián)式連接

2.3 軟件設(shè)計

鋪放頭視覺測量系統(tǒng)的軟件部分是基于OpenCV-2.4.13開發(fā)的，其主要包括：相機(jī)標(biāo)定、圖像預(yù)處理和三維重建。

根據(jù)相機(jī)標(biāo)定原理，對視覺測量系統(tǒng)中的相機(jī)進(jìn)行標(biāo)定的參數(shù)有：相機(jī)的內(nèi)參數(shù)矩陣M1和外參數(shù)矩陣M2。為了同時滿足視覺測量系統(tǒng)的時效性和準(zhǔn)確性，綜合MATLAB和OpenCV各自的優(yōu)點，對相機(jī)的傳統(tǒng)標(biāo)定方法進(jìn)行改進(jìn)。由于相機(jī)的內(nèi)參數(shù)矩陣M1是相機(jī)的固有參數(shù)，不會改變，因此先用標(biāo)定結(jié)果較準(zhǔn)確的MATLAB分別對兩相機(jī)進(jìn)行單目標(biāo)定，得到它們的內(nèi)參數(shù)矩陣M1。然后將得到的結(jié)果導(dǎo)入時效性較好的OpenCV中，對兩相機(jī)進(jìn)行雙目標(biāo)定，得到它們的外參數(shù)矩陣M2。

圓是圖像預(yù)處理中較容易識別的，因此，將7個完全一致的紅外LED燈集成于一塊板子上，且兩兩相鄰LED燈的距離為50 mm，制成供相機(jī)拍攝的不對稱靶板，點亮LED燈，通過相機(jī)拍攝靶板得到的圖像如圖5(a)所示。需要注意的是，初步的視覺測量系統(tǒng)利用該靶板來測量鋪放頭位置，但是在實際生產(chǎn)中，應(yīng)該將紅外LED燈直接安裝在鋪放頭上，以便相機(jī)通過捕捉LED燈的位置來確定鋪放頭的位置。拍攝該靶板的相關(guān)圖像，再基于OpenCV對其進(jìn)行圖像預(yù)處理，流程如圖6所示。

圖5 圖像預(yù)處理效果圖

圖6 圖像預(yù)處理流程圖

首先對靶板原圖進(jìn)行形態(tài)學(xué)處理，將各個目標(biāo)圓分離，并消除由噪聲引起的毛刺。接著對其進(jìn)行閾值化，通過設(shè)置合適的閾值，將LED燈與其背景分割開，初步得到7個圓。然后進(jìn)行Canny邊緣檢測，尋找各個圓的輪廓。最后通過最小二乘圓法[11]對這些圓的輪廓進(jìn)行定位，確定它們的圓心，圓心即表示相應(yīng)的LED燈的位置。

如圖5所示為圖像預(yù)處理效果圖。其中圖5(a)為靶板原圖，圖5(b)為經(jīng)過形態(tài)學(xué)處理后的圖像，圖5(c)為閾值化后的圖像，圖5(d)為Canny邊緣檢測后再對靶板所在區(qū)域的放大圖。圖像預(yù)處理結(jié)果符合預(yù)期，對Canny邊緣檢測后的圖像用最小二乘圓法進(jìn)行目標(biāo)圓的定位，可得到亞像素級別的LED燈的圖像二維坐標(biāo)。

根據(jù)三維重建原理，通過相機(jī)標(biāo)定獲得的相機(jī)內(nèi)外參數(shù)，可以將圖像預(yù)處理獲得的LED燈的二維坐標(biāo)轉(zhuǎn)化為其對應(yīng)的三維坐標(biāo)。左右兩相機(jī)逐幀拍攝靶板圖像，然后基于OpenCV依次求得每幀圖像中靶板上LED燈的三維坐標(biāo)，獲得靶板的實時位置，初步測量過程中將靶板固定在鋪放機(jī)鋪放頭上，即可得到鋪放頭的X軸、Y軸和Z軸的實時數(shù)據(jù)。

3 實驗及結(jié)果分析

根據(jù)設(shè)計要求，搭建了如圖7所示的實驗平臺，主要包括視覺測量系統(tǒng)和龍門式碳纖維預(yù)浸帶鋪放機(jī)。其中，視覺測量系統(tǒng)包括左右兩相機(jī)和裝有靶板的鋪放頭，從上到下、從左到右依次將靶板上各個LED燈標(biāo)記為LED1、LED2、LED3、LED4、LED5、LED6和LED7。實驗前，通過相機(jī)標(biāo)定將兩相機(jī)各自的內(nèi)參數(shù)矩陣和兩相機(jī)之間的外參數(shù)矩陣標(biāo)定好，并保存在PC機(jī)中，以便實驗時調(diào)用。

圖7 視覺測量系統(tǒng)試驗平臺

啟動鋪放機(jī)，手動控制鋪放頭運(yùn)動，將鋪放頭調(diào)至兩相機(jī)的視場中間。通過鋪放頭視覺測量系統(tǒng)對靶板上的7個LED燈重復(fù)測量100次，獲得LED燈的三維坐標(biāo)，記為(x,y,z)。將各個LED燈后一次的測量值與其前一次的做差，得到各個LDE燈的三維坐標(biāo)的重復(fù)性精度，如表1所示。

表1 各個LED燈三維坐標(biāo)的重復(fù)性精度 mm

故視覺測量系統(tǒng)的總體靜態(tài)重復(fù)性精度約為0.1 mm。為了進(jìn)一步研究視覺測量系統(tǒng)的性能，接下來研究該系統(tǒng)的動態(tài)測量精度。

不管靶板如何隨鋪放頭運(yùn)動，靶板上的相鄰LED燈的間距都是50 mm。通過相鄰LED燈的間距可以間接確定視覺測量系統(tǒng)的測量誤差，相鄰LED燈的間距可以通過式(8)求得：

(8)

式中:d12為LED1與LED2的間距；(x1,y1,z1)為LED1的三維坐標(biāo)；(x2,y2,z2)為LED2的三維坐標(biāo)。以此類推，還可分別求得d23、d14、d45、d56和d67。

保持兩相機(jī)的位置不變，手動控制鋪放機(jī)鋪放頭在兩相機(jī)的視場內(nèi)運(yùn)動。視覺測量系統(tǒng)首先進(jìn)行圖像采集，兩相機(jī)隨機(jī)拍攝鋪放頭運(yùn)動過程中的5個位置的靶板圖像。需要注意的是，必須保證兩相機(jī)同時拍攝某一時刻的靶板圖像，若拍攝得到的圖像中的紅外LED燈的特征不明顯，還可以在兩相機(jī)鏡頭前加一塊濾光片，以初步剔除波長為650 nm的紅外光之外的可見光，保證獲得的圖像質(zhì)量。接著對靶板圖像分別進(jìn)行圖像預(yù)處理，并結(jié)合相機(jī)標(biāo)定結(jié)果，通過三維重建分別求得鋪放頭的5個位置信息。然后通過式(8)將該位置信息轉(zhuǎn)化為兩兩LED燈的間距，再將測得的間距與其實際間距50 mm做差并取絕對值，從而間接獲取視覺測量系統(tǒng)的動態(tài)測量誤差如表2所示。

表2 視覺測量系統(tǒng)的動態(tài)測量誤差 mm

由表2可知，視覺測量系統(tǒng)的總體動態(tài)測量誤差在0.8 mm左右。為了進(jìn)一步驗證視覺測量系統(tǒng)的可行性，通過視覺測量系統(tǒng)來測量鋪放頭運(yùn)動的位移。

保持兩相機(jī)的位置不變，手動控制鋪放機(jī)鋪放頭在兩相機(jī)的視場內(nèi)緩慢運(yùn)動，視覺測量系統(tǒng)分別拍攝靶板在其中兩位置的圖像，并求得各個LED燈對應(yīng)的三維坐標(biāo)。將同一LED燈在這兩位置的三維坐標(biāo)相減，獲得鋪放頭在這兩位置的測量位移。將在鋪放機(jī)控制界面顯示的這兩位置的三維坐標(biāo)相減，得到鋪放頭在這兩位置的實際位移。任意選取6個位置以測得兩兩位置間的位移，則可獲得鋪放頭的5組位移數(shù)據(jù)，如表3所示。

表3 視覺測量系統(tǒng)的位移測量 mm

表3中，視覺測量系統(tǒng)的總體位移測量誤差在1 mm左右。綜上所述，視覺測量系統(tǒng)的重復(fù)性精度和測量誤差都在可接受的范圍內(nèi)，該系統(tǒng)達(dá)到了設(shè)計要求，可以實時獲取鋪放頭的位置，從而提高鋪放設(shè)備的自動化程度，以取代人工鋪放。

4 結(jié)論

為了提高自動鋪放機(jī)的自動化程度，將機(jī)器視覺技術(shù)應(yīng)用到自動鋪放機(jī)中，初步搭建了鋪放頭的視覺測量系統(tǒng)。對系統(tǒng)中重要硬件進(jìn)行了選型，并選擇了方便該測量系統(tǒng)后續(xù)發(fā)展的連接方式。基于OpenCV編寫了測量軟件，實現(xiàn)了相機(jī)標(biāo)定、圖像預(yù)處理和三維重建。最后搭建了實驗系統(tǒng)對視覺測量系統(tǒng)進(jìn)行了相關(guān)實驗，結(jié)果證明該系統(tǒng)可以實時獲取鋪放頭的位置。