寇冠中，羅兵

（五邑大學 信息工程學院，廣東 江門 529020）

焊膏機器視覺測厚儀圖像采集模塊設(shè)計

寇冠中，羅兵

（五邑大學 信息工程學院，廣東 江門 529020）

用結(jié)構(gòu)光投影進行機器視覺三維測量可以快速有效檢測電子產(chǎn)品貼片生產(chǎn)線焊膏印刷質(zhì)量，其中圖像采集系統(tǒng)的設(shè)計是主要環(huán)節(jié). 論文通過選取合適的攝像機、鏡頭和投影儀，建立了焊膏圖像三維測量系統(tǒng)，并通過標定板完成對圖像采集系統(tǒng)的準確標定. 實驗表明，設(shè)計的圖像采集系統(tǒng)和標定能夠滿足焊膏三維檢測精度的要求.

焊膏測厚儀；圖像采集；機器視覺；攝像機標定；相位測量輪廓術(shù)

采用表面貼片安裝技術(shù)（Surface Mounted Technology，SMT）安裝印刷電路板（PCB），既可減小元器件的尺寸、提高集成度，又能提高生產(chǎn)水平，因而使用廣泛，但目前國內(nèi)的SMT存在著自動質(zhì)量檢測速度低于貼片速度、準確度低等問題[1]. 焊膏印刷在SMT生產(chǎn)線的開始階段，80%以上的電子產(chǎn)品質(zhì)量缺陷都因焊膏印刷的質(zhì)量缺陷引起[2]，因此對焊膏印刷質(zhì)量進行檢測和控制可以大大降低返修成本、提高產(chǎn)品的合格率和可靠性. 目前，SMT焊膏檢測技術(shù)多被國外公司壟斷，相關(guān)設(shè)備價格高昂. 為了掌握貼片生產(chǎn)線自動檢測技術(shù)的自主知識產(chǎn)權(quán)，教育部和廣東省產(chǎn)學研項目立項進行貼片安裝生產(chǎn)線焊膏印刷質(zhì)量在線三維檢測儀的研制，本文研究了焊膏測厚儀圖像采集模塊的設(shè)計、標定和采集圖像的校正.

1 焊膏測厚儀的測量原理

貼片生產(chǎn)線在多個生產(chǎn)環(huán)節(jié)上都需要進行在線質(zhì)量檢測，對處于SMT生產(chǎn)線開始階段的焊膏印刷，其檢測需要進行位置、面積等參數(shù)的二維檢測，還需要進行厚度、體積、形狀的三維檢測.

基于面結(jié)構(gòu)光的光柵投影相位測量輪廓術(shù)（PMP）在三維測量和三維重建中得到了廣泛應(yīng)用.[3]PMP應(yīng)用于焊膏三維檢測，其檢測精度可以達到：水平誤差＜20 μm，厚度誤差＜1 μm，體積誤差≤10%，在誤檢率≤5%、漏檢率≤1‰時，檢測速度≥20 cm2/s.[2]192

焊膏三維檢測系統(tǒng)簡稱焊膏測厚儀，系統(tǒng)的硬件結(jié)構(gòu)主要包括光柵投影部分和圖像采集部分，實際生產(chǎn)中還需要精確的X-Y移動平臺和運動控制部分. 本文初步建立的焊膏測厚儀實驗系統(tǒng)如圖1所示.

投影儀使用LED光源的數(shù)字光處理技術(shù)（DLP）投影儀，投影光柵由設(shè)計軟件控制，選取亮度呈正弦變化的灰度光柵作為面結(jié)構(gòu)投影光源. 投影儀與圖像采集相機之間有一個夾角，PMP就是利用采集的圖像中被測物體對投影光源的調(diào)制，以采集圖像的灰度變化來計算調(diào)制的相位變化，最后計算得到三維高度.

通過相位移動，投影光柵采集得到的4幅圖像數(shù)據(jù)如下：

圖1 焊膏三維測量實驗系統(tǒng)

其中，Ii(x,y)為第i次采集得到的圖像上(x,y)點的灰度值；IB(x,y)為圖像上(x,y)點與投影無關(guān)的背景灰度值；IR(x,y)為圖像上(x,y)點與投影有關(guān)的反射光灰度值；φ(x,y)為圖像上(x,y)點對光柵投影的調(diào)制相位值.

通過4幅相位移動光柵投影采集的圖像可以計算出圖像上各點對光柵的調(diào)制相位，即：

2 圖像采集系統(tǒng)的設(shè)計

圖像采集系統(tǒng)將被測量對象反射的光線通過鏡頭折射在數(shù)字相機的像平面形成圖像，并轉(zhuǎn)換為數(shù)字電信號. 硬件部分主要包括數(shù)字相機、鏡頭和其他附加設(shè)備.

2.1 采集圖像分辨率和視野大小的確定

焊膏測厚儀要求水平精度不超過20 μm，則采集圖像分辨率設(shè)計為20 μm/像素.

一幅圖像的視野大小（FOV）要考慮圖像采集的畸變、數(shù)據(jù)量的大小、處理速度和圖像采集系統(tǒng)的移動等諸多因素. 在分辨率一定的情況下，F(xiàn)OV越大，則要求數(shù)字相機的像素越高，圖像的數(shù)據(jù)量也越大，由此導(dǎo)致的畸變也越大[3]47. 根據(jù)國外焊膏檢測設(shè)備的參數(shù)和貼片后機器視覺檢測的設(shè)計經(jīng)驗，選擇FOV為30mm×40mm左右，則要求采集圖像的像素數(shù)為：1500×2000=300萬.

2.2 數(shù)字相機的選型

機器視覺圖像采集系統(tǒng)的核心是數(shù)字相機，它實質(zhì)上是數(shù)字光傳感器，主要有CCD和CMOS兩種類型. 焊膏測厚儀要求高靈敏度和高分辨率，因此選擇CCD傳感器. 目前常用的CCD尺寸有1/3英寸、1/2英寸和2/3英寸幾種規(guī)格，一般超過2/3英寸的CCD成本高、制造工藝要求高且質(zhì)量難以保證，故選擇2/3英寸的CCD相機. 根據(jù)設(shè)計的FOV大小要求，數(shù)字相機應(yīng)大于300萬像素，因此選擇像素1 680×2 048左右的CCD相機.

2.3 光學鏡頭的選型

光學鏡頭是影響圖像采集質(zhì)量的最重要因素. 在光學鏡頭對圖像光線的折射中，畸變等光學瑕疵在鏡頭邊緣更嚴重，所以鏡頭的口徑尺寸一定要大于或等于CCD的尺寸[3]28. 為此選擇鏡頭尺寸為2/3英寸，最低分辨率為25對線/mm. 2/3英寸的CCD實際尺寸為6.6mm×8.8mm，對于30mm×40mm的FOV，計算得到的鏡頭放大倍數(shù)為1:4.5[3]61. 為減小采集圖像的畸變，也可考慮采用遠心鏡頭.

2.4 附加偏振片的設(shè)計

為了減少焊膏和PCB的鏡面反射光線對檢測的影響，可在圖像采集系統(tǒng)的數(shù)字相機前加上偏振片，通過調(diào)整偏振片的方向來抑制過強的鏡面反射光線.

3 圖像采集系統(tǒng)的標定

根據(jù)機器視覺系統(tǒng)采集的圖像數(shù)據(jù)測量焊膏的三維信息，必須準確建立所采集的圖像數(shù)據(jù)和實際物體對象間的成像模型. 由于圖像采集系統(tǒng)不可避免地存在幾何畸變，因此校正幾何畸變并得到檢測對象的世界坐標就是圖像采集系統(tǒng)的標定工作[3]255-261.

標定中首先要確定圖像采集系統(tǒng)的全部參數(shù)，包括系統(tǒng)內(nèi)部的幾何和光學特性，即內(nèi)參數(shù)，以及攝像機坐標系相對于空間坐標系的位置關(guān)系，即外參數(shù). 確定參數(shù)后，根據(jù)采集的圖像進行校正，并計算得到測量對象的世界坐標.

3.1 圖像采集系統(tǒng)的成像模型及模型參數(shù)

機器視覺圖像采集中用到4個坐標系：圖像坐標系ICS(r,c)、成像平面坐標系IPCS(u＇,v＇)、攝像機坐標系CCS(xc,yc,zc)和世界坐標系WCS(xw,yw,zw)[4]. 機器視覺采集得到的圖像數(shù)據(jù)是直接用圖像坐標系表示的，即圖像上的像素行和列位置(r,c)，而被測物體對象的客觀位置、大小、相互關(guān)系必須通過世界坐標系(xw,yw,zw)才能正確描述. 這2個坐標系間的轉(zhuǎn)換要通過攝像機坐標系和成像平面坐標系.

世界坐標系與攝像機坐標系間的轉(zhuǎn)換是一種平移加旋轉(zhuǎn)的變換：

其中，R是旋轉(zhuǎn)矩陣，與這2個坐標系間沿3個軸的旋轉(zhuǎn)角度有關(guān)，T是平移矩陣. 3個旋轉(zhuǎn)角度和3個平移分量共6個參數(shù)(α,β,γ,tx,ty,tz)稱為成像系統(tǒng)或圖像采集系統(tǒng)的外參數(shù).

圖像像素坐標系ICS(r,c)和成像平面坐標系IPCS(u＇,v＇)的轉(zhuǎn)化是一個離散化和平移的過程，ICS以圖像左上角為原點，圖像的行、列分別為r軸和c軸，以整數(shù)像素為坐標單位；IPCS以光軸與相機像平面的交點為原點，2根坐標軸分別平行于ICS中的坐標軸，以物理尺寸為坐標單位. 2個坐標系間的轉(zhuǎn)換關(guān)系為：

其中，sr,sc分別是每像素的物理寬、高尺寸，(r0,c0)是光軸與像平面交點在圖像像素坐標系ICS中的坐標.

采用非遠心鏡頭時，可以認為圖像采集系統(tǒng)的成像模型是小孔成像模型[3-4]. 根據(jù)光學成像原理，不考慮鏡頭畸變，攝像機坐標系CCS中物體在成像平面坐標系IPCS中成像為(u,v)，其成像模型為：

其中，f是鏡頭光心到相機成像平面的距離. 在鏡頭折射成像過程中存在幾何畸變，成像平面坐標系IPCS中的(u,v)畸變?yōu)?u＇,v＇)，畸變模型為：

其中，k為反應(yīng)鏡頭徑向畸變程度的參數(shù).

這樣由式（4～6）可以將圖像由圖像像素坐標系變換并校正到攝像機坐標系，再根據(jù)式（3）得到世界坐標系坐標，其中的6個參數(shù)(f,k,sr,sc,r0,c0)稱為圖像采集系統(tǒng)的內(nèi)參數(shù). 這樣，系統(tǒng)的標定就轉(zhuǎn)化為求它的6個外參數(shù)和6個內(nèi)參數(shù).

3.2 圖像采集系統(tǒng)的參數(shù)標定

圖2-a為采集的徑向畸變的圖像. 使用7行7列直徑為2 mm的黑色圓點、相鄰圓點邊界間距離也為2 mm的標準標定塊進行圖像采集系統(tǒng)的參數(shù)標定，結(jié)果如圖2-b所示.

圖2 圖像采集中的幾何畸變與校正

記Mi為標定標記點在世界坐標系中的坐標，f(Mi,c)為對應(yīng)的畸變后的圖像在世界坐標系中的坐標，c=(f,k,sx,sy,cx,cy,α,β,γ,tx,ty,tz)為成像系統(tǒng)的12個參數(shù). 參數(shù)標定就是求解下列最優(yōu)化問題[5]：

其中K=4×7×7=196是標定板中對應(yīng)標記點的個數(shù)，即各橢圓點最小外接四邊形的頂點.

由于優(yōu)化參數(shù)太多，用解析法求解式（7）并不容易，經(jīng)典的方法有Tsai兩步法和Zhang Z.Y.基于二維平面靶標的參數(shù)標定方法[6]. 在迭代標定過程中，內(nèi)參數(shù)的優(yōu)化初始值一般可以在相機和鏡頭說明書中得到，外參數(shù)可以通過幾何學分析或求解少數(shù)標定標記點得到[7].

3.3 畸變圖像的校正

由于機器視覺處理很多是基于離散的數(shù)字圖像進行的，但式（6）的畸變或校正模型是基于連續(xù)坐標系的，所以畸變參數(shù)k標定后，需要由畸變圖像f＇(u,v)進行校正得到無畸變的圖像f(u,v). f＇(u,v)表示畸變圖像中整數(shù)像素點(u,v)的灰度值，f(u,v)表示校正圖像中整數(shù)像素點(u,v)的灰度值.

校正需要先根據(jù)式（6）計算得出校正后圖像的各整數(shù)像素點(u,v)在畸變圖像中對應(yīng)的亞像素坐標(u＇,v＇)，然后由畸變圖像中(u＇,v＇)近鄰的4個整數(shù)像素點灰度進行雙線性插值得到f(u,v).[8]

3.4 圖像采集實驗

使用本文設(shè)計的圖像采集系統(tǒng)進行焊膏圖像采集和三維重建實驗. 光柵為每周期32像素的正弦光柵，投影分辨率為600像素×800像素. 采集的焊膏局部圖像分別如圖3-b、3-c、3-d、3-e所示，將這4幅圖像相加得到焊膏的總體灰度圖像如圖4-a所示.

圖3 待測焊膏及正弦光柵移相投影下采集到的焊膏局部圖像

根據(jù)PMP三維重建后，焊膏的三維圖像如圖4所示.

改變PCB方向的對比實驗表明，本文研究設(shè)計的圖像采集系統(tǒng)水平分辨率相對誤差小于20 μm，可以滿足精度要求. 三維高度可以反映出焊膏的高度，一般為100 μm左右，進行三維測量是可行的，但是由于投影系統(tǒng)的畸變和光柵的精度問題，我們測量得到的三維體積精度誤差大于10%，需要改善. 具體需要對投影儀進行精確標定，以校正投影光柵的幾何畸變和亮度不均勻的灰度畸變[9].

圖4 三維重建后的焊膏圖像

4 結(jié)束語

本文研究設(shè)計的圖像采集系統(tǒng)能滿足水平分辨率和精度要求，圖像灰度分辨率也能滿足系統(tǒng)三維測量的灰度要求，通過提高投影光柵的精度來提高三維測量精度是焊膏測厚儀下一步需要研究的內(nèi)容.

[1] 羅兵，章云. SMT焊膏印刷質(zhì)量自動光學檢測[J]. 電子質(zhì)量，2005(12): 30-32.

[2] LUO Bing, ZHANG LiYun. SMT solder paste deposit inspection based on 3D PMP and 2D image features fusion[C]//Proc of IEEE Int Conf on Wavelet Analysis and Pattern Recognition. Piscataway: IEEE, 2010: 190-194.

[3] STEGER C, ULRISH M, WIEDEMANN C. Machine vision algorithms and applications [M]. 北京：清華大學出版社，2008.

[4] 張廣軍. 視覺測量[M]. 北京：科學出版社，2008.

[5] 邱崧. 基于LED光源的DLP投影系統(tǒng)研究[D]. 上海：華東師范大學，2007: 16-28.

[6] ZHANG Zhengyou. A flexible new technique for camera calibration [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2000, 22(11): 1330-1334.

[7] ZHANG Song, HUANG Peisen. Phase error compensation for a 3-D shape measurement system based on the phase-shifting method [J]. Optical Engineering, 2007, 46(6): 1-9.

[8] LEGARDA-SAENZ R, BOTHE T, JUPTNER W P. Accurate procedure for the calibration of a structured light system[J]. Optical Engineering, 2004, 43(2): 464-471.

[9] 韋爭亮，鐘約先，袁朝龍，等. 單攝像機單投影儀三維測量系統(tǒng)標定技術(shù)[J]. 清華大學學報：自然科學版，2009, 49(2): 202-205.

Image Acquisition Designing for the Vision Thickness Gauge of the Solder Paste Machine

KOU Guan-zhong, LUO Bing
(School of Information Engineering, Wuyi University, Jiangmen 529020, China)

Structured light-based three-dimensional measurement can quickly and effectively detect solder paste defaults in the SMT assembly line. Image acquisition designing is an important part of the system, which is composed of properly selected cameras, lens and sinusoidal grating projector. Image acquisition subsystem calibration is also necessary and is determined by standard calibration blocks. Experiment results show that the designed image acquisition subsystem can satisfy the precision requirements of 3D measurement.

solder paste inspection; image acquisition; machine vision; camera calibration; phase measurement profilometry

TP216.1

A

1006-7302（2011）01-0050-06

2010-10-13

教育部廣東省產(chǎn)學研項目（2010B090400026）；江門市科技計劃項目（江財工【2010】210號）

寇冠中（1985—），男，山西太原人，碩士研究生，研究方向為機器視覺應(yīng)用；羅兵，副教授，博士，碩士生導(dǎo)師，通信作者，主要從事機器視覺和人工智能研究.