微電子封裝位置在線實(shí)時(shí)圖像識(shí)別算法研究

李長(zhǎng)有，王文華，商靜瑜，賈明明

河南理工大學(xué)機(jī)械與動(dòng)力工程學(xué)院，河南焦作 454003

微電子封裝位置在線實(shí)時(shí)圖像識(shí)別算法研究

李長(zhǎng)有，王文華，商靜瑜，賈明明

河南理工大學(xué)機(jī)械與動(dòng)力工程學(xué)院，河南焦作 454003

1 引言

隨著計(jì)算機(jī)技術(shù)的飛速發(fā)展，機(jī)器視覺(jué)技術(shù)在自動(dòng)化領(lǐng)域應(yīng)用越來(lái)越普遍[1-9]。利用機(jī)器視覺(jué)來(lái)模仿人類視覺(jué)并進(jìn)行信息提取、分析，最終實(shí)現(xiàn)檢測(cè)、識(shí)別、控制等功能是微電子封裝行業(yè)的發(fā)展趨勢(shì)[10]。本研究利用機(jī)器視覺(jué)技術(shù)對(duì)FC-D30電路板的芯片封裝位置進(jìn)行識(shí)別，在能夠正確識(shí)別封裝位置的基礎(chǔ)上，識(shí)別算法應(yīng)簡(jiǎn)潔有效避免大量運(yùn)算，充分發(fā)揮流水線作業(yè)的優(yōu)勢(shì)。

2 算法流程分析

FC-D30電路板封裝位置識(shí)別算法流程圖如圖1所示。

圖1 算法流程圖

3 機(jī)器視覺(jué)硬件系統(tǒng)

本文的機(jī)器視覺(jué)硬件系統(tǒng)包括CCD攝像機(jī)、計(jì)算機(jī)、傳送帶平臺(tái)、支架等。攝像設(shè)備采用ST130C-H型彩色工業(yè)數(shù)字?jǐn)z像機(jī)，USB高速數(shù)字輸出，可直接利用計(jì)算機(jī)接收數(shù)據(jù)，最大分辨率為1 280×960，計(jì)算機(jī)可編程控制其曝光時(shí)間、亮度、增益等參數(shù)。電路板彩色圖像及芯片封裝位置如圖2所示。

圖2 電路板彩色圖像及芯片封裝位置

4 圖像灰度特征分析

4.1 圖像灰度化算法研究

現(xiàn)在大部分圖像都是RGB彩色模式，而在圖像處理時(shí)為了更好地反應(yīng)其形態(tài)特征及方便后續(xù)的識(shí)別、測(cè)量等，都需要將采集來(lái)的彩色圖像轉(zhuǎn)換為灰度圖像[11]?；叶然惴ㄖ饕校壕€性變換法、非線性變換法[12]。單一分量法、平均值法、加權(quán)平均值法屬于線性變換，其計(jì)算公式為：

式中，g為灰度圖像中某個(gè)像素的灰度值，R、G、B分別為彩色圖像中對(duì)應(yīng)像素的紅、綠、藍(lán)分量，WR、WG、WB分別為紅、綠、藍(lán)分量的權(quán)值。平均值算法最為常用，取WR=WG=WB=1/3，利用平均值法灰度化如圖3所示，圖像對(duì)比度低，封裝位置所在圓與背景灰度值相似度高，不利于圖像分割等處理。

圖3 平均值法灰度圖

通過(guò)分析圖像顏色特征得出：封裝位置紅色分量值較高，而背景綠色分量值較高。所以利用單一分量法取WR= 1、WG=0、WB=0，只提取R分量灰度化，同時(shí)單一分量法只考慮一種分量，只有賦值運(yùn)算，運(yùn)算速度快。R分量灰度圖如圖4所示，可較好地分辨出封裝位置和背景。加權(quán)平均值法、非線性變換法有利于保持圖像邊緣信息但與單一分量法相比，較為復(fù)雜不利于實(shí)時(shí)性要求。

圖4 R分量灰度圖

4.2 圖像灰度直方圖分析

平均值法灰度直方圖如圖5所示，R分量灰度直方圖如圖6所示。由直方圖對(duì)比分析得出：平均值法灰度化后的圖像縮小了前景與背景的差別，降低了圖像分辨率，不利于圖像識(shí)別。R分量灰度直方圖曲線雙峰之間谷值明顯，正確分割開(kāi)了前景與背景，適合進(jìn)行閾值分割等圖像處理。

圖5 平均值法灰度直方圖

圖6 R分量灰度直方圖

4.3 迭代法閾值分割

從本質(zhì)上看，閾值分割方法基本上可以分為六大類[13]：基于熵的方法、基于聚類的方法、基于直方圖形態(tài)的方法、基于目標(biāo)屬性的方法、空間方法、和局部方法。利用迭代法求最佳分割閾值屬于直方圖形態(tài)法，其步驟如下：

（1）求出圖像的最大灰度值和最小灰度值，分別記為Max和Min，令初始閾值(i=0)：Ti=(Max+Min)/2。

（2）根據(jù)閾值Ti將圖像分割為前景和背景，分別求出兩者的平均灰度值Z0和ZB。

（3）求出新的閾值：Ti+1=(Z0+ZB)/2。

（4）若Ti=Ti+1，則所得即為閾值；否則i=i+1轉(zhuǎn)步驟（2）繼續(xù)迭代計(jì)算。

由于灰度直方圖峰、谷分布趨勢(shì)基本一致，利用迭代法計(jì)算的最佳閾值可正確分割前景和背景，因此可利用所求閾值將圖像二值化。經(jīng)過(guò)閾值分割后的二值圖像去除了大量背景信息，完整保留了前景中的封裝位置。閾值分割后的二值圖像如圖6所示。

5 封裝位置識(shí)別

5.1 圖像平滑

圖像平滑濾波的方法主要有空域法和頻域法兩大類[14]。中值濾波是一種常用的非線性空域平滑濾波法，它在消除干擾噪聲的同時(shí)，能夠較好地保持圖像的細(xì)節(jié)，防止圖像邊緣部分變得模糊。設(shè)一個(gè)奇數(shù)像素窗口W，其中間位置的原灰度值為f(x,y)，平滑后窗口中心的新灰度值為g(x,y)，即

通過(guò)分析實(shí)驗(yàn)，最終選取二維的3×3模板作為中值濾波器，圖像平滑步驟為：

（1）將二維的3×3模板在圖中漫游，并將模板中心與某個(gè)像素位置重合；

（2）讀取模板下各對(duì)應(yīng)像素的灰度值；

（3）將模板對(duì)應(yīng)像素灰度值從小到大排序；

（4）選取序列里排在中間的1個(gè)像素的灰度值；

（5）將這個(gè)中間值賦值給對(duì)應(yīng)3×3模板中心位置的像素作為像素的灰度值。

圖像平滑處理后的結(jié)果如圖8所示，與圖7對(duì)比可以看出，平滑后的圖像基本已無(wú)小噪聲區(qū)域和孔洞區(qū)域，所以平滑處理對(duì)后期的邊緣提取工作是非常必要的。

圖7 閾值分割后的二值圖像

圖8 圖像平滑后的二值圖像

5.2 邊緣提取

如圖8所示，二值圖像邊緣附近的亮度變化較大，所以可以把在鄰域內(nèi)灰度超過(guò)某個(gè)值的像素點(diǎn)當(dāng)做邊緣點(diǎn)。常用的邊緣提取算子有Roberts、Sobel、Prewitt、Laplacian、Canny等[15]，其特點(diǎn)及提取二值圖像邊緣所用時(shí)間如表1所示。

表1 常用邊緣提取算子的特點(diǎn)及提取邊緣所用時(shí)間

由表1可知，Laplacian、Canny算子較為復(fù)雜，提取邊緣所用時(shí)間較長(zhǎng)，無(wú)法滿足算法的實(shí)時(shí)性要求。Roberts、Sobel、Prewitt算子提取邊緣所用時(shí)間相差不多，但Roberts算子檢測(cè)到的結(jié)果出現(xiàn)了微量偏移，Prewitt算子有些細(xì)節(jié)邊緣未檢測(cè)到，所以兩者并不適用。

在實(shí)際點(diǎn)膠封裝過(guò)程中，圖像獲取過(guò)程的光照背景變化和干擾噪聲比較小，并選取黑色傳送帶為背景。經(jīng)過(guò)實(shí)驗(yàn)得出：Sobel算子可以快速、完整地提取到邊緣輪廓。Sobel算子提取邊緣后的圖像如圖9所示。

圖9 Sobel算子提取邊緣后的圖像

5.3 Hough變換識(shí)別圓

在數(shù)字圖像處理技術(shù)中，Hough變換廣泛應(yīng)用于對(duì)圓的識(shí)別，而且具有識(shí)別率高、抗噪性強(qiáng)、對(duì)不完整邊緣具有魯棒性等優(yōu)點(diǎn)[16]。根據(jù)Hough變換原理，在極坐標(biāo)的ρθ參數(shù)平面，通過(guò)Hough變換，將圖像空間(x,y)對(duì)應(yīng)到參數(shù)空間(a,b,r)。由于Hough變換計(jì)算量大，所用時(shí)間長(zhǎng)，所以傳統(tǒng)的Hough算法實(shí)時(shí)性較差。

當(dāng)攝像機(jī)位置固定以后，電路板與攝像機(jī)的垂直距離恒定，采集到的圖像大小也不變，因此可通過(guò)人工測(cè)量被檢測(cè)圓直徑r，將Hough變換累加器從三維降為二維。二維變換將在很大程度上減少計(jì)算量，提高識(shí)別速度，保證算法具有良好的實(shí)時(shí)性。Hough變換識(shí)別結(jié)果如圖10所示，已準(zhǔn)確識(shí)別出封裝位置所在圓及圓心坐標(biāo)。

圖10 Hough變換識(shí)別圓結(jié)果圖

5.4 確認(rèn)識(shí)別結(jié)果

將Hough變換識(shí)別結(jié)果與原彩色圖像進(jìn)行疊加后的圖像如圖11所示。重疊圖像表明：識(shí)別結(jié)果與實(shí)際封裝位置吻合，定位誤差僅有1個(gè)像素，滿足實(shí)際點(diǎn)膠精度要求?？蓪⒆R(shí)別出的圓心坐標(biāo)按照指定協(xié)議發(fā)送給運(yùn)動(dòng)控制機(jī)構(gòu)完成點(diǎn)膠封裝的工作。

圖11 識(shí)別結(jié)果與原彩色圖像進(jìn)行疊加

6 結(jié)論

綜上所述，在保證FC-D30電路板印刷質(zhì)量的前提下，運(yùn)用機(jī)器視覺(jué)技術(shù)可以準(zhǔn)確、快速、靈活地對(duì)微電子封裝位置進(jìn)行識(shí)別，滿足微電子封裝的準(zhǔn)確性和流水線點(diǎn)膠的實(shí)時(shí)性。而且機(jī)器視覺(jué)技術(shù)為非接觸式定位，避免了在微電子封裝過(guò)程中可能對(duì)芯片造成的損傷，定位精度高，實(shí)時(shí)效果好，具有較強(qiáng)的理論價(jià)值和實(shí)際應(yīng)用價(jià)值。

[1]Makky M，Soni P.Development of an automatic grading machine for oil palm Fresh Fruits Bunches（FFBs）based on machine vision[J].Computers and Electronics in Agriculture，2013，93：129-139.

[2]Zhang Chen，Zhang Jilin.On-line tool wear measurement for ball-end milling cutter based on machine vision[J].Computers in Industry，2013，64（6）：708-719.

[3]Omid M，Soltani M，Dehrouyeh M H，et al.An expert egg grading system based on machine vision and artificial intelligence techniques[J].Journal of Food Engineering，2013，118（1）：70-77.

[4]Tong Jun H，Li Jiang B，Jiang Huan Y.Machine vision techniques for the evaluation of seedling quality based on leaf area[J].Biosystems Engineering，2013，115（3）：369-379.

[5]Liu Yingjie，You Fucheng.Postmark date recognition based on machine vision[J].Physics Procedia，2012，33：819-826.

[6]Ata? M，Yardimci Y，Temizel A.A new approach to aflatoxin detection in chili pepper by machine vision[J].Computers and Electronics in Agriculture，2012，87：129-141.

[7]Zhang Wenchang，Mei Jiangping，Ding Yabin.Design and development of a high speed sorting system based on machine vision guiding[J].Physics Procedia，2012，25：1955-1965.

[8]Tian Yuanyuan，Liu Siyang，Tan Qingchang.Application of detecting part’s size online based on machine vision[J].Energy Procedia，2012，16：1948-1956.

[9]章煒.機(jī)器視覺(jué)技術(shù)發(fā)展及其工業(yè)應(yīng)用[J].紅外，2006，27（2）：11-17.

[10]孫道恒，高俊川，杜江，等.微電子封裝點(diǎn)膠技術(shù)的研究進(jìn)展[J].中國(guó)機(jī)械工程，2011，22（20）：2513-2519.

[11]張全法，楊海彬，任朝棟，等.彩色圖像的快速高保真灰度化方法研究[J].鄭州大學(xué)學(xué)報(bào)：理學(xué)版，2011，43（3）：66-69.

[12]劉慶祥，蔣天發(fā).彩色與灰度圖像間轉(zhuǎn)換算法的研究[J].武漢理工大學(xué)學(xué)報(bào)：交通科學(xué)與工程版，2003，27（3）：344-346.

[13]謝勰，王輝，張雪鋒.圖像閾值分割技術(shù)中的部分和算法綜述[J].西安郵電學(xué)院學(xué)報(bào)，2011，16（3）：1-5.

[14]安寧，林樹(shù)忠，劉海華，等.圖像處理方法研究及其應(yīng)用[J].儀器儀表學(xué)報(bào)，2006，27（z1）：792-793.

[15]文婷，周激流，何坤.基于圖像特征的邊緣檢測(cè)[J].計(jì)算機(jī)工程與應(yīng)用，2011，47（12）：189-191.

[16]朱桂英，張瑞林.基于Hough變換的圓檢測(cè)方法[J].計(jì)算機(jī)工程與設(shè)計(jì)，2008，29（6）：1462-1464.

LI Changyou,WANG Wenhua,SHANG Jingyu,JIA Mingming

School of Mechanical and Power Engineering,Henan Polytechnic University,Jiaozuo,Henan 454003,China

This paper proposes an online real-time image recognition algorithm for pipeline microelectronic dispensing package location.The color characteristics of the package location circle are analyzed.TheRcomponent is extracted to do image gray.Iterative method is used to do threshold segmentation of gray image in order to remove the complex background and obtain binary image.Median filter is used to smooth the binary image to eliminate the noise after segmentation.Sobel operator is used to obtain edge information.The center of circle which is to be identified in the edge information is found out through Hough transform. Then package location is identified.The experimental results show that,machine vision technology can position the microelectronic packaging location quickly and accurately,with a good theoretical and practical value.

machine vision;microelectronic packaging;image processing;Hough transform

提出一種針對(duì)流水線上微電子點(diǎn)膠封裝位置的在線實(shí)時(shí)圖像識(shí)別算法。通過(guò)對(duì)封裝位置所在圓的顏色特征分析，提取R分量進(jìn)行圖像灰度化，采用迭代法對(duì)灰度圖像進(jìn)行閾值分割去除復(fù)雜背景得到二值圖像，利用中值濾波法平滑二值圖像消除分割后的噪聲，運(yùn)用Sobel算子提取邊緣獲得邊緣信息，利用Hough變換找出邊緣信息中待識(shí)別圓的中心位置，完成對(duì)封裝位置的檢測(cè)。實(shí)驗(yàn)結(jié)果表明，利用機(jī)器視覺(jué)技術(shù)可以快速、準(zhǔn)確地對(duì)微電子封裝位置進(jìn)行定位，具有很好的理論和實(shí)際應(yīng)用價(jià)值。

機(jī)器視覺(jué)；微電子封裝；圖像處理；Hough變換

A

TP273

10.3778/j.issn.1002-8331.1306-0265

LI Changyou,WANG Wenhua,SHANG Jingyu,et al.Detection algorithm research of online real-time microelectronics packaging position.Computer Engineering and Applications,2013,49（24）：149-151.

河南省重點(diǎn)科技攻關(guān)項(xiàng)目（No.0721002210033）；河南省教育廳科學(xué)技術(shù)研究項(xiàng)目（No.2009B460004）。

李長(zhǎng)有（1964—），男，博士，教授，研究領(lǐng)域?yàn)闄C(jī)器視覺(jué)與自動(dòng)化控制；王文華（1986—），男，碩士，研究領(lǐng)域?yàn)闄C(jī)器視覺(jué)與自動(dòng)化控制；商靜瑜（1987—），女，碩士，研究領(lǐng)域?yàn)樘胤N加工與測(cè)控技術(shù)；賈明明（1987—），男，碩士，研究領(lǐng)域?yàn)闇y(cè)控技術(shù)與裝備。E-mail：wwhgigi@163.com

2013-06-24

2013-09-11

1002-8331（2013）24-0149-03

CNKI出版日期：2013-10-11http://www.cnki.net/kcms/detail/11.2127.TP.20131011.1653.007.html