基于平面估計的三維測量相位展開新方法

羅 兵，薛 敏

(五邑大學 計算機學院，廣東 江門 529020)

?

基于平面估計的三維測量相位展開新方法

羅 兵，薛 敏

(五邑大學 計算機學院，廣東 江門 529020)

工業(yè)自動化生產(chǎn)中微米級的三維測量大多采用相位測量輪廓術，但其中現(xiàn)有的包裹相位展開方法容易受圖像噪聲和相位突變的干擾；在電路板貼片安裝的錫膏三維測量中，利用電路板的平面區(qū)域包裹相位信息進行平面估計，然后全局相位展開向擬合平面靠攏，根據(jù)統(tǒng)計信息確定參數(shù)，得到連續(xù)相位；利用展開后的相位再進行電路板平面的二次曲面擬合，提高基平面的擬合精度和相對高度；對比實驗證明了該方法的魯棒性和快速性，處理時間短，不受噪聲、相位突變、陰影等干擾。

相位展開；平面估計；三維測量；相位測量輪廓術；數(shù)字圖像處理

0 引言

在電子制造業(yè)的電路板上元件自動貼片安裝(SMT)生產(chǎn)環(huán)節(jié)中，需要對印刷的錫膏進行三維測量?；诠鈻磐队跋辔粶y量輪廓術(PMP)的三維測量方法因快速、準確、非接觸的特點而被用于此處的三維測量[1]。

PMP利用正弦光柵投影，然后分別采集多幅移相光柵投影下的圖像，按式(1)可計算得到測量對象各像素點的包裹相位[2]，由包裹相位展開得到展開相位，這個展開相位與各像素點的第三維高度有關，從而可得到三維信息[2]。

(1)

式中，φ(x,y)為像素點(x,y)處的包裹相位，Ii(x,y)分別為在不同相位的投影正弦光柵下采集圖像上點(x,y)處的灰度，投影光柵每次移相π/2。

PMP三維測量方法精度高、速度快、與測量對象非接觸、勿干擾，是工業(yè)自動化生產(chǎn)中常用的三維信息獲取方法。但是其中的包裹相位展開一直是影響測量精度和可靠性的一個難點[3]。包裹相位是由于正切函數(shù)的值域范圍和周期性導致的。由式(1)得到的包裹相位值域為[-π/2,π/2]，但實際測量對象的展開相位值域為(-∞,+∞)。根據(jù)式(1)中反正切函數(shù)的分子、分母的正負關系可將包裹相位的閾值擴展到[-π,π]，仍然需要根據(jù)式(2)將包裹相位φ0(x,y)展開得到展開相位φ(x,y)。

(2)

其中：n為整數(shù)，相位展開也就是確定各像素點處n的具體取值。

現(xiàn)有的PMP三維測量相位展開方法可分為局部路徑法和全局法。局部路徑法是在包裹相位圖上根據(jù)某個路徑上的相鄰像素的包裹相位差判斷是否需要加上(來進行展開，這類方法有原理法[3]、質量圖導向法[4]、參數(shù)圖導向法[5]等。局部路徑法速度快，但由于噪聲、投影陰影的影響，路徑在遇到這些特殊區(qū)域時會導致無法繼續(xù)展開下去而出錯。全局法是從全部展開相位考慮，使展開相位與實際相位的差最小化為目標，實際上是通過求展開相位的梯度，根據(jù)包裹相位梯度與展開相位的梯度最小范數(shù)來求解展開相位。全局法有最小二乘法[6]、最小費用流算法[7]和及其它智能優(yōu)化方法[8-9]等。全局法將單純的按一定路徑的相鄰像素的相位差判斷，轉化為多領域的梯度判斷，通過優(yōu)化問題求解，可以更好地克服噪聲、陰影的干擾。但是對于較大的陰影或遮擋區(qū)域仍然無法解決。

本文結合在電子制造業(yè)中電路板元件自動貼片安裝、檢測中對錫膏印刷質量三維測量時的具體環(huán)境特點，根據(jù)錫膏周邊存在平坦電路板的先驗條件，進行電路板平面估計，然后使展開相位與擬合平面的范數(shù)最小，并進一步根據(jù)展開相位進行二次曲面擬合來求解遮擋區(qū)域的基板三維信息。本文后續(xù)部分分別介紹電路板貼片安裝中的錫膏三維測量、結合電路板區(qū)域的全局相位展開、基于展開相位的二次曲面擬合，以及對比實驗。

1 貼片安裝生產(chǎn)線上的三維測量

早期SMT錫膏檢測是離線抽檢，采用激光三角法抽樣測量某個區(qū)域的三維高度，然后估計得到錫膏三維體積。隨著技術進步，美國、日本、臺灣、韓國先后開發(fā)了在線自動化錫膏印刷三維檢測儀，采用PMP技術進行印刷錫膏的三維測量和重建[10]。如圖1是電路板上安裝0604貼片電阻的印刷錫膏情況，左圖是電路板上的焊盤，右圖是放大后的一個焊盤。

圖1 0604貼片電阻的焊盤上印刷的錫膏

圖1的右圖可見焊盤上印刷的錫膏，尺寸大約為長：1.4 mm、寬1.0 mm、厚度0.15 mm，體積大約0.2 mm3。在電路板貼片安裝(SMT)自動化生產(chǎn)線的印刷錫膏三維檢測中，要求快速、可靠、準確、非接觸，并將精確的缺陷檢測數(shù)據(jù)反饋于設備的過程統(tǒng)計控制(SPC)。這樣對PMP三維測量的相位展開提出了更高的要求。由于不可避免存在的陰影、噪音等影響，傳統(tǒng)的質量圖導向法、最小二乘法等都存在可靠性不夠或速度慢的問題。

在該具體應用中，也研究提出了結合二維圖像信息的錫膏印刷質量檢測[11]，但是檢測的準確性不夠。在該PMP三維檢測應用中，每個被檢測的印刷錫膏周圍都存在大量的電路板平坦區(qū)域，利用該已知的平坦區(qū)域將有助于進行快速相位展開[12]。本文進一步研究了展開中的根據(jù)相位統(tǒng)計來確定平面的位置，并進行二次曲面擬合得到錫膏遮擋的基板平面，從而準確得到印刷錫膏的相對三維厚度。

2 結合圖像分割區(qū)域的全局相位展開

2.1 SMT印刷錫膏三維測量過程

在SMT印刷錫膏三維檢測中，主要有以下幾個步驟：

1)通過機器視覺對電路板MARK點的定位來對電路板進行定位；

2)根據(jù)檢測前確定的檢測路徑，移動相機和光柵投影組件對每個檢測區(qū)域進行光柵投影、圖像拍攝，并光柵移相、再次拍攝，共4次；

3)對拍攝的圖像進行處理，確定錫膏的二維面積、計算三維體積、形狀，判斷是否存在缺陷。

2.2 檢測對象的圖像分割處理

在本文設計的相位展開方法中，需要利用周邊的電路板信息，這就首先需要從圖像中分割出電路板區(qū)域。如圖2是一個集成電路(IC)引腳的焊盤及其上印刷的錫膏圖像，根據(jù)圖像灰度和鄰域關系，可以將電路板區(qū)域分割出來，并進行形態(tài)學的腐蝕處理，收縮區(qū)域避免邊界區(qū)域或噪聲區(qū)域的干擾，得到數(shù)據(jù)狀況較好的鄰近平坦電路板的區(qū)域，如圖3中的淺色區(qū)域P。

圖2 印刷了錫膏的IC引腳焊盤圖像

圖3 圖像分割和腐蝕后確定的電路板區(qū)域

2.3 電路板區(qū)域展開相位平面的估計

在本文設計的相位展開方法中，需要利用周邊的電路板信息，這就首先需要從圖像中分割出電路板區(qū)域。如圖2是一個集成電路(IC)引腳的焊盤及其上印刷的錫膏圖像，根據(jù)圖像灰度和鄰域關系，可以將電路板區(qū)域分割出來，并進行形態(tài)學的腐蝕處理，收縮區(qū)域避免邊界區(qū)域或噪聲區(qū)域的干擾，得到數(shù)據(jù)狀況較好的鄰近平坦電路板的區(qū)域，如圖3中的淺色區(qū)域P。

根據(jù)先驗知識知道：電路板平坦區(qū)域的展開相位近似是一個平面，假設其平面方程為φ(x,y)=ax+by+c。其中φ(x,y)為展開相位，x為圖像上某像素的水平像素位置，以圖像左下角為(0,0)位置，向右、向上為正方向。y就為圖像上某像素的垂直像素位置，a、b分別為展開相位平面的水平方向斜率和垂直方向斜率，c為平面的偏移量常數(shù)。

式(2)為展開相位與原始包裹相位的關系，其中，φ(x,y)為展開相位，φ0(x,y)為原始包裹相位，n為整數(shù)。

根據(jù)式(2)，電路板平坦區(qū)域的展開相位平面的斜率，與包裹相位的非周期跳變點處的斜率相同。由此，可以根據(jù)包裹相位估計得到展開相位平面的斜率。

按式(3)分別計算圖3中分割出的電路板平坦區(qū)域的每行相鄰像素間的原始包裹相位差。

(3)

其中：i=0, 1, …,m-2，j=0, 1, …,n-1，且像素(i,j)、(i+1,j)均屬于分割得出的電路板平坦區(qū)域。根據(jù)投影角度、光柵的周期和電路板的角度，先驗知識可知該斜率的大致取值范圍，如k0。根據(jù)計算得到(kij-k0)按照式(4)判斷相鄰的像素(i+1,j)與(i,j)間是否出現(xiàn)了包裹相位的周期跳變，并校正各kij。

(4)

根據(jù)P區(qū)域中的所有校正后的斜率kij進行平均作為假設的平面方程的估計行斜率a。類似得到估計列斜率b。

電路板展開相位平面的偏移量常數(shù)c需要根據(jù)展開后的相位來統(tǒng)計得到，先假設c=0，這樣得到電路板展開相位的估計平面方程如式(5)。

(5)

2.4 初次相位展開

按照式(6)將檢測區(qū)域各像素的包裹相位φ0(x,y)進行初次展開得到初次展開相位φ2(x,y)。展開具體算法為：調整式(6)中的整數(shù)n直到滿足式(7)的條件。

(6)

(7)

其中：φ1(x,y)為由式(5)得到的電路板區(qū)域估計相位平面的相位。

由于誤差、光柵投影的變形，平面的實際展開相位更接近二次曲面。同時，更由于電路板展開相位平面的偏移量常數(shù)c無法正確估計，會出現(xiàn)連續(xù)的平面被展開到不連續(xù)的區(qū)域，如圖4為一行檢測區(qū)域像素按上述方法進行初次相位展開后的結果。現(xiàn)在需要進行進一步的調整使該區(qū)域的展開相位連續(xù)起來。

圖4 檢測區(qū)域中一行像素的初次展開結果

2.5 相位估計平面的常數(shù)項確定

對整個電路板平坦區(qū)域各像素按上述方法展開后的相位進行統(tǒng)計，找出沒有像素分布的相位區(qū)域。為避免中間的偶然空隙影響，采用3種統(tǒng)計粒度分別進行統(tǒng)計，以找出統(tǒng)計分布值最小的相位區(qū)間。

圖5 初步展開后相位值的統(tǒng)計結果

圖6 調整后的連續(xù)展開相位

將檢測區(qū)域中初次展開相位φ2(x,y)

(8)

2.6 性能分析

1)由于本方法是全局方法，且基于電路板平坦區(qū)域，從而不受陰影區(qū)域、噪聲點的干擾，具有更好的相位展開可靠性。

2)估計的相位平面是根據(jù)整個檢測視野中電路板平坦區(qū)域的斜率均值，且估計的相位平面只是用于將全部像素點的相位向其靠攏，容許一定的誤差，并不會影響相位展開精度。

3)本算法計算量小，相位展開速度快。

4)由于光柵投影的變形，電路板平坦區(qū)域的實際相位更接近二次曲面，當處理面積過大后，曲面的彎曲導致實際值域超出2(，這是會導致第一次相位展開不連續(xù)，且統(tǒng)計不到分布為零的相位區(qū)域，從而無法調整得到連續(xù)的展開相位而出錯。解決辦法是縮小處理區(qū)域，將大的區(qū)域分塊進行處理。在實際檢測中，是對每個錫膏檢測對象分別進行處理，因而區(qū)域不會超出限制而出錯。

3 基于展開相位的二次曲面擬合

采用第2節(jié)的方法得到了檢測區(qū)域表面的展開相位，但是要測量錫膏的厚度需要得到錫膏表面的相對相位，即需要得到其基板的相位。一般的檢測方法都是采用基板與電路板平坦區(qū)域共面的原則進行基板相位估計的。

從電路板平坦區(qū)域的展開相位可以看到，其相位實際更接近二次曲面。平面擬合、二次曲面擬合和高次擬合的誤差分析也可以證明：二次擬合與高次擬合誤差已很接近，但比平面擬合誤差明顯減小。從計算量和精度綜合考慮，本文采用二次曲面擬合來求錫膏遮擋的基板相位。設電路板平面展開相位的二次曲面方程為式(9)。

φ(x,y)=c1x2+c2xy+c3y2+c4x+c5y+c6.

(9)

將其最小二乘擬合已展開相位φ3(x,y)，即通過求解式(10)的優(yōu)化問題來確定式(9)中的各項系數(shù)ci，(i=1,2,…,6)。

(10)

其中：φ3(x,y)為2.5節(jié)中式按(8)展開得到的相位，P為2.2節(jié)分割得到的電路板平坦區(qū)域。將式(10)中的d對各ci分別求偏導數(shù)并令偏導數(shù)等于零，可得到6個一次方程組如式(11)，求解該方程組可得到式(9)中各系數(shù)ci的值。

(11)

該二次曲面最小二乘擬合時只是利用了電路板平坦區(qū)域的展開相位值，錫膏區(qū)域則可以利用該擬合曲面作為錫膏遮擋了的基板的相位，以及陰影區(qū)域、噪聲區(qū)域的基板相位。將包括錫膏區(qū)域在內的展開相位φ3(x,y)減去二次擬合曲面φ(x,y)可得到檢測區(qū)域各像素點處的相對相位，并由此可進一步計算得到各處相對于電路板基板的三維厚度[13]。

4 實驗結果與分析

為了驗證本方法的可靠性和快速性，對SMT生產(chǎn)線上的實際印刷了錫膏的電路板產(chǎn)品進行錫膏體積測量對比實驗。測量對象包括0201元件焊盤、0402元件焊盤、PFP封裝IC引腳焊盤等，這些焊盤均已印刷了錫膏，共采集了10組不同F(xiàn)OV檢測區(qū)域的包裹相位數(shù)據(jù)，每個檢測區(qū)域圖像為1392×1040像素，分別從4個不同方向進行投影，對同一檢測對象采集四組不同投影方向下的圖像，根據(jù)式(1)計算包裹相位，然后分別用本文的方法和質量圖導向法[4]、最小二乘法[6]進行相位展開和三維體積計算對比。三維體積測量結果對比如表1所示，相位展開計算速度對比見表2。

相位展開和三維測量準確性的對比和驗證采取重復精度驗證的方法，即對相同的測量對象，從4個不同角度投影光柵進行三維測量，比較四次測量的偏差。重復精度高才可能測量精度高，重復精度低甚至出現(xiàn)較大偏差，表明相位展開很可能出錯，測量值不準確。表1中的數(shù)據(jù)為3種不同相位展開方法計算的各組4個體積數(shù)據(jù)按式(12)計算得到的重復測量體積平均偏差與平均值的百分比d。

表1 三維測量結果重復精度值對比(%)相位展開

(12)

(13)

表2 三維測量算法速度比較

為比較算法的運算復雜性，在相同的i7-3770 3.4GHz CPU的電腦上分別運行本文的方法和質量圖導向法[4]、最小二乘法[6]進行相位展開和三維體積計算速度對比，計算上述10(4組1392(1040像素檢測窗的相位展開、錫膏體積計算的平均時間對比見表2。

從對比實驗結果可以看到，本文提出的基于曲面擬合的PMP相位展開方法，比傳統(tǒng)的基于路徑的局部方法和全局最小二乘法都要有更好的計算可靠性，重復精度要高，計算復雜性要低，可用于SMT生產(chǎn)線的錫膏印刷質量在線檢測。圖7是采用本文方法對IC引腳焊盤上印刷錫膏三維重建的結果。

圖7 IC引腳焊盤上錫膏的三維重建結果

5 結論

PMP三維測量中快速可靠地進行相位展開一直是該三維測量中的一個難點。本文結合PMP三維測量在電路板SMT安裝錫膏印刷三維檢測應用中的具體有利條件，利用檢測視野中測量對象附近存在電路板平坦區(qū)域的條件，分割出該區(qū)域進行平面估計，然后將包裹相位向估計平面靠攏進行相位展開，并根據(jù)統(tǒng)計情況將相位完全正確展開。然后根據(jù)展開相位進行二次曲面擬合，以得到錫膏遮擋住的基板相位，從而得到錫膏相對相位，進一步得到厚度、體積。本方法為全局方法，平面估計是基于全局的電路板平坦區(qū)域包裹相位，對陰影、噪聲不敏感，且算法簡單、快速，適合SMT生產(chǎn)線的實時檢測要求。

[1] Sansoni G, Biancardi L, Docchio F, et al. Comparative analysis of low-pass filters for the demodulation of projected gratings in 3-D adaptive profilometry [J]. IEEE Trans. on Instrumentation and Measurement. 1994, 43(1): 50-55.

[2]葛東東, 王淮生, 宋家友. 光柵投影三維輪廓測量技術分析及進展[J]. 上海電力學院學報, 2005, 21(4): 378-382.

[3]易群生, 章 云, 羅 兵. 結合二維信息的PMP三維測量相位展開方法[J]. 廣東工業(yè)大學學報, 2013, 30(2): 74-78.

[4]王 勇, 饒勤菲, 唐 靖, 等. 采用小波脊系數(shù)幅值導數(shù)方差質量圖的相位展開法[J]. 光子學報, 2015, 44(2): 60-67.

[5]蘇顯渝, 陳文靜, 曹益平, 等. 參數(shù)圖導向的相位展開方法[J]. 光電子·激光, 2004, 15(4): 463-467.

[6]劉 穩(wěn), 潘廣貞, 楊 劍. 基于取整最小二乘的全局相位展開新方法[J]. 計算機測量與控制, 2015, 23(9): 3114-3118.

[7]毛志杰, 廖桂生, 劉向陽,等. 基于最小費用流的InSAR干涉相位展開算法[J]. 信號處理, 2008, 24(3): 491-495.

[8]Oshiyama G, Hirose A. Distortion Reduction in Singularity-Spreading Phase Unwrapping With Pseudo-Continuous Spreading and Self-Clustering Active Localization [J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2015, 8(8): 3846-3858.

[9]彭震君, 錢 鋒, 王學鋒,等. 基于模擬退火的相位展開方法[J]. 光學學報, 2003, 23(7): 845-849.

[10]羅 兵, 章 云. SMT焊膏印刷質量自動光學檢測[J]. 電子質量, 2005, (12): 30-32.

[11]Luo B, Zhang L Y. SMT solder paste deposit inspection based on 3D PMP and 2D image features fusion[A]. Proceedings of Int. Conf. on Wavelet Analysis & Pattern Recognition[C]. 2010,190-194.

[12]薛 敏, 羅 兵. 基板平面擬合的PMP全局相位展開算法[J]. 五邑大學學報(自然科學版), 2015, 29(2): 55-60.

[13]張 旭, 李 祥, 屠大維. 相位高度的顯函數(shù)模型及其標定[J]. 光學精密工程, 2015, 23(8): 2384-2392.

PMP Phase Unwrapping New Method Based on Plain Estimation

Luo Bing，Xue Min

(School of Computer Science & Technology, Wuyi University, Jiangmen 529020, China)

Phase measurement profilometry based μm size 3D inspection was widely used in automation manufacturing line. However, conventional phase unwrapping for the inspection suffered from image noise or phase break. In electronic PCB SMT assembly line, considering plain area segmented from 2D image, a new phase unwrapping method was proposed that wrapped phases can be shift close to plain estimated from the PCB plain area and quadric fitting was taken from unwrapped phases for base plain under the measured object. Contrast experimental results show the method effectively improved performance in robust, speed and anti-interference of noise, break and shadow.

phase unwrapping; plain estimation; 3D measurement; phase measurement profilometry; digital image processing

2016-03-23；

2016-04-23。

國家自然科學基金項目(61372193)；廣東省教育廳科技創(chuàng)新基金項目(2013KJCX0185)。

羅 兵(1966-)，男，湖北荊州人，博士，教授，碩士生導師，主要從事機器視覺技術方向的研究。

1671-4598(2016)09-0043-04

10.16526/j.cnki.11-4762/tp.2016.09.012

TP216

A