摘"要：為了直接獲取工件輪廓點(diǎn)云，設(shè)計(jì)一種基于ZYNQ可編程芯片的線激光輪廓傳感器。以ZYNQ芯片為核心處理器，設(shè)計(jì)傳感器的圖像采集與處理硬件電路。根據(jù)相機(jī)畸變模型，通過雙線性插值法矯正各像素點(diǎn)的灰度值，研究基于法向迭代的灰度重心法以提取激光條紋中心線，結(jié)合相機(jī)參數(shù)和激光光平面方程的標(biāo)定，計(jì)算相機(jī)坐標(biāo)系下激光條紋中心點(diǎn)的三維坐標(biāo)。在ZYNQ芯片中實(shí)現(xiàn)上述算法的并行加速，進(jìn)行工件輪廓掃描測(cè)試。結(jié)果表明：該傳感器可得到工件的三維輪廓點(diǎn)云。

關(guān)鍵詞：線激光輪廓傳感器；ZYNQ；灰度重心法；中心線提??；點(diǎn)云

中圖分類號(hào)：TP212.1""文獻(xiàn)標(biāo)志碼：B""文章編號(hào)：1671-5276（2024）02-0157-05

Design of Line Laser Contour Sensor Based on ZYNQ

ZHAO Xinchuang， WANG Huaming， YANG Xuefeng， XU Ke， SHEN Ying

（College of Mechanical and Electrical Engineering， Nanjing University of Aeronautics and Astronautics， Nanjing 210016， China）

Abstract：To directly obtain the point cloud of workpiece contour， a line laser contour sensor based on ZYNQ fully programmable chip was designed. ZYNQ chip was applied as the core processor to design the circuit of image acquisition and processing. According to the distortion model of the camera， the gray value of each pixel was corrected by bilinear interpolation. The gray centroid method based on normal iteration was proposed to extract the centerline of laser stripe. Combined with the calibration of camera parameters and laser light plane equation， the 3D coordinates of the center point of the laser stripe in the camera coordinate system were calculated. The parallel acceleration of the above algorithm was realized with ZYNQ chip， and the workpiece contour scanning test was carried out. The results show that the sensor can obtain the 3D contour point cloud of the workpiece.

Keywords：line laser contour sensor；ZYNQ；gray centroid method；centerline extraction；point cloud

0"引言

隨著工業(yè)技術(shù)的發(fā)展，線激光三維測(cè)量技術(shù)在工業(yè)機(jī)器人引導(dǎo)、零部件尺寸測(cè)量、裝配精度測(cè)量等領(lǐng)域有著越來越多的應(yīng)用。傳統(tǒng)線激光三維測(cè)量系統(tǒng)將采集到的圖像傳輸至PC處理，獲取工件輪廓點(diǎn)云的算法復(fù)雜，消耗大量PC運(yùn)算資源。近年來，大規(guī)模集成電路飛速發(fā)展，F(xiàn)PGA芯片的集成度和并行運(yùn)算速度大幅提高，可用于圖像處理算法加速。Xilinx公司推出的ZYNQ7000系列芯片采用“ARM+FPGA”的異構(gòu)架構(gòu)，內(nèi)部集成了一片Cortex-A9 ARM處理器和一片Artix-7 FPGA處理器，既有豐富的外設(shè)接口，又提供了充足的邏輯資源，符合線激光三維測(cè)量系統(tǒng)的需求。

目前已有許多關(guān)于ZYNQ/FPGA在線激光視覺中應(yīng)用的研究。LI Z K等［1］提出了一種基于改進(jìn)Hessain矩陣法的激光條紋中心線提取算法，以圖像二階矩特征估計(jì)激光條紋的寬度，采用二階泰勒展開簡(jiǎn)化Hessain矩陣法的求解過程，在FPGA中實(shí)現(xiàn)了上述算法。MARKOVIC＇ B R等［2］針對(duì)外部噪聲源干擾問題，提出通過圖像自卷積來提高灰度重心法的準(zhǔn)確性方法，在FPGA平臺(tái)進(jìn)行了驗(yàn)證。ZHANG L等［3］提出了一種用于ZYNQ芯片的實(shí)時(shí)多任務(wù)處理軟件結(jié)構(gòu)，實(shí)現(xiàn)了激光條紋中心線提取算法的設(shè)計(jì)。

結(jié)合上述研究現(xiàn)狀，設(shè)計(jì)一種直接獲取工件輪廓點(diǎn)云的線激光輪廓傳感器。以ZYNQ芯片為核心處理器，設(shè)計(jì)傳感器硬件電路，在ZYNQ芯片中實(shí)現(xiàn)圖像畸變矯正、激光條紋中心線提取和點(diǎn)云坐標(biāo)計(jì)算等算法，通過掃描測(cè)試得到工件輪廓點(diǎn)云。

1"傳感器總體方案設(shè)計(jì)

基于ZYNQ的線激光輪廓傳感器設(shè)計(jì)方案如圖1所示。工業(yè)相機(jī)采集激光條紋圖像并以GigE Vision協(xié)議傳輸至ZYNQ芯片，ZYNQ芯片移植有Linux操作系統(tǒng)，可調(diào)用ARM和FPGA雙核實(shí)現(xiàn)圖像畸變矯正、中心線提取和點(diǎn)云坐標(biāo)計(jì)算等算法。

2"線激光輪廓傳感器設(shè)計(jì)

2.1"傳感器硬件設(shè)計(jì)

1）傳感器結(jié)構(gòu)設(shè)計(jì)

線激光三維測(cè)量技術(shù)［4］屬于主動(dòng)式視覺測(cè)量，基本原理為三角測(cè)量法［5］，如圖2所示。線激光器照射物體，在其表面形成線激光條紋，由工業(yè)相機(jī)采集圖像，根據(jù)△CGB—△CFE可以求出條紋上各點(diǎn)在像平面上的位移x與物體沿表面法線方向的偏移z的關(guān)系：

z=xasinβcosα1bsin（α1+α2）±sin（α1+α2+β）（1）

式中：α1和α2分別為線激光器光軸和接收透鏡光軸與物體表面法線的夾角；β為接收透鏡光軸與像平面的夾角；a和b分別為接收透鏡沿光軸方向到激光器光軸和像平面的距離。

采用斜射-直接收的布局進(jìn)行傳感器結(jié)構(gòu)設(shè)計(jì)，如圖3所示，除工業(yè)相機(jī)和線激光器外，還包含反射鏡和窄帶濾光片。反射鏡用來改變激光方向以減小傳感器尺寸，窄帶濾光片用于減小雜光干擾，突出激光條紋信息。

2）傳感器硬件電路設(shè)計(jì)

傳感器選用ZYNQ7020芯片為核心處理器，采用核心板加擴(kuò)展板的方案。擴(kuò)展板電路包括電源模塊、SD卡接口、千兆網(wǎng)口、HDMI接口等。圖4為自行設(shè)計(jì)的擴(kuò)展板實(shí)物圖。

ZYNQ芯片的ARM核提供USB、UART、IIC等外設(shè)接口，直接使能即可使用，但ARM核中沒有HDMI接口，且在使能部分外設(shè)后，不能同時(shí)提供兩個(gè)千兆網(wǎng)口，需要通過FPGA核的邏輯電路實(shí)現(xiàn)，如圖5所示為千兆以太網(wǎng)口和HDMI接口的邏輯電路設(shè)計(jì)方案。

2.2"圖像處理算法設(shè)計(jì)

激光條紋中心線點(diǎn)云通過圖像畸變矯正、激光條紋中心線提取和點(diǎn)云坐標(biāo)計(jì)算來獲取。

1）圖像畸變矯正

由于制造工藝、安裝誤差等原因，工業(yè)相機(jī)采集到的圖像往往存在一定程度的非線性畸變［6］，影響測(cè)量精度，因此需要進(jìn)行圖像畸變矯正。

根據(jù)式（2）所示相機(jī)畸變模型計(jì)算畸變前后像素點(diǎn)的映射關(guān)系。

x0y0=（1+k1r2+k2r4）xy+

2k3xy+k2（r2+2x2）k3（r2+2y2）+2k4xy（2）

式中：r2=x2+y2；（x0，y0）和（x，y）為成像點(diǎn)矯正前后的歸一化坐標(biāo)；k1—k4是相機(jī)畸變系數(shù)。

根據(jù)映射關(guān)系確定像素點(diǎn)的映射坐標(biāo)，通過雙線性插值法計(jì)算該像素的灰度值。如圖6所示，點(diǎn)P為某像素點(diǎn)的映射點(diǎn)，Δx與Δy為點(diǎn)P到其左上方相鄰點(diǎn)的偏移量，由式（3）可得矯正后的灰度值g。

g1=（1-Δx）g（x，y）+Δxg（x+1，y）

g2=（1-Δx）g（x+1，y）+Δxg（x+1，y+1）

g=（1-Δy）g1+Δyg2（3）

2）激光條紋中心線提取

a）圖像預(yù)處理

在提取激光條紋中心線之前，需要預(yù)先進(jìn)行降噪處理，結(jié)果如圖7所示。具體流程如下：

①采用5×5大小的高斯濾波器進(jìn)行濾波；

②對(duì)每一列圖像分別執(zhí)行閾值分割［7］，遍歷單列圖像，提取灰度最大值gmax，設(shè)置一個(gè)最小灰度閾值Tmin和偏移量ΔT（20＜ΔT＜50），根據(jù)式（4）確定本列的灰度閾值T；

T=max（gmax-ΔT，Tmin）（4）

③使用3×3矩形內(nèi)核先后對(duì)圖像進(jìn)行膨脹和腐蝕操作［8］，去除細(xì)小孤立塊，最終得到如圖7（b）所示預(yù)處理結(jié)果。

b）激光條紋中心線提取

常用的激光條紋中心線提取算法有幾何中心法、極值法、骨架細(xì)化法、灰度重心法、曲線擬合法、Steger法、方向模板法等［9］?？紤]ZYNQ的邏輯資源消耗量，采用灰度重心法［10］進(jìn)行中心線提取，原理如式（5）所示。

vCi=∑nj=0g（ui，vij）ij∑nj=0g（ui，uij），i=1，2，3，…，m（5）

式中：vCi為激光條紋圖像第i列的灰度重心點(diǎn)坐標(biāo)；g（ui，vij）為像素點(diǎn)（ui，vij）的灰度值；m×n為圖像大小。

對(duì)于激光條紋中變化平緩的區(qū)域，灰度重心法提取效果好且速度快，但處理如圖8（a）所示斜率較大的區(qū)域時(shí)，易出現(xiàn)間斷現(xiàn)象。針對(duì)此問題，設(shè)計(jì)一種基于法向迭代的灰度重心法，實(shí)現(xiàn)步驟如下。

第1步，通過灰度重心法計(jì)算初始中心線坐標(biāo)，構(gòu)建一個(gè)中心點(diǎn)集合，記為A。

第2步，對(duì)集合A中間距大于TD的相鄰點(diǎn)進(jìn)行線性插值，將所得中點(diǎn)坐標(biāo)插入集合A，以最小二乘法擬合該點(diǎn)局部斜率ki，若kigt;kT（kT為斜率閾值），則轉(zhuǎn)到第3步，否則繼續(xù)進(jìn)行判斷。

第3步，計(jì)算此點(diǎn)所在位置的局部法向，沿法向重新通過灰度重心法計(jì)算坐標(biāo)并加入集合A。首次進(jìn)入第3步時(shí)，置迭代次數(shù)t=0。

第4步，判斷新的中心點(diǎn)集合是否滿足式（6）或t=T，若滿足則轉(zhuǎn)到第5步，否則t=t+T，轉(zhuǎn)到第3步重新計(jì)算。

1n∑ni=1［（ui-ui-1）2+（vi-vi-1）2］＜ε（6）

式中：n為中心點(diǎn)的總數(shù)；（ui，vi）為中心點(diǎn)坐標(biāo)；ε為給定的極小正數(shù)（一般可取0.05）；t為迭代次數(shù)；T為迭代次數(shù)上限值。

第5步，采用滑動(dòng)平均法對(duì)中心點(diǎn)集合進(jìn)行數(shù)據(jù)平滑。

使用改進(jìn)的灰度重心法提取激光條紋中心線，處理結(jié)果如圖8（b）所示，對(duì)比可知，中心線間斷問題有明顯改善。

3）點(diǎn)云坐標(biāo)計(jì)算

取激光條紋中心線上一點(diǎn)，結(jié)合相機(jī)內(nèi)參和線激光光平面方程，即可求出相機(jī)坐標(biāo)系下該點(diǎn)的三維坐標(biāo)，具體過程如下。

a）根據(jù)相機(jī)標(biāo)定結(jié)果，由相機(jī)成像模型推導(dǎo)出像素坐標(biāo)與相機(jī)坐標(biāo)系下空間坐標(biāo)的對(duì)應(yīng)關(guān)系：

zc=fx0u00

0fyv00

0001xcyczc1（7）

式中：fx和fy為相機(jī)尺度因子；（u0，v0）為相機(jī)光心的像素坐標(biāo)；（xc，yc，zc）為點(diǎn)（u，v）在相機(jī)坐標(biāo)系下的坐標(biāo)。

b）基于相機(jī)外參，利用多特征點(diǎn)擬合法［11］標(biāo)定相機(jī)坐標(biāo)系下的激光光平面方程，如式（8）所示。

Axc+Byc+Czc-1=0（8）

c）聯(lián)立式（7）、式（8），得到相機(jī)坐標(biāo)系下的三維坐標(biāo)：

zc=Au-u0fx+Bv-v0fy+C-1

xc=u-u0fxzc

yc=v-v0fyzc（9）

4）圖像處理算法的實(shí)現(xiàn)

ZYNQ中圖像處理算法的實(shí)現(xiàn)方案如圖9所示，涉及復(fù)雜浮點(diǎn)運(yùn)算的映射關(guān)系求解等。算法通過ARM實(shí)現(xiàn)，雙線性插值、灰度重心法等算法置于FPGA中并行執(zhí)行。進(jìn)行畸變矯正和中心線提取時(shí)，ARM與FPGA之間的數(shù)據(jù)交互量較大，通過VDMA IP核以AXI4-Stream協(xié)議傳輸數(shù)據(jù)。三維坐標(biāo)求解算法的數(shù)據(jù)量較少，使用AXI4-Lite協(xié)議進(jìn)行數(shù)據(jù)交互。為了進(jìn)一步減少畸變矯正模塊的數(shù)據(jù)量和BRAM資源占用，采用坐標(biāo)偏移量表示映射關(guān)系，增大10倍后以整型存儲(chǔ)，將像素灰度值與映射關(guān)系組幀傳輸，在FPGA中進(jìn)行數(shù)據(jù)緩存、處理和更新。

以分辨率為800×600的圖像為例，采用處理器為i5-7300HQ的計(jì)算機(jī)實(shí)現(xiàn)上述算法，單張圖片耗時(shí)約76ms。而在ZYNQ芯片中實(shí)現(xiàn)上述算法，單張圖像處理耗時(shí)約35ms，節(jié)省約54%。通過ARM核采集單張圖像耗時(shí)約50ms，數(shù)據(jù)傳輸耗時(shí)約12ms，因此芯片處理速度約10FPS。ZYNQ芯片資源消耗情況如表1所示，還留有充足資源供后續(xù)開發(fā)。

3"工件輪廓掃描試驗(yàn)

構(gòu)建由線激光輪廓傳感器和直線運(yùn)動(dòng)平臺(tái)組成的工件輪廓掃描裝置，對(duì)圖10（a）所示工件進(jìn)行掃描測(cè)試。設(shè)置運(yùn)動(dòng)平臺(tái)以3mm/s的速度移動(dòng)，控制線激光輪廓傳感器以100ms的間隔采集激光條紋圖像。在上位機(jī)接收激光條紋中心線點(diǎn)云并進(jìn)行拼接，得到如圖10（b）所示的工件輪廓點(diǎn)云，受金屬表面反光影響，工件邊緣有部分?jǐn)?shù)據(jù)丟失。通過張正友標(biāo)定法和多特征點(diǎn)擬合法進(jìn)行相機(jī)和激光光平面標(biāo)定，標(biāo)定結(jié)果如表2所示。

4"結(jié)語

針對(duì)直接獲取工件輪廓點(diǎn)云的需求，設(shè)計(jì)了一種基于ZYNQ芯片的線激光輪廓傳感器，通過工件輪廓掃描試驗(yàn)進(jìn)行了功能驗(yàn)證。采用ZYNQ芯片為核心處理器，進(jìn)行了傳感器的軟硬件設(shè)計(jì)，通過邏輯電路實(shí)現(xiàn)中心線提取和點(diǎn)云坐標(biāo)計(jì)算等算法的并行加速，直接輸出工件輪廓點(diǎn)云數(shù)據(jù)。該傳感器可使技術(shù)人員免于繁雜的點(diǎn)云獲取工作，能夠顯著提高產(chǎn)品的設(shè)計(jì)效率，縮短設(shè)計(jì)周期。

參考文獻(xiàn)：

［1］ LI Z K，MA L P，LONG X L，et al. Hardware-oriented algorithm for high-speed laser centerline extraction based on hessian matrix［J］. IEEE Transactions on Instrumentation and Measurement，2021，70：1-14.

［2］ MARKOVIC＇ B R，C＇ERTIC＇ J D. Improving sub-pixel estimation of laser stripe reflection center by autoconvolution on FPGA［J］. Journal of Circuits，Systems and Computers，2022，31（4）：2250063.

［3］ ZHANG L，ZHANG S F，YANG H. Design of embedded application software of 3D camera based on line laser［J］. Journal of Physics：Conference Series，2021，1812（1）：012017.

［4］ WANG H F，WANG Y F，ZHANG J J，et al. Laser stripe center detection under the condition of uneven scattering metal surface for geometric measurement［J］. IEEE Transactions on Instrumentation and Measurement，2020，69（5）：2182-2192.

［5］ 孫有春，龐亞軍，白振旭，等. 激光三角測(cè)量法應(yīng)用技術(shù)［J］. 激光雜志，2021，42（4）：1-8.

［6］ JUNGER C，HESS A，ROSENBERGER M，et al. FPGA-based lens undistortion and image rectification for stereo vision applications［C］// Joint TC1-TC2 International Symposium on Photonics and Education in Measurement Science 2019Germany： Jena，2019，11144：284-291.

［7］ 黃鵬，鄭淇，梁超. 圖像分割方法綜述［J］. 武漢大學(xué)學(xué)報(bào)（理學(xué)版），2020，66（6）：519-531.

［8］ 張鵬，叢林. 基于分形方法的載人壓力容器內(nèi)壁缺陷可視化檢測(cè)方法［J］. 機(jī)械制造與自動(dòng)化，2021，50（6）：73-76.

［9］ XU X B， FEI Z W， YANG J， et al. Line structured light calibration method and centerline extraction：a review［J］. Results in Physics，2020，19：103637.

［10］ 甘宏，張超，李林，等. 復(fù)雜背景下激光條紋中心亞像素提取方法［J］. 光電工程，2019，46（2）：82-89.

［11］ 郭新年，白瑞林，王秀平. 基于主動(dòng)視覺的手眼矩陣和光平面標(biāo)定方法［J］. 計(jì)算機(jī)工程與應(yīng)用，2015，51（19）：56-60.

收稿日期：20221024