面向復(fù)雜環(huán)境的線結(jié)構(gòu)光光條中心提取算法

奚 陶 王成琳 羅天洪 周 毅 張 超

（重慶文理學(xué)院 智能制造工程學(xué)院，永川 402160）

線結(jié)構(gòu)光測量技術(shù)具有效率高、硬件成本低及操作簡單等優(yōu)點(diǎn)，已在表面質(zhì)量檢測[1]、三維重建[2]及幾何參數(shù)測量[3]等領(lǐng)域廣泛應(yīng)用。測量過程中，激光發(fā)生器將光條投射到被測物體表面，經(jīng)視覺傳感器捕獲光條圖像后，通過圖像分析技術(shù)得到被測物體表面的幾何參數(shù)。線結(jié)構(gòu)光光條的寬度一般超過一個(gè)像素，而光條中心線上各點(diǎn)的位置坐標(biāo)代表最準(zhǔn)確的測量信息，可用于反映被測幾何特征參數(shù)[4-5]。因此，線結(jié)構(gòu)光光條中心的精準(zhǔn)提取是實(shí)現(xiàn)基于線結(jié)構(gòu)光精準(zhǔn)測量的一個(gè)重要環(huán)節(jié)。

傳統(tǒng)光條中心提取方法可分為基于光條幾何中心的提取方法和基于光條灰度特征的提取方法。由于噪聲和不均勻光照等復(fù)雜環(huán)境因素的影響，光條表面常產(chǎn)生斷線或噪聲污染現(xiàn)象，導(dǎo)致傳統(tǒng)方法無法準(zhǔn)確獲取光條中心。為保留傳統(tǒng)光條中心提取方法的優(yōu)點(diǎn)并抑制其缺點(diǎn)，學(xué)者們提出了大量改進(jìn)方法。部分文獻(xiàn)采用深度學(xué)習(xí)模型，先從復(fù)雜環(huán)境中識(shí)別光條目標(biāo)，再用傳統(tǒng)方法提取光條中心[6-8]。在改進(jìn)傳統(tǒng)方法的過程中，LI等人采用灰度重心法計(jì)算光條每列的中心點(diǎn)，再用最小二乘法擬合這些點(diǎn)，得到切向向量、法向量和曲率半徑，進(jìn)而在每個(gè)中心點(diǎn)周圍定義一個(gè)矩形區(qū)域，沿著法向量方向重新計(jì)算矩形區(qū)域內(nèi)的中心點(diǎn)坐標(biāo)[9]。HE等人將灰度中心法和Hessian矩陣法相結(jié)合，提出一種不同于傳統(tǒng)沿行或沿列提取光條中心點(diǎn)的方法[10]。LI等人基于Gauss-Lorenz峰值擬合模型預(yù)處理光條圖像，并用灰度質(zhì)心法提取光條紋中心，提高了光條中心的提取精度[11]。

文章提出一種適用于復(fù)雜環(huán)境的光條中心提取的混合算法，首先利用合成的光條圖像訓(xùn)練YOLOv5s模型，識(shí)別復(fù)雜環(huán)境下的光條目標(biāo)，其次采用自適應(yīng)灰度閾值法、灰度均值法及基于亞像素的邊緣檢測方法提取光條像素，最后結(jié)合灰度重心法利用構(gòu)造的滑動(dòng)窗口搜索光條中心像素，實(shí)現(xiàn)光條中心的精準(zhǔn) 提取。

1 光條中心提取方法

1.1 算法流程

光條中心的提取流程如圖1所示，主要包含光條分割和光條中心計(jì)算兩個(gè)環(huán)節(jié)。具體步驟為：（1）用局部二值模式（Local Binary Patterns，LBP）紋理算子提取光條紋理特征，統(tǒng)計(jì)光條表面灰度值，用紋理特征和灰度值人為合成光條圖像；（2）用合成的光條圖像訓(xùn)練YOLOv5s模型；（3）用訓(xùn)練好的YOLOv5s模型識(shí)別圖像中的光條，并用置信框分割圖像，僅保留置信框內(nèi)的區(qū)域；（4）利用自適應(yīng)灰度閾值方法提取置信框內(nèi)的像素；（5）利用灰度均值法均衡化置信框內(nèi)的像素灰度值；（6）采用亞像素邊緣算子檢測被提取像素的邊緣；（7）用滑動(dòng)窗口遍歷圖像，尋找滿足閾值的光條像素點(diǎn)；（8）根據(jù)搜索的光條像素值，利用灰度重心法計(jì)算光條中心。

圖1 光條中心提取流程圖

1.2 光條分割

LBP通過局部二值化提取圖像的局部紋理特征。它的操作原理是定義一個(gè)3×3窗口，通過比較相鄰像素和中心像素的灰度值，從左上角的第一個(gè)位置順時(shí)針讀取8位二進(jìn)制數(shù)。該位置的LBP值可以通過十進(jìn)制編碼獲得，具體內(nèi)容如圖2所示。

圖2 LBP算子原理圖

LBP值反映了由其自身定義的窗口中的紋理信息，表達(dá)式為

式中：P為除3×3窗口中心像素外的像素；I(c)為中心像素的灰度值，即像素P的灰度值。從復(fù)雜環(huán)境的光條圖像中截取光條片段，包括投射在背景上的片段和投射在其他物體上的片段。利用LBP算子表達(dá)片段的紋理特征，結(jié)合灰度加權(quán)平均，人工合成光條圖像。合成的光條片段如圖3所示，其中圖3（a）、圖3（b）和圖3（c）分別為投射在背景上的合成光條片段、投射在量塊上的合成光條片段和投射在工具上的合成光條片段。

圖3 合成的光條片段

YOLOv5s是YOLO系列最新的檢測算法，可分為輸入終端、骨干網(wǎng)絡(luò)、頸部結(jié)構(gòu)和預(yù)測層4個(gè)部分。研究使用的YOLOv5s模型大小僅為7.3 MB，F(xiàn)ocus層和對(duì)流邊界層（Convective Boundary Layer，CBL）的卷積核數(shù)分別為32、64、128、256和512。 將合成的光條片段隨機(jī)覆蓋在原始光條圖像的對(duì)應(yīng)位置，再利用Labelimg圖像標(biāo)記工具標(biāo)記合成的光條目標(biāo)和原始光條目標(biāo)作為輸入圖像，并訓(xùn)練YOLOv5s模型。使用YOLOv5s模型識(shí)別光條后，根據(jù)光條圖像中置信框的坐標(biāo)，將其外部設(shè)置為黑色，實(shí)現(xiàn)光條圖像的分割。

1.3 光條中心計(jì)算

針對(duì)光條圖像分割結(jié)果，首先采用自適應(yīng)灰度閾值法提取置信框內(nèi)的像素點(diǎn)，通過統(tǒng)計(jì)大量像素灰度值，確定閾值為165，其次利用形態(tài)學(xué)膨脹腐蝕算法去除剩余的噪聲點(diǎn)和小孔洞，再次采用自適應(yīng)灰度均值法均衡提取的像素灰度值，最后利用Canny邊緣檢測算子提取置信框內(nèi)的光條邊緣，并利用亞像素邊緣檢測算法細(xì)化其邊緣，具體實(shí)施如下。

假設(shè)點(diǎn)(x,y)為置信框內(nèi)光條邊緣點(diǎn)，R(x,y)為該點(diǎn)的灰度值，點(diǎn)(x-1,y)、(x+1,y)、(x,y-1)和(x,y+1)分別是點(diǎn)(x,y)的4個(gè)領(lǐng)域點(diǎn)，對(duì)應(yīng)的灰度值分別為P(x-1,y)、P(x+1,y)、P(x,y-1)和P(x,y+1)，討論下列4種情況。

（1）如果R(x,y)＞P(x-1,y)且R(x,y)＞P(x+1,y)，點(diǎn)(x,y)的亞像素點(diǎn)(x0,y0)可以表示為

（2）如果R(x,y)＞P(x,y-1)且R(x,y)＞P(x,y+1)，點(diǎn)(x,y)的亞像素點(diǎn)(x0,y0)可以表示為

（3）如果R(x,y)＜P(x,y-1)且R(x,y)＞P(x+1,y)，點(diǎn)(x,y)的亞像素點(diǎn)(x0,y0)可以表示為

（4）如果R(x,y)＜P(x,y-1)且R(x,y)＞P(x,y+1)，點(diǎn)(x,y)的亞像素點(diǎn)(x0,y0)可以表示為

通過遍歷置信框內(nèi)光條圖像，根據(jù)亞像素計(jì)算方法獲得光條邊緣的亞像素邊緣點(diǎn)。由于光條寬度超過一個(gè)像素，獲得光條亞像素邊緣點(diǎn)后，使用大小為4個(gè)像素的滑動(dòng)窗口確定光條寬度并去除噪聲點(diǎn)，原理如圖4所示，其中虛線框表示大小為4像素的滑動(dòng)窗口，灰色為置信度框的邊緣像素，黑色為噪聲點(diǎn)像素，白色為光條像素。

圖4 基于滑動(dòng)窗口的光條像素搜索

根據(jù)滑動(dòng)窗口確定光條寬度的步驟如下。

步驟1：將包含光條的置信框圖像轉(zhuǎn)換為二值圖像，使得2×2的窗口從置信框左上角滑動(dòng)，遍歷整個(gè)置信框圖像搜索光條像素。

步驟2：如果滑動(dòng)窗口的4個(gè)像素值在窗口滑過第1行時(shí)的某個(gè)時(shí)間內(nèi)全部為1，則記錄窗口的第2行的1的坐標(biāo)。當(dāng)遍歷第2行時(shí)，檢查與前一行1對(duì)應(yīng)的下一行像素是否全部為1。若所有像素的值不是1，則前一行1的像素是噪聲點(diǎn)。如果它們都是1，則檢查此行的像素是否都是1。如果此行都是1，則前一行1的像素是光條的最小縱坐標(biāo)。滑動(dòng)窗口繼續(xù)遍歷下一行，直到找到窗口的4個(gè)像素不是1的點(diǎn)，此時(shí)是光條縱坐標(biāo)的最大值。如果檢查行的所有像素不是1，則窗口將遍歷下一行直到整行的像素為1。重復(fù)上述操作，直至找到光條的最小縱坐標(biāo)和最大縱坐標(biāo)。

步驟3：利用式（7），結(jié)合步驟2中搜索的光條最小縱坐標(biāo)和最大縱坐標(biāo)，通過灰度重心法計(jì)算光條中心。

2 實(shí)驗(yàn)及其結(jié)果分析

為了驗(yàn)證所提方法的準(zhǔn)確性，筆者進(jìn)行定量實(shí)驗(yàn)。實(shí)驗(yàn)所用激光發(fā)生器為深圳市紅外線激光科技有限公司生產(chǎn)的HW650L100-22BD型波長650 nm激光發(fā)生器。光條圖像背景包含隨機(jī)噪聲和不均勻光照，由深圳市美迪視訊科技有限公司生產(chǎn)的分辨率為1 280×1 024的工業(yè)攝像機(jī)獲取，鏡頭為MVJT0612型號(hào)的工業(yè)鏡頭，焦距為6～12 mm。計(jì)算機(jī)的配置為8 GB RAM、Intel Core i5-8300H CPU、NVIDIA GTX1660Ti GPU和Windows 10操 作系 統(tǒng)，其中運(yùn)行的圖像處理軟件系統(tǒng)包括Python 3.8、MATLAB 2020b、Ashampoo Photo Commander、CUDA10.2、cuDNN7.6.5和Photoshop。程序編譯軟件是Anaconda和Pycharm。

2.1 光條識(shí)別結(jié)果

采集200幅光條圖像，在每幅圖像中隨機(jī)添加光斑和噪聲。光條圖像分為訓(xùn)練集和測試集，分別包括175幅圖像和25幅圖像。數(shù)據(jù)集1包含160張合成光條圖像、10張?jiān)紙D像組成的訓(xùn)練集和25張?jiān)紙D像測試集。數(shù)據(jù)集2的訓(xùn)練集和測試集分別為175張?jiān)紙D像和25張?jiān)紙D像。YOLOv4模型、YOLOv4 tiny模型和YOLOv5s模型使用數(shù)據(jù)集1訓(xùn)練，同時(shí)YOLOv5s模型使用數(shù)據(jù)集2訓(xùn)練。檢測結(jié)果如圖5所示，圖5（a）中識(shí)別光條的置信率分別為1.00、0.99、0.98、0.97和1.00，圖5（b）中識(shí)別光條的置信率分別為0.85、0.77、0.81、0.82和0.84，圖5（c）中識(shí)別光條的置信率分別為0.92、0.91、0.91、0.90和0.93，圖5（d）中識(shí)別光條的置信率分別為0.89、0.91、0.93、0.87和0.95。

圖5 基于不同模型的光條識(shí)別結(jié)果

用精準(zhǔn)率P、召回率R、F1值和均值平均精度mAP等模型評(píng)價(jià)指標(biāo)評(píng)價(jià)模型識(shí)別光條的性能，表達(dá)式為

利用合成光條圖像訓(xùn)練的YOLOv5s模型方法具有最高的精準(zhǔn)率、召回率、F1值和均值平均精度，分別為96.70%、99.20%、97.93%和99.50%。利用原始光條圖像訓(xùn)練的YOLOv5s模型，識(shí)別光條的精準(zhǔn)率為82.20%，召回率為87.60%，F(xiàn)1值為84.81%，均值平均精度為83.26%。利用合成光條圖像訓(xùn)練的YOLOv4 tiny模型，識(shí)別光條的精準(zhǔn)率為91.60%，召回率為90.60%，F(xiàn)1值為91.09%，均值平均精度為89.64%。利用合成光條圖像訓(xùn)練的YOLOv4模型，識(shí)別光條的精準(zhǔn)率為93.50%，召回率為92.10%，F(xiàn)1值為92.79%，均值平均精度為94.67%。

2.2 光條中心提取結(jié)果

光條中心的提取過程如圖6所示。其中：圖6（a）是使用合成光條圖像訓(xùn)練的YOLOv5s模型的光條識(shí)別結(jié)果；圖6（b）是基于置信盒邊緣的圖像分割結(jié)果；圖6（c）是置信框中像素的提取結(jié)果；圖6（d）是置信框中像素的邊緣檢測結(jié)果；圖6（e）是置信框中像素的邊緣細(xì)化結(jié)果；圖6（f）是光條中心的提取結(jié)果。

圖6 光條中心的提取過程

采用骨架法、灰度重心法和Hessian矩陣法等傳統(tǒng)方法，提取復(fù)雜環(huán)境下的光條中心，并與所提方法的提取結(jié)果進(jìn)行對(duì)比。所提方法提取的光條中心結(jié)果如圖7（a）所示，在不均勻照明和噪聲干擾條件下，完整呈現(xiàn)了筆直的光條中心。圖7（b）是使用骨架法提取光條中心的結(jié)果，顯示了斷裂的光條中心和錯(cuò)誤的光條中心。圖7（c）是基于灰度重心法的光條中心提取結(jié)果，顯示了許多非直線和虛線。圖7（d）是采用Hessian矩陣方法提取光條中心的結(jié)果，顯示噪聲區(qū)域中出現(xiàn)了錯(cuò)誤的光條中心提取結(jié)果。

圖7 基于不同方法的光條中心提取

為了進(jìn)一步驗(yàn)證所提方法的性能，在MATLAB編程環(huán)境中，將具有一定寬度的光條隨機(jī)添加至黑色背景圖像，并將高斯噪聲和光強(qiáng)區(qū)域添加到光條表面。在給定寬度的基礎(chǔ)上，將人為計(jì)算的提取光條中心作為標(biāo)準(zhǔn)光條中心。利用所提方法、骨架法、灰度重心法和Hessian矩陣法提取的光條，與標(biāo)準(zhǔn)光條中心進(jìn)行對(duì)比。使用如式（9）所示的偏差指數(shù)DEV評(píng)估不同方法的提取精度，其中N為重復(fù)比較試驗(yàn)次數(shù)，這里取值為15。(Xn,Yn)為標(biāo)準(zhǔn)光條中心15個(gè)不同點(diǎn)的像素坐標(biāo)，(xn,yn)為標(biāo)準(zhǔn)光條上采樣點(diǎn)的橫坐標(biāo)線或縱坐標(biāo)線與通過比較算法提取的光條中心線之間的交點(diǎn)像素坐標(biāo)。

表1記錄了標(biāo)準(zhǔn)光條中心和其他方法提取的光條中心之間的像素坐標(biāo)差異。表1中，光強(qiáng)1、光強(qiáng)2和光強(qiáng)3分別為3個(gè)不同光強(qiáng)的亮度區(qū)域，其中光強(qiáng)1的亮度最低，光強(qiáng)3的亮度最高。高斯噪聲標(biāo)準(zhǔn)差s分別設(shè)置為0.02、0.04和0.06。從表1可以看出：當(dāng)不同光強(qiáng)和不同參數(shù)噪聲的照明區(qū)域疊加在光條時(shí)，標(biāo)準(zhǔn)光條中心與所提方法提取的光條中心之間的最大偏差和最小偏差分別為0.052像素和0.017像素；使用骨架法的最大偏差和最小偏差分別為0.414像素和0.144像素；采用Hessian矩陣法的最大偏差和最小偏差分別為0.265像素和0.106像素；使用灰質(zhì)心法的最大偏差和最小偏差分別為0.562像素和0.290像素。可見，在所有方法中，灰度重心法的比較偏差最大。

表1 不同方法提取光條中心的光強(qiáng)比較 單位：像素

3 結(jié)語

文章提出了一種新的混合算法用來精確提取復(fù)雜環(huán)境下的光條中心。首先，利用YOLOv5s深度學(xué)習(xí)模型識(shí)別復(fù)雜環(huán)境下的光條目標(biāo)，得到利用特征合成的光條圖像訓(xùn)練的YOLOv5s模型，大大提高了復(fù)雜環(huán)境下光條的識(shí)別精度，其精準(zhǔn)率、召回率、F1值和均值平均精度分別為96.70%、99.20%、97.93%和99.50%。其次，所提方法將置信框外部設(shè)置為黑色，并將置信度框中的像素處理為亮度均勻、邊緣細(xì)化的像素。利用構(gòu)造的滑動(dòng)窗口去除噪聲、搜索光條像素，可準(zhǔn)確確定光條寬度。最后，結(jié)合得到的光條寬度，采用灰度重心法計(jì)算光條中心。在性能測試實(shí)驗(yàn)中，使用所提方法提取的光條紋中心相對(duì)于標(biāo)準(zhǔn)光條中心的最大偏差和最小偏差分別為0.052像素和0.017像素，表明所提方法在復(fù)雜環(huán)境中具有魯棒性。未來，開發(fā)自適應(yīng)的光條中心提取算法將是研究重點(diǎn)。