輪廓匹配方法改進(jìn)及其在轉(zhuǎn)子中的應(yīng)用

王 壯, 戚嘉輝, 趙一鳴, 胡燕海

輪廓匹配方法改進(jìn)及其在轉(zhuǎn)子中的應(yīng)用

王 壯, 戚嘉輝, 趙一鳴, 胡燕海*

（寧波大學(xué) 機(jī)械工程與力學(xué)學(xué)院, 浙江 寧波 315211）

汽車發(fā)動機(jī)轉(zhuǎn)子裝配誤差容易造成零件磨損和效率降低. 針對轉(zhuǎn)子零件裝配精度要求, 提出一種基于輪廓與特征點(diǎn)結(jié)合的輪廓匹配改進(jìn)方法. 首先對轉(zhuǎn)子圖像進(jìn)行濾波、二值化預(yù)處理; 其次提取輪廓并利用輪廓Hu矩方法進(jìn)行輪廓粗匹配; 然后提取特征點(diǎn), 并在以特征點(diǎn)為中心、半徑為16像素的圓形區(qū)域內(nèi)生成4個特征描述子作為匹配特征, 利用歐氏距離進(jìn)行特征點(diǎn)匹配; 最后通過找到的匹配對計(jì)算仿射變換矩陣, 得到精匹配結(jié)果. 實(shí)驗(yàn)結(jié)果表明, 該方法在背景復(fù)雜、光照變化的條件下能夠較精確地匹配輪廓, 保證匹配精度在1像素內(nèi), 且生成的特征描述子對數(shù)越多, 匹配結(jié)果越精確.

輪廓提取; 輪廓匹配; 特征描述子; 特征點(diǎn)匹配; 仿射變換

隨著自動裝配行業(yè)的發(fā)展, 裝配精度要求越來越高, 視覺檢測精度是裝配精度的前提[1], 而輪廓匹配技術(shù)在視覺檢測中被廣泛應(yīng)用, 其對提高輪廓匹配的精度具有重要意義.

對于輪廓匹配技術(shù)國內(nèi)外學(xué)者已做了大量的研究. 童小彬等[2]提出了基于方向梯度直方圖(Histogram of Oriented Gradient, HOG)特征描述的輪廓匹配算法, 該算法能夠有效地匹配到目標(biāo)輪廓, 且受噪聲影響較小. 針對薄片零件外形缺陷問題, 尚小強(qiáng)等[3]提出了一種基于匹配方法的輪廓度檢測算法, 對于薄片類產(chǎn)品有較高的檢測精度. Korman等[4]提出了一種快速仿射模板匹配方法, 該方法不僅可以縮短匹配時間, 而且在不同的數(shù)據(jù)集中都得到了較好的匹配結(jié)果. 但這類研究對復(fù)雜背景環(huán)境下的復(fù)雜零件的檢測精度尚有待提高. 楊白雪等[5]提出了一種尺度不變特征變換的圖案匹配方法, 該方法能夠?qū)Y(jié)構(gòu)復(fù)雜的圖案實(shí)現(xiàn)較好的匹配. Chen等[6]提出了一種基于視覺關(guān)鍵詞的產(chǎn)品外觀檢測方法, 該方法對角度和光照具有較好的魯棒性. 王瓊等[7]融合輪廓信息的匹配算法, 解決了傳統(tǒng)區(qū)域增長算法處理低紋理圖像問題, 有效地提高了圖像的特征種子點(diǎn)的提取效率. 該類研究利用了圖像特征點(diǎn)匹配的方法, 能夠較好地匹配對比度明顯的圖像, 但是對輪廓匹配效果尚有待提高.

本文改進(jìn)了圖像特征點(diǎn)匹配中特征描述子的描述方法, 將特征點(diǎn)的幾何特征作為輪廓特征點(diǎn)的特征描述子進(jìn)行輪廓匹配, 提高了輪廓的匹配效果. 該方法能夠有效提取復(fù)雜背景環(huán)境下的復(fù)雜零件輪廓, 進(jìn)而提高匹配精度.

1 總體方案

原圖像噪聲較多, 為減少噪聲的影響, 對圖像進(jìn)行濾波和二值化預(yù)處理, 為區(qū)分圖像內(nèi)的各個零件, 對圖像進(jìn)行分割. 由于工況環(huán)境復(fù)雜, 為了縮短特征點(diǎn)的提取時間, 利用Hu矩方法計(jì)算各零件輪廓的相似度, 從而對目標(biāo)輪廓進(jìn)行粗匹配, 然后僅提取粗匹配輪廓的特征點(diǎn). 復(fù)雜的背景影響Hu矩方法的匹配精度, 因此利用特征點(diǎn)信息對輪廓進(jìn)行精匹配.

輪廓匹配方法的總體方案可分為5個部分: 圖像處理、輪廓粗匹配、生成特征描述子、特征點(diǎn)匹配、仿射變換精匹配. 具體流程如圖1所示.

圖1 輪廓匹配流程

2 圖像處理

工業(yè)現(xiàn)場環(huán)境光容易對圖像產(chǎn)生影響, 因此需對獲取的圖像進(jìn)行濾波和二值化預(yù)處理, 以去除噪聲的影響, 增強(qiáng)提取邊緣的特征, 進(jìn)而進(jìn)行圖像分割.

現(xiàn)有的邊緣提取方法[8]分為3類: 矩方法、擬合法和插值法. 矩方法計(jì)算簡單, 且可以得到解析解, 但該方法對噪聲較敏感, 容易受噪聲影響導(dǎo)致精度降低. 擬合法對噪聲有較高的魯棒性, 但該方法計(jì)算復(fù)雜、耗時較長. 綜合考慮, 本文采取插值法進(jìn)行邊緣提取[9-11], 利用基于形態(tài)學(xué)梯度的樣條插值方法提取輪廓, 該方法既可以克服噪聲對輪廓提取的影響, 又可以減少計(jì)算的復(fù)雜程度, 節(jié)省時間. 具體步驟為:

采用的形態(tài)學(xué)梯度濾波算子為:

式中:1和2為權(quán)系數(shù);Grad(1)和Grad(2)分別為2個結(jié)構(gòu)元素的形態(tài)學(xué)梯度.

(3)利用形態(tài)學(xué)處理方法, 對步驟(2)中得到的像素邊緣進(jìn)行細(xì)化, 得到最佳的邊緣效果.

圖2 圖像輪廓提取

3 輪廓粗匹配

輪廓提取后需要對輪廓進(jìn)行定位匹配, 主要方法有: HOG特征描述匹配法、Hu矩方法匹配法、形狀上下文匹配等. 由于Hu矩具有尺度、旋轉(zhuǎn)、平移不變性, 因此采用Hu矩方法進(jìn)行匹配.

Hu矩是由7個不變矩組構(gòu)成[12], 其在圖像平移、旋轉(zhuǎn)和比例變化時保持不變.

輪廓Hu矩方法在噪聲較大、背景紋理凌亂的條件下匹配精度低. 因此, 需要對匹配后的輪廓進(jìn)行精確匹配.

4 輪廓精匹配

4.1 特征點(diǎn)提取

曲率特征點(diǎn)提取過程為:

(1)計(jì)算輪廓各點(diǎn)處的曲率

圖3 提取點(diǎn)集

4.2 生成特征描述子

4.3 特征點(diǎn)匹配

首先通過式(11)計(jì)算出待匹配2個輪廓所有特征點(diǎn)的相似度量值, 值越小表示相似度越高. 計(jì)算相似度量最小值與次小值之比, 比值若小于實(shí)驗(yàn)閾值, 說明2點(diǎn)特征過于接近, 為了避免誤識別, 視為誤匹配點(diǎn). 若相似度量最小值與次小值比值大于給定的閾值, 則保留該匹配對, 相反, 如果小于給定的閾值, 則刪除該匹配對. 以此類推, 直至全部特征點(diǎn)匹配完成.

針對匹配結(jié)果進(jìn)行仿射變換, 本文采取奇異值分解[16]的方法計(jì)算匹配對的仿射變換矩陣, 并計(jì)算所有匹配對的歐氏距離.

5 實(shí)驗(yàn)與分析

為驗(yàn)證本文方法的有效性, 分別對2種不同變量下的發(fā)動機(jī)轉(zhuǎn)子零件進(jìn)行匹配檢測. 2種變量依次是改變光照強(qiáng)度、增大背景復(fù)雜度. 將本文方法與Hu矩方法進(jìn)行對比, 以匹配對歐氏距離平均值作為匹配結(jié)果的判斷標(biāo)準(zhǔn), 分別記錄Hu矩方法與本文方法的平均歐氏距離. 實(shí)驗(yàn)所用的設(shè)備如圖5所示.

圖5 實(shí)驗(yàn)設(shè)備示意圖

實(shí)驗(yàn)采用600萬像素黑白相機(jī), 8mm鏡頭. 為減少周圍環(huán)境光影響采用背光作為光源, 視野范圍368mm×243mm, 鏡頭距樣品距離為310mm.

先進(jìn)行圖像預(yù)處理, 提取輪廓并利用Hu矩方法對輪廓進(jìn)行粗匹配, 對分割后圖像中的輪廓進(jìn)行編號(圖6).

圖6 圖像中各零件輪廓

分別進(jìn)行2次實(shí)驗(yàn): 實(shí)驗(yàn)1人為對每個零件進(jìn)行平移操作, 實(shí)驗(yàn)2人為對每個零件進(jìn)行旋轉(zhuǎn)操作. 計(jì)算每個輪廓與樣本輪廓的匹配系數(shù)見表1.

表1 匹配系數(shù)

由表1可以看出, 當(dāng)匹配系數(shù)小于0.4時匹配到相同形狀的輪廓, 認(rèn)為粗匹配成功. 提取匹配后兩輪廓的特征點(diǎn), 并進(jìn)行特征點(diǎn)匹配. 實(shí)驗(yàn)得出相似度量最小值與次小值之比大于0.3的匹配對最為準(zhǔn)確. 因此, 將0.3作為匹配對相似度量閾值.

對2種轉(zhuǎn)子零件進(jìn)行檢測實(shí)驗(yàn), 分別在改變光照強(qiáng)度, 增大背景復(fù)雜度2種變量下檢測Hu矩方法與本文方法處理后匹配對的平均歐氏距離. 圖7與圖8分別為2種零件的檢測圖像, 包括模板圖像、Hu矩方法粗匹配圖像、特征點(diǎn)檢測圖像以及特征描述子檢測圖像. 調(diào)整2種零件的放置角度, 記錄60°與120°時的實(shí)驗(yàn)結(jié)果, 詳見表2和表3.

圖7 零件1檢測圖像

圖8 零件2檢測圖像

表2 零件1不同變量下的實(shí)驗(yàn)結(jié)果

表3 零件2不同變量下的實(shí)驗(yàn)結(jié)果

匯總零件1與零件2各角度對應(yīng)的檢測誤差, 將其結(jié)果顯示在坐標(biāo)系中, 如圖9和圖10所示.

圖9 零件1檢測誤差對比匯總

圖10 零件2檢測誤差對比匯總

從圖9和圖10可知, 在改變光照強(qiáng)度與增大背景復(fù)雜度情況下, 本文方法能保證精度在1個像素以內(nèi), 較Hu矩方法精度有明顯提高. 由于Hu矩方法中相似度匹配系數(shù)的計(jì)算過程耗時長, 而本文方法則是在此過程基礎(chǔ)上進(jìn)行精匹配, 因此本文方法耗時要大于Hu矩方法的耗時, 但平均檢測時間小于0.6s, 可以滿足應(yīng)用需要. 另外, 形狀越簡單, 需要匹配的特征點(diǎn)越少, 耗時也越少.

6 結(jié)論

(1)為了提高輪廓匹配精度, 提出了特征點(diǎn)匹配策略, 利用特征點(diǎn)周圍輪廓信息生成特征描述子, 通過歐氏距離篩選匹配對, 最后對匹配對進(jìn)行仿射變換. 實(shí)驗(yàn)結(jié)果表明, 該方法能夠有效提高匹配精度.

(2)在實(shí)驗(yàn)中生成描述子的對數(shù)越多, 其匹配結(jié)果就越精確.

[1] 魏中雨, 黃海松, 姚立國. 基于機(jī)器視覺和深度神經(jīng)網(wǎng)絡(luò)的零件裝配檢測[J]. 組合機(jī)床與自動化加工技術(shù), 2020(3):74-77; 82.

[2] 童小彬, 孟婥, 孫以澤, 等. 基于HOG特征描述的輪廓匹配算法[J]. 東華大學(xué)學(xué)報(自然科學(xué)版), 2020, 46(5):787-792.

[3] 尚小強(qiáng), 陳從桂, 歐陽光. 基于機(jī)器視覺的輪廓度檢測算法研究[J]. 機(jī)電工程技術(shù), 2019, 48(1):21-23.

[4] Korman S, Reichman D, Tsur G, et al. Fast-match: Fast affine template matching[J]. International Journal of Computer Vision, 2017, 121(1):111-125.

[5] 楊白雪, 張曉丹. 尺度不變特征變換的圖案匹配研究[J]. 國外電子測量技術(shù), 2020, 39(2):53-58.

[6] Chen X N, Zhao J, Yang R F. Product appearance detection based on visual keywords matching[J]. Microprocessors and Microsystems, 2020, 76:103062.

[7] 王瓊, 袁建英, 李柏林. 一種融合特征點(diǎn)與輪廓信息的匹配算法[J]. 計(jì)算機(jī)應(yīng)用研究, 2014, 31(10):3145- 3147.

[8] 劉嶼, 孫坤, 謝宏威, 等. 基于形狀上下文特征和ICP的高精度輪廓視覺檢測算法[J]. 華南理工大學(xué)學(xué)報(自然科學(xué)版), 2018, 46(1):131-138; 144.

[9] Pallotta L, Giunta G, Clemente C. Subpixel SAR image registration through parabolic interpolation of the 2-D cross correlation[J]. IEEE Transactions on Geoscience and Remote Sensing, 2020, 58(6):4132-4144.

[10] 黨士許, 李磊, 張志鴻. 基于改進(jìn)亞像素邊緣提取的一種異性纖維檢測方法[J]. 計(jì)算機(jī)與數(shù)字工程, 2016, 44(4):596-600; 682.

[11] Sun X, Shang K, Ming D L, et al. A biologically-inspired framework for contour detection using superpixel-based candidates and hierarchical visual cues[J]. Sensors, 2015, 15(10):26654-26674.

[12] 江波, 徐小力, 吳國新, 等. 輪廓Hu不變矩的工件圖像匹配與識別[J]. 組合機(jī)床與自動化加工技術(shù), 2020(9):104-107; 111.

[13] Sun H F, Yang J H, Fan R B, et al. Stepwise local stitching ultrasound image algorithms based on adaptive iterative threshold Harris corner features[J]. Medicine, 2020, 99(37):e22189.

[14] 朱思聰, 周德龍. 角點(diǎn)檢測技術(shù)綜述[J]. 計(jì)算機(jī)系統(tǒng)應(yīng)用, 2020, 29(1):22-28.

[15] 李東, 萬賢福, 汪軍, 等. 基于輪廓曲率特征點(diǎn)的服裝款式識別方法[J]. 東華大學(xué)學(xué)報(自然科學(xué)版), 2018, 44(1):87-92.

[16] Khurana M, Singh H. Data computation and secure encryption based on Gyrator transform using singular value decomposition and randomization[J]. Procedia Computer Science, 2018, 132:1636-1645.

Improvement of contour matching method and its application in rotors

WANG Zhuang, QI Jiahui, ZHAO Yiming, HU Yanhai*

( Faculty of Mechanical Engineering & Mechanics, Ningbo University, Ningbo 315211, China )

Vehicle engine rotor assembly error is easy to cause parts friction and efficiency reduction. Aiming at the assembly precision requirements of rotor parts, a improvement of contour matching method based on the combination of contour and feature points was proposed. Firstly, the image is preprocessed by filtering and binarization. Secondly, contour matching was carried out by contour Hu moment method. Then the feature points were extracted, and four feature descriptors were generated in the circular region with the radius of 16 pixels and the feature points were matched by Euclidean distance. Finally, the affine transformation matrix is generated by finding the matching pair, and the precise matching result is obtained. The experimental results show that the proposed method can match the contour accurately under the condition of complex background and light change, and ensure the visual detection accuracy within one pixel. The more the number of feature descriptors generated, the more accurate the matching result.

contour extraction; contour matching; feature descriptor; feature point matching; affine transformation

2021?06?03.

寧波大學(xué)學(xué)報（理工版）網(wǎng)址: http://journallg.nbu.edu.cn/

國家自然科學(xué)基金（51705263）.

王壯（1997－）, 男, 山東濰坊人, 在讀碩士研究生, 主要研究方向: 機(jī)電液產(chǎn)品開發(fā). E-mail: 958563063@qq.com

通信作者:胡燕海（1966－）, 男, 浙江寧波人, 教授, 主要研究方向: 機(jī)電液產(chǎn)品開發(fā)、生產(chǎn)計(jì)劃與控制等. E-mail: huyanhai@nbu.edu.cn

TH-39

A

1001-5132（2022）04-0034-06

（責(zé)任編輯 史小麗）