黎衛(wèi)波,韓衛(wèi)光

1(中國科學(xué)院 沈陽計(jì)算技術(shù)研究所,沈陽 110168)

2(中國科學(xué)院大學(xué),北京 100049)

圖像預(yù)處理在整個(gè)工件識(shí)別過程當(dāng)中是不可缺少的一步,首先把采集到的彩色數(shù)字圖像進(jìn)行處理,使其成為灰度圖.把彩色圖像轉(zhuǎn)化為灰度圖像,不僅不會(huì)丟失彩色圖像中的數(shù)據(jù)信息,而且能夠大大地減少圖像處理過程中的計(jì)算量,提高效率;灰度圖像和彩色圖像的描述能力相比較沒有太大的差別.計(jì)算機(jī)視覺中用到的基本方法中經(jīng)常需要將彩色圖像轉(zhuǎn)換成灰度圖像[1].由于在攝像頭的拍攝環(huán)境中可能會(huì)發(fā)生光照條件微弱和目標(biāo)工件重疊的情況,以及實(shí)驗(yàn)設(shè)備中傳感器的差異,工件圖像在其生成,傳輸和存儲(chǔ)的過程中會(huì)引入噪聲,因此必須對系統(tǒng)采集的原始圖像進(jìn)行噪聲平滑過濾.普通的基于灰度的模板匹配只能應(yīng)用于一些比較簡單圖像的識(shí)別,但是當(dāng)工件存在遮擋,不同程度的旋轉(zhuǎn),不同比例縮放等問題時(shí),繼續(xù)使用傳統(tǒng)的模板匹配算法很難得到預(yù)想的效果,還可能出現(xiàn)一些不正確的匹配結(jié)果.因此,本文采用基于特征點(diǎn)提取的模板匹配方法,通過檢測搜索圖與模板圖共有特征點(diǎn)的方法來衡量二者之間的相似度,此方法能很大限度地克服工件存在旋轉(zhuǎn),縮放,遮擋等問題,能夠大大減少數(shù)據(jù)處理量.

1 圖像預(yù)處理

1.1 灰度級(jí)變換

灰度級(jí)變換作為圖像預(yù)處理中最基本的環(huán)節(jié),它不依賴于像素在圖像中的位置,一個(gè)變換C將原來在[m1,m2]內(nèi)的灰度值m變換為一個(gè)固定灰度值或另一個(gè)灰度范圍[n1,n2]內(nèi)的灰度值,如式(1).

文中圖1給出了最常見的灰度級(jí)變換,直線i為原始圖像,函數(shù)k被稱為圖像二值化,其結(jié)果為黑白圖像,分段函數(shù)j增強(qiáng)了圖像在m1,m2之間的圖像對比度.

圖1 灰度級(jí)變換

圖像二值化就是在灰度圖像中0-255分布的像素點(diǎn)中設(shè)定一個(gè)閾值,使轉(zhuǎn)換后的圖像僅存在灰度值為0和255的基本圖像,也就是將整個(gè)圖像呈現(xiàn)出明顯的黑白效果.圖像二值化是圖像處理的先行官,它使得后續(xù)的圖像操作變得簡單易行.

1.2 平滑噪聲

中值濾波對脈沖噪聲能進(jìn)行較好的濾除,另外,中值濾波的算法比較簡單,易于用硬件實(shí)現(xiàn).中值濾波方法:當(dāng)對一個(gè)數(shù)字信號(hào)序列xj(j為任意值)進(jìn)行濾波處理時(shí),首先要定義一個(gè)長度為奇數(shù)的K長窗口,K=2N+1(N≥0).設(shè)定在某個(gè)時(shí)刻,窗口當(dāng)中的信號(hào)樣本則為x(i-N),…,x(i),…,x(i+N),其中x(i)是位于窗口中心的信號(hào)樣本值.對這K個(gè)信號(hào)樣本值依次按照從小到大的排列之后,它的中值,也就是在i處的樣本值,則定義為中值濾波的輸出值,寫為式(2).

2 改進(jìn)的SURF算法的工件特征提取與匹配

SURF算法同樣作為尺度不變特征變換算法,被稱作是SIFT算法的加速版本,當(dāng)圖像比較大的時(shí)候,SURF的實(shí)時(shí)性依然不夠,由于BRISK計(jì)算速度快,本文通過利用SURF先檢測關(guān)鍵點(diǎn),再用BRISK計(jì)算描述子的方法,吸收兩種算法的優(yōu)點(diǎn)提出一種符合實(shí)際需求的算法即SURF-BRISK[2].SURF-BRISK算法通過SURF檢測極值點(diǎn),BRISK計(jì)算描述子,并運(yùn)用漢明距離(Hanming Distance)進(jìn)行相似性度量,不僅計(jì)算速度快而且匹配率高[4].SURF算法比SIFT算法更快是因?yàn)橐肓朔e分圖像的概念,因此,先介紹積分圖像.積分圖像計(jì)算的是在某個(gè)矩形區(qū)域內(nèi)的像素之和.積分圖在I∑(x)在位置x=(x,y)T處的定義為式(3).

式中,I∑(x)為對應(yīng)的(x,y)坐標(biāo)的積分圖像;I(m,n)為原始圖像對應(yīng)坐標(biāo)m,n處的像素值.

圖2為積分圖像的原理圖.

圖2 積分圖像原理圖

當(dāng)一副圖像中的中的取到了圖像中的每一個(gè)坐標(biāo),則圖像中任意一個(gè)矩形區(qū)域中像素點(diǎn)的求和運(yùn)算僅需要三個(gè)加減法運(yùn)算就能完成,并且I∑(x)獨(dú)立于矩形區(qū)域的大小[5].如果用原始的計(jì)算方法來計(jì)算圖像中某區(qū)域的像素點(diǎn)的總和,所需要的計(jì)算次數(shù)如式(4).

對于這個(gè)結(jié)果,存在大量的重復(fù)工作,因?yàn)榇蟛糠值木匦斡?jì)算重疊了.把積分圖像應(yīng)用到矩形區(qū)域的求和當(dāng)中,能完全避免重復(fù)的求和計(jì)算,很大程度上加快了運(yùn)算速度.SURF算法之所以選用積分圖像來計(jì)算是因?yàn)镾URF中采用了箱式濾波器來近似高斯核函數(shù),箱式濾波器的引入使得卷積模板都是矩形模板,把積分圖像運(yùn)用到SURF中能加快運(yùn)算速度,滿足特征提取的實(shí)時(shí)性要求[6].

通過SURF-BRISK算法進(jìn)行圖像特征提取與匹配分為以下幾步:

(1)對于采集的原始圖像,利用SURF中的盒式濾波器與積分圖像金字塔來模擬圖像的尺度縮放,同時(shí)檢測圖像中的特征點(diǎn);

(2)BRISK特征描述方法把SURF算法檢測到的特征點(diǎn)作為圓心,選取多個(gè)不同半徑的同心圓上的點(diǎn)作為采樣點(diǎn),并對特征點(diǎn)周圍的信息進(jìn)行描述[7];

(3)在匹配的時(shí)候用漢明碼來判斷兩個(gè)特征點(diǎn)的相似性.

通過SURF-BRISK提取特征描述子,然后把這些描述子變?yōu)?和1組成的512位二進(jìn)制比特串之后,利用漢明距離來進(jìn)行相似性度量[8].漢明距離定義如下:

S1=x1x2···x512,S2=y1y2···y512,x和y的值為0或者1,Dkd的值越小,代表匹配率越高,值越大則匹配率越低[9].因此,在匹配過程當(dāng)中,為了得到匹配對,本文運(yùn)用了最近鄰漢明距離.

3 基于特征點(diǎn)提取的模板匹配工件識(shí)別方法

傳統(tǒng)模板匹配方法只試用于一些簡單的圖像識(shí)別,本文采用基于特征點(diǎn)提取的模板匹配方法[11-19],通過檢測搜索圖與模板圖之間的共有特征點(diǎn)的方法來度量兩者之間的相似度,此方法大大地減少了計(jì)算量.SURF-BRISK對圖像的旋轉(zhuǎn),遮擋以及縮放等問題具有較好的魯棒性,因此,本文采用SURF-BRISK特征對模板圖和搜索圖進(jìn)行特征點(diǎn)檢測以及工件的匹配識(shí)別.

4 實(shí)驗(yàn)

4.1 實(shí)驗(yàn)過程設(shè)計(jì)

實(shí)驗(yàn)硬件需計(jì)算機(jī)一臺(tái),測試環(huán)境是Windows7 32位操作系統(tǒng),開發(fā)平臺(tái)為OPENCV2.4.6,所用到的軟件為MATLAB2014,VS2010.利用MATLAB對信號(hào)進(jìn)行中值濾波.對SURF,BRISK,SURF-BRISK三個(gè)描述子進(jìn)行了比較.在自然光照的條件之下,采用了基于SURF-BRISK點(diǎn)特征匹配的模板方法實(shí)現(xiàn)對工件的識(shí)別.

4.2 實(shí)驗(yàn)結(jié)果

實(shí)例1是基于中值濾波的工件圖像預(yù)處理.如圖3中,(a)是工件的原圖,對原始圖像添加噪聲后得到(b)所示圖像,最后對(b)進(jìn)行中值濾波處理得到(c),由(b)和(c)對比可知,中值濾波對脈沖噪聲具有明顯的抑制效果,本文就是采用中值濾波方法來去除工件圖像中的噪聲干擾[20-23].

圖3 基于中值濾波的工件圖像預(yù)處理

實(shí)例2 SURF,BRISK,SURF-BRISK三個(gè)描述子進(jìn)行比較.

圖像初次匹配時(shí)難免會(huì)出現(xiàn)誤匹配,因此本文利用MSAC算法去除誤匹配,從而得到如圖4所示較好的匹配效果.

圖4 SURF,BRISK,SURF-BRISK三個(gè)描述子進(jìn)行比較

實(shí)例3 基于SURF-BRISK點(diǎn)特征匹配的模板匹配識(shí)別.

為了檢驗(yàn)有縮放的情況下的工件的識(shí)別,把搜索圖相對模板圖縮小0.5倍,圖5中(a)為模板圖,(b)為搜索圖,圖6中(a)為縮放后的識(shí)別結(jié)果;為了檢驗(yàn)工件圖像在有噪聲的情況下的識(shí)別,將圖5的搜索圖(b)加入椒鹽噪聲后變?yōu)閳D5中(c),圖6中(b)為搜索圖加入噪聲后的識(shí)別結(jié)果;為了檢驗(yàn)工件在平移時(shí)的識(shí)別,將搜索圖相對于模板圖向右移動(dòng)一定的距離,圖5中(d)為平移后的搜索圖,圖6中(c)為搜索圖平移后的識(shí)別結(jié)果.由上述檢測圖可知,工件在平移,縮放,有噪聲的狀況下,依然能較好的識(shí)別出目標(biāo)工件.

圖5 基于SURF-BRISK點(diǎn)特征匹配的模板匹配識(shí)別

圖6 對搜索圖進(jìn)行操作后的識(shí)別圖

4.3 實(shí)驗(yàn)數(shù)據(jù)

通過實(shí)驗(yàn)可以比較SURF,BRISK,SURFBRISK三種描述子的匹配率與實(shí)時(shí)性,如表1所示,可以判定BRISK的匹配速度是最快的,SURF的匹配速度最慢,但SURF的匹配點(diǎn)最多,SURF-BRISK充分結(jié)合了二者的優(yōu)點(diǎn),使得匹配速度接近BRISK,而且比BRISK能得到更多的匹配點(diǎn).

表1 描述子比較

5 結(jié)語

本文針對工件圖像中目標(biāo)工件匹配識(shí)別問題,在濾波去噪預(yù)處理之后,先后分析對比了SURF,BRISK,SURF-BRISK等三種特征描述子,提出基于SURF和BRISK的方法,有效地實(shí)現(xiàn)了目標(biāo)工件圖像與模板圖像的匹配識(shí)別,并以相似性度量算法消除匹配誤差.

1Szydlowski M,Powalka B,Matuszak M,et al.Machine vision micro-milling tool wear inspection by image reconstruction and light reflectance.Precision Engineering,2016,44:236-244.[doi:10.1016/j.precisioneng.2016.01.003]

2Tomasi C,Manduchi R.Bilateral filtering for gray and color images.Proceedings of the 6th International Conference on Computer Vision.Bombay,India.1998.839-846.

3Bribiesca E.A contour-oriented approach to shape analysis via the slope chain code.International Journal of Contemporary Mathematical Sciences,2016,11(2):65-84.

4Ullah MI,Ajwad SA,Islam RU,et al.Modeling and computed torque control of a 6 degree of freedom robotic arm.Proceedings of 2014 International Conference on Robotics and Emerging Allied Technologies in Engineering.Islamabad,Pakistan.2014.133-138.

5Hentschel U,Elz M,Bernet S.Automatic device scans in EtherCAT networks with cable redundancy.Proceedings of the IEEE 20th Conference on Emerging Technologies &Factory Automation (ETFA).Luxembourg.2015.1-8.

6Blaschko MB.Branch and bound strategies for non-maximal suppression in object detection.Proceedings of the 8th International Conference on Energy Minimization Methods in Computer Vision and Pattern Recognition.St.Petersburg,Russia.2011.385-398.

7Prasanna P,Dana KJ,Gucunski N,et al.Automated crack detection on concrete bridges.IEEE Transactions on Automation Science and Engineering,2016,13(2):591-599.[doi:10.1109/TASE.2014.2354314]

8Farooq U,Asad MU,Rafiq F,et al.Application of machine vision for performance enhancement of footing machine used in leather industry of Pakistan.Proceedings of 8th International Conference on Digital Information Management.Islamabad,Pakistan.2013.149-154.

9郭佳.基于光照不均勻圖像的自適應(yīng)二值化方法研究[碩士學(xué)位論文].武漢:武漢科技大學(xué),2013.

10馬頌德,張正友.計(jì)算機(jī)視覺.北京:科學(xué)出版社,1998.

11韓九強(qiáng).機(jī)器視覺技術(shù)及應(yīng)用.北京:高等教育出版社,2009.

12李奇,馮華君,徐之海,等.計(jì)算機(jī)立體視覺技術(shù)綜述.光學(xué)技術(shù),1999,(5):71-73.

13于浛.非合作航天器雙目視覺位姿估計(jì)算法研究[碩士學(xué)位論文].哈爾濱:哈爾濱工業(yè)大學(xué),2011.

14朱加雷,金嘉怡,喬溪,等.工業(yè)焊接機(jī)器人空間定位技術(shù)研究.電焊機(jī),2014,44(1):5-8.

15葉平,李自亮,孫漢旭.基于立體視覺的球形機(jī)器人定位方法.控制與決策,2013,28(4):632-636,640.

16王曉華,傅衛(wèi)平,梁元月.提高SIFT特征匹配效率的方法研究.機(jī)械科學(xué)與技術(shù),2009,28(9):1252-1255,1260.

17吳若鴻.基于特征匹配的雙目立體視覺技術(shù)研究[碩士學(xué)位論文].武漢:武漢科技大學(xué),2010.

18黃風(fēng)山,劉恩福,方憶湘,等.基于智能三坐標(biāo)測量機(jī)的零件位姿單目立體視覺識(shí)別.光學(xué)精密工程,2013,21(5):1326-1332.

19白雪,黃廷磊.運(yùn)動(dòng)目標(biāo)精確檢測算法.計(jì)算機(jī)系統(tǒng)應(yīng)用,2009,18(12):41-44.[doi:10.3969/j.issn.1003-3254.2009.12.010]

20林洪文,涂丹,李國輝.基于統(tǒng)計(jì)背景模型的運(yùn)動(dòng)目標(biāo)檢測方法.計(jì)算機(jī)工程,2003,29(16):97-99,108.[doi:10.3321/j.issn:1002-8331.2003.16.033]

21劉亞,艾海舟,徐光佑.一種基于背景模型的運(yùn)動(dòng)目標(biāo)檢測與跟蹤算法.信息與控制,2002,31(4):315-319,328.

22王怡然.基于高斯背景模型的運(yùn)動(dòng)目標(biāo)檢測與跟蹤[碩士學(xué)位論文].西安:西安電子科技大學(xué),2012.

23陳鷹,葉勤,鐘志勇.基于小波變換的雷達(dá)與光學(xué)影像匹配算法研究.測繪學(xué)報(bào),2000,29(3):245-249.