張雷洪 熊銳

摘要：在實際的印刷品缺陷檢測過程中，存在因相機支架的顫動而導(dǎo)致標(biāo)準(zhǔn)印刷圖像和待檢測圖像在空間位置上配準(zhǔn)不精確的問題。為此，在圖像去抖動技術(shù)的基礎(chǔ)上，提出了一種融合SURF（speeded-up robust features）和ORB（oriented FAST and rotated BRlEF）的運動估計算法。首先，基于SURF算法提取標(biāo)準(zhǔn)印刷圖像和待檢測圖像的特征點;其次，基于ORB算法對提取的特征點進行描述和匹配;再次，將正確匹配的特征點通過仿射模型來求取全局運動矢量;最后，通過求得的全局運動矢量來補償圖像，并完成待檢測圖像與標(biāo)準(zhǔn)印刷圖像的配準(zhǔn)。針對待測圖像存在的平移、尺度和旋轉(zhuǎn)三種不同變化，分別采用SURF-ORB、ORB和SIFT（scale-invariant feature transform）的運動估計算法進行了性能分析。結(jié)果表明，SURF-ORB的特征點匹配對數(shù)量最多，匹配效果最好，SURB-ORB的運動估計時間控制在毫秒級別，滿足現(xiàn)代印刷品缺陷檢測的實時性要求。因此，融合SURF和ORB的運動估計算法能夠?qū)D像進行精確、實時的配準(zhǔn)。

關(guān)鍵詞：配準(zhǔn);抖動補償;特征點匹配;仿射模型

中圖分類號：TP273 文獻標(biāo)志碼：A

引言

在現(xiàn)代印刷行業(yè)中，基于機器視覺的印刷缺陷檢測技術(shù)可以精確地分析印刷圖像質(zhì)量，確定印刷品是否存在缺陷并實現(xiàn)印刷質(zhì)量的在線檢測。但是在實際的印刷品檢測過程中，由于設(shè)備引起相機支架的顫動等因素的影響，使得采集的待檢測圖像相對于標(biāo)準(zhǔn)樣張圖像發(fā)生平移、尺度和旋轉(zhuǎn)等變化，從而影響檢測結(jié)果的穩(wěn)定性和準(zhǔn)確性。

目前，機器視覺檢測系統(tǒng)中的去抖動方法主要分為機械去抖動、光學(xué)去抖動以及圖像去抖動。其中，機械去抖動和光學(xué)去抖動的發(fā)展和應(yīng)用由于需要價格昂貴、精確度高的測量元件而受到了限制，而圖像去抖動是利用數(shù)字圖像技術(shù)直接在像素面上檢測出圖像間的像素偏移量，從而對其進行補償，該技術(shù)以體積小、攜帶容易、穩(wěn)定性好以及成本低等優(yōu)勢被廣泛應(yīng)用在各種檢測中。

圖像去抖動方法應(yīng)用在印刷品缺陷檢測系統(tǒng)中時，主要是對采集的印刷圖像進行運動的估計與補償。其中，特征點估計算法是一種常用的運動估計算法，其主要由特征點的提取、描述、匹配以及全局運動矢量的確定組成。針對圖像的特征點提取、描述和匹配，已經(jīng)有很多研究人員做出了針對性的算法。比如Lowe早在2004年就提出了一種尺度不變特征變換算法SIFT，接著快速魯棒性特征算法SURF針對SIFT算法包含信息較多、復(fù)雜度高以及實際利用率低等問題，利用Hessian矩陣和Hear小波相結(jié)合的方法有效地提高了運算速度，但是提取的特征點穩(wěn)定性不夠好。2011年，Rublee等提出的局部不變特征匹配算法ORB，較SIFT和SURF算法大大地提高了其運算速度，且運行時間短，具備旋轉(zhuǎn)不變性。但是ORB算法本身不具備尺度不變性，所以在特征點匹配時會出現(xiàn)很多錯誤，進一步對圖像的處理產(chǎn)生不良影響。

因此，本文在圖像去抖動方法的基礎(chǔ)上，對待檢測圖像進行抖動補償，并完成與標(biāo)準(zhǔn)樣張圖像的配準(zhǔn)工作。針對ORB算法不具備尺度不變性的缺點，將具備尺度不變性特征的SURF算法與ORB算法相結(jié)合來對圖像的特征點進行提取、描述和匹配。根據(jù)仿射模型的參數(shù)較多，更符合實際設(shè)備的抖動情況，選用仿射模型作為圖像去抖動算法中的數(shù)學(xué)模型來求取全局運動矢量，最后通過求得的全局運動矢量來補償圖像，并完成與標(biāo)準(zhǔn)樣張圖像的配準(zhǔn)。

1融合SuRF和ORB的特征點匹配算法

1.1基于SURF算法提取特征點

SURF算法使用Hessian算子提取不同尺度的圖像特征點。假設(shè)原始圖像I在點（x，y）處，尺度為σ的Hessian矩陣為

因此，為了得到多個尺度的圖像，SURF算法只需要改變箱型濾波器的大小，然后重復(fù)上述步驟，就可以得到不同尺度下的Dxx、Dxy和Dyy值，從而求得極值點。將此極值點與3x3x3的尺度空間中其他26個點進行比較，得到符合條件的特征點，此時的特征點具備尺度不變性。

1.2基于ORB算法生成特征點描述子

首先，為了使得這些特征點具有旋轉(zhuǎn)不變性，需要確定每個特征點的主方向。因此，采用Haar小波響應(yīng)確定主方向的方法，來計算特征點的主方向。該過程為：以特征點為中心，計算半徑為60'（σ‘為特征點對應(yīng)的尺度）的圓內(nèi)的點在x和y方向上的Haar小波響應(yīng)值，再以60°的扇形區(qū)域作為滑動窗口，使用該窗口以一定的步長旋轉(zhuǎn)遍歷整個圓形領(lǐng)域，并計算每次旋轉(zhuǎn)時窗口內(nèi)所有Haar小波響應(yīng)的累加值，得到新矢量，選出其中最長矢量的方向作為該特征點的主方向。

最后，利用二進制函數(shù)進行比較，得到長度為256維的二進制串，并將其作為特征點的描述子。此時所得的特征點的描述子具有了旋轉(zhuǎn)不變性和尺度不變性的特點。

1.3特征點的匹配

本文采用暴力匹配方法對提取出的特征點進行匹配，該方法的匹配過程為：對標(biāo)準(zhǔn)圖像上的每一個特征點，采用漢明距離來計算它與待檢測圖像上每一個特征點描述子的距離，并取距離最小的特征點作為匹配點。由于匹配的特征點對仍然存在一些誤匹配的情況，所以需要剔除它們來提高運動估計算法的精度。因隨機抽樣一致算法（RANSAC）可以將特征點的數(shù)據(jù)集分為內(nèi)點集和外點集（內(nèi)點是指正常的可以被數(shù)學(xué)模型描述的特征點，外點是指出現(xiàn)異常以及無法適應(yīng)該數(shù)學(xué)模型的特征點），可以以不停迭代、假設(shè)的方式計算出最佳的數(shù)學(xué)模型參數(shù)，使得到的計算結(jié)果更接近真實值，所以本文選擇RANSAC來篩除誤配的特征點對。

2建立數(shù)學(xué)模型

利用得到的正確特征點對來估計當(dāng)前所采集的圖像與制定的標(biāo)準(zhǔn)印刷圖像之間的像素偏移量，該偏移量也稱為全局運動矢量。全局運動矢量是通過圖像的數(shù)學(xué)模型來獲得，將獲得的像素偏移量作為補償量就可以將待檢測圖像逆變換為標(biāo)準(zhǔn)圖像。假設(shè)（XI1，yI1）、（xI2，YI2）分別代表標(biāo)準(zhǔn)圖像和待檢測圖像中相對應(yīng)的兩點，則兩圖之間的空間幾何變換定義如下：

在計算全局運動矢量之前需要先確定用于計算的數(shù)學(xué)模型。目前，常用的數(shù)學(xué)模型有平移模型、相似模型和仿射模型，其中：平移模型是圖像的平移變換;相似模型是在平移模型的基礎(chǔ)上增加了縮放因素;仿射模型包含了平移、旋轉(zhuǎn)和尺度，該特點是原圖中平行的兩條直線，經(jīng)仿射變換后仍然保持平行。因此如果圖像同時存在平移、旋轉(zhuǎn)和尺度變化時，用仿射模型更能準(zhǔn)確表達(dá)，其表達(dá)式為

可以將式（7）中的模型參數(shù)轉(zhuǎn)換為仿射變換矩陣T，即式中包含六個變量，因此至少需要三對特征點對來求解T（T亦稱為全局運動矢量）。因此，通過求得的全局運動矢量來對待檢測圖像進行補償，就可以得到最終的配準(zhǔn)圖像。

3實驗與分析

3.1實驗流程

在印刷品缺陷檢測的圖像采集過程中，由于外界因素的干擾造成采集的圖像存在平移、尺度、旋轉(zhuǎn)等變化，對此本文在配置有開源計算機視覺圖像處理庫OpenCV的Visual Studio2017環(huán)境下，對采集的圖像進行補償實驗，具體實驗流程如圖1所示。

本文采用順華利SHL-500WS型的CCD工業(yè)相機來制定標(biāo)準(zhǔn)印刷圖像以及采集存在平移變化、尺度變化和旋轉(zhuǎn)變化的待檢測圖像，其中標(biāo)準(zhǔn)印刷圖像和待檢測圖像的尺寸為340像素×340像素，實驗圖像如圖2所示。

3.2三種算法的特征點匹配效果比較

分別使用SURF-ORB算法、SIFT算法和ORB算法來對圖像的特征點進行提取、描述和匹配，統(tǒng)計各個算法在圖像發(fā)生平移、尺度、旋轉(zhuǎn)變化時提取的特征點個數(shù)、算法耗時以及最后匹配的點對數(shù)，并以此進行算法性能分析。

圖3為待檢測圖像存在平移變化的情況下，三種算法的特征點匹配效果圖，表1為平移變換時的實驗結(jié)果。

由圖3可見：從匹配的特征點對數(shù)來看，SURF-ORB算法匹配的特征點對數(shù)最多，其次是ORB算法，最后是SIFT算法;從匹配的特征點對效果來看，SURF-ORB算法的匹配效果最好，ORB算法和SIFT算法都出現(xiàn)了一定程度的誤匹配。

圖4為待檢測圖像發(fā)生尺度變化時三種算法的特征點匹配效果圖，表2為此時三種算法的實驗結(jié)果。

從圖4可以看出，當(dāng)檢測圖像發(fā)生尺度變化時，ORB算法耗時是最短的，其次是SURF-ORB算法，而SIFT算法所用時間最長。雖然ORB算法的耗時最少，但是匹配的特征點對沒有SURF-ORB算法理想，出現(xiàn)了誤匹配，并且SURF-ORB算法提取的特征點對數(shù)最多。

圖5為三種算法在待檢測圖像發(fā)生旋轉(zhuǎn)變化時的特征點匹配效果圖，表3為此時三種算法的實驗結(jié)果。從圖5可以看出，當(dāng)檢測圖像因旋轉(zhuǎn)變化而導(dǎo)致特征點周圍的方向信息和梯度信息發(fā)生了變化，從特征點對的數(shù)量上來看，SURF-ORB算法提取的特征點對數(shù)最多，其次是ORB算法，最后是SIFT算法。雖然SURF-ORB算法、ORB算法和SIFT算法都出現(xiàn)了一定程度的誤匹配，但是SURF-ORB算法在匹配的特征點對的數(shù)量上優(yōu)于ORB算法，在算法耗時上優(yōu)于SIFT算法。

綜上可知：在算法時間長短上，ORB算法和SURF-ORB算法都能夠達(dá)到毫秒級別，而SIFT算法由于不停迭代卷積延長了算法的速度，導(dǎo)致算法的耗時是其他兩種算法的幾倍;在匹配的特征點對數(shù)量上，最多的是SURF—ORB算法，其次是ORB算法和SIFT算法，并且ORB算法和SIFT算法出現(xiàn)誤匹配更多。SURF-ORB算法結(jié)合了其他兩種算法的優(yōu)點，與SIFT算法比較縮短了匹配時間，與ORB算法相比降低了匹配誤差，因此將SURF算法和ORB算法相融合來進行特征點的提取、描述和匹配是可行的，且效果好。

3.3運動補償完成配準(zhǔn)

在數(shù)學(xué)模型的建立中提到只需要三對特征點對就可以求得變換矩陣T1，表4為SURF-ORB算法在未使用RANSAC時得到的匹配特征點對的實驗結(jié)果。

從表4可以看出，在不使用RANSAC篩除的情況下，無論是平移變換、尺度變換還是旋轉(zhuǎn)變換都出現(xiàn)了大量的誤匹配點，如果不對這些錯誤的特征點對進行篩除，將會降低后續(xù)配準(zhǔn)的精度，因此在得到特征點對后利用RANSAC篩除誤匹配的特征點很有必要。

本文利用RANSAC篩選出的內(nèi)點集與外點集，結(jié)合仿射模型求得全局運動矢量，從而對圖像進行補償，并獲得配準(zhǔn)后的待檢測圖像，如圖6所示。

為了驗證配準(zhǔn)后的待檢測圖像的效果，采用相似度（NC）來客觀評價標(biāo)準(zhǔn)樣張圖像分別與抖動的待檢測圖像和補償恢復(fù)的配準(zhǔn)圖像之間的相似程度。對于大小為MxN的圖像，相似度NC的數(shù)學(xué)表達(dá)式為

式中：X（i，j）為標(biāo)準(zhǔn)樣張圖像像素點的灰度值;x'（i，j）為抖動的圖像或補償恢復(fù)的圖像像素點的灰度值。其計算結(jié)果如表5所示。

從表5可以看出，抖動的待檢測圖像與標(biāo)準(zhǔn)樣張圖像之間的相似性程度較小，而經(jīng)上述方法補償后的圖像與標(biāo)準(zhǔn)樣張圖像相比相似程度高，雖然也存在誤差，但是只存在少量的像素誤差，對后續(xù)的印刷缺陷的檢測和模式識別造成的影響不大?？傊?，融合SURF-ORB的特征點匹配算法在匹配正確的特征點對和運行時間上具有優(yōu)勢，有利于后續(xù)利用正確的特征點對計算全局運動矢量和進行抖動補償，并以此提高了配準(zhǔn)的精確程度。

4結(jié)論

本文針對印刷品缺陷檢測中，因外界因素造成采集的待檢測圖像相對于標(biāo)準(zhǔn)樣張圖像發(fā)生平移、尺度和旋轉(zhuǎn)變換而使后續(xù)的配準(zhǔn)、缺陷檢測帶來誤差等問題，提出了一種融合SURE-ORB的特征點匹配算法，并結(jié)合仿射模型求出全局運動矢量，完成抖動的補償和配準(zhǔn)。通過實驗可以證明融合SURE-ORB算法在匹配正確的特征點對和運行時間上具有優(yōu)勢，效果良好。