張怡卓, 許雷, 丁亮, 曹軍
(1.東北林業(yè)大學 機電工程學院,黑龍江哈爾濱 150040;2.浙江大學 計算機科學與技術學院,浙江杭州 310058;3.東北林業(yè)大學理學院,黑龍江哈爾濱 150040)
其中,T1、T2為搜索鄰域的閾值限定條件。
實木地板表面缺陷直接影響著產(chǎn)品等級,基于計算機視覺的實木地板表面缺陷檢測,對木質(zhì)地板自動分選具有重要的現(xiàn)實應用意義[1-2]。
實木地板計算機視覺檢測系統(tǒng),首先由攝像頭完成表面圖像的信息采集;然后,運用分割算法檢測表面缺陷區(qū)域;最后,應用分類算法對缺陷區(qū)域進行缺陷類別判斷[3-5]。常用的顏色處理模型有RGB模型、HSV模型以及HSI模型[6];考慮到處理時間,作為面向硬件的RGB模型更為適用,前期試驗研究實驗表明R分量圖像可有效抑制紋理噪聲[7]。白雪冰、王林分別運用灰度-梯度共生矩陣和Gabor變換分割木材表面缺陷,這兩種方法因計算量大導致分割速度較慢[8-9]。Du-Ming Tsai等利用小波變換分割物體表面缺陷,然而小波變換中沒有基于鄰界采樣的濾波器組,而且重構之后還需對圖像做進一步的處理[10-11]。應用數(shù)學形態(tài)學算法也可以對缺陷有效分割,但是形態(tài)學重構過程容易引入噪聲[12]。陳永光利用分水嶺算法分割木材表面缺陷,但方法對噪聲極為敏感,易于產(chǎn)生過分割現(xiàn)象[13]。因此,如何對現(xiàn)有算法進行改進,以滿足實木地板在線分選對分割速度和精確度有待進一步研究。
區(qū)域生長法是經(jīng)典的圖像分割算法,其思想簡單、對具有清晰邊緣的圖像有較好的分割結果;但是簡單的搜索八鄰域會消耗大量的時間,且搜索時間和精確度受噪聲影響[14-15]。因此,過濾圖像噪聲,完成種子點優(yōu)選,制定快速搜索策略是亟待解決的關鍵問題。針對上述問題,提出一種基于圖像融合的缺陷快速定位與禁忌快速搜索方法。方法通過對缺陷圖像進行縮小,完成圖像的去噪與缺陷的快速定位;然后,運用插值法對縮小圖像進行原始圖像規(guī)模的放大,通過對放大圖像的缺陷邊緣檢測獲得標記參考圖像;最后,在標記圖像作用下,對原圖像邊界進行禁忌搜索。
實木地板缺陷檢測的計算機視覺系統(tǒng)組成如圖1所示。系統(tǒng)由傳送平臺、CCD攝像頭、鏡頭、攝像頭支架、光源系統(tǒng)、圖像采集卡及缺陷檢測軟件組成。CCD攝像頭為德國Oscar F810C IRF;為了提高圖像采集的清晰度,選用兩片LED平行光源對檢測地板進行照明;采集的地板圖像大小影響著圖像處理時間與辨識效果,且二者是一對矛盾體,前期研究表明:在512×512,256×256和128×128三類圖像中,256×256既能保證處理時間又能有效避免誤識率[12],所以選用256×256的實木地板圖像進行后期識別處理。
圖1 實木缺陷檢測的計算機視覺系統(tǒng)Fig.1 Computer vision system for defects detection of wood plates
參與缺陷分割的圖像有兩幅,第一幅圖像是直接采集的實木地板表面缺陷圖像;第二幅圖像是由第一幅圖像經(jīng)過圖像預處理、圖像縮小、缺陷定位、圖像放大、缺陷邊緣檢測所得到的標記圖像。原始圖像在標記圖像作用下進行缺陷的邊界搜索,完成缺陷的快速、完整分割。具體流程如圖2所示。
圖2 實木地板缺陷分割流程Fig.2 Flow chart of wood plates defects segmentation
選用面向硬件設備的RGB顏色模型,由于R分量圖像不僅對紋理有很好的去噪效果,而且R分量轉(zhuǎn)換為灰度圖像的時間較R、G、B模型要低[4],因此,在圖像預處理部分,首先從RGB模型中提取R分量,然后進行灰度圖像變換。
由于噪聲分布隨機且面積小,圖像縮小既可以實現(xiàn)缺陷粗定位又能夠過濾噪聲。選用等間隔采樣完成圖像縮小,若原圖像中的點f0(x0,y0)在縮小后的圖像中對應點f(x,y),則其中,kx、ky分別為x、y軸方向的縮放倍數(shù)。
等間隔采樣是通過提取子塊中的一個像素點來代替整個子塊,進而組合成一幅圖像。設原圖為f(x,y),縮小后的圖像為g(x,y),則
如果在低維空間搜索缺陷點,計算量將為原來的1
kxk
,既提高運算速度,又減小圖像分割時間。在低維空間搜索缺陷點,并將缺陷置“1”,完成缺陷的初步定位。
圖像放大是生成與原始圖像大小一致的圖像,為缺陷圖像的融合分割提供標記圖像。圖像放大需要在處理效率與結果的平滑度和清晰度上做一個權衡。
梯度插值方法擁有較高的信噪比,且可以很好地保護圖像邊緣。采用差分算法在原始圖像S(m,n)上計算每一點的梯度。在差分網(wǎng)格上,令網(wǎng)格點(i,j)處的梯度為
y
對于插值點(i,j),令在待插值點(i,j),令插值方向為左右方向,即按行插值。
標記圖像是針對原始圖像的缺陷區(qū)域所創(chuàng)建的參考圖像。對于原始輸入大小為256×256的R分量圖像I-im,定義Neighbor(I-im(x,y))為點I-im(x,y)的八鄰域。對于圖像中某一區(qū)域R,N(R)表示不屬于R,但是又和R中某一像素相鄰的集合:
定義標記圖像Sign,其大小與原圖像一致,滿足式(7)、式(8),即
其中,size返回圖像的大小。
如對于某個像素,滿足點I-im(m,n)∈N(R)且I-im(m,n)∈Neighbor(I-im(i,j))要將I-im(m,n)合并到區(qū)域R中,必須滿足條件
其中,T1、T2為搜索鄰域的閾值限定條件。
邊緣檢測是在標記圖像上找到缺陷邊緣,確定邊緣種子點圖像seed(x,y),原圖像將以種子點進行向外搜索,進一步提高分割速度和精確度。
小波變換不但能夠檢測邊緣,還可以將圖像細節(jié)以不同程度的尺度呈現(xiàn),從而實現(xiàn)多類型邊緣的檢測。
選取小波函數(shù)為
其中θ(x,y)≥0是光滑函數(shù)且滿足:
二維圖像f(x,y)所對應的小波變換為:
在尺度2j下,梯度的相角和模分別為
模M2jf(x,y)在φ2jf(x,y)方向的極值點對應圖像的邊緣點。
邊緣檢測的具體步驟為:
1)構造小波函數(shù);
2)對圖像f(x,y)做小波變換,計算模M2jf(x,y)與相角 φ2jf(x,y);
3)沿相角搜索模的極值點,生成圖像的邊緣P2jf(x,y);
4)將P2jf(x,y)中模、相角相似點連接,得到單像素的圖像邊緣D2jf(x,y);
5)對D2jf(x,y)中的邊緣,計算P2j-1f(x,y)中的匹配區(qū)域,得到下一尺度j-1的邊緣圖像D2j-1f(x,y)。
禁忌搜索是參照標記圖像Sign(x,y),從種子點seed(x,y)出發(fā),利用閾值限定生長條件,避開標記點向外搜索缺陷邊界,直到缺陷分割完成。
基于圖像融合的缺陷分割過程的示意如圖3所示。A圖是標記圖像,黑色部分為標記位置,B圖為原始圖像,C圖表明標記缺陷小于實際缺陷。將C圖虛線框放大,如D圖所示。D圖中的黑點是提取的種子點,a環(huán)表示標記圖像邊緣,b環(huán)表示缺陷邊界。
圖3 基于圖像融合的缺陷分割過程的示意Fig.3 The diagram of defects segmenting
圖像處理平臺為MATLAB 2011b,采用32位PC機,其主頻2GHz,內(nèi)存2G。實驗分割步驟如圖4所示,(a)圖是大小為256×256的原始R分量圖像,對其均勻采樣得到低分辨率圖像(b),其大小為32×32;在低維空間搜索缺陷點,得到圖(c);然后將其映射到256×256的高維空間,利用形態(tài)學方法腐蝕完成缺陷定位,如圖(d)所示;提取缺陷邊緣點為種子點,如圖(e)所示,由種子點出發(fā)向邊緣進行禁忌搜索完成缺陷的分割,分割結果如圖(f)所示。表1是各個步驟CPU耗用時間,總消耗時間為12.006 ms。
圖4 分割步驟Fig.4 Segmentation steps
表1 各分割步驟耗用時間Table 1 Elapsed time of each step
運用區(qū)域生長方法對圖4(a)進行分割,分割結果如圖5(b)所示。區(qū)域生長算法雖然可以完整分割出節(jié)子,但受紋理噪聲的干擾,圖中圓圈內(nèi)部為誤分割的噪聲區(qū)域。區(qū)域生長算法與本方法的分割參數(shù)如表2所示,計算面積時可以將分割結果的缺陷部分標記為‘1’,面積計算公式(16)為
其中,R是像素為1的點的坐標。準確率計算公式為其中,標準面積由人為勾勒缺陷區(qū)域得到,圖4(a)的標準缺陷面積為698。分割結果表明,本方法的分割準確率明顯優(yōu)于區(qū)域生長方法。
圖5 兩種算法分割結果Fig.5 Segmenting results by two algorithms
表2 傳統(tǒng)方法與本文方法分割結果對比Table 2 Comparison of segmentation results by traditional methods and the proposed methods
圖6是應用本文所提算法分別就實木地板中常見的活節(jié)、死節(jié)和裂紋進行的分割檢測試驗。對20幅樣本圖像進行分割實驗,該方法對缺陷區(qū)域的平均分割準確率達到96.8%,而傳統(tǒng)方法僅為84.4%.
圖6 部分樣本分割結果Fig.6 Segmentation results of part of sample images
值得說明的是,在通過圖像縮放雖然可以實現(xiàn)缺陷的快速定位,但是會丟失圖像的部分信息。由于實驗中每隔8個像素點采一次樣,因此當缺陷的面積小于8×8個像素點時將很難采樣到缺陷點。如圖7是對較小缺陷的分割結果,(a)圖是原始的R分量圖像,(b)圖是分割結果,可以看出(a)圖紅色圓圈內(nèi)圈起來的3個小蟲眼并沒有被分割出來,其主要原因就是在采樣時丟失了它們的信息。
圖7 小缺陷分割結果Fig.7 Segmenting results of small defects
針對圖4(a)的分割時間進行了記錄與比較,時間對比如表3所示。圖8是兩種方法搜索的區(qū)域面積隨時間變化的曲線。虛線是基于圖像融合分割的時間曲線。其中2~5 ms內(nèi),是低維空間向高維空間插值映射過程;5~10 ms內(nèi)完成種子點提取;10~12 ms內(nèi)進行缺陷邊緣細搜索。實線是區(qū)域生長的分割時間曲線,10 ms左右的波谷是過濾噪聲、優(yōu)選種子點引起的。對20幅樣本圖像進行分割實驗,該方法平均分割時間為13.21 ms。
表3 兩種算法時間對比Table 3 Elapsed time of two methods
圖8 區(qū)域面積隨時間變化曲線Fig.8 Area of versus time
針對于區(qū)域生長算法存在的分割速度慢、分割不準確的問題,提出了基于圖像融合的缺陷定位方法,方法通過圖像縮放實現(xiàn)了缺陷快速定位的同時有效克服了噪聲干擾;運用小波變換有效的提取了缺陷邊緣,通過對邊緣制定的禁忌搜索策略,完成了缺陷精確分割。缺陷分割的時間、精確度和抗擾能力明顯優(yōu)于區(qū)域生長方法。
[1]RUZA Gonzalo A,PABLO A Estevez,PABLO A Ramirez.Automated visual inspection system for wood defect classification using computational intelligence techniques[J].International Journal of Systems Science,2009,40(2):163-172.
[2]PHAM D T,ALCOCK R J.Automated grading and defect detection:A Review[J].Forest Products Journal,1998,48(3):34-42.
[3]IRENE Y H G,RAUL Vicen.Automatic classification of wood defects using support vector machines[C]//International Conference of Computer Vision and Graphics,November 10-12,2008,Warsaw,Poland.2008:356-367.
[4]PHAM D T,ALCOCK R J.Automated visual inspection of wood boards:selection of features for defect classification by a neural network[J].Journal of Process Mechanical Engineering,1999,213(4):231-245.
[5]RUZA Gonzalo A,PABLO A Estévez,PEREZ Claudio.A neurofuzzy color image segmentation method for wood surface defect detection[J].Forest Products Journal,2005,55(4):52-58.
[6]OLLI Silven,MATTI Niskanen,HANNU Kauppinen.Wood inspection with non-supervised clustering[J].Machine Vision and Applications,2003 13(2):275-285.
[7]ZHANG Yizhuo,TONG Chuan,Wood board defects sorting based on method of possibilistic C-means improved support vector data description.Applied Mechanics and Materials,2012,128-129:1288-1291.
[8]白雪冰,鄒麗暉.基于灰度-梯度共生矩陣的木材表面缺陷分割方法[J].森林工程,2007,23(2):16-18.
BAI Xuebing,ZOU Lihui.Segmentation method of timber surface defects based on gray level-gradient Co-occurrence matrix[J].Forest Engineering,2007,23(2):16-18.
[9]王林,白雪冰.基于Gabor變換木材表面缺陷圖像分割方法[J].計算機工程與設計.2010,31(5):1066-1069.
WANG Lin,BAI Xuebing.Image segmentation method of surface defects of wood based on Gabor transform[J].Computer Engineering and Design,2010,31(5):1066-1069.
[10]TSAI Duming,BO Hsiao.Automatic surface inspection using wavelet reconstruction[J].Pattern Recognition,2001,34(6):1285-1305.
[11]HAN Yanfang,SHI Pengfei.An adaptive level-selecting wavelet transform for texture defect detection[J].Image and Vision Computing,2007,25(8):1239-1248.
[12]張怡卓,佟川,于慧伶.基于形態(tài)學重構的實木地板缺陷分割方法研究.森林工程[J].2012,28(2):14-17.
ZHANG Yizhuo,TONG Chuan,YU Huiling.Research on wood floor defects segmentation based on morphological reconstruction[J].Forest Engineering,2012,28(2):14-17.
[13]陳永光,王國柱,撒潮,等.木材表面缺陷邊緣形態(tài)檢測算法的研究[J].木材加工機械.2003,3:18-22.
CHEN Yongguang,WANG Guozhu,SA Chao,et al.A study of morphology arithmetic for lumber surface defects’edge detection[J].Wood Processing Machinery,2003,3:18-22.
[14]金立生,王榮本,高龍,等.基于區(qū)域生長的智能車輛陰影路徑圖像分割方法[J].吉林大學學報:工學版,2006,36:132-135.
JIN Lisheng,WANG Rongben,GAO Long,et al.Shadow path mark segmentation method based on region growing for intelligent vehicle[J].Journal of Jilin University:Engineering and Technology Edition.2006,36:132-135.
[15]FRANK Y Shih,CHENG Shouxian.Automatic seeded region growing for color image segmentation[J].Image and Vision Computing,2005,23(5)877-886.
[16]尹奎英,劉宏偉,金林.快速的Otsu雙閾值SAR圖像分割法[J].吉林大學學報:工學版,2011,41(6):1760-1765.
YIN Kuiying,LIU Hongwei,JIN Lin.Fast SAR image segmentation method based on Otsu adaptive double threshold[J].Journal of Jilin University:Engineering and Technology Edition,2011,41(6):1760-1765.