潘屾 王克奇 侯弘毅 張怡卓
(東北林業(yè)大學,哈爾濱,150040)
基于視覺測量的尺寸檢測系統(tǒng),是以計算機視覺為基礎,集成光學技術、計算機技術、測量技術等為一體的一種檢測技術手段。在實際生產過程中,該測量方法能夠有效避免人工檢測速度慢、測量結果受人為因素影響、精度無法保證的問題[1]。同時,采用計算機視覺方法,可以實時在線對產品的尺寸進行測量,隨時報告產品尺寸變化,提高產品質量[2]。
尺寸測量主要有以下處理步驟,先對整個測量系統(tǒng)進行標定,同時根據目標物特點選擇圖像平滑方法,再對離散的序列圖像進行拼接融合,最后對目標邊緣進行提取和測量[3-4]。針對尺寸測量中的噪聲干擾與圖像平滑問題,已有較多研究[5-12]。在實際生產中,實木原料的尺寸直接影響其質量[13-14]。因此,對于板材的長度、寬度及形變的檢測十分重要。本文首先采用Zhang[10]的方法對實驗中使用的相機進行標定,得到相機內部參數(shù)與外部參數(shù);再對其所采集的樣本圖像進行鏡頭畸變補償。采用高斯模糊對圖像進行平滑后,應用Harris角點檢測進行圖像拼接;再對拼接結果進行邊緣檢測,得到檢測對象的邊緣圖像。通過建立空間坐標系與像素坐標系間的對應關系和給定的相機高度,計算空間中的板材尺寸。該方法解決了長尺寸板材機器視覺測量困難的問題。
試材約為700 mm(長)×200 mm(寬)的10塊柞木板材,對板材進行拋光保證其平整性,通過人工測量得到其各邊邊長。
相機的鏡頭并非理想光學系統(tǒng),存在加工誤差和裝配誤差,造成相機成像與理想成像間出現(xiàn)光學畸變誤差。實驗中用的圖像采集相機為Oscar公司F810CIRF相機,鏡頭型號為M0814-MPFA。
采用Zhang[10]的方法進行相機標定。相機標定靶標,隨機選擇在1張白紙上打印5×4個正方形,將其貼附于平整的玻璃表面,制成靶標,每個正方形的邊長為23.00 mm,共有80個角點作為參考點。標定過程中,采集了不同角度的30幅靶標圖像為參考圖像。使用相機拍攝多幅不同角度的平面靶標圖像,相機與靶標圖像可任意擺放,且不需測得相關位移或轉角。
由相機采集的原始圖像是含有畸變的圖像,通過相機標定內部參數(shù)和Zhang[10]方法矯正原始圖像,得到采集圖像的畸變補償圖像,同時得到修正后的相機內部參數(shù)(見表1)。
首先通過直方圖均衡化增強圖像對比度,再采用高斯濾波圖像平滑方法進行去噪。高斯濾波采用高斯函數(shù)卷積原圖像,令其模糊,減小圖像噪聲、降低圖像細節(jié)。對于圖像I(x,y),高斯模糊過程:L(x,y,σ)=G(x,y,σ)I(x,y);G(x,y,σ)=(1/2πσ2)exp[((x-xi)2+(y-yi)2)/2σ2]。式中:L(x,y,σ)為卷積后的結果;G(x,y,σ)為與圖像卷積的高斯函數(shù);I(x,y)為圖像坐標;σ為高斯核,決定圖像模糊程度。
表1 相機內部參數(shù)
由圖1可見:可以看出高斯濾波能夠保存完整的邊緣信息,效果好。
圖1 圖像平滑結果
Harris角點檢測算法,采用計算模板區(qū)域內灰度變化梯度的方法進行圖像拼接,利用灰度變化梯度的旋轉不變性,定義一個自相關系數(shù)表征梯度變化。對于圖像中的點(u,v),計算其方形窗口區(qū)域內圖像灰度誤差的總和:
式中:E(u,v)為點(u,v)的Harris的角點檢測值;w(x,y)=exp((x2+y2)/2σ2)為高斯濾波;I(u,v)為點(u,v)的灰度值,Ix、Iy分別為圖像灰度在x、y方向的梯度值。
計算M矩陣的兩個特征值λ1、λ2。特征值表示局部自相關函數(shù)的曲率。若兩個特征值都很小,則表明窗口所在區(qū)域的灰度變化較小,該附近的自相關值很??;若一個特征值很大,另一個很小,表明窗口區(qū)域為圖像邊緣,且沿邊緣方向自相關值變化較小,沿垂直邊緣方向自相關值變化較大;當兩個特征值都大時,表明該點為角點,沿任意方向的自相關值變化均急劇變大。
Harris角點檢測方法的圖像拼接過程(見圖2):首先進行特征角點檢測,提取得到角點作為拼接特征點集;然后進行特征角點配準,尋找兩幅圖像中的正確配準角點對;接著用變換模型參數(shù)估計,計算出待拼接圖像到參考圖像的變換參數(shù);最后完成圖像拼接融合,保持圖像視覺效果的一致性。即:對經過預處理的前后兩幀圖像分別提取Harris角點,再進行角點匹配得到圖像變換參數(shù),對中間重疊區(qū)域采用融合算法得到拼接圖像。
邊緣信息是圖像的重要特征,邊緣檢測的內容主要包括灰度變化的測量和定位。當前的邊緣檢測有很多不同的方法,其基本思想為,首先利用增強算子突出圖像中的局部區(qū)域邊緣;然后通過設置閾值提取邊緣點點集;最后在邊緣點集中剔除某些邊界點、填補邊界斷點將邊緣連接成線。Sobel算子,對于灰度變化與噪聲較多的圖像有較好的處理效果。由圖3可見,Sobel算子的檢測結果,保存了完整清晰的邊緣。
圖2 板材圖像拼接過程
圖3 多種邊緣檢測算子的結果
通過對相機內部參數(shù)的測量,得到相機相關的外部參數(shù)。再通過定義標準測量的元件,通過鏡頭畸變矯正后,可以通過理想的相機放大模型得到板材的尺寸參數(shù)。
定義空間坐標系(Xr,Yr,Zr)描述相機與物體的位置。定義圖像像素坐標系(u,v)與圖像物理坐標系(x,y),其中像素坐標系以圖像的左上角為原點,像素為單位,u、v分別代表像素點所在圖像中的列與行數(shù)。物理坐標系以光軸與像面交點為原點,以毫米為單位,x、y軸分別與像素坐標系的u、v軸平行。定義相機坐標系(Xc,Yc,Zc),其原點為鏡頭的光心,Zc與光軸重合、與成像面相垂直,且攝影方向為正。Xc和Yc軸與圖像的物理坐標系x、y軸平行,f為相機焦距。依據上述定義,可得到空間中一點在空間坐標系中的坐標,與其像點在圖像像素坐標系中的坐標間變換關系:
考慮到鏡頭畸變的因素,(u0,v0)為圖像物理坐標系(x,y)原點在圖像像素坐標系(u,v)中的坐標,且有u=x/dx+u0,dx為一個像素在(x,y)中x軸方向上的物理長度。α=f/dx、β=f/dy分別為物理坐標系中的等效焦距,其單位為像素。給出相機高度距離測量所在平面距離Zc=500.00 mm,根據相機內部參數(shù)和外部參數(shù)標定,計算出內部參數(shù)矩陣K和旋轉矩陣R:
對于板材的4個角點A(XrA,YrA,ZrA)、B(XrB,YrB,ZrB)、C(XrC,YrC,ZrC)、D(XrD,YrD,ZrD),可以得到已知像素點(u,v)下,關于其空間坐標Xr、Yr的2個線性方程,可以利用歐氏距離公式得到邊長值。
對實驗準備的700 mm(長)×200 mm(寬)10塊待測試柞木長板材進行測量。首先對板材進行拋光保證其平整性,再通過人工測量得到其各邊邊長。采用本文方法對柞木拋光板材計算其各邊邊長(見表2、表3),表4為采集后圖像不進行畸變補償直接測量尺寸的結果。標準差的計算公式為:
表2 對5號測試樣本10次測量結果
表3 待測樣本板材測量結果標準差比較
表4 圖像直接測量與畸變補償后測量結果比較 mm
由表2、表3可見,針對單個測試樣本多次測量的最大誤差為0.89 mm,其標準差小于1 mm。對于10個樣本測量結果表明,測量精度較高,最大標準差為0.582,其測量的精確度均在1 mm內。針對存在的誤差,造成的原因是存在一定的系統(tǒng)誤差,包括光學成像誤差、標定誤差、量化誤差、采樣誤差等。表4比較了畸變補償與無補償測量的結果,通過畸變補償后的圖像有效的減小了最大誤差,將測量的精確度由5 mm提升至1 mm。
計算機視覺下的尺寸測量技術,具有非接觸、自動程度高的特點,應用前景廣闊。本文利用測量樣本的數(shù)字圖像,圍繞其空間內的尺寸測量問題,對相機標定、畸變補償、圖像平滑、圖像拼接、邊緣檢測、坐標轉換等問題進行了理論和實驗研究,驗證了應用圖像拼接的長尺寸板材測量方法的準確度與實用效果。實驗結果表明:相機標定與畸變補償提高了測量的精度,由5 mm提高至1 mm;圖像拼接的方法,解決了長尺寸板材機器視覺測量困難的問題。采用Sobel算子邊緣檢測方法,能準確保留邊緣信息,速度快、計算簡單,測量結果的最大標準差為0.582 mm,測量精度小于1 mm。
[1] MALAMAS E N, PETRAKIS E G M, ZERVAKIS M, et al. A survey on industrial vision systems, applications and tools[J]. Image and Vision Computing,2003,21(2):171-188.
[2] 王建民,浦昭邦,晏磊,等.二維圖像測量機系統(tǒng)的研究[J].儀器儀表學報,2001,22(4):349-353.
[3] 尹伯彪,周肇飛.基于波前修正的大尺寸測量圖像恢復技術研究[J].四川大學學報(工程科學版),2008,40(4):172-175.
[4] 唐武生,譚慶昌,吳麗,等.平面參數(shù)的非接觸測量研究[J].武漢理工大學學報,2009,31(9):94-98.
[5] 李樹奎,聶紹珉,唐景林,等.大型鍛件尺寸測量CCD圖像的去噪算法研究[J].塑性工程學報,2009,16(1):202-205.
[6] 李羅生,白立芬,李慶祥,等.微小尺寸測量中的圖像處理技術[J].清華大學學報(自然科學版),2001,41(8):45-48.
[7] DEVERNAY F, FAUGERAS O. Straight lines have to be straight: automatic calibration and removal of distortion from scenes of structured environments[J]. Machine Vision and Applications,2001,13(1):14-24.
[8] 劉金頌,原思聰,張慶陽,等.雙目立體視覺中的攝像機標定技術研究[J].計算機工程與應用,2008,44(6):237-239.
[9] 劉賓,王黎明,趙霞.基于CCD尺寸測量中圖像邊緣退化及恢復技術研究[J].應用光學,2013,(6):995-999.
[10] ZHANG Z Y. A flexible new technique for camera calibration[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence,2000,22(11):1330-1334.
[11] 盧瑜,郝興文,王永俊.Moravec和Harris角點檢測方法比較研究[J].計算機技術與發(fā)展,2011,21(6):95-97,100.
[12] 仇國慶,馮漢青,蔣天躍,等.一種改進的Harris角點圖像拼接算法[J].計算機科學,2012,39(11):264-266,297.
[13] 戴天虹,王克奇,楊少春.基于顏色特征對木質板材分級的研究[J].系統(tǒng)仿真學報,2008,20(5):1372-1376.
[14] ZHANG Y Z, LIU S J, TU W J, et al. Using computer vision and compressed sensing for wood plate surface detection[J]. Optical Engineering,2015,54(10).doi:10.1117/1.OE.54.10.103102.