郭志龍 趙輝
摘? 要:針對不同構建取向成型的3D打印試驗件,將其作為圖像識別及檢測的本體,對比3D打印模型參數,通過HALCON視覺系統(tǒng)進行圖像灰度化、圖像增強及ROI選取等前期圖像預處理,再針對不同類型的缺陷檢測特征,采用基于遺傳算法的特征參數選取方法。選擇最優(yōu)的亮度、對比度、伽馬、銳度及照明等HALCON視覺系統(tǒng)參數并進行匹配檢測,同時對該遺傳算法進行改進處理,以驗證改進后的匹配程度,取得了良好的產品缺陷檢測效果。
關鍵詞:3D打印;HALCON軟件;視覺系統(tǒng)參數;預處理;遺傳算法;最優(yōu);匹配度
中圖分類號:TP273.4? ? 文獻標識碼: ? ?A文章編號:2096-4706(2021)07-0158-04
Feature Parameter Selection Method of Genetic Algorithm Based on
HALCON Vision System
GUO Zhilong,ZHAO Hui
(Lanzhou Petrochemical Polytechnic,Lanzhou? 730060,China)
Abstract:Aiming at the 3D printing test pieces formed in different construction orientations,taking them as the ontology of image recognition and detection,compare the 3D printing model parameters,carry out early image preprocessing such as image graying,image enhancement and ROI selection through HALCON vision system,and then adopt the feature parameter selection method based on genetic algorithm for different types of defect detection features. Select HALCON vision system parameters such as the optimal brightness,contrast,gamma,sharpness and illumination for matching detection. At the same time,improve the genetic algorithm to verify the improved matching degree and achieve good product defect detection effect.
Keywords:3D printing;HALCON software;vision system parameter;preprocessing;genetic algorithm;optimal;matching degree
收稿日期:2021-03-12
課題項目:2018年度教育科學“十三五”規(guī)劃高校與職業(yè)院校一般課題(GS〔2018〕GHB GZ050)
0? 引? 言
作為一種可在線化、個性化打印的快速成型技術,3D打印技術在近年來成為工業(yè)自動化及產品制造領域的研究熱點。目前最常用的3D打印方法有熔融沉積成型技術(FDM)以及切片式成型技術等,打印成型方向可以選用站立式、側立式、平躺式等不同方向。3D打印技術總體而言,具有成本低、自動化程度高、個性化定制等優(yōu)點。但打印精度差,缺陷度高、成品率低、耗時長等缺點仍是困擾3D打印高效、快速發(fā)展的技術因素之一。因此,實現3D打印產品的缺陷檢測顯得迫在眉睫,是亟須解決的問題之一[1,2]。
而基于HALCON機器視覺成像的缺陷檢測方法是現代制造業(yè)進行質量控制及檢測的重要方法之一,將HALCON軟件中的圖像分析及處理算子運用到3D打印產品的缺陷檢測中以執(zhí)行或者輔助完成某些特定的缺陷檢測任務,例如零部件表面的裂紋、凹坑、擦傷、缺陷等的檢測[3-5]。而基于HALCON的機器視覺成像系統(tǒng)對外部干擾因素如光照、零件形狀、零件材料和反射表面等的敏感度較高,基于對這些因素的綜合考慮,在執(zhí)行某些檢測任務時對于機器視覺成像系統(tǒng)的參數選擇就顯得尤為重要。目前的常用方法是在系統(tǒng)安裝調試的過程中通過大量的實驗和經驗方法獲得一些較為可靠的經驗參數。這種方法耗時量大,且匹配效果準確度不高。基于此,本文在對3D打印件進行圖像匹配檢測時運用基于HALCON視覺系統(tǒng)的遺傳算法,得到一種可自動獲取最優(yōu)HALCON視覺系統(tǒng)參數并不斷進行優(yōu)化的方法,以實現3D打印不同構建取向成型件的缺陷檢測。本文所使用的視覺系統(tǒng)軟件HALCON是由德國MvTec生成的機器視覺軟件[6]。
1? 系統(tǒng)軟硬件選型及構成
為了進行本系統(tǒng)圖像檢測的研究,搭建了3D打印及視覺圖像檢測的軟硬件系統(tǒng),并對該系統(tǒng)的視覺性能和穩(wěn)定性能進行了研究,后將開發(fā)和優(yōu)化的遺傳算法應用于該視覺系統(tǒng)進行視覺參數的優(yōu)化。本文所設計得系統(tǒng)包括:一個基于HALCON視覺軟件集成的開發(fā)的遺傳算法應用程序、一個鋁合金框架搭建得物理視覺系統(tǒng)、一個3D打印系統(tǒng)和一個通信控制器。
1.1? 硬件組成
工件打印系統(tǒng)的硬件主要由3D打印機、3D打印耗材及高溫熔絲噴頭等組成。視覺系統(tǒng)的設計由CCD工業(yè)相機、工業(yè)鏡頭、展臺、鋁合金框架、四個獨立的漫射發(fā)光二極管燈、HALCON視覺圖像處理軟件等組成。發(fā)光二極管燈放置在展臺內,從正面、右側、左側和頂部照亮各個部分,使用的相機是單色SD-U200相機,安裝于鋁合金框架上方從上向下觀察零件。各部分硬件選型如表1所示。
1.2? 軟件的組成及通信實現
通過運用HALCON軟件中開放了的2 000余個圖像處理算子及其對應的源程序,只需要在HDevelop環(huán)境下調試HALCON源碼編寫遺傳算法,后選取不同條件下的亮度值、對比度值、銳度值、伽馬值等參數進行圖像處理及匹配檢測,或者按照特定檢測對象,編寫其他程序算法,處理得到圖像處理所需結果。
為了在測試過程中控制和操作遺傳算法參數,用C#語言生成一個圖形用戶界面以實現算法參數選擇控制器和HALCON視覺系統(tǒng)之間的串行通信,后調用HALCON中集成的視覺軟件應用程序HALCON.NET數據庫進行相應圖像處理。
為了確保在通信過程中數據沒有丟失,以及便于識別外部輸入錯誤,使用腳本文件記錄軟件應用程序和物理視覺系統(tǒng)之間的所有命令和響應。
2? 遺傳算法的開發(fā)及參數優(yōu)化
在遺傳算法開發(fā)之前,首先運用圖像特征提取及處理的辦法,進行圖像灰度化及顏色增強,將原始圖片進行預處理,突出圖像中的一些重要的、感興趣的特征,過濾掉少量不必要的信息,使得處理后的圖像對比度明顯增強,特征更加明顯,以便于后期特征提取時更加精確[7-9]。灰度化處理按照HALCON中加權平均法函數rgb1_to_gray進行處理,這里不再詳述。其次利用閾值分割的方法提取所獲得的圖片中各類缺陷對應的感興趣區(qū)域ROI(Region of Interest),在3D打印件模型上,我們主要感興趣的區(qū)域是存在氣泡、凹坑、裂紋、表面缺陷等外表面部位。故根據缺陷檢測需要提取不同的ROI,以盡量消除其余區(qū)域造成的誤檢,從而提高檢測的準確性。
完成以上圖像預處理步驟后,進行視覺系統(tǒng)的匹配檢測,為了獲得更好的性能參數,得到更好的匹配效果,本文擬選用可迭代的遺傳算法進行參數的選擇。需要選擇的遺傳算法圖像參數包括投影照明高度定位、亮度、對比度、伽馬和清晰度等。匹配完成后生成HALCON數據類型的XLD(邊緣輪廓模型)等高線輪廓模型,并與實時圖像匹配,以定位所需的缺陷對象或特征。然后根據面積和長度等特征來判斷其是否為缺陷產品,并標記出缺陷區(qū)域。
在視覺系統(tǒng)進行圖像匹配時,因考慮了遺傳算法的收斂性以及其獲得最佳HALCON視覺系統(tǒng)參數的能力,對運用遺傳算法后得到的視覺系統(tǒng)進行性能分析,以確保所使用的視覺匹配算法能夠滿足可重復性和穩(wěn)定性要求。從而獲得準確的適應值,得到理想的圖像匹配效果。
2.1? 遺傳算法的開發(fā)
用基因序列中的每個染色體表示一種可能的解決方案,即一個染色體對應一組視覺匹配參數。初始化狀態(tài)下,用隨機選擇的參數值組成的染色體均勻地組成初始群體,由于硬件單色相機的規(guī)格和參數限制,需對圖像參數進行限制,參數值從限制值之間隨機選擇,給出的限值如表2所示。
初始群里選取后,遺傳算法進行下一步的迭代,這里規(guī)定每個染色體的每次突變和交叉繁殖的概率都是同時、統(tǒng)一進行的。為了獲得每次遺傳迭代后的合理解決方案,提出該遺傳算法的適應度函數。該適應度函數用待識別區(qū)域中任意三個特征點的平方和的誤差(SSE)表示,其函數關系式如式1所示。在使用每個染色體指定的視覺系統(tǒng)參數進行檢查時,該適應度函數可結合每個待找到部分的百分數與已找到部分的百分數之間的數量誤差關系,計算并返回SSE分數,SSE越接近于0,說明模型選擇和擬合的更好,數據預測越成功。
SSE=(100%-Part1Score)2+(100%-Part2Score)2
+(100%-Part3Score)2? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?(1)
由于遺傳算法可保持遺傳多樣性且具有良好的局部搜索能力,使用優(yōu)勝劣汰和線性排列兩種選擇方法進行迭代以產生最優(yōu)解,即最優(yōu)參數。為保證總體評估效果的優(yōu)越性,建立一個最優(yōu)群落數據庫,在每個種群迭代過程中將最優(yōu)個體取出來儲存到最優(yōu)群落數據庫中再進行比較和分析。關于運行時間T,規(guī)定T的截止時間為算法滿足特定條件為止的時間。算法停止的條件包括:(1)達到了期望時間;(2)獲得了最優(yōu)解;(3)算法停止。
若在選定的迭代次數內適應度函數趨于平穩(wěn),則認為得到最優(yōu)解。如果適應度函數在50次迭代中保持不變,則算法自動停止。
2.2? 視覺系統(tǒng)性能選擇
視覺系統(tǒng)的影響因素主要有照明環(huán)境和相機分辨率(圖像參數)。照明環(huán)境會影響圖像捕獲時的對比度,照明環(huán)境引起的變化會影響整個視覺檢查過程;本試驗系統(tǒng)所選用的像素到毫米級分辨率的相機會影響系統(tǒng)的可重復性和穩(wěn)定性。使用一個3D打印的產品作為參考對象,與其理想的3D參考模型進行匹配,后利用該系統(tǒng)進行目標識別,并使用數值統(tǒng)計方法對結果進行分析。圖1為搭建的3D模型打印平臺。
測試過程中使用環(huán)形LED高亮光源,該LED陣列成圓錐狀以斜角照射在被測物表面,產生均勻的漫射照明。測試流程分4個步驟:(1)在選取的特征匹配點上分別用低范圍、中范圍和高范圍照射光源進行圖像檢測參數測試。這些測試參數見表二;(2)對一個3D打印試件的每次試驗進行50次,要求參數均無變化;(3)每個測試點每次測試返回50個模型分數;(4)對結果進行統(tǒng)計分析。
對于ROI區(qū)域三個點的測試,進行以下統(tǒng)計分析:首先計算每個測試點的樣本平均值和標準偏差,然后計算自由度為31,后得到關于樣本平均值x的正態(tài)分布xi如由式(2)表示:
xi=±tv,p×Sx? ? ? ? ? ? ? ? ? ? ? ? ? ? ?(2)
方差為0.15時,規(guī)格上限(USL)和規(guī)格下限(LSL)由式(3)和(4)計算得出,因環(huán)境照明的變化以及所使用的相機像素的限制,認為該上下限制范圍有效。
USL=+(×15/100)? ? ? ? ? ? ? ? ? ? (3)
LSL=-(×15/100)? ? ? ? ? ? ? ? ? ? (4)
由式(3)和式(4)的計算結果,根據一種用于提高過程質量和最小化過程變化的行業(yè)策略,即六西格瑪原理得出過程能力值:
Cp=? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?(5)
當過程能力等于或大于1時,可認為該系統(tǒng)是可重復的且穩(wěn)定的。由式(5)得出每個測試的每個部分的結果如表3所示。
從表3來看,由于散射和噪音的存在,低視距的處理能力值小于1。而遠視距的散射會降低系統(tǒng)在物體和背景之間建立清晰對比度的能力,得到的對比度值也會降低。銳度值降低會導致圖像不清晰,導致檢測過程中獲得零件邊界的難度升高。綜合來看,中視距和遠視距測試的處理能力大于1(滿足檢測要求),產生了令人滿意的結果。
由于樣本的變化受到隨機誤差和樣本數據大小的影響,可利用樣本均值獲得真實均值和真實標準差的更好估計值。在靜態(tài)條件下,從特征點取十個模型分數的樣本,后根據式(6)計算重復該過程的次數,從而將隨機誤差的估計值降低到可接受的水平。
N≈? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?(6)
其中,P為置信百分比,tv,p置為置信百分比下的學習變量,是Sx為標準偏差的平均值,d為期望的單側置信區(qū)間。
由于單側區(qū)間的可接受水平為0.005,根據式(7)可得到樣本的值,其中樣本的標準偏差計算為0.005 693 966 3,則樣本數為:
N≈=7.25? ? ? ?(7)
因此,只需要8個樣本就滿足條件,圖5顯示了8個樣本的正態(tài)分布函數,這8個樣本均可獲得更好的真實均值和標準差估計。
用式(2)至(5)的平均數據分析方法可得出標準偏差為0.013 466(當置信百分比為95%時),盡管某些未知參數的變化仍會導致系統(tǒng)的可重復性及穩(wěn)定性發(fā)生變化,但總體而言,通過以上測試可以看出平均值的標準偏差較低,視覺系統(tǒng)產生了令人滿意的結果。
2.3? 遺傳算法的性能和優(yōu)化
不同的控制參數會導致解空間產生不同的繁殖和迭代能力,其會影響選擇條件和遺傳多樣性。因此,將遺傳算法應用于視覺系統(tǒng)進行視覺系統(tǒng)參數優(yōu)化之前,需要對遺傳算法進行參數優(yōu)化。具體通過手動及自動改變遺傳算法的獨立參數并觀察應用于視覺系統(tǒng)時的效果來測試,每個測試的性能由其計算運行時間和SSE值來評定。針對每個確定的測試條件和適應度函數,設置初始時靜態(tài)視覺系統(tǒng)參數為:亮度值為-5,對比度值為7,銳度值為0,伽馬值為102,所有燈光采用漫反射的均勻照明。所有測試結果如表4所示。
從表4可以看出,最佳控制參數選擇100的種群規(guī)模、淘汰選擇方法和20%的突變率時產生了較小的SSE值和較短的計算運行時間。因此當遺傳算法應用于視覺系統(tǒng)時,選擇以上的最優(yōu)遺傳算法參數可獲得最優(yōu)的HALCON視覺系統(tǒng)參數。
選擇以上參數后,使用3D打印模型為參考對象,生成3D打印模型輪廓,返回SSE值以及每個零件的匹配分數,測試該遺傳算法獲得最佳視覺系統(tǒng)參數的能力。獲得的優(yōu)化視覺系統(tǒng)參數包括亮度值26、對比度值5、伽馬值134、銳度值0和光數3(僅頂部光)。可以看出,相比于手動調節(jié)參數,將遺傳算法應用于HALCON視覺系統(tǒng)產生了最佳的特征點匹配率及SSE值,視覺系統(tǒng)優(yōu)化結果如表5所示。
3? 遺傳算法的應用
可以看出,選用遺傳算法應用于視覺系統(tǒng)進行視覺系統(tǒng)參數優(yōu)化后,大大節(jié)省了參數選擇時間,且相比較于傳統(tǒng)的試錯法,其選擇的參數匹配度更好、精確度更好,可極大的改善產品表面缺陷檢測的效果。同時,利用HALCON視覺系統(tǒng)中開放的源碼可進行遺傳算法參數的優(yōu)化,該檢測方法可針對不同行業(yè)及應用領域,進行專業(yè)化的檢測,如陶瓷表面裂紋檢測、動車組制動閘片缺陷檢測、動車組輪對咯傷、擦傷等缺陷檢測等等,均有廣闊的應用前景。
4? 結? 論
將遺傳算法應用于HALCON視覺系統(tǒng)產生了最佳的視覺系統(tǒng)參數。這項研究的重要性在于,HALCON視覺系統(tǒng)參數的選擇可以從一個改進的遺傳算法中獲得,而不是傳統(tǒng)的試錯等方法。通過實施參數優(yōu)化后的遺傳算法,可提高視覺系統(tǒng)的穩(wěn)定性能和可重復性;通過調整遺傳算法的適應度函數,可將優(yōu)化的遺傳算法應用于其他視覺系統(tǒng)檢查領域。
參考文獻:
[1] KUANG Z P,DAI G M,WAN R J,et al. Osteogenic and antibacterial dual functions of a novel levofloxacin loaded mesoporous silica microspheres/nano-hydroxyapatite/polyurethane composite scaffold [J].Genes & Diseases,2019(2):193-202.
[2] 徐影,呂毅,王建波,等.深冷處理對3D打印ABS高分子材料組織性能的影響 [J].礦冶工程,2020,40(4):142-144.
[3] 汪成龍,黃余鳳,陳銘泉,等.基于halcon的字符缺陷檢測系統(tǒng) [J].制造業(yè)自動化,2018,40(9):38-41.
[4] 舒奇,黃家才.基于Halcon的機器人手眼標定方法研究 [J].南京工程學院學報(自然科學版),2019,17(1):45-49.
[5] 田春林,陳李博,馬國慶,等.基于Halcon的工業(yè)機器人手眼標定方法研究 [J].制造業(yè)自動化,2018,40(3):16-18+ 46
[6] ZAVRTANIK V,KRISTAN M,SK?AJ D. Reconstruction by inpainting for visual anomaly detection [J].Pattern Recognition,2020,112(2):107706.
[7] LIU C,ZHOU A M,ZHANG G X. Automatic clustering method based on evolutionary optimization [J].IET Computer Vision,2013,7(4):258-271.
[8] CHAOUCH I,DRISS O B,GHEDIRA K. Applied Intelligence;Studies from University of Manouba Provide New Data on Applied Intelligence(A novel dynamic assignment rule for the distributed job shop scheduling problem using a hybrid ant-based algorithm) [J].Journal of Robotics & Machine Learning,2018(49):1903-1924
[9] KRUSE J,CONNOR A M,MARKS S.An Interactive Multi-Agent System for Game Design [J].The Computer Games Journal,2021(10):41-63.
作者簡介:郭志龍(1989.07—),男,漢族,甘肅天水人,工程師,碩士研究生,研究方向:多智能體協(xié)作控制、設備故障檢測與診斷;趙輝(1990.09—),女,漢族,甘肅金昌人,助教,碩士研究生,研究方向:汽車智能化制造、物聯網系統(tǒng)及新能源汽車應用技術。