焊縫磁粉檢測圖像自動分揀系統(tǒng)的設(shè)計與應(yīng)用

凌張偉1,2，孔 帥1,2，蔣政培1,2，陶竑杰，耿 潔

(1.浙江省特種設(shè)備科學(xué)研究院, 杭州 310020;2.浙江省特種設(shè)備安全檢測技術(shù)研究重點實驗室, 杭州 310020;3.中國計量大學(xué) 質(zhì)量與安全工程學(xué)院, 杭州 310018)

按幾何形狀分類,壓力容器主要有球形容器、圓筒形容器、錐形容器和組合形容器等4大類。其中，球形儲罐(簡稱球罐)主要用來儲存氣體和液化氣體，在國內(nèi)外石油、化工、冶金等領(lǐng)域應(yīng)用非常廣泛。由于球罐的球殼板厚度一般都在50 mm左右，球罐在組裝時通常采用雙面焊接的方式，因而在球罐內(nèi)外壁均有焊縫。球殼由許多塊球瓣組焊而成，橙皮式分瓣是國內(nèi)球罐的常用建造方式[1]。在使用過程中，球罐內(nèi)部受介質(zhì)的影響，外部受大氣環(huán)境的影響，不可避免地會存在疲勞蠕變、介質(zhì)腐蝕等引起的安全隱患。尤其焊縫是球罐最脆弱的部位，定期對焊縫進(jìn)行磁粉檢測是保障球罐安全的重要措施。

傳統(tǒng)的檢測作業(yè)主要依靠人工借助無損探傷設(shè)備來完成，操作人員需要進(jìn)入球罐內(nèi)部進(jìn)行清理和檢測，工作環(huán)境惡劣，勞動強(qiáng)度大，且存在一定的危險性[2]。爬壁檢測機(jī)器人攜帶有視覺傳感器，將機(jī)械結(jié)構(gòu)、控制系統(tǒng)和傳感技術(shù)融為一體，可實時采集磁粉檢測結(jié)果，具有廣闊的應(yīng)用前景。不同于傳統(tǒng)地面行走機(jī)器人，爬壁機(jī)器人的主要特點是可在壁面移動過程中進(jìn)行作業(yè)，代替人工進(jìn)行危險作業(yè)[3]。

在焊縫缺陷的自動檢測過程中，焊縫和焊縫周邊母材存在差異，如焊縫的高度要高于母材的、焊縫和母材的金屬光澤和表面粗糙度不同等，此類差異可作為檢測機(jī)器人的路徑識別特征值，矯正檢測機(jī)器人在行走過程中的偏差，以達(dá)到理想檢測效果。在機(jī)器人進(jìn)行檢測時，其視覺傳感器會連續(xù)輸出含有焊縫和焊縫周邊的圖像信息，如圖1所示。由于圖像信息數(shù)量較多，如果采用人工分揀，不但會造成檢測結(jié)果處理的延遲，更會消耗大量的人力和物力，降低檢測效率。筆者根據(jù)球罐裂紋的圖像特征進(jìn)行提取，初步設(shè)計了圖像自動分揀系統(tǒng)，為爬壁機(jī)器人實時采集、分揀、識別焊接缺陷圖像提供理論與應(yīng)用的前期研究基礎(chǔ)。

圖1 爬壁機(jī)器人在球罐內(nèi)部的檢測示意

1 圖像自動分揀系統(tǒng)的研究基礎(chǔ)

目前，圖像的識別與分揀仍存在很多挑戰(zhàn)性問題。圖像數(shù)據(jù)具有不確定性并伴隨著信息噪聲；圖像類型多種多樣，如醫(yī)學(xué)圖像、遙感圖像、高光譜圖像、彩色圖像、指紋圖像等，不同類型圖像的特征不同[4]。王倩[5]對單像素成像的方法進(jìn)行了討論與論證，認(rèn)為該方法更適用于3D成像、視頻信息采集、遙感成像、雷達(dá)成像、目標(biāo)檢測等眾多領(lǐng)域，既能提高現(xiàn)有技術(shù)的性能，也能促進(jìn)技術(shù)的發(fā)展。

針對圖像信息的分揀系統(tǒng)，潘梁靜[6]在2018年根據(jù)DWT(離散小波變換)的彩色圖像分量方法實現(xiàn)了機(jī)器人的紅棗分揀，提高了分揀作業(yè)效率；該研究將彩色圖像轉(zhuǎn)換成固定像素的圖像格式，通過提取像素的顏色等特征，對紅棗對象進(jìn)行篩選。李頎等[7]針對果蔬圖像特征，設(shè)計了基于圖像處理的果蔬分揀系統(tǒng);在特征提取基礎(chǔ)上，該分揀系統(tǒng)應(yīng)用了基于BP神經(jīng)網(wǎng)絡(luò)的KNN最鄰近分類算法，分類正確率達(dá)到98%左右，誤差在1 mm內(nèi)。

劉亞奇[8]通過用機(jī)器視覺來定位目標(biāo)，設(shè)計了自動分揀機(jī)器人;在圖像識別部分，使用了圖形函數(shù)庫和OpenCV 函數(shù)庫對獲取的圖像進(jìn)行邊緣檢測；采用最佳閾值法對灰度圖片進(jìn)行二值化圖像信息采集；對獲取的圖像信息進(jìn)行運動學(xué)分析，并整合到機(jī)械臂控制算法中。

2 磁粉檢測圖像特征值的提取

像素是組成整個圖像的最小元素，也是圖像不可分割的最小單位。每個圖像中的像素由小方格組成，每個小方格被分配了一個明確的位置和色彩數(shù)值。所有像素組合在一起呈現(xiàn)出整個圖像[9]。描述像素的色彩通常有HSB、RGB、Lab和CMYK等4種表現(xiàn)方式。

(1) HSB模式。其對應(yīng)的媒介是人眼，H代表色相(hue)，在0°～360°的標(biāo)準(zhǔn)色輪上按位置度量；S代表飽和度(saturation)，表示色彩純度，取值范圍為0～100%，最大飽和度的色相具有最純的色光；B代表色彩的明亮度(brightness)，取值范圍為0～100%，值為0時即為黑色[10]。

(2) RGB模式。其是工業(yè)界的一種顏色標(biāo)準(zhǔn)，通過對紅(R)、綠(G)、藍(lán)(B)顏色通道相互之間的疊加來得到各種顏色，幾乎能表現(xiàn)人類視力所能感知的所有顏色[9]。

(3) Lab模式。該模式描述了正常視力的人能夠看到的所有顏色，其中L表示明度(Luminosity)，a表示從洋紅色至綠色的范圍，b表示從黃色至藍(lán)色的范圍。L的值域為0～100，取值為50時，就相當(dāng)于50%的黑；a和b的值域都是+127～-128，其中+127a就是紅色，漸漸過渡到-128a時就變成綠色；同樣原理，+127b是黃色，-128b是藍(lán)色。所有的顏色都可以用這3個值的交互變化來表示。

(4) CMYK模式。其是彩色印刷時采用的一種套色模式[11]，利用色料的三原色混色原理，加上黑色油墨，共計4種顏色混合疊加，形成“全彩印刷”；其中C代表青色(Cyan)，M代表品紅色(Magenta)，Y代表黃色(Yellow)，K代表黑色(black)。

圖2 磁粉檢測輸出的圖像樣本

根據(jù)磁粉檢測輸出的圖像特征，所有圖像均在封閉的球罐內(nèi)部拍攝獲得，獲取的圖像有明顯的顏色和飽和度方面的差異，輸出的圖像樣本如圖2所示。如果單從某種特定的顏色特征進(jìn)行分析，分析方式過于單一，判定標(biāo)準(zhǔn)簡單，會存在較高的不確定性，從而降低自動分揀系統(tǒng)的精確度。根據(jù)輸出的圖像樣本的顏色特征值，筆者提出基于像素的色彩特征值分析法的圖像識別方法，如圖3所示，通過綜合分析每個像素塊的HSB，RGB，Lab，CMYK四個類別的屬性，相互嵌套，使得分析結(jié)果盡可能精準(zhǔn)。具體的步驟如下所述。

圖3 基于像素的色彩特征值分析法的圖像識別流程

(1) 獲取磁粉檢測輸出的圖像文件。

(2) 提取每張圖片的像素特征。

(3) 基于Lab和CMYK模式，去除干擾像素塊(排除含有黑色、白色和紫色的像素塊)。

(4) 基于RGB模式，獲取含有青色(綠色)的全部像素塊。

(5) 基于HSB模式，比對全部含有綠色的像素塊的亮度和飽和度，識別出含有最高亮度和一定取值范圍內(nèi)的飽和度色相的像素塊為含有“缺陷”的可疑圖像。

(6) 判定分揀圖像。含有最大飽和度色相的像素塊數(shù)量大于一定數(shù)值的圖像判定為確定的含有“缺陷”的圖像，并進(jìn)行分揀。

3 缺陷圖像自動分揀系統(tǒng)的開發(fā)

根據(jù)上述設(shè)計的圖像識別方法，筆者采用Python編程語言設(shè)計了易操作的軟件界面，如圖4所示。該界面由4個按鍵和1個運行窗口組成。4個按鍵分別是“選擇圖片文件夾”(選擇目標(biāo)圖像文件)、“選擇結(jié)果文件夾”(選擇分揀結(jié)果所放置的目的地文件夾)、“檢測圖片”和“退出”。運行窗口則實時顯示檢測過程和結(jié)果。

圖4 分揀系統(tǒng)運行界面

為了驗證自動分揀系統(tǒng)的有效性，搜集了82張球罐焊縫的磁粉檢測典型圖像，并將其人工分為3組，包括無缺陷的圖像(perfect)39張，有缺陷的圖像(defect)32張，無法準(zhǔn)確識別是否含有缺陷的圖像(Risk)11張。每張圖片所占內(nèi)存平均在100～5 000 KB 之間，將82張圖像輸入分揀系統(tǒng)測試，程序總運行時間約8 min。分揀結(jié)果顯示，32張有缺陷的圖像中，28張被準(zhǔn)確分揀出來。

針對系統(tǒng)性能進(jìn)行測評，包括準(zhǔn)確率、精確率、召回率和F值等指標(biāo)。通過計算，該分揀系統(tǒng)的準(zhǔn)確率為72.6%(準(zhǔn)確率=所有預(yù)測正確的樣本/總樣本)；精確率為73.7%(精確率=將正類預(yù)測為正類/所有預(yù)測為正類的樣本數(shù))；召回率為87.5%(召回率=將正類預(yù)測為正類/所有正類)；F為79.4%[F值為正確率和召回率的調(diào)和平均值，F(xiàn)=準(zhǔn)確率×召回率×2/(準(zhǔn)確率+召回率)]。

4 結(jié)語

由于傳統(tǒng)人工檢測工作環(huán)境惡劣，危險性高，勞動強(qiáng)度大，而攜帶有視覺傳感器的爬壁檢測機(jī)器人可實時采集磁粉檢測結(jié)果。為了實現(xiàn)對磁粉檢測圖像的快速自動缺陷識別，通過提取球罐裂紋的圖像特征，初步設(shè)計了焊縫磁粉檢測圖像自動分揀系統(tǒng)。通過對收集到的82張檢測圖像進(jìn)行自動分揀，該系統(tǒng)對有缺陷圖像的分揀正確率為87.5%，為進(jìn)一步自動檢測圖像分揀系統(tǒng)提供了理論實踐基礎(chǔ)。

由于圖像樣本量有限，系統(tǒng)識別的精確率、準(zhǔn)確率還有待提高。根據(jù)目前已成熟的智能優(yōu)化算法，進(jìn)一步引入深度學(xué)習(xí)的理論和算法，通過實時收集大量圖像信息進(jìn)行數(shù)據(jù)訓(xùn)練和優(yōu)化，有望大大提高圖像分揀系統(tǒng)的準(zhǔn)確率和精確率。