高冰,賈吉祥,柴明亮,王靖震,費(fèi)靜
(鞍鋼集團(tuán)鋼鐵研究院,遼寧 鞍山 114009)
鋼鐵冶金工業(yè)是國民經(jīng)濟(jì)的支柱產(chǎn)業(yè),雖然中國是鋼鐵生產(chǎn)大國,但是中國的各類鋼材成品和半成品在質(zhì)量方面卻與發(fā)達(dá)國家存在明顯差距,尤其是鋼材產(chǎn)品質(zhì)量重要組成部分的表面質(zhì)量,當(dāng)前鋼材主線產(chǎn)品如汽車板、家電板、不銹鋼裝飾板等,其表面質(zhì)量對其總體質(zhì)量乃至市場競爭力起著決定性的作用。利用傳統(tǒng)的人工目測方法對鋼板表面進(jìn)行質(zhì)量檢測,極易因?yàn)椤耙曈X疲勞”而產(chǎn)生表面缺陷的誤報(bào)、漏報(bào)問題,國內(nèi)很多鋼鐵公司都存在這樣的情況,更有許多因?yàn)殇摬谋砻尜|(zhì)量問題而直接影響經(jīng)濟(jì)效益的案例。隨著CCD(電荷耦合元件)技術(shù)和計(jì)算機(jī)技術(shù)的飛速發(fā)展,可采用基于機(jī)器視覺的一種精確、非接觸式的檢測方法進(jìn)行鋼板表面質(zhì)量檢測,通過高速CCD相機(jī)與計(jì)算機(jī)系統(tǒng)相結(jié)合的方法,及時(shí)采集圖像信息,并通過處理系統(tǒng)將鋼板表面質(zhì)量信息準(zhǔn)確的反饋給檢測人員已成為鋼板表面質(zhì)量檢測的發(fā)展趨勢。
基于高速線陣CCD相機(jī)的機(jī)器視覺檢測方案應(yīng)用于冷軋鋼板表面缺陷的檢測,因此需要考慮如下問題:
(1)檢測系統(tǒng)需要滿足大視場、高精度的要求,為達(dá)到合適的分辨率及視角,需要選擇合適像素的相機(jī),再根據(jù)放大倍數(shù)選擇鏡頭;
(2)為了擴(kuò)大相機(jī)的視場,選擇合適的相機(jī)數(shù)量以及重疊尺寸保證檢測精度;
(3)設(shè)計(jì)并行處理系統(tǒng)及海量的存儲(chǔ)系統(tǒng),實(shí)現(xiàn)對多臺(tái)相機(jī)的巨大數(shù)據(jù)信息進(jìn)行并行、協(xié)同處理;
(4)生產(chǎn)環(huán)境對系統(tǒng)的影響。
基于以上的設(shè)計(jì)思路,選擇高速CCD相機(jī)、照明系統(tǒng)、DSP處理器、同步器以及服務(wù)器作為冷軋鋼板表面質(zhì)量檢測系統(tǒng)的主要組成部分,其結(jié)構(gòu)框圖如圖1所示。
圖1 檢測系統(tǒng)結(jié)構(gòu)框圖Fig.1 Structural Block Diagram of Inspection System
檢測系統(tǒng)包括圖像傳感系統(tǒng)、光學(xué)照明系統(tǒng)、缺陷圖像采集系統(tǒng)、缺陷圖像分析與分類系統(tǒng)、時(shí)序與邏輯控制系統(tǒng)、中央控制系統(tǒng)、數(shù)據(jù)傳輸系統(tǒng)及上位機(jī)人機(jī)交互系統(tǒng)。各系統(tǒng)分工合作,統(tǒng)一管理,實(shí)現(xiàn)對高速帶鋼生產(chǎn)線上鋼板表面質(zhì)量缺陷的在線監(jiān)測、分析、分類、存儲(chǔ)與報(bào)警。
圖像采集系統(tǒng)是鋼板表面質(zhì)量在線檢測系統(tǒng)的重要組成部分,是系統(tǒng)的“眼睛”,基于機(jī)器視覺的鋼板表面質(zhì)量檢測系統(tǒng),系統(tǒng)可選擇高性能的線陣CCD相機(jī)或者面陣CCD相機(jī)。表1為線陣CCD相機(jī)與面陣CCD相機(jī)的比較。
根據(jù)表1對線陣CCD相機(jī)與面陣CCD相機(jī)的比較,考慮到系統(tǒng)應(yīng)用于冷軋生產(chǎn)線上鋼板表面質(zhì)量的檢測,因此選擇線陣高速CCD相機(jī)作為系統(tǒng)的圖像采集傳感器。
表1 線陣CCD相機(jī)與面陣CCD相機(jī)的比較Table 1 Comparison of Linear-array CCD Camera and Face-array CCD Camera
GigE相機(jī)是一種基于CCD技術(shù)的高速線掃描相機(jī),其速度由Ethernet的網(wǎng)速和數(shù)據(jù)幀格式?jīng)Q定。GigE相機(jī)產(chǎn)生幀圖像數(shù)據(jù),每一幀分裝在多個(gè)Ethernet包中傳輸。幀由數(shù)據(jù)頭Leader、數(shù)據(jù)負(fù)載Payload和數(shù)據(jù)尾Trailer構(gòu)成。圖像信息裝在數(shù)據(jù)負(fù)載中。相機(jī)的帶寬=傳輸字節(jié)數(shù)/(傳輸時(shí)間+包間隔時(shí)間),一幀圖像的字節(jié)數(shù)XBytes/Frame的計(jì)算公式為:
Bandwidth為圖像傳輸所用帶寬,其計(jì)算公式如下:
式中,8 ns/Byte為千兆以太網(wǎng)速率的倒數(shù);IPD是一個(gè)計(jì)數(shù)值,每增加1代表增加8 ns時(shí)間。
千兆以太網(wǎng)最小時(shí)間包間隔間隙為12字節(jié)。根據(jù) IEEE802.3z協(xié)議,Ethernet包的開銷為58字節(jié),每個(gè)Ethernet包最大數(shù)據(jù)負(fù)載1 500字節(jié),因此假設(shè)相機(jī)的像素為4 096,一幀圖像至少需要3個(gè)Ethernet包傳輸。根據(jù)公式,分別計(jì)算出一幀圖像的字節(jié)數(shù)為4 810,帶寬為105.9 MB/s,預(yù)留15%帶寬后的相機(jī)帶寬為90 MB/s。GigE相機(jī)能夠滿足帶寬的要求。
相機(jī)的排列方向與被測物體運(yùn)動(dòng)方向垂直,同步器控制同時(shí)啟動(dòng)各相機(jī)。GigE相機(jī)需要首先設(shè)定主機(jī)IP地址與相機(jī)IP地址,并綁定主機(jī)網(wǎng)絡(luò)接口控制器(NIC)和相機(jī)MAC地址,同時(shí)設(shè)定網(wǎng)關(guān)和子網(wǎng)掩碼,系統(tǒng)服務(wù)器通過Ethernet網(wǎng)廣播啟動(dòng)信號,DSP接收到信號通過GPIO控制相機(jī)進(jìn)行圖像采集,完成后服務(wù)器通過Ethernet網(wǎng)廣播終止信號,DSP通過GPIO控制相機(jī)停止圖像采集。
光源的選擇直接影響圖像采集的質(zhì)量以及缺陷是否能在圖像中明顯表露出來。光源可分為自然光源和人工光源。自然光源是客觀存在的,人們只能對其進(jìn)行研究和利用,不能改變其發(fā)光特性,人工光源有鹵素?zé)?、熒光燈、氙燈、LED光源等。
選擇光源需要考慮如下因素:
(1)對比度:照明需要被觀察的特征與需要被忽略的圖像特征之間產(chǎn)生最大的對比度,從而易于特征的區(qū)分。
(2)亮度:當(dāng)光源不夠亮?xí)r,圖像的對比度必然不夠,圖像上出現(xiàn)噪聲的可能性即增大,會(huì)影響相機(jī)的信噪比。同時(shí),自然光等隨機(jī)光對系統(tǒng)的影響會(huì)最大。
針對鋼板生產(chǎn)現(xiàn)場的情況,選擇高速線陣CCD相機(jī)作為圖像采集傳感器,因此,需選擇LED光源作為檢測系統(tǒng)的照明光源,LED光源具有使用壽命長、亮度高、響應(yīng)速度快、單色性好等優(yōu)點(diǎn)。
在照明方式上,光源按照入射角反射,光源的位置對獲取高對比度的圖像很重要。光源的目標(biāo)是要達(dá)到使感興趣的特征與其周圍的背景對光源的反射不同。根據(jù)現(xiàn)場需要,可以選擇兩種不同的形式,分別是明場照明方式和暗場照明方式。兩種照明方式如圖2所示。
圖2 兩種照明方式Fig.2 Two Ways of Lighting
根據(jù)冷軋鋼板表面缺陷的特點(diǎn),系統(tǒng)選擇明場照明方式,將相機(jī)放置在反射光的光路上,以便采集到反射過來的光線,如果鋼板表面沒有缺陷,反射光在相機(jī)上各區(qū)域上的照度應(yīng)該均勻分布,當(dāng)有缺陷存在時(shí),反射光在相機(jī)區(qū)域上的照度將發(fā)生變化。利用這一性質(zhì)將明場照明方式應(yīng)用在冷軋鋼板表面質(zhì)量檢測中。
嵌入式圖像處理器的選擇直接關(guān)系到鋼板表面缺陷圖像實(shí)時(shí)采集與處理的結(jié)果,也是系統(tǒng)設(shè)計(jì)中的一個(gè)瓶頸問題。根據(jù)前面計(jì)算數(shù)據(jù)處理速度高達(dá)近每秒百兆以及海量數(shù)據(jù)實(shí)時(shí)性的要求,需要采用專用的圖像處理器、計(jì)算機(jī)總線及多計(jì)算機(jī)網(wǎng)絡(luò)并行處理來共同完成任務(wù)。然而這必將造成系統(tǒng)龐雜,價(jià)格昂貴,維護(hù)困難。因此,選擇采用GigE相機(jī)+DSP+服務(wù)器進(jìn)行多處理器協(xié)同處理共同完成海量數(shù)據(jù)的采集、處理、傳輸與存儲(chǔ)。
選擇德州儀器的 TMS320DM648(DaVinci)技術(shù)數(shù)字信號處理器(DSP)作為嵌入式圖像處理的核心模塊,TMS320DM648建立在TI最新TMS320C64x+DSP內(nèi)核基礎(chǔ)上,64x系列DSP芯片具有極高的主頻(可達(dá)900 MHz)和豐富的外圍接口。與C64X系列DSP目標(biāo)代碼完全兼容,片上集成了二級Cache、64 bit的EMIF接口、高精度視頻口、千兆以太網(wǎng)接口及IIC總線接口等資源。綜合以上考慮,系統(tǒng)選擇TMS320DM648DSP作為嵌入式圖像處理系統(tǒng)的核心器件。
系統(tǒng)中每臺(tái)相機(jī)通過以太網(wǎng)接口接入DSP進(jìn)行并行處理,圖像通過網(wǎng)絡(luò)傳輸?shù)较到y(tǒng)服務(wù)器對圖像進(jìn)行分析與處理,因此,需要保證采集圖像的高速性以及合適的網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu),以保證網(wǎng)絡(luò)信息不發(fā)生沖突。
該系統(tǒng)已應(yīng)用在多條冷軋帶鋼生產(chǎn)線上,運(yùn)行穩(wěn)定,極大提高了生產(chǎn)效率,降低工人勞動(dòng)強(qiáng)度,改善工人的作業(yè)環(huán)境。對于人類,識(shí)別和理解周圍場景是容易的事情;對于機(jī)器,其困難體現(xiàn)在如下方面:
(1)圖像多義性:三維場景被投影為二維圖像,深度和不可見部分的信息被丟失,因而會(huì)出現(xiàn)不同形狀的三維物體投影在圖像平面上產(chǎn)生相同圖像的問題。另外,在不同視角獲取同一物體的圖像也會(huì)有很大的差異。
(2)環(huán)境因素:場景中的諸多因素,包括照明、物體形狀、表面顏色、攝像機(jī)以及空間關(guān)系變化都會(huì)對生成的圖像有影響。
(3)知識(shí)引導(dǎo):同樣的圖像在不同的知識(shí)導(dǎo)引下,將會(huì)產(chǎn)生不同的識(shí)別結(jié)果。
(4)大量數(shù)據(jù):灰度圖像和彩色圖像的信息量都十分的巨大,巨大的數(shù)據(jù)量需要巨大的存貯空間,同時(shí)不易實(shí)現(xiàn)快速處理。
基于機(jī)器視覺技術(shù)的鋼板表面質(zhì)量檢測系統(tǒng)已應(yīng)用在多條冷軋帶鋼生產(chǎn)線上,運(yùn)行穩(wěn)定,極大提高了生產(chǎn)效率,降低工人勞動(dòng)強(qiáng)度,改善工人作業(yè)環(huán)境。該系統(tǒng)能夠在線采集鋼板表面質(zhì)量缺陷數(shù)據(jù),使得生產(chǎn)與質(zhì)量緊密結(jié)合。同時(shí)保存歷史數(shù)據(jù),方便回放與分析,為控制產(chǎn)品質(zhì)量提供準(zhǔn)確有效信息。
基于圖像視覺的帶鋼表面缺陷檢測技術(shù)必將取代傳統(tǒng)的鋼板表面缺陷檢測手段。今后的工作中,我們將在深度學(xué)習(xí),提高檢測系統(tǒng)的缺陷識(shí)別率方面做更多的工作。