• 
    

    
    

      99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

      基于SSD模型的PCB外觀缺陷檢測(cè)

      2022-06-16 03:29:38
      現(xiàn)代計(jì)算機(jī) 2022年7期
      關(guān)鍵詞:區(qū)域圖像目標(biāo)

      李 俊

      (安徽理工大學(xué)電氣與信息工程學(xué)院,淮南 232000)

      0 引言

      自集成電路被應(yīng)用于生產(chǎn)商業(yè)產(chǎn)品以來,工業(yè)生產(chǎn)過程對(duì)其每一步的生產(chǎn)和檢測(cè)不斷地進(jìn)行更新迭代,其中對(duì)生產(chǎn)過程中印制電路板(Printed Circuit Board,PCB)的外觀缺陷檢測(cè)尤為重要,它關(guān)系著產(chǎn)品最后的品質(zhì)。所以在PCB 板的工業(yè)生產(chǎn)的每一個(gè)環(huán)節(jié)都要進(jìn)行缺陷檢測(cè),確保在貼片之前,貼片區(qū)域無異物、破損,進(jìn)入回焊爐之前,元器件都完好等等,因?yàn)橹灰渲幸粋€(gè)環(huán)節(jié)出了錯(cuò),這個(gè)PCB 板就報(bào)廢了,這對(duì)企業(yè)來說無疑是重大損失?,F(xiàn)在PCB 板集成度高,成本更貴。目前中國(guó)大陸的PCB 產(chǎn)值已占全球50%以上,隨著電子產(chǎn)品的不斷更新?lián)Q代,3C 產(chǎn)品對(duì)PCB 的需求逐漸加大,而在3C 產(chǎn)品中手機(jī)的更新?lián)Q代最為頻繁,銷售量也是最大的。所以,針對(duì)手機(jī)部件從內(nèi)到外的檢測(cè)貫穿手機(jī)生產(chǎn)的每個(gè)環(huán)節(jié),其中最為重要的是對(duì)手機(jī)主板生產(chǎn)過程中各種缺陷的檢測(cè)。本文主要針對(duì)手機(jī)主板在生產(chǎn)過程中產(chǎn)生的缺陷進(jìn)行檢測(cè),以提高生產(chǎn)效率。

      1 研究背景

      PCB 的功能是提供完成第一層級(jí)構(gòu)裝的元器件與其它必須的電子電路零件結(jié)合的基地,以組成一個(gè)具有特定功能的模組或者產(chǎn)品。所以PCB 在整個(gè)電子產(chǎn)品中,扮演著整合連結(jié)其它所有功能的角色,因此當(dāng)電子產(chǎn)品功能故障時(shí),最先被考慮的往往就是PCB。所以針對(duì)PCB 的檢測(cè)一直以來是人們熱門研究的課題。改革開放以來,我國(guó)工業(yè)化生產(chǎn)速度也大幅度加快,其中印制板是電子信息產(chǎn)業(yè)的基礎(chǔ),已成為電子信息的支柱產(chǎn)業(yè)。

      然而,手機(jī)PCB 板生產(chǎn)的檢測(cè)還存在短板,拖累生產(chǎn)效率。圖1 為手機(jī)主板PCB 工業(yè)生產(chǎn)流程圖,其中AOI部分為視覺檢測(cè)部分,傳統(tǒng)方式為人工檢測(cè)、電氣檢測(cè)和自動(dòng)光學(xué)設(shè)備檢測(cè)。目前大多數(shù)工業(yè)流水線基本都是采用人工配合機(jī)器進(jìn)行生產(chǎn)檢測(cè),太依賴于人的精神狀況,易使人視覺疲勞,而產(chǎn)生漏檢。電氣檢測(cè)投資成本大,不適于小批量生產(chǎn),且電氣檢測(cè)設(shè)備安裝調(diào)試時(shí)間長(zhǎng),不滿足手機(jī)迭代頻繁的需求。雖然自動(dòng)光學(xué)檢測(cè)設(shè)備,可以解決人工檢測(cè)的一些弊端,但它嚴(yán)重依賴圖像處理算法,如果圖像處理算法效果不佳,會(huì)產(chǎn)生大量誤判,且可移植性不強(qiáng),開發(fā)難度大。

      圖1 手機(jī)主板生產(chǎn)流程圖

      近年來隨著GPU 算力的增加,處理圖像的速度大幅度提高,深度學(xué)習(xí)在圖像領(lǐng)域發(fā)展迅速。為了滿足工業(yè)生產(chǎn)對(duì)PCB 缺陷檢測(cè)的需求,本文將深度學(xué)習(xí)的槪念引入PCB 板缺陷檢測(cè)中。其中工業(yè)生產(chǎn)主要檢測(cè)手機(jī)主板在生產(chǎn)流程中貼片區(qū)域是否存在飛件、臟污、元器件是否破損、異物、劃痕等影響PCB 板電氣特性的現(xiàn)象,以及外觀的一些缺陷。如圖2 所示,其中(a)為飛件,(b)為連接器破損,(c)為異物。通過這種技術(shù),不僅可以有效避免人工檢測(cè)中易疲勞,主觀性強(qiáng)和效率低下的缺點(diǎn),還可以實(shí)現(xiàn)24 h全天候的檢測(cè)。

      圖2 缺陷類型

      2 機(jī)器視覺與目標(biāo)檢測(cè)算法

      機(jī)器視覺(machine vision)是人工智能的一個(gè)分支,是通過相機(jī)拍取的圖像聯(lián)合計(jì)算機(jī)代替人眼和大腦對(duì)目標(biāo)進(jìn)行定位、識(shí)別、跟蹤、測(cè)量等一系列任務(wù),使處理后的信息更有利于人和機(jī)器的判斷處理。工業(yè)相機(jī)主要有CMOS和CCD 兩種,機(jī)器視覺系統(tǒng)將相機(jī)拍攝到的圖像輸入給圖像處理系統(tǒng),得到拍攝對(duì)象的形態(tài)信息,根據(jù)像素分布和亮度、顏色等信息,轉(zhuǎn)變成數(shù)字化信號(hào);圖像系統(tǒng)對(duì)這些信號(hào)進(jìn)行各種運(yùn)算來抽取目標(biāo)的特征,進(jìn)而根據(jù)判別的結(jié)果來控制現(xiàn)場(chǎng)的設(shè)備動(dòng)作。機(jī)器視覺的目標(biāo)檢測(cè)任務(wù)為計(jì)算機(jī)視覺領(lǐng)域中最基礎(chǔ)的任務(wù)之一,但由于圖像質(zhì)量,光照,相機(jī)分辨率的不同導(dǎo)致目標(biāo)檢測(cè)也成為最具挑戰(zhàn)性的任務(wù)。

      目標(biāo)檢測(cè)算法主要有圖像特征提取、候選區(qū)域生成與候選區(qū)域分類三個(gè)步驟。視覺檢測(cè)技術(shù)分為傳統(tǒng)技術(shù)與深度學(xué)習(xí)方法,傳統(tǒng)算法基于人工設(shè)計(jì)的特征算子來提取圖像,這些算子普遍基于底層視覺特征來設(shè)計(jì),因此很難獲取復(fù)雜圖像的語(yǔ)義信息,嚴(yán)重影響了算法的泛化性。而且由于背景相似等原因,無法檢測(cè)出目標(biāo)缺陷的位置。當(dāng)數(shù)據(jù)量越來越大的時(shí)候,傳統(tǒng)算法的劣勢(shì)就越發(fā)明顯。因此引入深度學(xué)習(xí)模型引入顯得尤為重要。

      基于深度的目標(biāo)檢測(cè)算法主要分為兩個(gè)流派:①以R-CNN 系列為代表的兩階段算法;②以YOLO,SSD為代表的一階段算法。具體來說,兩階段算法是先在圖像上生成候選區(qū)域,然后對(duì)每一個(gè)候選區(qū)域依次進(jìn)行分類與回歸。一階段算法是直接在整張圖像上完成所有目標(biāo)的定位和分類,直接回歸,略去了生成候選區(qū)域這一操作。本文采用的目標(biāo)檢測(cè)算法為一階段檢測(cè)算法中的代表算法SSD。

      3 SSD算法介紹

      SSD(single shot multibox detector)是2016 年由Liu 等人提出的一種單階段目標(biāo)檢測(cè)算法,其主要思路是利用卷積網(wǎng)絡(luò)提取特征后,均勻地在圖片的不同位置進(jìn)行密集抽樣,抽樣時(shí)采用不同尺度和長(zhǎng)寬比,目標(biāo)的分類和預(yù)測(cè)框的回歸同時(shí)進(jìn)行,整個(gè)過程只需要一步,所以其優(yōu)勢(shì)是速度快。SSD 網(wǎng)絡(luò)以VGG-16 為主干網(wǎng)絡(luò),并將VGG16的兩個(gè)全連接層轉(zhuǎn)化為卷積層,使其成為一個(gè)全卷積網(wǎng)絡(luò)(FCN),網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。

      圖3 SSD網(wǎng)絡(luò)結(jié)構(gòu)

      主干網(wǎng)絡(luò)作用到conv5_3 的輸出結(jié)果,作為接下來卷積層的輸入。采用多尺度Feature Map的預(yù)測(cè),在預(yù)測(cè)的時(shí)候針對(duì)6個(gè)不同的尺度進(jìn)行分別預(yù)測(cè),這6個(gè)尺度的結(jié)果,分別作為后續(xù)檢測(cè)層的輸入,6 個(gè)連線代表6 個(gè)feature map,其中從19*19 到10*10 通過下采樣的操作來完成。下采樣時(shí)會(huì)采用padding 來進(jìn)行補(bǔ)充,最后通過NMS(non maximum suppression)對(duì)檢測(cè)結(jié)果進(jìn)行合并和篩選。對(duì)每一層進(jìn)行Default bounding boxes 的提取,每一個(gè)Default bounding boxes 都會(huì)針對(duì)每個(gè)類別的分?jǐn)?shù)的預(yù)測(cè)以及相應(yīng)的偏量值。

      如何平衡網(wǎng)絡(luò)模型的大小和計(jì)算資源之間的關(guān)系,這是設(shè)計(jì)網(wǎng)絡(luò)需要考慮的地方。因此對(duì)VGGNet 而言,除了num_output 數(shù)量龐大以外,主要采用多卷積進(jìn)行堆疊的方式來構(gòu)造網(wǎng)絡(luò)結(jié)構(gòu),為了加快網(wǎng)絡(luò)inference 的時(shí)間,本文在保證檢測(cè)精度的同時(shí)采用減少網(wǎng)絡(luò)參數(shù)、去除一些網(wǎng)絡(luò)層的做法達(dá)到檢測(cè)目的。

      4 實(shí)驗(yàn)方法

      實(shí)驗(yàn)基于Caffe 深度學(xué)習(xí)框架進(jìn)行,設(shè)備為工廠工控機(jī),其配置為CPU Core i7-9750H,顯卡NVIDIA 3080 10 G 顯存,物理內(nèi)存為32 G,使用編程語(yǔ)言版本為Python 3.8.2,操作系統(tǒng)為Ubuntu18.04。

      本文的數(shù)據(jù)收集自工業(yè)生產(chǎn)過程中AOI 實(shí)時(shí)拍攝的照片,在AOI 設(shè)備運(yùn)行過程中機(jī)器視覺系統(tǒng)發(fā)揮圖像處理與檢測(cè)的作用,根據(jù)運(yùn)動(dòng)控制的傳感信號(hào)飛拍每一幀畫面,將在每一個(gè)點(diǎn)位拍攝的圖片拼接成一副完整的圖片。根據(jù)客戶出具的檢測(cè)區(qū)域需求,先通過模板匹配定位PCB 上固定不變的兩個(gè)點(diǎn),通過矩形框畫出需要檢測(cè)的區(qū)域,通過位置仿射完成整個(gè)區(qū)域位置的標(biāo)出,通過Halcon 對(duì)每個(gè)區(qū)域進(jìn)行裁剪,將寬度和長(zhǎng)度最大的尺度作為這個(gè)待檢缺陷的尺寸,同樣使用Halcon 將同一個(gè)待檢缺陷類別區(qū)域擴(kuò)張為統(tǒng)一大小。將裁剪得到的小圖統(tǒng)一導(dǎo)入到精靈標(biāo)注助手中,完成缺陷標(biāo)注,數(shù)據(jù)集劃分。由于待檢區(qū)域眾多,缺陷類別復(fù)雜,為了簡(jiǎn)化檢測(cè)任務(wù),每個(gè)AOI 由兩個(gè)及以上缺陷檢測(cè)模型檢測(cè),裁剪的目的也是為了將檢測(cè)任務(wù)簡(jiǎn)化為二分類問題。接下來針對(duì)飛件異物模型進(jìn)行訓(xùn)練。

      實(shí)驗(yàn)將含有飛件的NG圖片和無缺陷的OK圖片共2025張,按照訓(xùn)練集和測(cè)試集的比例為7∶3劃分,總共進(jìn)行600 次迭代。實(shí)驗(yàn)結(jié)果如圖4 和表1所示。

      圖4 實(shí)驗(yàn)結(jié)果

      表1 實(shí)驗(yàn)結(jié)報(bào)表

      bbox_accuracy 標(biāo)注框類別,值越高說明學(xué)習(xí)效率越好;loc_loss_bbox 定位框位置回歸的loss,值越低學(xué)習(xí)效果越好;loc_loss_cls 定位框類別和位置回歸的loss,值越低學(xué)習(xí)效果越好;loss_bbox 實(shí)際類別分類和位置二次修正的loss,值越低學(xué)習(xí)效果越好;loss_cls 實(shí)際類別數(shù)分類和位置二次修正的loss,值越低學(xué)習(xí)效果越好。

      5 結(jié)語(yǔ)

      雖然降低網(wǎng)絡(luò)參數(shù)和減少網(wǎng)絡(luò)層數(shù)可以加快網(wǎng)絡(luò)推理時(shí)間,滿足客戶對(duì)于CT 與檢測(cè)的要求,但同時(shí)帶來了由于深層次信息的丟失和小目標(biāo)檢測(cè)效果不好所導(dǎo)致的漏檢,過檢的問題,比如現(xiàn)場(chǎng)生產(chǎn)產(chǎn)生的毛絲等這些小尺度缺陷目標(biāo),檢測(cè)效果不好。因此,在后期優(yōu)化網(wǎng)絡(luò)的時(shí)候可以考慮從以下方面進(jìn)行改進(jìn):①數(shù)據(jù)打包的時(shí)候可以考慮多加入一些小樣本信息;②訓(xùn)練樣本規(guī)模盡可能增大,可以嘗試獲取合并多個(gè)不同數(shù)據(jù)集;③采用ResNet 網(wǎng)絡(luò)和FPN 等特征的主干網(wǎng)絡(luò);④采用更好的loss進(jìn)行訓(xùn)練。

      猜你喜歡
      區(qū)域圖像目標(biāo)
      改進(jìn)的LapSRN遙感圖像超分辨重建
      有趣的圖像詩(shī)
      關(guān)于四色猜想
      分區(qū)域
      我們的目標(biāo)
      基于嚴(yán)重區(qū)域的多PCC點(diǎn)暫降頻次估計(jì)
      遙感圖像幾何糾正中GCP選取
      區(qū)域
      民生周刊(2012年10期)2012-10-14 09:06:46
      趣味數(shù)獨(dú)等4則
      意林(2011年10期)2011-05-14 07:44:00
      新目標(biāo)七年級(jí)(下)Unit?。尘毩?xí)(一)
      乳山市| 崇文区| 武宁县| 于都县| 巴林右旗| 丹东市| 永善县| 金门县| 应用必备| 来宾市| 灵寿县| 青阳县| 尼玛县| 论坛| 遵义市| 新源县| 博罗县| 龙陵县| 樟树市| 南乐县| 资中县| 达州市| 思茅市| 微博| 阳信县| 合川市| 连山| 五家渠市| 内丘县| 朔州市| 海淀区| 苏州市| 黑山县| 买车| 墨脱县| 隆安县| 池州市| 京山县| 宣城市| 漳浦县| 九江县|