一種采用級(jí)聯(lián)RPN的多尺度特征融合電表箱銹斑檢測(cè)算法

王 文，周晨軼，徐亦白，盧 杉，周夢(mèng)蘭

(國(guó)網(wǎng)浙江省電力有限公司信息通信分公司，浙江 杭州 310012)

0 引 言

目標(biāo)檢測(cè)是計(jì)算機(jī)視覺的一項(xiàng)基礎(chǔ)工作，任務(wù)是找出圖像中所有感興趣的目標(biāo)(物體)，確定它們的位置和大小，是機(jī)器視覺領(lǐng)域的核心問題之一。由于各類物體有不同的外觀、形狀、姿態(tài)，加上成像時(shí)光照、遮擋等因素的干擾，目標(biāo)檢測(cè)一直是機(jī)器視覺領(lǐng)域最具有挑戰(zhàn)性的問題。

銹斑檢測(cè)是目標(biāo)檢測(cè)的實(shí)際應(yīng)用之一，目前的斑點(diǎn)檢測(cè)算法研究主要有使用RGB顏色空間中收集的銹色譜來定義銹色范圍做銹斑識(shí)別，基于SIFT[1]、SVM[2]和Canny[3]邊緣檢測(cè)算法等傳統(tǒng)方法來檢測(cè)研究對(duì)象，以及基于深度神經(jīng)網(wǎng)絡(luò)的方法。在真實(shí)場(chǎng)景中深度學(xué)習(xí)模型相對(duì)傳統(tǒng)方法可以達(dá)到更好的效果。

本文提出一種基于神經(jīng)網(wǎng)絡(luò)的多尺度電表銹斑檢測(cè)方法。首先，基于大量的銹斑數(shù)據(jù)，訓(xùn)練識(shí)別銹斑的卷積神經(jīng)網(wǎng)絡(luò)(CNN)模型；而后，利用所訓(xùn)練出的CNN模型，實(shí)現(xiàn)對(duì)電表表面銹斑的實(shí)時(shí)識(shí)別，同時(shí)對(duì)電表表箱的位置進(jìn)行檢測(cè)。通過融合獲得的多尺度特征，提高捕獲目標(biāo)物體的精度；設(shè)計(jì)一種級(jí)聯(lián)的RPN網(wǎng)絡(luò)(Region Proposal Network)[4]進(jìn)行微調(diào)，獲得更精確的目標(biāo)。

1 研究現(xiàn)狀

當(dāng)前在銹斑檢測(cè)的問題中沒有公開的數(shù)據(jù)集，大多是根據(jù)自己想要解決的問題，如鐵銹缺陷識(shí)別，采集相關(guān)數(shù)據(jù)并制作數(shù)據(jù)集。解決該問題可采用傳統(tǒng)方法或采用深度神經(jīng)網(wǎng)絡(luò)方法。

Shen等人[5]提出了一種基于顏色和紋理特征的鐵銹缺陷識(shí)別方法(RUDERM)，該方法將傅里葉變換與彩色圖像處理相結(jié)合。RUDERM使用RGB顏色空間中收集的銹色譜來定義銹色范圍，用于區(qū)分生銹與其他缺陷。

2018年姚明海等人[6]針對(duì)磁片表面對(duì)比度低、磨合紋理干擾和缺陷塊小且亮度變化大等難點(diǎn)，提出了一種基于深度主動(dòng)學(xué)習(xí)的缺陷檢測(cè)方法。該方法的缺陷檢測(cè)識(shí)別率達(dá)到了96.7%。

2018年Li等人[7]提出了一種自適應(yīng)多閾值斑點(diǎn)面積自適應(yīng)標(biāo)定算法檢測(cè)船舶上的大量較小銹斑，該方法的檢測(cè)率和范圍均優(yōu)于傳統(tǒng)方法。Liao等人[8]為了提高鋼筋生銹區(qū)域的檢測(cè)精度，提出了由3種不同的檢測(cè)技術(shù)組成的圖像識(shí)別算法，達(dá)到86%的識(shí)別率。安宗權(quán)等人[9]提出了一種金屬產(chǎn)品的表面缺陷檢測(cè)方法，實(shí)現(xiàn)對(duì)金屬表面缺陷的準(zhǔn)確檢測(cè)，檢測(cè)結(jié)果正確率達(dá)到93.33%。

由此可見，現(xiàn)有方法主要有傳統(tǒng)的方法和基于深度神經(jīng)網(wǎng)絡(luò)的方法，其中傳統(tǒng)的方法在魯棒性和精準(zhǔn)度方面表現(xiàn)較差，而基于深度神經(jīng)網(wǎng)絡(luò)的方法沒有充分考慮到銹斑的細(xì)微特征。為此，本文提出采用多尺度提取和合并特征，添加級(jí)聯(lián)RPN，受細(xì)粒度模型[10-13]的啟發(fā)，裁剪出電表，對(duì)銹斑特征再次分類，增強(qiáng)精確度的研究設(shè)想。

2 面向變壓箱的多尺度銹斑檢測(cè)算法

由于銹斑部分相對(duì)于整體表面來說面積較小，為了更好地對(duì)電能表區(qū)域的銹斑進(jìn)行識(shí)別與檢測(cè)，本文設(shè)計(jì)一種多尺度的識(shí)別與檢測(cè)網(wǎng)絡(luò)結(jié)構(gòu)。如圖1所示，該網(wǎng)絡(luò)框架主要分為卷積網(wǎng)絡(luò)編碼器的特征抽取階段、多尺度特征提取模塊以及級(jí)聯(lián)RPN模塊3個(gè)部分。其中，基于卷積神經(jīng)網(wǎng)絡(luò)的編碼器用來處理圖像并提取更為抽象的圖像特征，該特征包含了執(zhí)行準(zhǔn)確目標(biāo)檢測(cè)和圖像分類所必要的語義信息。編碼器由ResNet-50[14]網(wǎng)絡(luò)組成，經(jīng)過多層卷積操作，得到為原圖1/16大小的特征圖。利用該特征圖，可以通過目標(biāo)檢測(cè)模塊得到目標(biāo)可能存在的區(qū)域并利用級(jí)聯(lián)RPN進(jìn)一步強(qiáng)化電表是否存在銹斑的分類效果。

圖1 提取特征圖

檢測(cè)解碼器被設(shè)計(jì)為基于回歸的檢測(cè)系統(tǒng)。參照Faster R-CNN[4]，選擇一種基于候選區(qū)域的解碼器，使得可以進(jìn)行端對(duì)端的回歸，提升訓(xùn)練和推理過程的效率與質(zhì)量。受FPN[15]啟發(fā)，對(duì)多層特征進(jìn)行提取并融合，提高檢測(cè)精度。受CRAFT[16]和Part-based R-CNN[10]算法的啟發(fā),對(duì)目標(biāo)區(qū)域執(zhí)行再分類，本文設(shè)計(jì)的級(jí)聯(lián)RPN如圖2所示，級(jí)聯(lián)RPN將第1階段的proposal作為新的anchor來處理，并將它們發(fā)送到第2階段的RPN中。最后，根據(jù)檢測(cè)模塊對(duì)這些新方案進(jìn)行分類和調(diào)整。這使得網(wǎng)絡(luò)可以利用不同層次、蘊(yùn)含更多幾何本質(zhì)信息的特征。

圖2 級(jí)聯(lián)RPN

2.1 多尺度特征提取和合并

對(duì)于conv2_x、 conv3_x、 conv4_x與conv5_x，這些剩余塊的輸出為{F2，F(xiàn)3，F(xiàn)4，F(xiàn)5}，它們的步長(zhǎng)分別為{4，8，16，32}。高級(jí)特征映射包含強(qiáng)大的語義信息，但是邊界信息不清楚；較低級(jí)的特征映射具有弱的語義信息，但是由于有限次采樣時(shí)間，更有利于定位。自上而下路徑將F5的空間分辨率分解為具有多尺度的強(qiáng)大語義特征圖，如圖1所示。將反卷[17]特征映射與主干網(wǎng)中相應(yīng)的特征映射合并(本文為ResNet)。合并前，下層特征映射進(jìn)行1×1卷積層，以減小信道尺寸。這個(gè)過程被迭代，直到生成最好的分辨率映射。由于F5是最高級(jí)別的特征映射，因此沒有更高級(jí)的特征映射來與它合并。為了開始迭代，只需在F5之后附加一個(gè)1×1卷積層，以生成最粗的分辨率圖。對(duì)于這些操作，為了減少上采樣的混疊效應(yīng)，在每個(gè)合并映射上連接一個(gè)3×3卷積以生成最終的特征映射。因此，這些最終合并的特征映射為{R2，R3，R4，R5}，對(duì)應(yīng)于{F2，F(xiàn)3，F(xiàn)4，F(xiàn)5}，它們都具有相同的空間大小。

Region Proposal Network是Faster R-CNN[4]對(duì)于生成提案的一個(gè)巨大改進(jìn)。它是一個(gè)滑動(dòng)窗口不可知的對(duì)象檢測(cè)器，將RPN應(yīng)用于多尺度特征映射{R2，R3，R4，R5}，而不是單尺度特征映射。與Faster R-CNN一樣，本文將3×3卷積層和2個(gè)同級(jí)1×1卷積附加到每個(gè)新的特征映射。對(duì)于新生成的特征圖，每個(gè)新合并的特征分別代表特殊的比例，沒有必要在這些合并的特征圖上設(shè)置多尺度錨。因此，只需要為每個(gè)新特征映射選擇單個(gè)比例[18]。正式地，它們將錨設(shè)置為分別在{R2,R3,R4,R5,R6}上具有{32,64,128,256,512}個(gè)像素的比例。M6只是M5的2個(gè)子采樣的步幅,它僅用于覆蓋512的錨標(biāo)度，并且在各級(jí)使用仍然不同的縱橫比{1:2,1:1,2:1}。因此，在這些特征上總共有15個(gè)錨。

2.2 微調(diào)

本文在每個(gè)新的合并特征映射之后，應(yīng)用一個(gè)級(jí)聯(lián)RPN，將在第1階段生成的方案作為新的錨，然后將這些新錨輸入第2階段生成最終提案。這項(xiàng)工作使對(duì)象建議更加緊湊和更局部化。

如圖2所示，第1級(jí)RPN以滑動(dòng)窗口的方式定期訓(xùn)練，以便在圖像中以特定的尺度和不同的縱橫比產(chǎn)生一系列和Faster R-CNN具有相同參數(shù)的錨。對(duì)于每個(gè)生成的錨，后面跟著一個(gè)感興趣區(qū)域(ROI)池化層，從特征映射中提取一個(gè)固定長(zhǎng)度的特征向量，其中ROI池化層僅僅是SPPNET[19]中使用的空間金字塔其中的一個(gè)金字塔級(jí)層的特殊情況。并且每個(gè)特征映射都被輸入到2個(gè)完全連接的同級(jí)層中，一個(gè)用于估計(jì)這個(gè)錨是否包含一個(gè)對(duì)象，另一個(gè)用于估計(jì)對(duì)象的4個(gè)參數(shù)值。在詳細(xì)的應(yīng)用中，針對(duì)每個(gè)新的合并特征使用3個(gè)不同的縱橫比，因此BBox回歸輸出具有4×3個(gè)通道，對(duì)3個(gè)錨的4個(gè)坐標(biāo)進(jìn)行編碼，并且softmax層輸出具有2×3個(gè)信道，該2×3個(gè)信道估計(jì)每個(gè)提案的對(duì)象或非對(duì)象的概率。當(dāng)人們從第1階段RPN中得到建議區(qū)域時(shí)，再次將這些建議區(qū)域輸入到第2階段RPN中，而不需要任何操作，將這些建議區(qū)域視為微調(diào)的新錨位置并產(chǎn)生最終建議區(qū)域。

3 實(shí) 驗(yàn)

3.1 數(shù)據(jù)集

為了訓(xùn)練并評(píng)估本文提出的網(wǎng)絡(luò)結(jié)構(gòu)與算法的有效性，實(shí)地采集5000幅正常工作的電表圖像。鑒于正常工作的電表上出現(xiàn)腐蝕痕跡的比例過小，為了防止訓(xùn)練過程中負(fù)樣本的比重過大，對(duì)其進(jìn)行數(shù)據(jù)增強(qiáng)處理，將報(bào)廢電表加入數(shù)據(jù)樣本當(dāng)中，同時(shí)對(duì)部分正常電表的表面進(jìn)行仿銹蝕處理。最終，含有銹跡的電表圖像20000幅與正常電表5000幅，比例為8:2。

3.2 訓(xùn)練

實(shí)驗(yàn)建立在TensorFlow[20]框架上，采用Nvidia 1080Ti顯卡，Backbone選用的是在ImageNet[21]下進(jìn)行預(yù)訓(xùn)練過的ResNet50與ResNet101，優(yōu)化器選擇的是Adam，初試學(xué)習(xí)率為0.0002。訓(xùn)練數(shù)據(jù)、驗(yàn)證數(shù)據(jù)與測(cè)試數(shù)據(jù)比例為6:2:2，迭代次數(shù)為200次。

3.3 電表檢測(cè)結(jié)果

圖3展示了本文的電表檢測(cè)方法在數(shù)據(jù)集上的直觀效果。利用多尺度的特征以及級(jí)聯(lián)的RPN網(wǎng)絡(luò)，降低了誤檢與漏檢的概率，極大地提升了電表檢測(cè)的精確度，同時(shí)在時(shí)間上的額外開銷很小。

圖3 電表檢測(cè)量化結(jié)果

3.4 評(píng)估

對(duì)于目標(biāo)檢測(cè)模塊，使用交并比(Intersection over Union, IOU)為0.5時(shí)的平均精度作為結(jié)果的評(píng)價(jià)指標(biāo)。對(duì)于電表檢測(cè)部分，使用均值平均精度(Mean Average Precision, mAP)作為評(píng)測(cè)標(biāo)準(zhǔn)；對(duì)于銹蝕檢測(cè)二分類部分，使用正確率(Accuracy, AC)作為評(píng)價(jià)標(biāo)準(zhǔn)。

3.4.1 多尺度特征提取

為了驗(yàn)證本文的多尺度特征提取和合并特征策略是有效的，計(jì)算不同IOU比率下方案的召回率Recall，如圖4所示，其中FM代表本文采用的多尺度特征融合方案，selective search代表選擇性搜索。當(dāng)建議區(qū)域從2000降到300時(shí)，selective search方法在不同的IOU對(duì)應(yīng)的召回率均出現(xiàn)了不同程度的下降，比如IOU=0.5時(shí)，召回率從0.96下降到0.82，而VGG16和VGG16+FM由于采用了RPN網(wǎng)絡(luò)，變化不大。VGG16方案和VGG16+FM方案之間差異很小，這充分說明特征融合方法(FM)能夠很好地利用特征圖，即使只有300個(gè)建議區(qū)域。

(a) 建議區(qū)域?yàn)?000

(b) 建議區(qū)域?yàn)?00

如表1所示，F(xiàn)aster R-CNN基于ResNet50的mAP為91.3%，基于ResNet101的mAP為91.7%，而采用多尺度特征提取和合并特征策略，基于ResNet50的mAP為93.4%，基于ResNet101的mAP為93.8%，相對(duì)于Faster R-CNN提高2.1個(gè)百分點(diǎn)。同時(shí)對(duì)于電表銹斑分類的正確率也提升了1.8和2.0個(gè)百分點(diǎn)。獲得更好的效果主要是因?yàn)椴捎枚喑叨忍卣魇箤?duì)象定位更好，尤其是對(duì)于小對(duì)象，從而能夠使目標(biāo)檢測(cè)精度得到提高。這些結(jié)果表明，本文的策略能提供更高質(zhì)量的建議區(qū)域，從而獲得更好的精度。

表1 多尺度特征提取合并方法FM與Faster R-CNN方法在IOU=0.5時(shí)的實(shí)驗(yàn)結(jié)果

方法電表檢測(cè)(mAP)/%銹斑分類(AC)/%Faster R-CNN+ResNet50Faster R-CNN+ResNet10191.391.790.790.9FM+RPN+ResNet50FM+RPN+ResNet10193.493.892.592.9

3.4.2 級(jí)聯(lián)RPN

同樣地，為了驗(yàn)證級(jí)聯(lián)RPN的有效性，如表2所示，本文做了單個(gè)RPN和2個(gè)RPN的對(duì)比實(shí)驗(yàn)。Faster R-CNN基于ResNet50的mAP為91.3%，基于ResNet101的mAP為91.7%，本文的方法，即采用級(jí)聯(lián)RPN(DRPN)，基于ResNet50的mAP為93.6%，基于ResNet101的mAP為94.2%，相對(duì)于Faster R-CNN分別提高2.3和2.5個(gè)百分點(diǎn)。級(jí)聯(lián)RPN相對(duì)于單個(gè)RPN精度更高，主要是因?yàn)榈?個(gè)RPN以第1個(gè)RPN的輸出為輸入，學(xué)習(xí)更細(xì)致的特征，專注于查找類內(nèi)的差異，減少了誤分類的可能性。

表2 級(jí)聯(lián)RPN方法DRPN與Faster R-CNN方法在IOU=0.5時(shí)的實(shí)驗(yàn)結(jié)果

方法電表檢測(cè)(mAP)/%銹斑分類(AC)/%Faster R-CNN+ResNet50Faster R-CNN+ResNet10191.391.790.790.9DRPN+ResNet50DRPN+ResNet10193.694.292.993.1

3.4.3 與其他模型對(duì)比

同時(shí)，如表3所示，本文的方法結(jié)合多尺度特征提取和合并、級(jí)聯(lián)RPN 2種方法，基于ResNet50，在電表檢測(cè)上相對(duì)于只使用多尺度特征融合方法提高1.1個(gè)百分點(diǎn)，相對(duì)于只使用級(jí)聯(lián)RPN方法提高了0.9個(gè)百分點(diǎn)。同時(shí)不論是在電表檢測(cè)還是在銹斑分類上，都高于目前主流的目標(biāo)檢測(cè)框架，其中在電表檢測(cè)上高于YOLOv2[22]方法3.8個(gè)百分點(diǎn)，銹斑分類上高4個(gè)百分點(diǎn)，實(shí)驗(yàn)結(jié)果充分說明結(jié)合多尺度特征融合和級(jí)聯(lián)RPN 2種方法能夠進(jìn)行有效的電表檢測(cè)和銹斑分類的任務(wù)。

表3 不同方法在IOU=0.5時(shí)的實(shí)驗(yàn)結(jié)果

方法電表檢測(cè)(mAP)/%銹斑分類(AC)/%YOLOv2[22]91.190.5SSD+ResNet50[23]89.387.7DRPN+ResNet5093.692.9DRPN+ResNet10194.093.1FM+RPN+ResNet5093.492.5FM+RPN+ResNet10193.892.9DRPN+FM+ResNet5094.594.3DRPN+FM+ResNet10194.994.5

4 結(jié)束語

配電柜銹蝕導(dǎo)致的后果，小的影響有接觸不良，不能有效接通，虛接、發(fā)熱，出現(xiàn)缺相或者信號(hào)失效現(xiàn)象。最壞的可能會(huì)導(dǎo)致火災(zāi)、爆掉部分電氣控制設(shè)備。

理論和實(shí)驗(yàn)結(jié)果表明，多尺度CNN可以很好地刻畫銹斑的細(xì)微特征，從而從根本上改善銹斑識(shí)別的實(shí)時(shí)性、精準(zhǔn)性和穩(wěn)定性。

不同配電箱設(shè)置不同的感知識(shí)別設(shè)備與算法，怎樣讓這些不同設(shè)備的數(shù)據(jù)與銹斑態(tài)勢(shì)實(shí)現(xiàn)通信與共享，使得在物聯(lián)網(wǎng)意義下感知更智能、更高效、更可靠，從而讓變電站遠(yuǎn)離銹斑的困擾，是下一步的研究重點(diǎn)之一。