基于深度學(xué)習(xí)的太陽能電池板缺陷檢測模型設(shè)計

陳鳳妹，程顯毅，姚澤峰

摘 要：太陽能電池板是光伏發(fā)電的核心部件，表面質(zhì)量關(guān)系著其使用壽命和發(fā)電效率。針對目前太陽能電池板缺陷檢測方法存在著檢測效率低、周期長、檢測缺陷單一等問題，文章設(shè)計了一種基于深度學(xué)習(xí)的太陽能電池板缺陷檢測模型SSNBDL，其基本思想是，在Segnet網(wǎng)絡(luò)框架基礎(chǔ)上，使用空洞卷積替代其中的池化層，使得在增大感受野的同時還保留了圖像的邊緣信息，基于該模型對太陽能電池板缺陷進(jìn)行檢測，明顯提高了檢測的準(zhǔn)確率。

關(guān)鍵詞：太陽能電池片;深度學(xué)習(xí);語義分割;缺陷檢測

隨著社會的發(fā)展，人類對于能源的需求日益增加，不可再生能源逐漸枯竭。因此人們逐漸將目光轉(zhuǎn)移至太陽能、核能、風(fēng)能等清潔能源上，其中太陽能光伏發(fā)電可以大、中、小并舉，大到百萬千瓦的中型電站，小到只供一戶的獨立太陽能發(fā)電系統(tǒng)，有著其他電源無法比擬的優(yōu)點，成為最為熱門的可再生能源之一。

據(jù)報道，我國目前太陽能發(fā)電新增容量連續(xù)5年全球第一，光伏裝機容量已經(jīng)超過了1.4億kW。光伏發(fā)電系統(tǒng)中，太陽能電池板是核心單元之一，其生產(chǎn)工藝復(fù)雜，在不同的工藝過程中容易產(chǎn)生缺陷，如隱裂、劃痕、斷柵、黑斑、空洞、崩邊、滾輪印等[1]。這些缺陷將產(chǎn)生太陽能電池板局部區(qū)域發(fā)熱，電流傳輸受損等問題，嚴(yán)重的影響太陽能電池板的使用年限和發(fā)電效率。太陽能電池板常見的缺陷如表1所示，在自然光下常見的太陽能電池板表面缺陷如圖1所示。

目前，太陽能電池板缺陷檢測方法主要分為人工目視檢測、物理檢測和機器視覺檢測這3種。其中，人工目視檢測容易受到個人主觀性和環(huán)境因素的影響且不具備實時性，應(yīng)用的局限性較大。物理檢測方法主要有聲波、激光、可見光等。基于機器學(xué)習(xí)的太陽能電池板檢測方法更加方便、快捷和經(jīng)濟，以實時性、精確性等優(yōu)勢成為太陽能電池板檢測發(fā)展的主要方向。

1 研究現(xiàn)狀

常用的太陽能電池板成像方式除最普通的可見光成像外，還有電致發(fā)光、光致發(fā)光和熱紅外成像這3種方式，圖2為4種成像方式的示例。

太陽能電池板表面缺陷檢測方法主要有以下幾種：

（1）人工檢測。是最原始的太陽能電池板表面缺陷檢測方法之一，由專門人員通過可見光相機或紅外相機拍出來的太陽能電池板圖像來判斷是否存在缺陷，耗費大量的人力資源，檢測效率低，對于不同的缺陷存在著嚴(yán)重的主觀意向，已處于逐漸淘汰階段。

（2）物理檢測方法。Tsuzuki K等提出使用聲波進(jìn)行缺陷檢測，使太陽能電池片振動產(chǎn)生聲波，與無缺陷的太陽能電池片產(chǎn)生的聲波進(jìn)行對比分析，實現(xiàn)缺陷的檢測;Sawyer D.E.等利用激光掃描技術(shù)進(jìn)行檢測，該方法通過顯示激光掃描正向偏置的晶硅中電阻的連續(xù)性，如果裂紋存在則會出現(xiàn)電阻的不連續(xù)性;Zhou等基于共振超聲振動的檢測，利用太陽能電池板完整區(qū)域和破損區(qū)域密度不同的方法對缺陷區(qū)域進(jìn)行分割;此外還有Jiahui等基于光學(xué)深能級瞬態(tài)譜分析的檢測方法[2]。

（3）基于機器視覺的檢測方法。Tseng等提出基于缺陷梯度特征的檢測方法，針對太陽能電池片表面缺陷區(qū)域和其余部分亮度有明顯差異的特征，即在兩者交界處具有較高的梯度。然后利用梯度特征分別與各向異性擴散算法、均值漂移算法、粒子群優(yōu)化算法相結(jié)合，進(jìn)行缺陷檢測;Noguchi等提出基于聚類的檢測方法，該類方法的主要思想是通過聚類算法將缺陷區(qū)域和無缺陷區(qū)域進(jìn)行區(qū)分，采用閾值分割等算法得到僅包含缺陷區(qū)域的二值圖像;Sumithra等提出基于頻域分析的缺陷檢測方法，該方法的核心思想是將輸入的圖像通過傅里葉變換，或是小波變化等算法轉(zhuǎn)換到頻域中進(jìn)行處理，再反變換回時域得到最終結(jié)果;Tseng等提出基于矩陣分解的缺陷檢測方法，基本思想是通過某種矩陣分解算法將輸入圖像分解為一個包含大量重復(fù)特征的矩陣和一個奇異特征的矩陣，前者為不含缺陷的圖像部分，后者代表包含缺陷區(qū)域的圖像部分。其中使用的機器學(xué)習(xí)方法包括：支持向量機、獨立成分分析和深度學(xué)習(xí)等[3]。

不同的方法對于太陽能電池板表面不同的缺陷檢測有著不同的效果，隨著技術(shù)的發(fā)展和生產(chǎn)中不斷產(chǎn)生的實際需求，這些方法往往有著自身的局限性。利用聲波、激光檢測，對于太陽能電池板表面的裂紋具有較高的檢測精度，但是對于黑斑、指紋印、滾輪印等缺陷無法進(jìn)行有效的檢測;基于梯度特征和聚類的檢測方法，對于缺角和破片這種類型的缺陷檢測精度較低;基于頻域和矩陣分解的方法，適用于分布較為分散的缺陷，對于劃痕則無法檢測?？傊?，目前已有的太陽能電池板缺陷檢測方法大多針對一種或者幾種缺陷有較好的檢測結(jié)果，但無法完全滿足生產(chǎn)需求。隨著人工智能的發(fā)展，將深度學(xué)習(xí)算法應(yīng)用到太陽能電池板檢測中符合工業(yè)生產(chǎn)的實際需求，有著廣泛的前景[4]。

2 基于深度學(xué)習(xí)的語義分割網(wǎng)絡(luò)模型SSNBDL設(shè)計

2.1 卷積神經(jīng)網(wǎng)絡(luò)

作為機器學(xué)習(xí)的一個分支，深度學(xué)習(xí)這一概念在20世紀(jì)80年代就被引入，直至2006年，Hinton等在《Science》發(fā)表的文章正式引發(fā)了深度學(xué)習(xí)的浪潮。深度學(xué)習(xí)指多層神經(jīng)網(wǎng)絡(luò)上運用各種機器學(xué)習(xí)算法解決圖像、文本等各種問題的算法集合，大類可以歸入神經(jīng)網(wǎng)絡(luò)，不過在具體實現(xiàn)上有許多變化，其核心是特征學(xué)習(xí)，旨在通過分層網(wǎng)絡(luò)獲取分層次的特征信息，解決以往需要人工設(shè)計特征的重要難題。深度學(xué)習(xí)主要框架包括：卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，CNN）、深度置信網(wǎng)絡(luò)（Deep Belief Networks，DBN）等。其中，CNN主要由卷積層（Convolution Conv）、池化層（Pooling）、全連接層（Fully connected）、激活層（Activation Function）等組成，一個深層的神經(jīng)網(wǎng)絡(luò)可能出現(xiàn)多個卷積加池化的組合[5]。

2.1.1 卷積層

卷積運算的目的是提取輸入的不同特征，第一層卷積層可能只能提取一些低級的特征，如邊緣、線條和角等層級，更多層的網(wǎng)絡(luò)能從低級特征中迭代提取更復(fù)雜的特征。對于圖像的卷積運算，可以表述為對圖像局部稠密采樣后的線性映射。一個矩陣I的大小為M×N，卷積核K的大小為U×V，卷積核在輸入矩陣中滑動，每滑動到一個位置，將對應(yīng)數(shù)字相乘并求和，卷積的結(jié)果D為：

（1）

在做卷積運算時卷積核可能無法恰好滑到邊緣，針對這種情況，可在矩陣最外層補零，根據(jù)需要設(shè)定補零層數(shù)。補零層是一個可以設(shè)置的超參數(shù)，但要根據(jù)卷積核的大小、步幅以及輸入矩陣的大小進(jìn)行調(diào)整，使得卷積核恰好滑動到邊緣。一般情況下，輸入的圖片矩陣以及后面的卷積核，特征圖矩陣都是方陣，設(shè)輸入矩陣大小為w，卷積核大小為k，步幅為s，補零層數(shù)為p，則卷積后產(chǎn)生的特征圖尺寸d的計算公式為：

（2）

由式（2）可以看出，卷積核在對圖像進(jìn)行卷積運算時是針對與卷積核大小相同的局部區(qū)域進(jìn)行操作的，并且對于每一個區(qū)域都采用相同的卷積核進(jìn)行操作，即具有局部感知和參數(shù)共享兩個優(yōu)點。

2.1.2 池化層

卷積運算完成特征的提取后，輸出的特征會被輸入到池化層中進(jìn)行下一步操作。池化運算主要通過下采樣的方式，在不影響整體圖片質(zhì)量的情況下將一些無關(guān)緊要的信息去掉，而留下的信息則具有尺度不變性的特征，是最能表達(dá)圖像特征的。一幅圖像含有的信息是很大的，特征也很多，導(dǎo)致做圖像任務(wù)時，存在一些重復(fù)或無用的信息，池化運算可以把這類冗余信息去除，抽取最重要的特征。兩種常用池化方法為：平均池化、最大池化。

最大池化對局部范圍內(nèi)的最大值進(jìn)行統(tǒng)計。若池化操作的大小為M×N，輸入I大小為i×j，輸出為S，表達(dá)式為：

（3）

一般來說，平均池化能減小鄰域大小受限造成估計值方差增大的誤差，更多的保留圖像背景信息;最大池化能減小卷積層參數(shù)誤差造成估計均值的偏移，更多地保留紋理信息。最大池化性質(zhì)提高了CNN的魯棒性，在實踐中有著優(yōu)異的表現(xiàn)，是目前CNN用途最廣泛的池化方法。

2.1.3 全連接層

全連接層是將輸出層的每一個節(jié)點與上一層的節(jié)點相連，將之前由卷積層提取的局部特征重新通過權(quán)值矩陣計算輸出層的輸出。

2.2 語義信息

圖像理解是面向用戶的，用戶背景的差異會導(dǎo)致其對圖像中信息的了解也不相同。圖像的語義是指用戶在圖像中能夠得到的深層信息，語義模型是圖像語義最直觀的描述方式，可以劃分為3個層次：最底層為視覺特征層，用于描述圖像基礎(chǔ)的顏色、紋理、方向等特征;中間層為邏輯特征層，根據(jù)邏輯關(guān)系推理出來;最高層為抽象特征層，通過深層推理圖像中的關(guān)系得到語義信息。

傳統(tǒng)的圖像分割由于計算機計算能力有限，最開始階段只能對灰度圖進(jìn)行處理，后來才能處理彩色圖，這個階段的分割主要是通過提取圖像的低級特征，然后進(jìn)行分割，具有代表性的方法有：Ostu，F(xiàn)CM、分水嶺、N-Cut等。這個階段一般是非監(jiān)督學(xué)習(xí)，分割出來的結(jié)果并沒有語義的標(biāo)注，計算機分割的方式和人類直觀理解之間的差異稱之為“語義鴻溝”。隨著科學(xué)的發(fā)展，計算機運算能力的提高，以機器學(xué)習(xí)的方法進(jìn)行圖像語義分割是對圖像分割技術(shù)的一種提升。機器學(xué)習(xí)通過大量數(shù)據(jù)的驅(qū)動學(xué)習(xí)較好的映射關(guān)系，以語義信息對圖像進(jìn)行分割來減少“語義鴻溝”，這里的語義是指低級語義信息，可以實現(xiàn)不同類別物體之間的分割。而全卷積神經(jīng)網(wǎng)絡(luò)（Full convolutional Neural Network FCN）的出現(xiàn)，標(biāo)志著深度學(xué)習(xí)正式進(jìn)入圖像語義分割領(lǐng)域，并取得了優(yōu)異的成果?；谏疃葘W(xué)習(xí)的語義分割，仍是從像素級別精度對圖像中的不同物體進(jìn)行分割并識別，但是分割的精度和速度相對于機器學(xué)習(xí)有很大的提升。

2.3 Segnet網(wǎng)絡(luò)

基于傳統(tǒng)的CNN，2015年，Jonathan Long等在提出最初的FCN語義分割網(wǎng)絡(luò)模型?，F(xiàn)在主流的語義分割模型的思路分為下采樣階段、上采用階段和像素分類3個階段。大部分的語義分割網(wǎng)絡(luò)可以看成是基于這3個階段結(jié)構(gòu)的變形，主要以減少語義信息損失和強化局部細(xì)節(jié)為目標(biāo)?，F(xiàn)有的語義分割網(wǎng)絡(luò)的優(yōu)化方向基本上可以概括為以下3個：

（1）提升采樣階段的連通性，下采樣階段使用新型的卷積方式或者使用遷移學(xué)習(xí)來提取更好的圖像特征。

（2）保留更多的上下文信息，引入多尺度特征空間，結(jié)合全局信息和布局信息、多層級和多尺度的特征融合。

（3）采用概率圖模型，考慮像素和像素之間的關(guān)系，概率圖可以保證輸出結(jié)果的一致性和銳化邊界信息，真正表達(dá)像素之間的相似性和差異性。

Segnet作為基于FCN和VGG-16網(wǎng)絡(luò)改進(jìn)后得到新穎的端對端的語義分割網(wǎng)絡(luò)。Segnet整體結(jié)構(gòu)是一個基本對稱的解碼器（encoder）和編碼器（decoder），解碼器部分采用VGG-16網(wǎng)絡(luò)的前13層，通過卷積層提取圖像特征，池化層來減少特征數(shù)量。在編碼器中，每一次的卷積和池化運算都相當(dāng)于對圖像進(jìn)行了一次下采樣，導(dǎo)致圖像的像素信息大大的減少了，在CNN算法里，最終只輸出一個結(jié)果即圖像。CNN分類如圖3所示。

Segnet是像素級別的識別（見圖4），輸入有多少像素，輸出就要多少像素，像素之間完全映射，并且在輸出圖像上標(biāo)注信息，指明每一個像素可能是什么類別。所以，Segnet設(shè)計了編碼器部分，將傳統(tǒng)網(wǎng)絡(luò)后面的全連接層換成了上采樣（Upsampling），用來還原圖像的尺寸，最后，采用Softmax分類器對每個像素進(jìn)行分類，網(wǎng)絡(luò)輸出不再是類別，而是有標(biāo)注的圖片。

2.4 SSNBDL網(wǎng)絡(luò)結(jié)構(gòu)

Segnet可以對圖像中不同類型的物體進(jìn)行大致的分割，由圖4可以看出Segnet對于細(xì)節(jié)的把握比較粗糙，對于越深層次圖像的上采樣（也稱之為“反卷積”）還原得到的結(jié)果邊緣部分較模糊。這是因為較淺卷積層（靠前的）的感受域比較小，學(xué)習(xí)感知細(xì)節(jié)部分的能力強，較深的隱藏層（靠后的）、較大的感受域適合學(xué)習(xí)較為整體的、相對更宏觀的特征。所以，在較深的卷積層上進(jìn)行反卷積還原，自然會丟失很多細(xì)節(jié)特征。

針對Segnet模型中的缺陷，SSNBDL如果只是在純數(shù)學(xué)的角度利用之前的卷積核來進(jìn)行“反卷積”，企圖還原之前的圖像，而忽略了像素與像素之間的關(guān)系以及空間一致性等問題。圖像分割中有兩個關(guān)鍵，一是池化減小圖像尺寸增大感受野;二是上采樣擴大圖像尺寸。在先減小再增大尺寸的過程中造成部分信息損失，為此，應(yīng)通過空洞卷積來替代原有部分池化操作，以增大感受野看到更多信息。

空洞卷積（見圖5）的本質(zhì)操作是希望通過幾個連續(xù)空洞卷積來增大感受野。傳統(tǒng)卷積操作運算的計算公式如下：

（4）

空洞卷積在此基礎(chǔ)上加上了空洞度d，運算公式如下：

（5）

圖5中3×3的1-dilated conv（步長為1的卷積）和普通的卷積操作一樣，3×3的2-dilated conv，實際的卷積核的大小還是3×3，但是擴張率為1，即對于一個7×7的圖像區(qū)域，只有9個紅色的點和3×3的卷積核發(fā)生卷積操作，其余的點忽略。也可以理解為卷積核的大小為7×7，但是只有圖中的9個點的權(quán)重不為0，其余都為0。雖然卷積核大小只有3×3，但是這個卷積的感受野已經(jīng)增大到7×7，考慮2-dilated conv的前一層是1-dilated conv，那么每個紅點就是1-dilated的卷積輸出，感受野為3×3，所以，1-dilated和2-dilated合起來就能達(dá)到7×7的卷積）。4-dilated conv操作，同理跟在兩個1-dilated和2-dilated conv的后面，能達(dá)到15×15的感受野。對比傳統(tǒng)的卷積操作，擴展卷積的在不做池化操作、不損失信息的情況下，加大了感受野，讓每個卷積輸出都包含較大范圍的信息。

空洞卷積核的不連續(xù)性會忽略掉一些像素信息，對于像素級別的判斷任務(wù)是致命的，在最后的結(jié)果中會出現(xiàn)區(qū)域網(wǎng)格化現(xiàn)象。同樣，采用大的步長對大物體檢測有很好的效果，但是對于小物體來說則有弊無利。Segnet網(wǎng)絡(luò)中為了避免問題的出現(xiàn)，減少圖像邊緣信息的損失，本文采用空洞卷積來替代后兩層網(wǎng)絡(luò)原有的池化操作得到SSNBDL（見圖6）。

3 實驗結(jié)果和分析

3.1 實驗數(shù)據(jù)

本文的實驗采用Tensor Flow搭建網(wǎng)絡(luò)環(huán)境，采用VOC2012數(shù)據(jù)集和現(xiàn)場采集有缺陷的太陽能電池板數(shù)據(jù)集對神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練和測試。

圖6 引入空洞卷積的SSNBDL網(wǎng)絡(luò)結(jié)構(gòu)

PASCAL VOC2012數(shù)據(jù)集是目前國際上各大深度學(xué)習(xí)比賽最常用的數(shù)據(jù)集之一，主要用于分類、識別、分割等測試。本實驗主要使用了其中的圖像語義分割數(shù)據(jù)集，包含人、車輛、動物等，共20種類別，訓(xùn)練集為2 913張圖片，1 456張測試集，該數(shù)據(jù)集中的圖片都已經(jīng)進(jìn)行了標(biāo)注，有效減少了實驗的工作量。數(shù)據(jù)集中圖像的像素尺寸大小不一，但是橫向圖的像素尺寸大約為500×375，縱向圖的像素尺寸大約為375×500，為此在訓(xùn)練中將圖像的像素尺寸統(tǒng)一變化為350×350。數(shù)據(jù)集中的圖片如圖7所示，檢測的語義結(jié)果如圖8所示。

實驗采用的數(shù)據(jù)集是由生產(chǎn)現(xiàn)場采集的有缺陷的太陽能電池板圖片。太陽能電池板數(shù)據(jù)集如表3所示。

數(shù)據(jù)集包含1 885張有缺陷的太陽能電池板灰度圖像，其中訓(xùn)練集共1 432張，測試集共453張，圖片的初始分辨率為1 360×1 024，為了減少訓(xùn)練量，加快訓(xùn)練速度，將圖像的像素尺寸變換為512×420。其中，共有10種常見的太陽能電池板表面缺陷，包括隱裂、劃痕、黑斑、斷柵、孔洞、黑角等。部分圖像如圖9所示。

3.2 實驗結(jié)果

使用VOC12數(shù)據(jù)集，將Segnet與SSNBDL進(jìn)行對比分析。VOC12數(shù)據(jù)集加上背景共有21種物體，使用poly學(xué)習(xí)策略，將batch size設(shè)為10，最大迭代次數(shù)為100 000次。按照上述方法來構(gòu)建本文網(wǎng)絡(luò)在TensorFlow網(wǎng)絡(luò)中可視化顯示出Segnet和本文方法準(zhǔn)確性和損失函數(shù)的圖像，如圖10所示。

圖10 迭代對比

圖10中虛線代表Segnet，實線代表本文算法，可以看出，在迭代次數(shù)在6 000次之前準(zhǔn)確率迅速上升，20 000次以后逐漸放緩，準(zhǔn)確率最后都逼近于100%，但是本文算法的上升速度和準(zhǔn)確率都要略優(yōu)于Segnet算法。同樣在損失率的圖像上，SSNBDL模型的下降速度也略優(yōu)于Segnet算法，說明本實驗算法的收斂速度更快，結(jié)果表明在該數(shù)據(jù)集上本文算法的表現(xiàn)更為優(yōu)秀。

太陽能電池板數(shù)據(jù)集幾種不同類型的缺陷（見圖11）在本文算法中的檢測結(jié)果，可以看到，對于太陽能電池板上存在的不同缺陷，本文算法可以準(zhǔn)確地檢測出缺陷所在的位置。實驗結(jié)果如表4所示。

由表4可以看出，缺陷的平均漏檢率為2.34%，誤檢率為3.32%，平均檢測耗時為0.075 3 s，相對于傳統(tǒng)的太陽能電池板檢測方法既實現(xiàn)了自動化操作，又保證了檢測精度，可以基本滿足工業(yè)生產(chǎn)需求。

4 結(jié)語

本文在分析經(jīng)典的語義分割網(wǎng)絡(luò)Segnet的不足基礎(chǔ)上，利用空洞卷積來代替Segnet網(wǎng)絡(luò)中原有的池化模塊，設(shè)計了SSNBDL模型。在不影響圖像尺度情況下增大了感受野，提高了學(xué)習(xí)的效率。實驗中，采用VOC12數(shù)據(jù)集來與Segnet模型進(jìn)行對比，使用現(xiàn)場采集的有缺陷太陽能電池板圖像進(jìn)行訓(xùn)練和測試，實驗結(jié)果表明SSNBDL有很高的檢測精度和實時性。

[參考文獻(xiàn)]

[1]李志君.基于機器視覺的太陽能電池表面缺陷檢測的研究[D].天津：天津工業(yè)大學(xué)，2014.

[2]JONATHAN L，EVAN S，TREVOR D.Fully convolutional networks for semantic segmentation[C].Boston：IEEE International Conference on Computer Vision，2015.

[3]SINGH S，SINGH R.Comparison of various edge detection techniques[C].Chengdu：IEEE International Conference on Computing for Sustainable Global Development，2015.

[4]JONATHAN L，ZISSERMAN A.Very deep convolutional networks for large-scale image recognition[J].ArXiv preprint ArXiv，2015（4）：1409，1556.

[5]ABDELG A，ABDELMALIK.Influence of sinusoidal and square voltages on partial discharge inception in geometries with point-like termination[J].High Voltage，2018（3）：31-37.

Design of defect detection model of solar panel based on deep learning

Chen Fengmei1， Cheng Xianyi1，2， Yao Zefeng2

（1.Silicon Lake College， Kunshan 215332， China;2.School of Computer Science and Technology， Nantong University， Nantong 226019， China）

Abstract：Solar panel is the core component of photovoltaic power generation， and its service life and power generation efficiency are affected by surface quality. In order to solve the problems of low efficiency， long period and single defect detection， this paper designs an SSNBDL model based on deep learning. The basic idea is that on the basis of the Segnet network framework， the pool layer is replaced by hollow convolution， so that the edge information of the image is retained while increasing the sensing field. Based on this model， the defect of the solar panel is detected. The experiment show that the accuracy of defect detection obviously improved.

Key words：solar cells; semantic segmentation; machine learning; defect detection