基于權(quán)重和BN層剪枝的晶界檢測模型壓縮算法探析

李 靜 卯福啟,2

(1.北方工業(yè)大學(xué)，北京 100144；2.中國地質(zhì)大學(xué)(北京)，北京 100083)

0 引言

晶界屬于晶體缺陷的面缺陷之一，它是結(jié)構(gòu)相同而取向不同的晶粒之間的界面，晶界面上的原子排列處于2個取向之間的過渡狀態(tài)。晶界的存在會嚴(yán)重影響晶體材料的強度、塑性和抗拉程度等性能指標(biāo)。高分辨率電子顯微鏡(High Resolution Transmission Electron Microscope，HRTEM)的出現(xiàn)為晶界提供了納米級別下原子排布的清晰圖像，也為晶體缺陷的智能化檢測奠定了基礎(chǔ)。隨著計算機視覺的發(fā)展，基于圖像處理的深度學(xué)習(xí)技術(shù)推動了晶體缺陷高分辨率圖像的研究。目標(biāo)檢測網(wǎng)絡(luò)EfficientDet模型[1]5在通用大型目標(biāo)檢測數(shù)據(jù)集上獲得了優(yōu)異的檢測精度和速度性能，筆者將其作為晶界缺陷檢測的基礎(chǔ)模型，但由于EfficientDet網(wǎng)絡(luò)結(jié)構(gòu)具有模型縮放等特征，導(dǎo)致模型結(jié)構(gòu)存在冗余、參數(shù)量大等問題，若通過神經(jīng)網(wǎng)絡(luò)芯片對專用硬件加速，則會帶來高昂費用的應(yīng)用成本負擔(dān)。模型壓縮技術(shù)能夠通過對原有模型進行參數(shù)壓縮、維度縮減和重新設(shè)計簡單網(wǎng)絡(luò)結(jié)構(gòu)等操作來加快網(wǎng)絡(luò)訓(xùn)練和推理時間，有效降低結(jié)構(gòu)和參數(shù)冗余，從而減少空間存儲占用和計算復(fù)雜度，有助于深度學(xué)習(xí)技術(shù)的應(yīng)用和部署。這種技術(shù)不僅應(yīng)用成本低，而且可以與硬件加速方法相互加成。

目前，在模型壓縮和加速方面大致分為剪枝與量化、低秩因子分解、遷移或壓縮卷積濾波器、蒸餾學(xué)習(xí)等4類方法[2]。其中，網(wǎng)絡(luò)剪枝主要指在網(wǎng)絡(luò)訓(xùn)練過程中尋求一種評判重要性的機制，剔除不重要的連接、節(jié)點甚至是卷積核，達到精簡網(wǎng)絡(luò)結(jié)構(gòu)的目的。相比于其他模型壓縮的方法，網(wǎng)絡(luò)剪枝算法不僅原理簡單且操作方便，還可以在不影響性能的前提下，通過設(shè)定恰當(dāng)?shù)募糁?zhǔn)則去除網(wǎng)絡(luò)中對輸出特征貢獻小的無用部分。筆者旨在通過尋找合適的剪枝策略機制對晶界檢測EfficientDet網(wǎng)絡(luò)進行模型壓縮，采用權(quán)重剪枝和BN層通道剪枝的方法，使網(wǎng)絡(luò)模型結(jié)構(gòu)更加精簡，參數(shù)量減少，加快運行速度，達到實時應(yīng)用的標(biāo)準(zhǔn)。

1 神經(jīng)網(wǎng)絡(luò)剪枝算法相關(guān)研究

隨著搜索算法中剪枝策略的廣泛應(yīng)用，剪枝算法也逐步應(yīng)用到深度神經(jīng)網(wǎng)絡(luò)中。許多學(xué)者對神經(jīng)網(wǎng)絡(luò)中不重要的連接權(quán)重進行剪枝操作。如2015年SONG H.等[3]先通過訓(xùn)練網(wǎng)絡(luò)確定重要連接，然后修剪不重要連接，最后重新訓(xùn)練并微調(diào)剩余網(wǎng)絡(luò)連接的權(quán)重，實現(xiàn)了將經(jīng)典網(wǎng)絡(luò)AlexNet和VGG等模型參數(shù)壓縮幾十倍。SONG H.等[4]提出了用EIE方法將壓縮模型與硬件加速結(jié)合，實現(xiàn)了CPU和GPU的速率及功耗性能的大幅改善。LI H.等[5]通過對卷積核中權(quán)值絕對值之和進行排序，裁剪重要性低的卷積層，減少卷積神經(jīng)網(wǎng)絡(luò)的計算成本，這種方法不需要使用稀疏庫或?qū)Ｓ糜布铀?。WEI W.等[6]采用一種類似于L1正則化的Group Lasso方式，在不損失精度的前提下將網(wǎng)絡(luò)學(xué)習(xí)的參數(shù)盡可能地結(jié)構(gòu)化稀疏。SONG H.等[7]則混合使用了剪枝、量化和編碼3種壓縮技巧，將經(jīng)過剪枝后的模型進行量化操作再整合霍夫曼編碼，使網(wǎng)絡(luò)在保持相同準(zhǔn)確率的基礎(chǔ)上達到最高49倍的壓縮比。

通道剪枝也是模型壓縮和加速領(lǐng)域的一個重要分支。通道剪枝同權(quán)重剪枝相似，在保證網(wǎng)絡(luò)的剪枝率和剪枝結(jié)構(gòu)確定的前提下，對每個通道的重要性進行評估，剪掉重要性排序最低的通道，并使得剪枝后網(wǎng)絡(luò)模型的精度損失最小。HE Y.H.等[8]首先用通道選擇機制添加L1范數(shù)，約束權(quán)重，使權(quán)重更加稀疏，并把稀疏的通道裁減掉，然后基于最小二乘法約束剪枝前后輸出的特征圖。LIU Z.等[9]提出一種針對BN層通道剪枝的方法，該方法利用BN層的權(quán)重評估輸入通道的重要性分數(shù)，過濾掉分數(shù)低的通道，在通道裁剪的同時，減少網(wǎng)絡(luò)對應(yīng)的卷積核以及卷積通道個數(shù)，逐層剪枝達到壓縮效果。LI B.等[10]采用了自適應(yīng)批量歸一化的簡單有效的評估技術(shù)方法，揭示不同剪枝子網(wǎng)絡(luò)與其微調(diào)收斂精度之間的強相關(guān)性，該方法不需要對子網(wǎng)絡(luò)進行實際微調(diào)，就能在候選子網(wǎng)絡(luò)中快速找到具有最高潛在準(zhǔn)確率的網(wǎng)絡(luò)。GUO S.等[11]提出DMCP方法，該方法通過交叉熵損失和預(yù)算正則化的梯度下降直接優(yōu)化網(wǎng)絡(luò)，搜索最優(yōu)通道子結(jié)構(gòu)。LIU N.等[12]提出基于神經(jīng)網(wǎng)絡(luò)自動化結(jié)構(gòu)剪枝的框架，使用混合型的結(jié)構(gòu)化剪枝維度和高效的交替乘子優(yōu)化算法對訓(xùn)練過程中的正則項動態(tài)更新，利用啟發(fā)式搜索方式進行抽樣。

2 EfficientDet算法

2020年，在EfficientNet分類網(wǎng)絡(luò)的基礎(chǔ)上[13]，Google Brain團隊提出了一種結(jié)合新型雙向特征金字塔網(wǎng)絡(luò)(Bidirectional Feature Pyramid Network，BiFPN)和縮放原理的EfficientDet目標(biāo)檢測網(wǎng)絡(luò)。該網(wǎng)絡(luò)共有8個不同版本，從EfficientDet-D0到EfficientDet-D7。其中，EfficientDet-D7在COCO數(shù)據(jù)集上的mAP(mean Average Precision)高達51%，超過了現(xiàn)有大部分目標(biāo)檢測網(wǎng)絡(luò)的性能，網(wǎng)絡(luò)的模型框架如圖1所示。

圖1 EfficientDet網(wǎng)絡(luò)

EfficientDet網(wǎng)絡(luò)是兼?zhèn)錂z測精度和速度的優(yōu)秀目標(biāo)檢測算法，該網(wǎng)絡(luò)利用對骨干網(wǎng)絡(luò)和特征金字塔網(wǎng)絡(luò)結(jié)構(gòu)的縮放原理，增加特征提取網(wǎng)絡(luò)的深度，并結(jié)合注意力機制原理，考慮不同特征層的重要程度，以實現(xiàn)優(yōu)異的檢測效果。但是由于模型縮放的特征，網(wǎng)絡(luò)存在一定的結(jié)構(gòu)復(fù)雜性，使得模型參數(shù)量不斷增加。為減少缺陷檢測模型的冗余參數(shù)量，提高模型檢測速度，同時確保網(wǎng)絡(luò)性能，可對EfficientDet網(wǎng)絡(luò)進行必要的剪枝操作，以降低模型參數(shù)量和計算復(fù)雜度，提高模型運行速度，縮短運行時間，便于晶界檢測模型的應(yīng)用和部署。

2.1 非結(jié)構(gòu)化權(quán)重剪枝

由EfficientDet網(wǎng)絡(luò)中BiFPN結(jié)構(gòu)可知，由于不同分辨率的輸入特征對融合輸出特征的貢獻不同，因此該網(wǎng)絡(luò)采用了一種類似于計算機視覺領(lǐng)域注意力機制結(jié)構(gòu)的加權(quán)雙向特征金字塔網(wǎng)絡(luò)BiFPN結(jié)構(gòu)。該結(jié)構(gòu)在融合不同層輸入特征的過程中采用了大量權(quán)重參數(shù)，這無疑會帶來權(quán)重參數(shù)的冗余，因此剪枝網(wǎng)絡(luò)權(quán)重是必要的。BiFPN結(jié)構(gòu)采用的快速歸一化加權(quán)融合策略如式(1)[1]4：

(1)

式(1)中，O為輸出特征；∑i，∑j分別為第i層和第j層求和；ωi，ωj分別為第i層和第j層的權(quán)重參數(shù)，用來作為判斷輸入到下一層網(wǎng)絡(luò)的特征重要程度的標(biāo)準(zhǔn)；ε為一個極小的值，用來避免數(shù)值不穩(wěn)定，ε=0.000 1；Ii為第i層的輸入特征。

通過網(wǎng)絡(luò)參數(shù)自動學(xué)習(xí)以后，根據(jù)權(quán)重值的大小進行排序，然后對應(yīng)剪枝比例確定權(quán)重閾值，便可以進行EfficientDet模型的權(quán)重剪枝。

此外，由于L1正則化傾向于產(chǎn)生更少的特征，使得網(wǎng)絡(luò)部分冗余參數(shù)在訓(xùn)練過程中盡可能變?yōu)?，從而生成一個稀疏化的網(wǎng)絡(luò)模型。L2正則化在權(quán)重更新過程中使參數(shù)盡可能小，使網(wǎng)絡(luò)模型結(jié)構(gòu)更加簡單，泛化能力更強。在網(wǎng)絡(luò)剪枝過程中，引入L1正則化和L2正則化，促使網(wǎng)絡(luò)中冗余參數(shù)趨近很小的數(shù)，可以提升權(quán)重剪枝的推理速度，同時降低誤剪枝的風(fēng)險。因此，筆者通過L1正則化和L2正則化的方法對權(quán)重和通道參數(shù)矩陣進行選擇。

L1范數(shù)是向量中各個元素絕對值之和，可以進行特征選擇，即讓特征的系數(shù)變?yōu)?。L1正則化方法如式(2)所示[14]252，它相對要比 L2 正則化更容易產(chǎn)生稀疏解。

(2)

式(2)中，C為正則化后的損失函數(shù)；Co為神經(jīng)網(wǎng)絡(luò)原來的損失函數(shù)，在原始損失代價后面加入一個L1正則化項，即所有權(quán)重ω的絕對值之和；n為訓(xùn)練集的樣本大??；λ是正則項系數(shù)，用來權(quán)衡正則項與Co項的比重。

L2范數(shù)是向量各元素的平方和再求平方根，它可以使網(wǎng)絡(luò)在再訓(xùn)練過程中保留下來的參數(shù)數(shù)值逐漸減小，以防止網(wǎng)絡(luò)過擬合，提升模型的泛化能力，也有利于模型保持原有精度。L2正則化方法如式(3)所示[14]253。

(3)

式(3)中，C為正則化后的損失函數(shù)；Co代表神經(jīng)網(wǎng)絡(luò)原來的損失函數(shù)，在原始損失代價后面加入一個L2正則化項，即所有權(quán)重ω的平方之和；n為訓(xùn)練集的樣本大小，為使求導(dǎo)方便增加系數(shù)1/2；λ是正則項系數(shù)，用來權(quán)衡正則項與Co項的比重。

然而，權(quán)重剪枝標(biāo)準(zhǔn)在非結(jié)構(gòu)化剪枝的情況下，通常僅將不重要的特征權(quán)重置0，生成的權(quán)重張量可以稀疏，但卻保持其原始形狀，因而得到的只是稀疏化網(wǎng)絡(luò)。雖然通過減小權(quán)重張量的尺寸能減少浮點運算的數(shù)量，但非結(jié)構(gòu)化修剪會產(chǎn)生許多帶有0的權(quán)重張量，且不會自動減小此類張量的大小。非結(jié)構(gòu)化剪枝最主要的缺點是數(shù)據(jù)結(jié)構(gòu)的加速稀疏需要硬件設(shè)備支持額外的存儲開銷，但目前對于稀疏操作進行加速支持的庫非常有限，大多數(shù)框架和硬件無法加速稀疏矩陣的計算，這就意味著無論用多少0填充參數(shù)張量，都不會對實際訓(xùn)練成本產(chǎn)生實質(zhì)的影響，僅僅是一種直接改變網(wǎng)絡(luò)架構(gòu)進行剪枝的方式，而不是對任何框架都適用的方法，在應(yīng)用上效果不盡人意。因此，人們開始嘗試將不重要的權(quán)重對應(yīng)的特征層直接進行剪枝，通過改變網(wǎng)絡(luò)架構(gòu)方式的修剪方法，真正達到網(wǎng)絡(luò)模型壓縮的目的，降低模型結(jié)構(gòu)的冗余，實現(xiàn)參數(shù)量和計算力的減少，這種方法稱為結(jié)構(gòu)化剪枝。

2.2 結(jié)構(gòu)化BN層通道剪枝

筆者使用的網(wǎng)絡(luò)模型中特征提取部分采用了多尺度縮放原理，通過結(jié)合殘差網(wǎng)絡(luò)增加神經(jīng)網(wǎng)絡(luò)的深度，通過改變特征提取的層數(shù)和提高輸入圖像分辨率，使網(wǎng)絡(luò)能夠?qū)W習(xí)和表達更豐富的特征。因此，特征矩陣的通道數(shù)量相較于其他網(wǎng)絡(luò)更多，剪枝網(wǎng)絡(luò)通道數(shù)對于該網(wǎng)絡(luò)模型的壓縮也是必要的。在結(jié)構(gòu)化通道剪枝算法中，最常用的一種算法是BN(Batch Normalization)層通道剪枝算法。BN層[15]2指批量歸一化層，在神經(jīng)網(wǎng)絡(luò)中通常位于卷積層和激活函數(shù)之間，它的作用是在網(wǎng)絡(luò)中按照輸出通道的數(shù)目對同一批次訓(xùn)練的數(shù)據(jù)樣本進行歸一化的操作，使輸入數(shù)據(jù)符合同一分布。在網(wǎng)絡(luò)中增加BN層已經(jīng)成為目前卷積神經(jīng)網(wǎng)絡(luò)廣泛使用的一種加速網(wǎng)絡(luò)收斂，以獲得更好的泛化性能和魯棒性的方法。具體見式(4)[15]3：

(4)

針對在卷積層后的批量歸一化層中的縮放系數(shù)γ進行L1正則化，即通過訓(xùn)練BN層的γ參數(shù)，使其作為每一層的稀疏因子，在訓(xùn)練完成之后對所有的BN層通道的該系數(shù)進行排序，然后通過預(yù)先設(shè)置的剪枝比例確定γ系數(shù)的閾值，再將閾值以下的對應(yīng)通道剪掉。由于每個縮放系數(shù)對應(yīng)于特定的卷積通道或全連接層中的神經(jīng)元，為了保持通道數(shù)匹配，相應(yīng)的卷積層和線性層也對應(yīng)裁剪，達到更高的通道級別剪枝。由于額外的正則化方法很少會使性能有所損失，相反某些情況下會導(dǎo)致更高的泛化精度，修剪不重要的通道可能會暫時降低性能，但這種影響可以通過在修剪網(wǎng)絡(luò)后進行微調(diào)來補償。

由于EfficientNet網(wǎng)絡(luò)中的MBConvBlock結(jié)構(gòu)卷積層、深度可分離卷積層、殘差連接層和BiFPN結(jié)構(gòu)都采用了BN層結(jié)構(gòu)，因此對EfficientDet網(wǎng)絡(luò)進行BN層通道結(jié)構(gòu)化剪枝具有可行性。假設(shè)模型中BN層結(jié)構(gòu)共有L層，通過剪枝不重要的BN層通道，實現(xiàn)模型壓縮的目標(biāo)?；贐N層通道剪枝的EfficientDet模型壓縮算法如表1所示。

表1 基于BN層通道剪枝的EfficientDet模型壓縮算法

3 實驗與分析

3.1 實驗數(shù)據(jù)與評價標(biāo)準(zhǔn)

晶界缺陷的HRTEM圖像數(shù)據(jù)集從2個金屬納米晶體視頻中分解而來[16]，由于分解后的圖像存在過于相似的問題，若只用這些圖像作為網(wǎng)絡(luò)的訓(xùn)練數(shù)據(jù)集，實驗結(jié)果和網(wǎng)絡(luò)的應(yīng)用及泛化能力將受到極大影響。為了使模型更好地應(yīng)用于晶界缺陷的檢測，對每個缺陷位置的一些具有代表性的原始圖像進行旋轉(zhuǎn)、平移剪切、亮度對比度、椒鹽噪聲和直方圖均衡化等數(shù)據(jù)擴充操作，形成共2 000 張圖像，作為晶界數(shù)據(jù)集，如圖2所示。其中，測試集占10%，共200 張圖像用于測試模型的性能；訓(xùn)練和驗證集占90%，共1 800 張。在訓(xùn)練和驗證集中，驗證集占20%，共360張。

(a)晶界原圖1 (b)晶界原圖2 (c)晶界原圖3 (d)晶界原圖4

(e)旋轉(zhuǎn)操作 (f)平移剪切操作 (g)亮度對比度色度操作 (h)直方圖均衡化操作圖2 原始晶界缺陷樣本圖像和處理后的晶界樣本圖像

對于檢測精度的定義，實驗中采用與COCO數(shù)據(jù)集[17]評價標(biāo)準(zhǔn)相同的AP(Average Precision)指標(biāo)和AR(Average Recall)指標(biāo)[18]。AP是閾值為0.5～0.95之間的平均準(zhǔn)確率，主要反映預(yù)測結(jié)果的誤檢率，AP50和AP75分別指閾值為0.5和0.75時模型的準(zhǔn)確率。AR是平均召回率，反映預(yù)測結(jié)果的漏檢率。P是指準(zhǔn)確率，即模型正確識別的晶界缺陷個數(shù)占模型識別的所有晶界缺陷個數(shù)之比；R是召回率，即模型正確識別的晶界缺陷個數(shù)占總體晶界缺陷圖像個數(shù)之比，定義見式(5)式(6)。P-R曲線即準(zhǔn)確率-召回率曲線，每個AP計算過程為P-R曲線下的面積，AR計算過程為每個圖像中檢測到固定數(shù)量的最大召回率在類別和交并比上的平均值。

(5)

(6)

式(5)和式(6)中，TP是實際正樣本預(yù)測為正樣本的個數(shù)；FP是負樣本預(yù)測為正樣本的個數(shù)；TN是負樣本預(yù)測為負樣本的個數(shù)；FN是將正樣本預(yù)測為正樣本的個數(shù)。

此外，采用參數(shù)量和浮點運算數(shù)(Floating Point Operations，F(xiàn)LOPs)等指標(biāo)來衡量算法和模型復(fù)雜度。對應(yīng)于某個卷積層的浮點運算數(shù)的計算見式(7)：

FLOPsConv=(2×Ci×K2-1)×H×W×Co

(7)

式(7)中，Ci為輸入通道數(shù)；K為卷積核尺寸；H和W分別為輸出特征層的高和寬；Co為輸出通道數(shù)。對應(yīng)于全連接層的浮點運算數(shù)的計算見式(8)：

FLOPsFC=(2×I-1)×O

(8)

式(8)中，I為輸入神經(jīng)元數(shù)量；O為輸出神經(jīng)元數(shù)量。

3.2 實驗結(jié)果分析

首先，使用非結(jié)構(gòu)化剪枝的方法對EfficientDet進行剪枝實驗，所采用的模型為EfficientDet-D0。在晶界數(shù)據(jù)集上對未壓縮的模型進行完整訓(xùn)練直到收斂，在模型完成完整訓(xùn)練的基礎(chǔ)上，將一定數(shù)量小于閾值的權(quán)重進行置0操作，使權(quán)重矩陣稀疏化，對壓縮后的模型進行重新訓(xùn)練使權(quán)重微調(diào)，使其盡量恢復(fù)最優(yōu)性能，降低剪枝對模型精度造成的損失。由于卷積層和全連接層對剪枝的靈敏度反映不同，即卷積層相比全連接層對剪枝有更高的靈敏度，實驗采用將所有卷積層和全連接層的權(quán)重分別減去20%和40%的L1非結(jié)構(gòu)化剪枝方法，其中正則項系數(shù)λ的值采用10-5。剪枝后進行微調(diào)迭代訓(xùn)練20，50，100，200個epoch，實驗結(jié)果如表2所示，不同微調(diào)訓(xùn)練epoch數(shù)目的實驗結(jié)果如圖3所示。

圖3 不同微調(diào)訓(xùn)練epoch數(shù)目的實驗結(jié)果圖

表2 不同微調(diào)程度的EfficientDet模型非結(jié)構(gòu)化剪枝實驗結(jié)果

由圖3可知，不同微調(diào)訓(xùn)練epoch數(shù)目也對晶界缺陷檢測的精度存在影響，當(dāng)剪枝結(jié)束后微調(diào)網(wǎng)絡(luò)模型訓(xùn)練100個epoch時，訓(xùn)練損失已經(jīng)達到收斂，且壓縮后模型的測試平均精度、平均召回率最優(yōu)，甚至略微超過基礎(chǔ)未壓縮前模型的精度，測試所用時間耗時最少。因此后續(xù)實驗均用微調(diào)訓(xùn)練100個epoch的結(jié)果，作為最終訓(xùn)練模型的參數(shù)預(yù)測晶界缺陷的位置。

由于L1正則化和L2正則化對網(wǎng)絡(luò)權(quán)重參數(shù)具有稀疏的作用，筆者對EfficientDet-D0模型分別進行L1范數(shù)和L2范數(shù)不同剪枝比例的權(quán)重剪枝，具體實驗結(jié)果如表3所示。

表3 基于權(quán)重剪枝的EfficientDet模型非結(jié)構(gòu)化剪枝實驗結(jié)果

通過表3可以看出，隨著權(quán)重剪枝比例的上升，模型檢測效果并沒有明顯的下降，而是保持在原有的精度性能水平上，這說明模型中存在大量冗余權(quán)重，通過修剪冗余權(quán)重，使模型學(xué)習(xí)到較優(yōu)的網(wǎng)絡(luò)結(jié)構(gòu)，因此性能有略微的提升。非結(jié)構(gòu)剪枝方法使晶界模型測試時間有明顯的縮短，可由原來的23 s降低為12 s，大大縮短了模型運行測試的時間。不同通道剪枝比例和剪枝策略的EfficientDet-D0網(wǎng)絡(luò)非結(jié)構(gòu)化剪枝模型的AP和AR指標(biāo)結(jié)果圖如圖4所示。

(a)不同剪枝策略AP指標(biāo) (b)不同剪枝策略AR指標(biāo)圖4 不同通道剪枝比例的AP和AR實驗結(jié)果圖

通過圖4可以看出，選擇不同的正則化對網(wǎng)絡(luò)修剪后的性能指標(biāo)存在略微的差異。在剪枝過程的訓(xùn)練中，正則化程度通過影響權(quán)值大小來決定剪枝的結(jié)構(gòu)。從圖4中不同通道剪枝比例的AP指標(biāo)和AR指標(biāo)總體情況來看，L1正則化的剪枝效果比L2正則化優(yōu)秀，且當(dāng)權(quán)重剪枝比例為30%時，網(wǎng)絡(luò)模型的性能最優(yōu)。

結(jié)構(gòu)化剪枝實驗采用的算法見表1，采用BN層通道剪枝的方式，將不重要的BN層通道裁剪掉，使網(wǎng)絡(luò)模型參數(shù)量和計算量顯著減少。對于BN層通道結(jié)構(gòu)化剪枝分別采取不同剪枝比例的實驗，實驗結(jié)果如表4所示。

表4 基于BN層通道剪枝的EfficientDet模型結(jié)構(gòu)化剪枝實驗結(jié)果

由表4可知，隨著BN層通道的剪枝比例逐漸增加，模型參數(shù)量大幅減少，且浮點運算數(shù)指標(biāo)也明顯降低。但是與剪枝算法前相比，若BN層通道剪枝達到80%，AP指標(biāo)也會大幅下降2.4%，僅當(dāng)BN層通道剪枝比例為40%時，算法模型性能最好?？梢?，當(dāng)網(wǎng)絡(luò)結(jié)構(gòu)裁剪過多時，很有可能造成最優(yōu)結(jié)構(gòu)的破壞，引起模型精度的下降。因此，并不能用簡單地提高剪枝比例去降低模型的復(fù)雜度，而應(yīng)綜合評估模型的性能指標(biāo)。對模型剪枝前后參數(shù)量和FLOPs的縮減比例進行計算，不同剪枝比例的模型參數(shù)量和FLOPs縮減比例如圖5所示。若AP指標(biāo)下降2.4%，在模型可接受范圍內(nèi)，結(jié)構(gòu)化剪枝可使模型參數(shù)量降低達到70%，模型的計算量降低達到60%。

圖5 不同BN層通道剪枝率的參數(shù)和FLOPs縮減比例

4 結(jié)論

針對晶界缺陷檢測模型EfficientDet算法推理時間較慢、參數(shù)量大以及結(jié)構(gòu)冗余導(dǎo)致模型應(yīng)用成本高的問題，筆者提出了基于權(quán)重剪枝和BN層通道L1正則化剪枝的EfficientDet晶界檢測模型壓縮算法。非結(jié)構(gòu)化剪枝的稀疏網(wǎng)絡(luò)雖能較高程度保證網(wǎng)絡(luò)模型的精度，減少模型推理時間，但是并不能帶來參數(shù)量和浮點計算量的減少，需要硬件設(shè)備支持加速。因此，筆者還采用對BN層的縮放因子重要性排序的方法，確定剪枝網(wǎng)絡(luò)的結(jié)構(gòu)化通道剪枝，對EfficientDet模型進行了真正意義上的剪枝操作。實驗結(jié)果表明：通過剪枝方法可以大幅縮減模型的推理時間、參數(shù)量和浮點計算量，具有較好的實際應(yīng)用意義。

然而，筆者僅針對EfficientDet算法深度網(wǎng)絡(luò)模型采用常規(guī)的剪枝操作策略，即根據(jù)相關(guān)參數(shù)的絕對值大小確定是否需要對網(wǎng)絡(luò)進行權(quán)重和BN層通道剪枝，該算法在剪枝比例達到較高后，模型性能會大幅度下降。因此，如何設(shè)計更優(yōu)的剪枝策略，使網(wǎng)絡(luò)模型在更精簡的同時，模型精度不會受到嚴(yán)重影響是后續(xù)研究的內(nèi)容之一。