王 瑋， 朱力強(qiáng)

(1.北京交通大學(xué)機(jī)械與電子控制工程學(xué)院，北京 100044；2.北京交通大學(xué)載運(yùn)工具先進(jìn)制造與測(cè)控技術(shù)教育部重點(diǎn)實(shí)驗(yàn)室，北京 100044)

侵入鐵路周界的異物是嚴(yán)重威脅鐵路安全的重要因素之一。我國(guó)高速鐵路線路都建有綜合視頻監(jiān)控系統(tǒng)，并具備初步的視頻分析和自動(dòng)識(shí)別異物入侵能力[1-2]。但由于受到鐵路場(chǎng)景中光線和天氣等環(huán)境因素的影響，現(xiàn)有基于圖像背景差分原理[3]的異物檢測(cè)算法普遍存在誤報(bào)率高的問(wèn)題，無(wú)法滿足現(xiàn)場(chǎng)實(shí)際需求。隨著深度學(xué)習(xí)在圖像分類、目標(biāo)檢測(cè)和圖像分割等領(lǐng)域取得的進(jìn)步，將深度學(xué)習(xí)中的卷積神經(jīng)網(wǎng)絡(luò)CNN(Convolutional Neural Network)應(yīng)用于鐵路異物入侵檢測(cè)成為一個(gè)新的研究方向[4]。由于GPU等并行計(jì)算平臺(tái)的快速提升，CNN已經(jīng)發(fā)展成為計(jì)算密集型和存儲(chǔ)密集型的算法，從最初LECUN等[5]設(shè)計(jì)的只含有3個(gè)卷積層的LeNet-5，到 5個(gè)卷積層的AlexNet[6]，以及更深層的VGGNet[7]，GoogLeNet[8]和ResNet[9]等網(wǎng)絡(luò)。這些擁有數(shù)十甚至上百層的深度神經(jīng)網(wǎng)絡(luò)難以部署到硬件資源有限的系統(tǒng)中。對(duì)于高速鐵路，為了實(shí)現(xiàn)線路周界入侵檢測(cè)，需要每隔100～200 m就安裝一臺(tái)監(jiān)控?cái)z像機(jī)，因此周界入侵檢測(cè)系統(tǒng)需要面臨海量視頻的實(shí)時(shí)處理，而大型CNN網(wǎng)絡(luò)模型存在計(jì)算量大和占用內(nèi)存多等問(wèn)題，導(dǎo)致基于CNN的異物檢測(cè)系統(tǒng)存在實(shí)時(shí)性和經(jīng)濟(jì)性缺陷。因此，有必要研究網(wǎng)絡(luò)模型壓縮方法，在保證檢測(cè)準(zhǔn)確度的條件下，降低網(wǎng)絡(luò)模型規(guī)模和計(jì)算量。

現(xiàn)有深度神經(jīng)網(wǎng)絡(luò)模型壓縮技術(shù)主要有低秩分解、知識(shí)精煉、遷移與壓縮卷積濾波器以及參數(shù)修剪與共享等方法[10]。文獻(xiàn)[11-12]采用低秩分解方法來(lái)分解張量并估計(jì)卷積層中的有效信息參數(shù)，需借助非線性優(yōu)化算法逐層壓縮，計(jì)算量較大，同時(shí)無(wú)法保證收斂到最優(yōu)解。文獻(xiàn)[13-14]采用知識(shí)精煉的方法能夠?qū)⑸疃群蛯挾鹊木W(wǎng)絡(luò)模型壓縮為淺層模型，通過(guò)遵循學(xué)生-教師的框架進(jìn)行模型壓縮減少深度網(wǎng)絡(luò)的訓(xùn)練量和計(jì)算成本，這種方法對(duì)于采用Softmax分類層的網(wǎng)絡(luò)具有一定效果。文獻(xiàn)[15]采用遷移卷積層的方法，將變換矩陣應(yīng)用于卷積層中對(duì)網(wǎng)絡(luò)模型進(jìn)行壓縮，但準(zhǔn)確率較低，在某些數(shù)據(jù)集上的結(jié)果不穩(wěn)定。依照減少冗余信息的技術(shù)方式，參數(shù)修剪和共享可以分為三類：結(jié)構(gòu)化矩陣、二進(jìn)制化與量化、裁剪與共享[10]。文獻(xiàn)[16-17]使用結(jié)構(gòu)化矩陣，降低內(nèi)存消耗并加快訓(xùn)練速度，缺點(diǎn)是這種結(jié)構(gòu)約束會(huì)導(dǎo)致精度損失，并且如何找到一種適當(dāng)?shù)慕Y(jié)構(gòu)矩陣比較困難。文獻(xiàn)[18]對(duì)權(quán)重進(jìn)行二進(jìn)制化操作，可以降低參數(shù)量，但對(duì)準(zhǔn)確率的影響較大。文獻(xiàn)[19]采用計(jì)算特征圖中的APoZ值(Average Percentage of Zeros)來(lái)判斷特征圖稀疏程度，將稀疏的特征圖對(duì)應(yīng)卷積核進(jìn)行裁剪。這種方法主要對(duì)CNN中APoZ值較高的高層卷積層和全連接層有效，難以針對(duì)整個(gè)網(wǎng)絡(luò)進(jìn)行有效的壓縮和加速計(jì)算。文獻(xiàn)[20]計(jì)算各層卷積核L1范數(shù)值，逐層將L1范數(shù)值較小的卷積核裁剪并重新訓(xùn)練。文獻(xiàn)[21]采用裁剪、權(quán)值共享和哈夫曼編碼三步進(jìn)行網(wǎng)絡(luò)模型壓縮，裁剪準(zhǔn)則以設(shè)定權(quán)重L1閾值進(jìn)行裁剪，為進(jìn)一步壓縮網(wǎng)絡(luò)采用對(duì)權(quán)值聚類的方法，使每一類的權(quán)值共享，并采用Huffman編碼來(lái)降低冗余。但在裁剪過(guò)程中將卷積核L1范數(shù)值作為裁剪準(zhǔn)則，由于卷積核L1范數(shù)值小，無(wú)法代表卷積核的重要程度，導(dǎo)致刪除了某些重要卷積核而損失精度。

本文提出一種通用有效的遞歸裁剪方法，以每個(gè)卷積核輸出的特征圖L1范數(shù)值作為裁剪準(zhǔn)則，對(duì)L1范數(shù)值較小的特征圖所對(duì)應(yīng)的卷積核進(jìn)行裁剪，并對(duì)裁剪后的卷積網(wǎng)絡(luò)重新進(jìn)行微調(diào)訓(xùn)練，這種裁剪準(zhǔn)則普遍適用于任何存在卷積計(jì)算的網(wǎng)絡(luò)結(jié)構(gòu)。本文主要以VGG16、AlexNet、LeNet-5網(wǎng)絡(luò)為例，通過(guò)遞歸裁剪實(shí)現(xiàn)模型壓縮和加速，基于ImageNet、MNIST和鐵路場(chǎng)景數(shù)據(jù)庫(kù)的實(shí)驗(yàn)結(jié)果表明，本文提出的方法可以壓縮網(wǎng)絡(luò)規(guī)模，同時(shí)保持較高的檢測(cè)準(zhǔn)確率。

1 卷積神經(jīng)網(wǎng)絡(luò)裁剪原理

卷積神經(jīng)網(wǎng)絡(luò)通常由多個(gè)卷積層堆疊而成，而每個(gè)卷積層又包含多個(gè)卷積核。假設(shè)某個(gè)卷積核的權(quán)值張量為K，則其基本卷積運(yùn)算可以表示為

( 1 )

式中：x為卷積神經(jīng)網(wǎng)絡(luò)的輸入，在其沿網(wǎng)絡(luò)前向傳播過(guò)程中，在卷積核K處形成輸入特征圖X，輸出特征圖Fx。

任意一個(gè)卷積核K可以看做是一個(gè)特征模板，卷積運(yùn)算就是掃描輸入圖像，計(jì)算其不同位置與特征模板的匹配程度。卷積核的數(shù)目越多，卷積神經(jīng)網(wǎng)絡(luò)能夠表達(dá)的模式就越多，學(xué)習(xí)能力也越強(qiáng)。因此，在實(shí)際應(yīng)用中，針對(duì)一個(gè)特定任務(wù)，訓(xùn)練一個(gè)包含更多卷積核的網(wǎng)絡(luò)結(jié)構(gòu)通常會(huì)更容易達(dá)到訓(xùn)練目標(biāo)，但這樣往往會(huì)造成網(wǎng)絡(luò)中實(shí)際存在很多冗余或者無(wú)用的卷積核。為了識(shí)別這些不必要的卷積核，目前普遍的方法是在訓(xùn)練完成后，計(jì)算每個(gè)卷積核的L1范數(shù)‖K‖1。L1范數(shù)大的卷積核被認(rèn)為是重要的，而L1范數(shù)小的卷積核被認(rèn)為是不重要的，可以從網(wǎng)絡(luò)中去除，達(dá)到減少計(jì)算量、避免過(guò)訓(xùn)練等目的。

然而由卷積運(yùn)算的特性可知，每個(gè)卷積核實(shí)際代表某個(gè)抽象層級(jí)上的某個(gè)特征模板。例如，在圖像識(shí)別應(yīng)用中，第一層的卷積核通常是不同方向上的邊緣檢測(cè)模板。因此，卷積核元素的幅值大小，并不一定能準(zhǔn)確反映某個(gè)卷積核所代表的特征是否對(duì)于目標(biāo)問(wèn)題有用。換句話說(shuō)，卷積核L1范數(shù)‖K‖1的大小，只代表該特征的幅值大小，并不能反映該卷積核的重要程度。

以上討論的是針對(duì)某個(gè)數(shù)據(jù)集獨(dú)立學(xué)習(xí)后去除多余卷積核的情況。在實(shí)際應(yīng)用中另外一種常見(jiàn)的情況是，為了節(jié)省訓(xùn)練時(shí)間和降低對(duì)數(shù)據(jù)集規(guī)模的要求，可以直接使用在開(kāi)源數(shù)據(jù)庫(kù)已經(jīng)訓(xùn)練好的卷積神經(jīng)元網(wǎng)絡(luò)，然后針對(duì)實(shí)際應(yīng)用數(shù)據(jù)集，利用遷移學(xué)習(xí)進(jìn)行再訓(xùn)練，微調(diào)網(wǎng)絡(luò)參數(shù)。此時(shí)，原本在開(kāi)源數(shù)據(jù)庫(kù)中L1范數(shù)大的卷積核所代表的模式，可能在新數(shù)據(jù)集中是沒(méi)有的，因此對(duì)應(yīng)用是無(wú)用的，但現(xiàn)有方法也無(wú)法識(shí)別其有效性。

為此，本文提出以每個(gè)卷積核輸出特征圖F的L1范數(shù)作為評(píng)價(jià)卷積核重要程度的依據(jù)，計(jì)算一個(gè)卷積層中每個(gè)卷積核輸出的特征圖L1范數(shù)在目標(biāo)訓(xùn)練樣本集下的均值，按其大小對(duì)卷積核進(jìn)行排序，去除后面一定數(shù)量的卷積核，達(dá)到識(shí)別與裁剪的目的。本方法對(duì)于獨(dú)立學(xué)習(xí)或遷移學(xué)習(xí)的應(yīng)用場(chǎng)景都有效。在實(shí)際操作中，為了減少計(jì)算量，可從全部訓(xùn)練樣本集中挑選出能夠代表整個(gè)樣本分布情況的N張圖片，分別輸入到網(wǎng)絡(luò)中，估計(jì)出各通道特征圖的L1范數(shù)均值為

( 2 )

假設(shè)在裁剪前，第M層卷積層的卷積核個(gè)數(shù)為D1，第M+1層的卷積核個(gè)數(shù)為D2，且第M層的輸入特征圖有D個(gè)，即第M-1層有D個(gè)卷積核。裁剪后的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)見(jiàn)圖1，其中M層裁剪了d1個(gè)卷積核，M+1層裁剪了d2個(gè)卷積核。對(duì)于具有全連接層的網(wǎng)絡(luò)，如VGGNet，可以對(duì)全連接層中小于預(yù)設(shè)閾值的連接進(jìn)行剪裁。一次裁剪完成后，需要對(duì)整個(gè)網(wǎng)絡(luò)的權(quán)值進(jìn)行微調(diào)訓(xùn)練。這個(gè)裁剪-微調(diào)步驟可以不斷重復(fù)，遞歸壓縮網(wǎng)絡(luò)結(jié)構(gòu)，提升計(jì)算速度。另外，還可以通過(guò)使用全局平均池化層GAP(Global Average Pooling)[22]代替全連接層，達(dá)到同時(shí)壓縮網(wǎng)絡(luò)計(jì)算量和參數(shù)存儲(chǔ)量的目的。

圖1 裁剪后卷積網(wǎng)絡(luò)結(jié)構(gòu)示意

完整的卷積神經(jīng)網(wǎng)絡(luò)模型裁剪流程總結(jié)如下：

Step1由訓(xùn)練樣本庫(kù)中隨機(jī)選取N個(gè)樣本。

Step4對(duì)裁剪后的整個(gè)網(wǎng)絡(luò)權(quán)值進(jìn)行微調(diào)訓(xùn)練。訓(xùn)練分為兩個(gè)階段：在第一階段，固定卷積層的網(wǎng)絡(luò)連接權(quán)值，只訓(xùn)練卷積層后面的全連接層/輸出層，直至網(wǎng)絡(luò)輸出準(zhǔn)確率不再上升；在第二階段，對(duì)全網(wǎng)絡(luò)連接權(quán)值進(jìn)行訓(xùn)練，直至收斂。

Step5如果網(wǎng)絡(luò)輸出準(zhǔn)確率仍然滿足要求，可以重復(fù)Step2～Step4進(jìn)行再次壓縮。重復(fù)此過(guò)程，直至準(zhǔn)確率無(wú)法滿足要求為止。

2 數(shù)據(jù)集分類實(shí)驗(yàn)

本文提出的算法適用于任何存在卷積運(yùn)算的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，這里以VGG16、AlexNet和LeNet-5作為實(shí)驗(yàn)驗(yàn)證對(duì)象，分別針對(duì)ImageNet和MNIST數(shù)據(jù)庫(kù)，遞歸裁剪網(wǎng)絡(luò)模型中的全部卷積層，驗(yàn)證壓縮算法對(duì)于不同卷積模型和數(shù)據(jù)類型的效果。

VGG16是一種具有16層單路的卷積神經(jīng)網(wǎng)絡(luò)，共有13個(gè)卷積層和3個(gè)全連接層。為了研究裁剪過(guò)程對(duì)網(wǎng)絡(luò)性能的影響，本文采用如表1所示的策略對(duì)VGG16進(jìn)行遞歸裁剪，其中，裁剪次數(shù)為0的一列是原始VGG16各個(gè)卷積層的卷積核個(gè)數(shù)，其他列是每次裁剪后剩余的卷積核個(gè)數(shù)，最后一列是網(wǎng)絡(luò)壓縮后的最終結(jié)構(gòu)。在實(shí)際應(yīng)用中，每層最終保留的卷積核數(shù)量可以根據(jù)應(yīng)用的期望計(jì)算量來(lái)確定。例如，在現(xiàn)有硬件平臺(tái)下，表1的最終網(wǎng)絡(luò)結(jié)構(gòu)可實(shí)現(xiàn)6 ms/幀的處理速度，基本滿足高鐵周界入侵檢測(cè)系統(tǒng)對(duì)實(shí)時(shí)性和經(jīng)濟(jì)性的要求。需要指出的是，對(duì)每層卷積核的裁剪不可以一次性完成，應(yīng)該采用每次只裁剪少量卷積核的策略，逐步壓縮網(wǎng)絡(luò)。對(duì)于VGG16網(wǎng)絡(luò)，考慮到conv1-1至3-3卷積核數(shù)目較少，采用等差數(shù)列形式進(jìn)行裁剪；而conv4-1至5-3卷積核數(shù)目較多，為達(dá)到同樣的壓縮速度，采用等比數(shù)列形式進(jìn)行裁剪。另外，考慮到全連接fc6與fc7層參數(shù)占整個(gè)網(wǎng)絡(luò)模型參數(shù)的近90%，因此在裁剪前用GAP層代替fc6與fc7層，這樣能夠極大降低模型所占內(nèi)存，實(shí)驗(yàn)結(jié)果表明這種替代網(wǎng)絡(luò)結(jié)構(gòu)對(duì)模型準(zhǔn)確性的影響很小。

在驗(yàn)證實(shí)驗(yàn)中，首先從ImageNet數(shù)據(jù)集中選取10類典型圖像，組成一個(gè)新的10分類數(shù)據(jù)集，典型圖像見(jiàn)圖2。在將ImageNet圖像輸入網(wǎng)絡(luò)訓(xùn)練時(shí)，將圖像短邊按比例縮放至256，然后隨機(jī)偏移裁剪出224×224的圖像區(qū)域作為輸入數(shù)據(jù)。如果直接采用文獻(xiàn)[7]的預(yù)訓(xùn)練VGG16網(wǎng)絡(luò)(基于ImageNet全部1 000類圖像數(shù)據(jù)訓(xùn)練)，對(duì)于新的10分類任務(wù)，網(wǎng)絡(luò)模型的評(píng)測(cè)誤差為0.2%，此網(wǎng)絡(luò)在Intel Xeon E5-2667 v3 CPU+Tesla K80 GPU平臺(tái)上執(zhí)行一次前向傳播運(yùn)算的時(shí)間為26.6 ms。

表1 VGG16遞歸裁剪結(jié)構(gòu)

注：“*”表示網(wǎng)絡(luò)中包含該層結(jié)構(gòu)；“—”表示網(wǎng)絡(luò)中沒(méi)有使用該層結(jié)構(gòu)。

圖2 基于ImageNet選取10類圖像

為了對(duì)預(yù)訓(xùn)練VGG16模型進(jìn)行裁剪，首先從10類數(shù)據(jù)集中隨機(jī)挑選出1 000張圖片用于估計(jì)特征圖L1范數(shù)。按照本文提出的裁剪原理，經(jīng)過(guò)9次裁剪后，模型的內(nèi)存變化趨勢(shì)和單次前向傳播耗時(shí)分別見(jiàn)圖3、圖4。由表2可知，對(duì)于10分類問(wèn)題，裁剪后的網(wǎng)絡(luò)計(jì)算耗時(shí)降低77.4%，網(wǎng)絡(luò)模型所占內(nèi)存壓縮約660倍，同時(shí)評(píng)測(cè)準(zhǔn)確率仍然能夠達(dá)到98.6%的較高水平。

圖3 每次裁剪后的內(nèi)存變化圖4 每次剪裁后單次前向傳播計(jì)算耗時(shí)

表2 采用本文提出的裁剪算法后的各參數(shù)比較

按照表1中的遞歸裁剪結(jié)構(gòu)，分別以兩種準(zhǔn)則進(jìn)行實(shí)驗(yàn)準(zhǔn)確度對(duì)比，結(jié)果見(jiàn)圖6?？梢钥闯觯S著裁剪次數(shù)的增加，驗(yàn)證集準(zhǔn)確率和評(píng)測(cè)集準(zhǔn)確率整體呈緩慢下降趨勢(shì)，但依照本文提出的裁剪算法每次剪裁后的準(zhǔn)確度下降幅度較小。不同裁剪策略的評(píng)測(cè)誤差見(jiàn)表3。在加速不同倍數(shù)的條件下，本文提出的剪裁策略有更高的準(zhǔn)確率。因此，基于特征圖的L1剪裁準(zhǔn)則與傳統(tǒng)的卷積核L1準(zhǔn)則[20]相比，可以更為準(zhǔn)確地辨識(shí)冗余卷積核。

(a) 驗(yàn)證準(zhǔn)確率

(b)評(píng)測(cè)準(zhǔn)確率圖6 ImageNet上兩種裁剪準(zhǔn)則下的準(zhǔn)確率曲線

裁減次數(shù)運(yùn)算加速/倍卷積核L1準(zhǔn)則誤差/%特征圖L1準(zhǔn)則誤差/%21.60.60.231.90.80.242.11.00.462.82.01.294.43.01.4

與VGG16的單組卷積結(jié)構(gòu)不同，AlexNet采用了雙組卷積結(jié)構(gòu)?；贏lexNet對(duì)ImageNet數(shù)據(jù)集的分類實(shí)驗(yàn)中，利用本文算法可以將AlexNet模型從232.5 MB壓縮至1.6 MB，網(wǎng)絡(luò)模型所占內(nèi)存壓縮約145倍，計(jì)算耗時(shí)降低69.1%，而損失準(zhǔn)確率只有1.1%。MNIST數(shù)據(jù)集是手寫體數(shù)字?jǐn)?shù)據(jù)集，圖像分辨率為28×28，遠(yuǎn)小于ImageNet數(shù)據(jù)集。基于LeNet-5對(duì)MNIST數(shù)據(jù)集的分類實(shí)驗(yàn)中，利用本文算法可以將LeNet-5模型從1 680 KB壓縮至109.5 KB，網(wǎng)絡(luò)模型所占內(nèi)存壓縮約15倍，而損失的準(zhǔn)確率只有0.2%。由此可見(jiàn)，本文算法對(duì)不同的卷積網(wǎng)絡(luò)結(jié)構(gòu)和應(yīng)用場(chǎng)景都有較好的適應(yīng)性。

3 高鐵周界入侵檢測(cè)算法

高鐵周界入侵的監(jiān)控視頻圖像與ImageNet數(shù)據(jù)集中的圖像相比質(zhì)量相差很多，主要體現(xiàn)在光線和天氣條件的劇烈變化。為了訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)，我們采集了高鐵正線上9個(gè)不同場(chǎng)景像機(jī)的監(jiān)控圖像，其原始分辨率為1 920×1 080。為降低運(yùn)算量，在圖像輸入網(wǎng)絡(luò)時(shí)，將短邊按比例縮放至256，然后隨機(jī)偏移裁剪出224×224的圖像區(qū)域作為輸入數(shù)據(jù)。整個(gè)數(shù)據(jù)集涵蓋各個(gè)時(shí)間段及多種天氣情況，分為訓(xùn)練集28 000張，驗(yàn)證集4 000張，評(píng)測(cè)集2 000張，并為每張圖片人工標(biāo)注了3類標(biāo)簽：空?qǐng)鼍?、運(yùn)營(yíng)列車、異物侵入，典型照片見(jiàn)圖7。

圖7 鐵路沿線場(chǎng)景上的3類事件

如果直接采用VGG16網(wǎng)絡(luò)結(jié)構(gòu)，且所有網(wǎng)絡(luò)連接的權(quán)值以隨機(jī)初始化方式進(jìn)行訓(xùn)練，3分類的準(zhǔn)確率可以達(dá)到99.8%，但模型參數(shù)所占內(nèi)存和運(yùn)算量都過(guò)大(如表2所示)。如果直接采用表1最后一列的精簡(jiǎn)網(wǎng)絡(luò)結(jié)構(gòu)，并以隨機(jī)初始化方式進(jìn)行訓(xùn)練，3分類的準(zhǔn)確率較低，誤報(bào)率約為10.25%。由此可以看出，對(duì)于一個(gè)特定計(jì)算任務(wù)，神經(jīng)網(wǎng)絡(luò)的寬度越大，可調(diào)節(jié)的網(wǎng)絡(luò)參數(shù)越多，網(wǎng)絡(luò)就越容易訓(xùn)練，計(jì)算精度也越高，但同時(shí)網(wǎng)絡(luò)冗余度也較高，所占內(nèi)存和計(jì)算量大，不適合實(shí)時(shí)性應(yīng)用場(chǎng)景。

按照本文提出的剪裁原理對(duì)訓(xùn)練好的VGG16進(jìn)行遞歸裁剪，遞歸策略見(jiàn)表1。每次裁剪后的權(quán)值作為下一次網(wǎng)絡(luò)訓(xùn)練的初始化參數(shù)，訓(xùn)練過(guò)程中仍采用2階段的訓(xùn)練方式。在裁剪中，分別以特征圖L1準(zhǔn)則和卷積核L1準(zhǔn)則兩種不同裁剪方法進(jìn)行多次裁剪，并測(cè)試每次裁剪后的網(wǎng)絡(luò)準(zhǔn)確率，實(shí)驗(yàn)對(duì)比結(jié)果見(jiàn)圖8。

可以看出，依照本文提出的特征圖L1準(zhǔn)則裁剪算法，隨著裁剪次數(shù)的增加，驗(yàn)證準(zhǔn)確率和評(píng)測(cè)準(zhǔn)確率整體穩(wěn)定，經(jīng)過(guò)9次裁剪后的準(zhǔn)確率幾乎不變。在相同壓縮和加速效果下，相比于卷積核L1范數(shù)準(zhǔn)則，本文提出的裁剪算法準(zhǔn)確度更高。

(a)驗(yàn)證準(zhǔn)確率

(b)評(píng)測(cè)準(zhǔn)確率圖8 鐵路場(chǎng)景上兩種裁剪準(zhǔn)則下每次裁剪后的準(zhǔn)確率曲線

壓縮策略訓(xùn)練誤差評(píng)測(cè)誤差隨機(jī)初始化9.4810.25卷積核L1準(zhǔn)則1.261.50特征圖L1準(zhǔn)則0.350.45

采用不同壓縮策略的準(zhǔn)確率比較見(jiàn)表4。由表4可見(jiàn)，針對(duì)該鐵路場(chǎng)景數(shù)據(jù)庫(kù)，相比隨機(jī)初始化策略和卷積核L1值剪裁準(zhǔn)則，采用本文提出的裁剪算法測(cè)試誤差最低為0.45%；在損失0.25%的精度下實(shí)現(xiàn)將模型壓縮約660倍并且提升計(jì)算速度4.4倍，能夠取得較好的壓縮和加速效果，易于存儲(chǔ)和實(shí)時(shí)計(jì)算，能夠有效解決實(shí)時(shí)監(jiān)控處理多路視頻場(chǎng)景異物入侵的情況。

4 結(jié)束語(yǔ)

本文提出一種通用的遞歸裁剪卷積核的網(wǎng)絡(luò)模型裁剪算法，實(shí)現(xiàn)對(duì)卷積神經(jīng)網(wǎng)絡(luò)模型的壓縮和計(jì)算加速。在壓縮過(guò)程中，使用GAP層代替內(nèi)存占比最大的全連接層，通過(guò)采用特征圖L1范數(shù)值為準(zhǔn)則對(duì)卷積層進(jìn)行遞歸裁剪，在保證準(zhǔn)確率穩(wěn)定的條件下逐步降低模型計(jì)算量和存儲(chǔ)空間。在高速鐵路周界入侵檢測(cè)的應(yīng)用中，本文提出的裁剪算法可以實(shí)現(xiàn)將VGG16網(wǎng)絡(luò)模型壓縮約660倍，計(jì)算加速4.4倍，而精度損失只有0.25%，完全能夠滿足對(duì)多路鐵路視頻場(chǎng)景進(jìn)行實(shí)時(shí)有效的異物入侵檢測(cè)需求。