段文玉 何越 杜欽紅 杜鈺堃 西永明 楊環(huán)

摘要：針對青少年特發(fā)性脊柱側(cè)彎疾病的影像診斷問題，基于膠囊網(wǎng)絡(luò)設(shè)計一種智能輔助醫(yī)生診斷的脊柱側(cè)彎分型算法，直接通過脊柱X光影像給出脊柱側(cè)彎分型結(jié)果。該算法在膠囊網(wǎng)絡(luò)使用共享注意力模塊關(guān)注脊柱區(qū)域多尺度的特征信息，利用膠囊解碼結(jié)構(gòu)產(chǎn)生一致性的膠囊向量，使用動態(tài)路由算法共同激活脊柱畸變區(qū)域的膠囊向量完成脊柱側(cè)彎分型的預(yù)測。實驗結(jié)果表明，本算法的準(zhǔn)確率、F1分?jǐn)?shù)、G-mean等指標(biāo)均優(yōu)于Vgg、ResNet、EfficientNetV2等卷積神經(jīng)網(wǎng)絡(luò)分類方法。

關(guān)鍵詞：青少年特發(fā)性脊柱側(cè)彎；膠囊網(wǎng)絡(luò)；注意力模塊

中圖分類號：TP391.41

文獻(xiàn)標(biāo)志碼：A

文章編號：1006-1037（2023）02-0043-07

doi：10.3969/j.issn.1006-1037.2023.02.08

基金項目：

山東省泰山學(xué)者項目（批準(zhǔn)號： ts20190985）資助

通信作者：

楊環(huán)，女，博士，副教授，主要研究方向為圖像/視頻處理與分析、視覺感知建模及質(zhì)量評估、深度學(xué)習(xí)等。

青少年特發(fā)性脊柱側(cè)彎（Adolescent Idiopathic Scoliosis，AIS）是青少年人群中最常見疾病之一，在中國的發(fā)病率為2%～5.2%［1］。AIS不僅會影響青少年的生長發(fā)育，還會造成患者運(yùn)動失衡、心肺功能下降等問題。在傳統(tǒng)診斷方式中，需要經(jīng)驗豐富的外科醫(yī)生手動從脊柱X光影像中測量多種醫(yī)學(xué)特征，進(jìn)而分析判斷AIS分型。由于X光影像質(zhì)量參差不齊，且醫(yī)學(xué)參數(shù)測量受醫(yī)生主觀因素的影響，造成AIS分型耗時長、結(jié)果不穩(wěn)定等問題。近年來，圖像分類技術(shù)得到長足發(fā)展，廣泛應(yīng)用在醫(yī)學(xué)領(lǐng)域，輔助醫(yī)生分析人體的解剖結(jié)構(gòu)以及識別病變類型［2］。例如使用VGG-16預(yù)測新冠肺炎［3］、GoogLeNet預(yù)測乳腺癌腫塊［4］、MobileNetV2預(yù)測人體皮膚?。?］等。在判斷脊柱疾病方面，SVM根據(jù)脊柱曲線的中心點系數(shù)特征自動對AIS分型［6］、ResNet預(yù)測脊柱曲線彎曲程度［7］、EfficientNetV1預(yù)測脊柱側(cè)彎曲線［8］。上述模型使用卷積神經(jīng)網(wǎng)絡(luò)在層級傳遞信息，使用下采樣操作增大感受野，但在深層結(jié)構(gòu)中丟失位置信息嚴(yán)重，不能有效學(xué)習(xí)圖像中不同特征之間相對位置信息。有的模型在脊柱側(cè)彎分型任務(wù)中無法很好地捕獲脊柱多個彎曲區(qū)域之間的位置關(guān)系，導(dǎo)致AIS分型準(zhǔn)確率降低?；赥ransformer架構(gòu)的ViT ［9］和Swim-transformer［10］可以有效地保留不同圖像塊間的位置信息，但是訓(xùn)練這些模型需要大量的數(shù)據(jù)，并且模型的參數(shù)量巨大，對硬件設(shè)備要求過高，在醫(yī)學(xué)圖像小樣本分類任務(wù)中容易過擬合，導(dǎo)致分類結(jié)果欠佳。膠囊網(wǎng)絡(luò)可以保存特征位置信息，比Transformer架構(gòu)的模型更加容易訓(xùn)練，在重疊手寫數(shù)字集上能將錯誤率降低到5.2%［11］，而且在小樣本數(shù)據(jù)集中，相比其他深度學(xué)習(xí)方法，膠囊網(wǎng)絡(luò)可以獲得更高的準(zhǔn)確率［12］。然而在主膠囊層中每個膠囊向量都要與對應(yīng)的二維矩陣進(jìn)行運(yùn)算，這導(dǎo)致膠囊網(wǎng)絡(luò)參數(shù)量較大，并且每個膠囊向量不能轉(zhuǎn)化到同一個語義空間中，導(dǎo)致動態(tài)路由算法（Dynamic Routing Algorithm，DRA）［11］不能很好地捕獲每個膠囊向量在特征空間中的位置關(guān)系，從而使AIS分型結(jié)果較差。在脊柱X光影像中，AIS分型決定因素主要集中在脊柱區(qū)域，背景等無關(guān)區(qū)域能夠干擾AIS分型結(jié)果。為了解決上述問題，本文添加共享注意力模塊融合多尺度信息，使用膠囊解碼結(jié)構(gòu)替代主膠囊層中的二維矩陣，使網(wǎng)絡(luò)既可以關(guān)注脊柱區(qū)域的特征信息，又可以產(chǎn)生輸出一致性的膠囊向量，從而使DRA有效地學(xué)習(xí)脊柱畸變區(qū)域膠囊向量的位置關(guān)系，提高AIS分型準(zhǔn)確率。實驗使用AIS分型數(shù)據(jù)集中存在類別不平衡的現(xiàn)象，因此使用焦點損失（Focal Loss，F(xiàn)L）函數(shù)減少類別不平衡和難易樣本對模型的影響［13］。

1 方法

1.1 整體網(wǎng)絡(luò)架構(gòu)

針對類別不平衡AIS分型數(shù)據(jù)設(shè)計了共享注意力膠囊解碼網(wǎng)絡(luò)（Attention Shared Capsule Decoding Network，AS-CapsDeNet），網(wǎng)絡(luò)的整體結(jié)構(gòu)由特征提取層、共享注意力（Attention Shared，AS）模塊和膠囊解碼網(wǎng)絡(luò)（Capsule Decoding Network，CapsDeNet）構(gòu)成，如圖1所示，其中H、W、C分別代表特征圖的高、寬、維度，Maxpooling和Avgpooling分別代表全局最大池化和全局平均池化。

AS-CapsDeNet的輸入尺寸為256×128×3，在特征提取層中使用4個卷積層，卷積核的大小分別為3×3，3×3，5×5，7×7，卷積核的數(shù)量分別為128，64，64，64，每個卷積層后使用最大池化層提取淺層語義特征。隨后將特征輸入到AS模塊，以激活合適的脊柱特征。將處理后的脊柱特征信息輸入到CapsDeNet，在主膠囊層和數(shù)字膠囊層之間使用DRA，綜合考慮X光影像脊柱區(qū)域語義特征信息，通過加權(quán)選擇解碼出脊柱側(cè)彎的分類特征，最終完成分型預(yù)測。

1.2 共享注意力模塊

AIS分型任務(wù)中，所含脊柱畸形的特征區(qū)域只是X光影像的一小部分，大部分區(qū)域都是無關(guān)信息。提取特征信息之后，使用注意力模塊讓網(wǎng)絡(luò)模型重點關(guān)注感興趣的脊柱區(qū)域。AS模塊如圖2所示，對于給定的特征x（大小為H×W×C），AS模塊使用全局平均池化層和全局最大池化層來簡單地生成每個通道上的統(tǒng)計信息分別記為Avg（大小為1×1×C）和Max（大小為1×1×C），并將不同統(tǒng)計信息輸入到共享感知網(wǎng)絡(luò)層中。為了更加有效的捕獲感興趣脊柱區(qū)域的特征信息，本文從多尺度的角度出發(fā)，在共享感知層中引入1×1，3×1，5×1，7×1不同尺度的卷積核，分別對輸入Sin提取特征，然后利用二維3×4的卷積核融合這些多尺度特征信息，得到共享感知網(wǎng)絡(luò)層的輸出Sout（大小為1×1×C）。

經(jīng)過共享感知網(wǎng)絡(luò)層編碼后的Savg和Smax相加得到一組權(quán)重參數(shù)D=［d1，d2，…，dC］，通過非線性激活函數(shù)（Sigmoid）激活，這組權(quán)重參數(shù)可以反映出每個維度相較于整個AIS分型重要程度。將學(xué)習(xí)到的權(quán)重參數(shù)與輸入特征x在維度上進(jìn)行信息融合，得到一組篩選后的語義特征信息y（大小為1×1×C）。雖然前后的特征尺寸沒有發(fā)生變化，但是AS已經(jīng)激活了感興趣脊柱區(qū)域，抑制背景等不重要的信息。AS模塊輕量且高效，能夠融合多尺度特征提升AIS分型的準(zhǔn)確率。

1.3 膠囊解碼網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，CNN）隨著網(wǎng)絡(luò)層數(shù)不斷加深，可以在深層結(jié)構(gòu)融合全局上下文信息。然而隨著層數(shù)的增加，CNN也會忽略特征之間的局部位置信息，在AIS分型任務(wù)中不能很好地捕獲脊柱畸變區(qū)域的上下關(guān)系。雖然CNN可以使用注意力模塊讓網(wǎng)絡(luò)關(guān)注感興趣的脊柱區(qū)域細(xì)節(jié)信息，但是無法較好地表達(dá)圖像中的局部依賴關(guān)系，CapsDeNet中的DRA［11］可以解決上述問題。主膠囊層對淺層特征更加敏感，如果將X光影像直接輸入主膠囊層，不僅使網(wǎng)絡(luò)參數(shù)量巨大，而且降低網(wǎng)絡(luò)捕獲特征的能力，致使整個網(wǎng)絡(luò)AIS分型性能下降。所以對于AS-CapsDeNet底層使用CNN提取圖像的特征，深層利用膠囊網(wǎng)絡(luò)中DRA傳遞層級信息，既充分利用CNN的提取特征能力，又可以保留深層特征之間的局部位置關(guān)系。

膠囊是一個向量，方向代表對象屬性，長度代表對象存在概率。CapsDeNet由主膠囊層、膠囊解碼結(jié)構(gòu)和數(shù)字膠囊層構(gòu)成，數(shù)字膠囊層為輸出層一共有6個不同激活膠囊向量，對應(yīng)6種不同AIS分型。將主膠囊層中的每個膠囊向量輸入到膠囊解碼結(jié)構(gòu)中，該結(jié)構(gòu)由3層全連接網(wǎng)絡(luò)組構(gòu)成，可以將每個膠囊向量特征信息抽象到同一個高維特征空間中，并按一定的規(guī)律分布在該空間中。膠囊向量通過該結(jié)構(gòu)可以得到一組轉(zhuǎn)化后的預(yù)測膠囊向量

其中，bij為臨時變量系數(shù)，vj為激活向量，cij為耦合系數(shù)。隨著cij的更新，低層膠囊向量根據(jù)耦合系數(shù)趨向于合適的激活膠囊，整個過程綜合所有底層膠囊向量的特征解碼出最佳傳遞信息結(jié)構(gòu)，如圖3所示。

在AIS分型任務(wù)中，膠囊解碼網(wǎng)絡(luò)重點解決兩個問題：膠囊解碼結(jié)構(gòu)將脊柱區(qū)域語義特征信息抽象到同一個深層特征空間，使膠囊向量按一定規(guī)律分布在特征空間；使用DRA在深層特征空間尋找脊柱畸形區(qū)域的膠囊向量，綜合考慮脊柱畸形區(qū)域膠囊向量的相對位置關(guān)系，使相似的膠囊向量共同激活高層膠囊完成AIS分型預(yù)測。

1.4 損失函數(shù)

對于數(shù)據(jù)類別不平衡的任務(wù)，之前膠囊網(wǎng)絡(luò)相關(guān)研究工作主要集中于調(diào)整數(shù)據(jù)分布［14］。而調(diào)整數(shù)據(jù)分布的方法需要額外的數(shù)據(jù)集使數(shù)據(jù)分布趨于平衡，由于AIS分型數(shù)據(jù)收集困難并且沒有公開數(shù)據(jù)集，直接將該方法應(yīng)用AIS分型任務(wù)不可行。為此，從算法層次出發(fā)，使用FL函數(shù)解決AIS分型任務(wù)中類不平衡和難易樣本問題［13］

其中，k代表圖像的標(biāo)簽值，Tk=1代表當(dāng)前的輸入AIS分型的標(biāo)簽是k，p代表預(yù)測概率，α和γ為調(diào)節(jié)因子，α因子減少類別不平衡對AIS任務(wù)的影響，γ因子減少難易樣本對AIS任務(wù)的影響。

2 實驗結(jié)果和分析

2.1 數(shù)據(jù)集與預(yù)處理

AIS分型的數(shù)據(jù)集取自青島大學(xué)附屬醫(yī)院脊柱外科，共有564張X光影像數(shù)據(jù)，每張圖像都由專業(yè)醫(yī)生標(biāo)記為Lenke1到Lenke6共6種AIS分型，分型數(shù)據(jù)分布如圖4所示。X光原始影像數(shù)據(jù)不僅尺寸過于龐大，而且存在冗余的黑色區(qū)域和尺寸不一致的問題。數(shù)據(jù)預(yù)處理時，首先使用Crop函數(shù)將其裁剪，然后利用Resize函數(shù)將裁剪區(qū)域的尺寸統(tǒng)一縮放到256×128。因為X光影像較暗，使用Gamma校正方法調(diào)整對比度，利用歸一化方法將圖像的數(shù)值縮放到0～1之間。

將數(shù)據(jù)集中每個類別的數(shù)據(jù)以7∶3比例分為訓(xùn)練集和測試集，隨機(jī)使用縮放、平移、旋轉(zhuǎn)等方法增強(qiáng)數(shù)據(jù)，其中相對與原圖像的縮放比例為［0.8，1.2］，相對于原圖像隨機(jī)平移距離的比例為［-0.2，0.2］，旋轉(zhuǎn)角度為［-10°，10°］，數(shù)據(jù)增強(qiáng)處理后的訓(xùn)練集數(shù)量增加一倍。

2.2 對比試驗與消融實驗

為了更好的訓(xùn)練模型，采用Adam優(yōu)化器分批次訓(xùn)練數(shù)據(jù)，每批次包含32個圖像，學(xué)習(xí)率設(shè)為0.000 1。所有實驗均采用Tensorflow開源框架，使用的顯卡型號為NVIDIA GeForce RTX 1080。為了評估AS-CapsDeNet模型在AIS分型任務(wù)中的有效性，使用Vgg［15］，DenseNet［16］，ResNet［17］，InceptionV3［18］，EfficientNetV1［19］等分類網(wǎng)絡(luò)對比測試AIS分型結(jié)果，每個模型都預(yù)加載ImageNet訓(xùn)練權(quán)重，使用準(zhǔn)確率（Accuracy）、F1分?jǐn)?shù)（F1-score）和G-mean驗證每個模型的性能，實驗結(jié)果見表1。

CapsNet是基礎(chǔ)的網(wǎng)絡(luò)，沒有添加AS模塊和膠囊解碼結(jié)構(gòu)，使用FL函數(shù)。AS-CapsNet在CapsNet基礎(chǔ)上添加了AS模塊，AS-CapsDeNet在AS-CapsNet基礎(chǔ)上添加膠囊解碼結(jié)構(gòu)。由表1可知，AS-CapsDeNet在脊柱側(cè)彎任務(wù)中比ResNet、EfficientNetV2等方法更具優(yōu)勢。這是因為AIS分型通過主次彎所在位置的相對關(guān)系進(jìn)行判斷，AS-CapsDeNet中的膠囊解碼結(jié)構(gòu)可以將脊柱區(qū)域的向量轉(zhuǎn)化成一致性的輸出向量并規(guī)范其位置，DRA可以有效的保留向量之間的長依賴關(guān)系和相對位置信息，從而使網(wǎng)絡(luò)的性能提升。為了證明AS模塊更加有效，在CapsNet基礎(chǔ)上添加ECA和CBAM注意力模塊進(jìn)行對比，可以發(fā)現(xiàn)AS相比ECA和CBAM在準(zhǔn)確率、F1分?jǐn)?shù)、G-mean指標(biāo)上均有提升。AS-CapsDeNet在AIS分型任務(wù)中比CNN魯棒性更強(qiáng)，相比CBAM和ECA，使用AS更加有效。表2為AS模塊、膠囊解碼結(jié)構(gòu)和FL函數(shù)對AS-CapsDeNet的影響。在添加AS模塊后， AS-CapsNet和AS-CapsDeNet的準(zhǔn)確率要比CapsNet高出3%～6%。在添加膠囊解碼結(jié)構(gòu)后，AS-CapsDeNet的錯誤率相比AS-CapsNet更低，這是因為在AS-CapsNet中每一個膠囊向量都要與對應(yīng)的二維矩陣進(jìn)行空間上的轉(zhuǎn)換，而在AS-CapsDeNet中所有的膠囊向量都要輸入到同一個膠囊解碼結(jié)構(gòu)中，在高維特征空間中產(chǎn)生一致性的輸出，這使后續(xù)的DRA更加高效準(zhǔn)確地學(xué)習(xí)到脊柱畸變區(qū)域膠囊向量的位置關(guān)系，并一同激活完成AIS分型的預(yù)測。CapsNet、AS-CapsNet、AS-CapsDeNet去掉DRA（NoDRA）后，網(wǎng)絡(luò)轉(zhuǎn)變?yōu)閭鹘y(tǒng)的CNN，致使網(wǎng)絡(luò)性能下降。對比邊界損失（Margin Loss，ML） 和FL函數(shù)可知，F(xiàn)L函數(shù)可以減少數(shù)據(jù)類別不平衡和難易樣本對實驗的影響。

圖5為 CapsNet、AS-CapsNet、AS-CapsDeNet在AIS分型任務(wù)中的ROC曲線圖，可以觀察到AS-CapsDeNet模型曲線下面積比其他模型大，達(dá)到99.36%，表明AS-CapsDeNet使用AS模塊、膠囊解碼結(jié)構(gòu)和FL函數(shù)可以在不平衡的AIS分型任務(wù)中提升模型的準(zhǔn)確率和抗干擾能力，可以為醫(yī)生提供高效、精確的輔助診斷建議。

為了更好觀察注意力模塊對膠囊網(wǎng)絡(luò)的影響，使用Grad-CAM［25］可視化注意力模塊模塊融合后的特征圖。為了與膠囊網(wǎng)絡(luò)進(jìn)行對比，在EfficientNetV2中添加多種注意力模塊，使用EfficientNetV2作為AS-CapsDeNet中的特征提取層，結(jié)果如圖6所示。使用AS后可以使AS-CapsNet、AS-CapsDeNet、EfficientNetV2更加關(guān)注脊柱區(qū)域，減少背景等干擾信息。使用膠囊解碼結(jié)構(gòu)后，AS-CapsDeNet和EfficientNetV2可以觀察到更遠(yuǎn)更廣闊更連續(xù)的脊柱區(qū)域。這也間接表明了CapsDeNet的作用機(jī)制，使用膠囊解碼結(jié)構(gòu)以后，可以將底層脊柱區(qū)域的膠囊向量解碼到同一個深層特征空間中，此時脊柱區(qū)域膠囊向量語義信息更加豐富并且按一定規(guī)律分布在該空間中。后續(xù)的DRA可以有效從中學(xué)習(xí)到這些語義特征信息之間的位置關(guān)系，不會丟失局部位置信息，從而使脊柱區(qū)域的注意力熱圖更加廣闊更加連續(xù)。

3 結(jié)論

本文提出一種用于輔助診斷脊柱側(cè)彎分型的方法，在AS-CapsDeNet使用AS模塊關(guān)注脊柱區(qū)域特征信息，使用膠囊解碼結(jié)構(gòu)將脊柱區(qū)域的膠囊向量，轉(zhuǎn)化到更加深層次的特征空間中并規(guī)范其位置，利用DRA選擇脊柱畸形區(qū)域膠囊向量一同激活完成AIS分型的預(yù)測。實驗表明FL函數(shù)可以使AS-CapsDeNet有更強(qiáng)的魯棒性，可以減低類別不平衡對脊柱分型任務(wù)的影響，輔助醫(yī)生診斷AIS分型。

參考文獻(xiàn)

［1］傅聲帆，黃孔陽，呂暢，等. 兒童、青少年特發(fā)性脊柱側(cè)凸癥相關(guān)知識調(diào)查及健康教育［J］. 浙江創(chuàng)傷外科. 2008（4）： 358-359.

［2］黎英，宋佩華. 遷移學(xué)習(xí)在醫(yī)學(xué)圖像分類中的研究進(jìn)展［J］. 中國圖象圖形學(xué)報， 2022， 27（3）： 672-686.

［3］DASH A K， MOHAPATRA P. A fine-tuned deep convolutional neural network for chest radiography image classification on COVID-19 cases［J］. Multimedia Tools and Applications， 2022， 81（1）： 1055-1075.

［4］HASSAN S A， SAYED M S， ABDALLA M I， et al. Breast cancer masses classification using deep convolutional neural networks and transfer learning［J］. Multimedia Tools and Applications， 2020， 79（41-42）： 30735-30768.

［5］AKAY M， DU Y， SERSHEN C L， et al. Deep learning classification of systemic sclerosis skin using the MobileNetV2 model［J］. IEEE Open Journal of Engineering in Medicine and Biology， 2021， 2： 104-110.

［6］譚志強(qiáng). 基于U-net的特發(fā)性脊柱側(cè)彎Lenke分型算法研究［D］. 北京：中國科學(xué)院大學(xué)， 2019.

［7］YANG J L， ZHANG K， FAN H W， et al. Development and validation of deep learning algorithms for scoliosis screening using back images［J］. Communications biology， 2019， 2（1）： 1-8.

［8］AMIN A， ABBAS M， SALAM A A. Automatic detection and classification of scoliosis from spine x-rays using transfer learning［C］// 2022 2nd International Conference on Digital Futures and Transformative Technologies （IcoDT2）. Rawalpindi， 2022： 1-6.

［9］DOSOVITSKIY A， BEYER L， KOLESNIKOV A， et al. An image is worth 16×16 words： Transformers for image recognition at scale［C/OL］// International Conference on Learning Representations. 2020.［2022-05-05］. https：//arxiv.org/abs/2010.11929.

［10］ LIU Z， LIN Y T， CAO Y， et al. Swin transformer： Hierarchical vision transformer using shifted windows［C/OL］// IEEE/CVF International Conference on Computer Vision. Montreal， 2021. ［2022-05-05］. https：//openaccess.thecvf.com/content/ICCV2021/html/Liu_Swin_Transformer_Hierarchical_Vision_Transformer_Using_Shifted_Windows_ICCV_2021_paper.html.

［11］ SABOUR S， FROSST N， HINTON G E. Dynamic routing between capsules［C］// 31st International Conference on Neural Information Processing Systems. Long Beach， 2017： 3859-3869.

［12］ BAYDILLI Y Y， ATILA U. Classification of white blood cells using capsule networks［J］. Computerized Medical Imaging and Graphics， 2020， 80： 101699.

［13］ LIN T Y， GOYAL P， GIRSHICK R， et al. Focal loss for dense object detection［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2020， 42（2）： 318-327.

［14］ AFSHAR P， MOHAMMADI A， PLATANIOTIS K N， et al. Brain tumor type classification via capsule networks［C］// 25th IEEE International Conference on Image Processing （ICIP）. Athens， 2018： 3129-3133.

［15］ SIMONYAN K， ZISSERMAN A. Very deep convolutional networks for large-scale image recognition［C/OL］// International Conference on Learning Representations （ICLR）. San Diego， 2015： 1-14. ［2022-05-05］. https：//arxiv.org/pdf/1409.1556.pdf.

［16］ HUANG G， LIU Z， VAN DER MAATEN L， et al. Densely connected convolutional networks［C］// 30th IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Honolulu， 2017： 2261-2269.

［17］ HE K M， ZHANG X Y， REN S Q， et al. Deep residual learning for image recognition［C］// IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. Seattle， 2016： 770-778.

［18］ SZEGEDY C， VANHOUCKE V， IOFFE S， et al. Rethinking the inception architecture for computer vision［C］// IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. Seattle， 2016： 2818-2826.

［19］ TAN M X， LE Q V. Efficientnet： Rethinking model scaling for convolutional neural networks［C］// 36th International Conference on Machine Learning. Long Beach， 2019： 6105-6114.

［20］ MA N N， ZHANG X Y， ZHENG H T， et al. Shufflenet v2： Practical guidelines for efficient cnn architecture design［C］// 15th European Conference on Computer Vision （ECCV）. Munich， 2018： 122-138.

［21］ HOWARD A， SANDLER M， CHU G， et al. Searching for mobilenetv3［C］// IEEE/CVF International Conference on Computer Vision. Seoul， 2019： 1314-1324.

［22］ TAN M X， LE Q V. Efficientnetv2： Smaller models and faster training［C］// 38th International Conference on Machine Learning（ICML）. Electr Network. 2021： 7102-7110.

［23］ WOO S H， PARK J， LEE J Y， et al. Cbam： Convolutional block attention module［C］// 15th European Conference on Computer Vision （ECCV）. Munich， 2018： 3-19.

［24］ WANG J Y， Chen Y B， CHAKRABORTY R， et al. Orthogonal convolutional neural networks［C］//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Seattle， 2020： 11505-11515.

［25］ SELVARAJU R R， COGSWELL M， DAS A， et al. Grad-cam： Visual explanations from deep networks via gradient-based localization［C］// IEEE International Conference on Computer Vision. Venice， 2017： 618-626.