林凱迪，杜洪波，朱立軍

（1.沈陽工業(yè)大學(xué) 理學(xué)院，遼寧 沈陽 110870；2.北方民族大學(xué) 信息與計算科學(xué)學(xué)院，寧夏 銀川 214215）

隨著深度學(xué)習(xí)的不斷發(fā)展，卷積神經(jīng)網(wǎng)絡(luò)得到深入研究，在實時應(yīng)用、人臉識別、復(fù)雜網(wǎng)絡(luò)、遷移學(xué)習(xí)及圖像分割等領(lǐng)域都有著不凡的表現(xiàn)［1-5］。但是卷積神經(jīng)網(wǎng)絡(luò)存在兩個重要缺陷，一是無法考慮部分與整體之間的空間關(guān)系，二是池化過程中丟失了大量有價值的信息。SABOUR S 等人［6］于2017年提出了膠囊網(wǎng)絡(luò)及膠囊層間的動態(tài)路由算法。膠囊由一組神經(jīng)元組成，將標(biāo)量提升為向量，不僅可以表示特征（或?qū)嶓w）間的空間關(guān)系，還可以表示特征（或?qū)嶓w）存在的概率。動態(tài)路由算法中的不同膠囊層通過路由迭代的方式進(jìn)行連接，使膠囊以更少的模型參數(shù)獲得更大的泛化能力。隨后，HIN‐TON G E等人［7］于2018年提出了使用EM算法的矩陣膠囊網(wǎng)絡(luò)，其膠囊包括姿態(tài)矩陣和激活概率,感受野的增加使得該網(wǎng)絡(luò)可以擬合復(fù)雜圖像。

膠囊網(wǎng)絡(luò)具備更好地擬合特征的能力，但是計算開銷過大成為該網(wǎng)絡(luò)模型無法廣泛應(yīng)用的阻礙，因此減少計算開銷是膠囊網(wǎng)絡(luò)的一個重要研究方向。文獻(xiàn)［8］提出了一種孿生膠囊網(wǎng)絡(luò)（SCNet），并通過引入丟棄（dropout）操作來減少膠囊的數(shù)量。文獻(xiàn)［9］提出了SPARSECAPS 網(wǎng)絡(luò)，建立了一種完全無監(jiān)督的膠囊網(wǎng)絡(luò)，并且去掉網(wǎng)絡(luò)的全連接層。文獻(xiàn)［10］則是提出了運用膠囊池化（capsule-pool‐ing）的方法來降低膠囊的數(shù)量。

提升膠囊網(wǎng)絡(luò)的性能主要從兩方面進(jìn)行，即優(yōu)化膠囊和優(yōu)化路由［11］。上述膠囊網(wǎng)絡(luò)的研究均通過優(yōu)化膠囊來提升網(wǎng)絡(luò)的性能，而優(yōu)化路由的方法較少。由于膠囊網(wǎng)絡(luò)中的動態(tài)路由迭代過程非常耗時，SAHU S K 等人［12］提出了內(nèi)聯(lián)膠囊路由協(xié)議（inter capsule routing protocol，ICRP）來減少路由迭代的計算時間。王維美等人［13］提出一種改進(jìn)的膠囊網(wǎng)絡(luò)知識圖譜補全方法，通過路由操作產(chǎn)生維度較小的膠囊，生成連續(xù)向量并將其與權(quán)重向量做點積運算，構(gòu)建評分函數(shù)用于判斷三元組的正確性。張?zhí)熘热耍?4］將模糊聚類算法與動態(tài)路由相結(jié)合，并添加信息熵度量不確定性的激活值，提出了FM-Cap‐sule及效果更好的F-Capsule，提高了網(wǎng)絡(luò)的性能。

膠囊網(wǎng)絡(luò)中的動態(tài)路由規(guī)則是基于聚類算法思想來實現(xiàn)的，即通過聚類的方式對特征進(jìn)行整合與遞進(jìn)。文獻(xiàn)［6］中動態(tài)路由的聚類算法受初始聚類中心的影響較大。密度峰值聚類（DPC）算法是一種基于密度的方法［15］，可以處理任意形狀的類簇，并且對噪聲不敏感，同時該算法具有參數(shù)唯一、實現(xiàn)簡單、魯棒性強的特點。本文將普適性更好的DPC 算法與動態(tài)路由規(guī)則結(jié)合，使用DPC 算法獲得初始聚類中心，提出DPC-CapsNet 模型。在MNIST 及Fashion-MNIST 上的實驗表明，該算法識別準(zhǔn)確率較高，在圖像分類中有一定的應(yīng)用潛力和研究價值。

1 膠囊網(wǎng)絡(luò)

文獻(xiàn)［6］提出的膠囊模型，又稱為向量膠囊網(wǎng)絡(luò)。由于選取向量作為膠囊，網(wǎng)絡(luò)的輸出也是向量，因此可以用向量的長度表示目標(biāo)的存在，向量的方向表示目標(biāo)的特征。

膠囊模型的隱藏層包含卷積層、初始膠囊層和全連接層3 種隱藏層，如圖1 所示。初始膠囊層將卷積層提取的特征圖轉(zhuǎn)化為向量膠囊，接著通過動態(tài)路由規(guī)則將初始膠囊層與全連接層連接輸出最終的結(jié)果。

首先，卷積層有256 個步長為1 的9×9×1 的卷積核，使用ReLU 激活函數(shù)從圖像中提取特征圖；其次，主膠囊層使用8 個步長為2 的9×9×256 的卷積核將特征圖轉(zhuǎn)化為32 個向量膠囊；最后，使用動態(tài)路由規(guī)則計算出全連接層的輸出，得到一個大小為16×10 的矩陣。

圖1 向量膠囊網(wǎng)絡(luò)結(jié)構(gòu)

膠囊網(wǎng)絡(luò)是一種具有全新結(jié)構(gòu)的網(wǎng)絡(luò)，與神經(jīng)網(wǎng)絡(luò)相比，神經(jīng)元的輸入和輸出都由標(biāo)量提升為向量，膠囊層間通過動態(tài)路由的方式進(jìn)行特征的整合與傳遞。用向量的長度表示某個實體存在的概率，向量的模長越接近1，實體存在的可能性越大。此外，與標(biāo)量相比，向量還能表達(dá)信息的種類（姿態(tài)、顏色、紋理等），因此膠囊網(wǎng)絡(luò)極大地豐富了特征的表達(dá)能力。

動態(tài)路由規(guī)則的實質(zhì)就是通過聚類方法，將底層特征組合為上層的特征。文獻(xiàn)［6］中的動態(tài)路由規(guī)則采用的是k-means 聚類算法。假設(shè)膠囊的輸入特征為ui(i=1,2,…,n)，通過k-means聚類獲得k個聚類中心vj(j=1,2,…,k)，即下一膠囊層的特征向量。低層膠囊通過聚類的方式將特征傳遞給高層膠囊，如圖2所示。

圖2 低層膠囊通過聚類的方式將特征傳遞給高層膠囊

k-means聚類算法因其快速簡潔的優(yōu)點而被廣泛使用，但是也有局限性。該算法需要隨機確定k個初始聚類中心，并根據(jù)k個中心來確定一個初始劃分，然后迭代地進(jìn)行調(diào)整，直到聚類中心不再改變［15］。因此，初始聚類中心的選擇對聚類結(jié)果的優(yōu)劣有關(guān)鍵性的作用。

密度峰值聚類（DPC）算法是RODRIGUEZ A等人［16］于2014 年提出的一種新型聚類算法，能夠快速地發(fā)現(xiàn)任意形狀數(shù)據(jù)的密度峰值點，可以作為聚類中心。該算法具有參數(shù)易確定、魯棒性強的特點。本文采用DPC 算法來計算初始聚類中心，解決k-means算法對初始聚類中心敏感可能導(dǎo)致聚類結(jié)果不穩(wěn)定的問題。

2 密度峰值聚類的動態(tài)路由算法

2.1 密度峰值聚類算法

密度峰值聚類算法是粒度計算模型。該算法基于兩個假設(shè)：

1）聚類中心被局部密度低的相鄰數(shù)據(jù)點圍繞；

2）聚類中心與更密集的數(shù)據(jù)點i之間的距離較遠(yuǎn)。

對于數(shù)據(jù)點i，需要計算兩個值：數(shù)據(jù)點的局部密度ρi及樣本距離δi。

局部密度ρi包括以下兩種計算方式：

式中，dc為截斷距離，由人工確定，通常選取將所有數(shù)據(jù)對象兩兩之間的距離按升序排序后前2%位置的數(shù)值距離作為截斷距離。

數(shù)據(jù)點i的樣本距離：

2.2 基于密度峰值聚類的動態(tài)路由算法

膠囊網(wǎng)絡(luò)中的動態(tài)路由規(guī)則是基于k-means聚類算法的思想實現(xiàn)的，該算法只能處理球形數(shù)據(jù)，并對初始聚類中心的選擇較為敏感。針對這一問題，本文將DPC 算法與動態(tài)路由規(guī)則結(jié)合，提出DPC-CapsNet 模型，從優(yōu)化路由的角度提高網(wǎng)絡(luò)的性能。

膠囊網(wǎng)絡(luò)中，用輸出向量的長度表示實體存在的概率。因此，使用非線性的壓縮函數(shù)將向量壓縮至［0,1］。

式中，vj是膠囊j的向量輸出；sj是總輸入。

除第一個膠囊層，膠囊的總輸入sj由下一層的所有膠囊的預(yù)測向量計算求得。

式中，Wij是權(quán)重矩陣；cij是由動態(tài)路由迭代過程決定的耦合系數(shù)，表示膠囊i和膠囊j的連接概率，且有∑cij=1。

式中，bij是膠囊i和膠囊j的先驗概率，通過路由迭代的方式進(jìn)行更新。

在文獻(xiàn)［6］中，bij初始化為0。考慮到k-means算法易受初始聚類中心的影響，本文使用密度峰值聚類算法先獲得初始聚類中心，并將膠囊與聚類中心的距離作為權(quán)重。

首先計算局部密度。式（1）中，前者Cut-off ker‐nel 針對的是離散的數(shù)據(jù)，后者Gaussian kernel 針對的是連續(xù)的數(shù)據(jù)。本文選取第2種計算公式，即

連續(xù)的局部距離ρi便于計算和編程實現(xiàn)。將聚類中所有樣本點之間的相互距離進(jìn)行升序排序，在2%的位置的距離數(shù)值記為dc，即2%×N，N=[|D|×(|D|-1) ]/2。

對于每一個樣本數(shù)據(jù)均可求出對應(yīng)的ρi和δqi，令γi=ρiδqi，對γi(i=1,2,…,m)再按從大到小的順序排列。由于本文所使用的兩種圖像數(shù)據(jù)集均為10 個分類，所以取前10 個對象作為聚類中心aj(j=1,2,…,10)。計算膠囊i與聚類中心aj的距離，并將該距離作為初始連接概率，更新bij。然后進(jìn)入路由迭代階段。文獻(xiàn)［6］中建議在路由迭代過程中迭代3 次，本文采用同樣的次數(shù)，即取r=3，迭代3 次后得到膠囊j的輸出向量vj。

綜上，使用密度峰值聚類算法的動態(tài)路由規(guī)則的流程如下：

輸入：迭代次數(shù)r，膠囊層數(shù)l；

輸出：膠囊j的輸出向量vj。

step 1：低層膠囊權(quán)重映射；

step 2：確定截斷距離dc；

step 3：計算局部密度ρi和樣本距離δqi；

step 4：計算γi=ρiδqi，并對γi降序排列，取前10個值作為聚類中心aj；

step 5：計算每個對象與各聚類中心aj的距離，更新bij；

step 6：迭代r次：

①根據(jù)cij=softmax(bij)，計算膠囊層間的連接概率；

②計算下一層膠囊的總輸入sj；

③將sj壓縮到［0,1］；

④更新bij；step 7：返回vj。

3 實驗及結(jié)果分析

3.1 實驗環(huán)境

實驗仿真環(huán)境為python3.6、TensorFlow1.14、keras2.2.5。硬件配置為戴爾（DELL）T640深度學(xué)習(xí)GPU 運算塔式服務(wù)器主機，內(nèi)存為64G，顯卡為1RTX2080。

3.2 數(shù)據(jù)集

實驗采用測試圖像分類任務(wù)算法性能的2 個圖像數(shù)據(jù)集（MNIST 和Fashion-MNIST 數(shù)據(jù)集）對算法進(jìn)行測試和評價。

MNIST 來自NIST（National Institute of Stan‐dards and Technology）的手寫數(shù)字?jǐn)?shù)據(jù)集，常用于各種圖像處理的訓(xùn)練及測試。訓(xùn)練集由250 個不同人手寫的數(shù)字構(gòu)成，分別為125 名高中學(xué)生和125名人口普查局的工作人員。測試集也由相同比例的數(shù)據(jù)構(gòu)成，且所有圖片均為28×28 的灰度圖像。訓(xùn)練集圖像有60 000張，測試集圖像有10 000張。

由XIAO H 等人［17］創(chuàng)建的Fashion-MNIST 數(shù)據(jù)集來自10 個類別，每個類別有7 000 幅圖像，包括T 恤、褲子、套頭衫、連衣裙、外套、涼鞋、襯衫、運動鞋、包和靴子。與MNIST 相同，該數(shù)據(jù)集同樣有70 000 張大小為28×28 的灰度圖像，訓(xùn)練集和測試集的比例為6:1。

3.3 實驗分析

DPC-CapsNet 模型由編碼器和解碼器構(gòu)成。編碼器由卷積層、PrimaryCaps及DigitCaps構(gòu)成，解碼器由后三個全連接層構(gòu)成。各層參數(shù)如表1所示。

表1 DPC-CapsNet模型參數(shù)

本文從訓(xùn)練損失值及圖像分類的準(zhǔn)確率兩方面對算法進(jìn)行測試和評價。模型的損失函數(shù)為

在訓(xùn)練過程中，設(shè)置路由次數(shù)為3，batch_size為128，迭代周期epoch 為50。DPC-CapsNet 模型在MNIST上的實驗結(jié)果如圖3所示。其中，圖3a為損失情況，圖3b 為訓(xùn)練集上的準(zhǔn)確率，圖3c為測試集上的準(zhǔn)確率。從圖中可以看出，訓(xùn)練經(jīng)過2 000 步時，損失函數(shù)值和訓(xùn)練精度基本趨于平穩(wěn)，收斂速度較快，測試精度平均值為99.51%。僅以三層（一個卷積層和兩個膠囊層）的網(wǎng)絡(luò)結(jié)構(gòu)達(dá)到了較高的準(zhǔn)確率，證明了該網(wǎng)絡(luò)在特征擬合上的高效性，以及較強的泛化能力。

圖3 MNIST上的實驗結(jié)果

為了進(jìn)一步證明DPC-CapsNet的有效性，將模型在更加復(fù)雜的圖像數(shù)據(jù)集Fashion-MNIST 上進(jìn)行實驗，結(jié)果如圖4 所示。由圖4 可以看出，與MNIST 上的實驗相比，訓(xùn)練時間更長，收斂速度隨著數(shù)據(jù)集的復(fù)雜程度升高而降低，訓(xùn)練達(dá)到5 000步時，損失函數(shù)值和訓(xùn)練精度基本達(dá)到平穩(wěn)狀態(tài)。測試集的平均準(zhǔn)確率雖然低于上一個實驗，但是也可以達(dá)到91.41%，這說明本文提出的模型在圖像分類中具有一定的優(yōu)勢。

圖4 Fashion-MNIST上的實驗結(jié)果

為了進(jìn)一步測試本文模型的性能，證明改進(jìn)路由規(guī)則的有效性，在相同的實驗環(huán)境下，使用卷積神經(jīng)網(wǎng)絡(luò)（CNN）、膠囊網(wǎng)絡(luò)（CapsNet）、文獻(xiàn)［14］中提出的FM-Capsule 和F-Capsule 以及本文提出的DPC-CapsNet 模型分別在MNIST 和Fashion-MNIST 數(shù)據(jù)集上進(jìn)行實驗，分類準(zhǔn)確率的結(jié)果如表2所示。

表2 圖像分類準(zhǔn)確率的比較 %

從表2中可以得出如下結(jié)論：

1）本文構(gòu)建的DPC-CapsNet模型在MNIST 和Fashion-MNIST 上的準(zhǔn)確率均為最高，說明采用密度峰值聚類算法進(jìn)行優(yōu)化的膠囊網(wǎng)絡(luò)可以使圖像分類結(jié)果更加準(zhǔn)確；

2）在MNIST 數(shù)據(jù)集上，4種網(wǎng)絡(luò)結(jié)構(gòu)的分類準(zhǔn)確率差距較小，都達(dá)到了99%以上，DPC-CapsNet的分類準(zhǔn)確率略優(yōu)于另外4種網(wǎng)絡(luò)結(jié)構(gòu)；

3）在Fashion-MNIST 數(shù)據(jù)集上，CNN 的結(jié)果明顯低于膠囊網(wǎng)絡(luò)、FM-Capsule、F-capsule 及本文提出的DPC-CapsNet。這也說明了將標(biāo)量提升為向量使得膠囊網(wǎng)絡(luò)對于目標(biāo)的位置、角度變化更具有魯棒性。

4 結(jié)論

本文針對膠囊網(wǎng)絡(luò)中原有的聚類算法對初始聚類中心敏感的問題，構(gòu)建了一種新型膠囊網(wǎng)絡(luò)模型DPC-CapsNet。將密度峰值聚類算法與膠囊網(wǎng)絡(luò)中的動態(tài)路由規(guī)則結(jié)合，先使用密度峰值聚類算法計算出初始聚類中心，再進(jìn)入路由迭代過程進(jìn)行特征的整合與遞進(jìn)。在MNIST 和Fashion-MNIST 兩種數(shù)據(jù)集上的實驗證明，該模型能夠較快地收斂，并且有效地提高圖像分類的準(zhǔn)確率，具有實際應(yīng)用的價值。但是，與卷積神經(jīng)網(wǎng)絡(luò)相比，膠囊網(wǎng)絡(luò)的層數(shù)較淺，在復(fù)雜數(shù)據(jù)集上的識別準(zhǔn)確率的表現(xiàn)還不理想。因此，加深網(wǎng)絡(luò)結(jié)構(gòu)，優(yōu)化動態(tài)路由，增加訓(xùn)練技巧等成為下一步的研究方向。