一種使用邊緣增強技術(shù)提高相似圖片檢索召回率的方法

曹靖城，張繼東，史國杰

（天翼智慧家庭科技有限公司，江蘇 南京 210006）

1 引言

圖像分類的主要任務(wù)是利用圖像信息中呈現(xiàn)的各類特征，將不同種類的圖像數(shù)據(jù)按相應(yīng)維度進行區(qū)分、歸類。圖像分類的核心內(nèi)容在于圖像特征的提取，提取的高級語義特征有利于對圖像內(nèi)容或本質(zhì)的理解，也能進一步提高圖像分類的精度。在大數(shù)據(jù)時代，互聯(lián)網(wǎng)技術(shù)實現(xiàn)了量變到質(zhì)變的突破，龐大的數(shù)據(jù)量為數(shù)據(jù)的分析、特征的挖掘提供了堅實的基礎(chǔ)，加上機器算力的快速發(fā)展，使深度學習方法逐漸成為圖像分類的主流方法[1]。卷積神經(jīng)網(wǎng)絡(luò)是深度學習技術(shù)中的熱點研究方向，具有強大的特征提取能力和非線性擬合數(shù)據(jù)能力，是現(xiàn)今圖像分類任務(wù)中最為有效的算法之一[2]。

本文根據(jù)神經(jīng)網(wǎng)絡(luò)的特性，將其應(yīng)用于海量云盤圖片的分類。對于同一物體，由于成像角度的細微變化會引起圖像的旋轉(zhuǎn)，云盤中可能存有同一物體的多張旋轉(zhuǎn)圖像，因此要求分類方法具有旋轉(zhuǎn)不變性，即方法提取的特征不會受圖像旋轉(zhuǎn)的影響。此外，同一物體在不同背景下的圖像也常見于云盤中，同樣需要考慮背景變化對分類性能的影響。

本文使用經(jīng)典的深層網(wǎng)絡(luò)結(jié)構(gòu)VGG19 進行圖像分類，并采用邊緣增強圖像替代原始圖像以減少旋轉(zhuǎn)或背景變化對VGG 網(wǎng)絡(luò)分類性能造成的影響，基于大量數(shù)據(jù)進行多次對比實驗以避免偶然性結(jié)果，驗證了本文所提方法的可行性與有效性。

2 VGG 網(wǎng)絡(luò)模型

2.1 卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network，CNN）是一種前向神經(jīng)網(wǎng)絡(luò)，其設(shè)計靈感來源于動物視覺神經(jīng)的工作過程，通過研究視覺神經(jīng)細胞中感受野（receptive field）之間的工作性質(zhì)與原理，將逐層激勵的思路通過計算機代碼實現(xiàn)[3]而提出了第一個CNN——神經(jīng)認知機（Neocognitron），人工神經(jīng)網(wǎng)絡(luò)的應(yīng)用之路也由此開啟。真正意義上的第一個CNN 模型是LeNet，隨后出現(xiàn)了各種模型，例如經(jīng)典的Alex Net、VGG-Net、Google Net[4]等。

卷積神經(jīng)網(wǎng)絡(luò)的工作流程如圖1 所示，與傳統(tǒng)神經(jīng)網(wǎng)絡(luò)相比，CNN 的網(wǎng)絡(luò)特點在于其深度，CNN 通過加大深度的方式提高性能，在輸入圖片數(shù)據(jù)之后對其進行多輪次、多維度的卷積與池化處理，提取圖像的特征，并在最后的全連接層進行匯總和決策輸出。在訓練過程中，CNN 通過卷積運算模擬視覺神經(jīng)的工作方式，使用權(quán)值共享的方法減少網(wǎng)絡(luò)中的一些重復或者冗余的參數(shù)，從而在一定程度上簡化網(wǎng)絡(luò)的計算過程，節(jié)約存儲空間。池化操作的主要任務(wù)是降低維度，通過避免數(shù)據(jù)過擬合現(xiàn)象來強化模型的泛化能力。

圖1 卷積神經(jīng)網(wǎng)絡(luò)的工作流程

卷積神經(jīng)網(wǎng)絡(luò)為多層次結(jié)構(gòu)，每層具有不同功能與計算方式，具體如下。

（1）輸入層主要完成圖像表述形式的轉(zhuǎn)換，將每張圖像轉(zhuǎn)換成矩陣表示形式，矩陣中的元素為三元組，對應(yīng)圖像中每個像素點的RGB 分量。矩陣中的每個像素點均參與卷積計算，并得到相應(yīng)的輸出結(jié)果。

（2）卷積層則負責主要的特征運算，是卷積神經(jīng)網(wǎng)絡(luò)中的核心部分。一般在網(wǎng)絡(luò)內(nèi)會使用多個大小不同的卷積核，常見的卷積核大小有1×1、3×3 和7×7 等，卷積操作將輸出一個二維的特征圖，特征圖數(shù)量與卷積核的數(shù)量相同。卷積操作的核心是簡化網(wǎng)絡(luò)結(jié)構(gòu)，通過局部連接減少連接總數(shù)，通過權(quán)值共享減少權(quán)值參數(shù)，從而在整體上達到減少參數(shù)的目的，在一定程度上防止出現(xiàn)過擬合現(xiàn)象。另外，通過卷積操作得到的特征具有更好的魯棒性和拓撲對應(yīng)性。卷積的數(shù)學表達式如下。

其中，x是指二維輸入信號向量x中的元素，W表示J×I 的卷積核W中的元素，b為偏移量，y為M×N的輸出向量y中的元素。

（3）池化層也稱作下采樣層，其主要任務(wù)是進行網(wǎng)絡(luò)結(jié)構(gòu)的簡化，對冗余信息進行刪減，降低模型的參數(shù)和整體運算量，一般出現(xiàn)在卷積層之后，在VGG19 的網(wǎng)絡(luò)中通常選用最大池化。

（4）全連接層位于最后一層，不同于局部連接，該層節(jié)點與上層的節(jié)點全部采用兩兩連接方式，由于全連接的特性，全連接層的操作可以將圖像的維度降到一維，在整個卷積神經(jīng)網(wǎng)絡(luò)中起到分類輸出的作用。

（5）輸出層可以使用Softmax 等分類器對結(jié)果進行分類，使用何種分類器取決于實際的應(yīng)用場景，對于Softmax 分類器而言，全連接層得到的向量x，在Softmax 回歸中將其分類為類別j的概率可由式（2）計算得到：

其中，j為類別代號，k為向量x的維度，θ表示模型參數(shù)，其值通過最小化代價函數(shù)得到，代價函數(shù)如下：

其中，Bij為判斷函數(shù)，當時為1，否則為0。

2.2 VGG19 深度卷積網(wǎng)絡(luò)模型

常用的VGG 模型一般有VGG13、VGG16 和VGG19 等，它們分別為13 層、16 層、19 層的網(wǎng)絡(luò)結(jié)構(gòu)[5]。VGG19 的模型結(jié)構(gòu)如圖2 所示，從圖2 可以看出VGG19模型輸入圖像的像素大小為224 dpi×224 dpi×3 dpi，VGG19 網(wǎng)絡(luò)中全部采用3×3 的卷積核，步長為 1 dpi，在卷積層（convolution）后面都設(shè)有一個步長為2 dpi 的2×2的最大池化層（max pooling），使用時，可以根據(jù)不同的場景、不同的需求選取不同層次網(wǎng)絡(luò)的輸出結(jié)果。Softmax 是一個多分類器，用于計算輸入的圖像在Image Net 中每個類別下的概率，由最終的概率矩陣得出預測標簽。

在VGG 中，采用以多個小型卷積核代替單個大型卷積核的策略進行優(yōu)化，小型卷積核所需的參數(shù)更少并且更能保留圖像的特性[6]，例如，使用3 個步長為1 dpi 的3×3 卷積核通過層層疊加達到7×7 卷積核的效果能大幅度減少參數(shù)數(shù)量，同時更小的卷積核更有利于保持圖像原本的性質(zhì)。

VGG 網(wǎng)絡(luò)的結(jié)果非常簡潔，整個網(wǎng)絡(luò)中的卷積核尺寸相同，最大池化尺寸也相同，能適應(yīng)各種不同尺寸的輸入圖像，并且通過縮小卷積核的方式增強了卷積層性能。但除去卷積層之外，全連接層中使用了較多的參數(shù)，使VGG 的計算將耗費更多的資源。目前，已有大量研究表明，VGG網(wǎng)絡(luò)隨著層數(shù)的增加，識別率也會相應(yīng)上升，但耗費的時間同樣會增加。

VGG 網(wǎng)絡(luò)的結(jié)構(gòu)非常簡潔，能處理不同尺寸的輸入圖像；同時，為了增強卷積層性能，采用以多個小型卷積核代替單個大型卷積核的策略進行優(yōu)化。但除去卷積層之外，全連接層使用的參數(shù)相對更多，同樣會在一定程度上使VGG 的計算耗費更多的資源。目前，已有大量研究表明，增加VGG 網(wǎng)絡(luò)的層數(shù)能相應(yīng)提升識別率，但與之相對應(yīng)，計算的時間耗費同樣會增加。

綜上所述，VGG19 是一種深層的卷積神經(jīng)網(wǎng)絡(luò)，可以對任意尺寸的圖片進行處理，在處理時首先通過共享卷積層或特化卷積層，利用滑動特征映射圖的方法提取圖像的低級特征信息，再通過卷積層與池化層進一步提取高維的特征信息，最終通過全連接（fully connected）層與分類器計算各類的分類得分。對于樣本圖片，由于圖片的低級特征大體類似，對于不同任務(wù)、不同類型的卷積神經(jīng)網(wǎng)絡(luò)在網(wǎng)絡(luò)的前部卷積時提取的特征都可以相互借鑒，實現(xiàn)權(quán)值共享。本文利用這一特點，將VGG19 應(yīng)用于云盤圖片數(shù)據(jù)的分類。

圖2 VGG19 模型結(jié)構(gòu)

2.3 卷積神經(jīng)網(wǎng)絡(luò)的局限性

卷積神經(jīng)網(wǎng)絡(luò)本身并不具有旋轉(zhuǎn)不變性，其結(jié)構(gòu)中的最大池化層能在一定程度上代償這個功能缺失，但由于池化操作本身并不是為此設(shè)計的，因此在總體上來說深層卷積神經(jīng)網(wǎng)絡(luò)提取旋轉(zhuǎn)不變特征的能力較弱。針對該問題，有學者提出將圖像進行旋轉(zhuǎn)以生成新的訓練樣本來擴充訓練集的方法[7]，能降低旋轉(zhuǎn)鎖帶來的影響。但事實上，數(shù)據(jù)集的擴充導致網(wǎng)絡(luò)僅學習與訓練過程中使用的圖像非常相似的圖像的不變性，并且由于訓練集中的圖像分布存在偏差，最終仍會導致不遵循偏差的圖像缺乏不變性。

神經(jīng)網(wǎng)絡(luò)在訓練過程中以降低損失函數(shù)為目標，但損失函數(shù)并不是對于任意的輸入都具有不變性。雖然訓練的目的是希望網(wǎng)絡(luò)能將其學習得到的內(nèi)容推廣到訓練數(shù)據(jù)集以外的數(shù)據(jù)，但是這種推廣可能僅限于與訓練集相似的圖像，這就使訓練集的要求格外高，其中的數(shù)據(jù)不應(yīng)該具有偏向性，而是應(yīng)盡可能地覆蓋所有的情況，當然，這是很難做到的。

3 實驗與分析

3.1 實驗設(shè)置

本文采用VGG19 網(wǎng)絡(luò)計算圖像的一維特征向量，并使用兩張圖像特征向量的余弦相似度來作為判別依據(jù)，余弦值與向量相似度成正比。對于給定的向量A和向量B，余弦相似度的計算式如下：

其中，Ai、Bi分別代表向量A和B的各個分量，n是向量的維度。

實驗針對VGG19 網(wǎng)絡(luò)模型5 個不同卷積層的輸出結(jié)果，以及是否使用最后3 個全連接層作為模型結(jié)構(gòu)的變量，分別對不同拍攝角度、不同背景以及不同光照條件下的相同物體圖像進行了余弦相似度計算實驗，比較了VGG19 網(wǎng)絡(luò)模型不同卷積層次的處理性能以及圖像的不同屬性對VGG19 網(wǎng)絡(luò)模型造成的影響。

3.2 改進方案

VGG19 網(wǎng)絡(luò)在圖像分類方面具有較高的準確率和出色的性能，但使用VGG19 對同一物體的旋轉(zhuǎn)圖像進行分類，卻有很大概率得到錯誤的結(jié)果，同時，不同背景或者不同光照條件也會對相同物體的檢測造成影響。圖3（a）和圖3（c）、圖3（e）和圖3（g）、圖3（i）和圖3（k），均為同一物體在不同角度拍攝得到的旋轉(zhuǎn)圖像，使用VGG19 網(wǎng)絡(luò)的不同層次計算圖像特征，并進一步計算兩張圖像的余弦相似度，得到的結(jié)果見表1。

從表1 中的數(shù)據(jù)可以看出，對于紋理、復雜程度不同的多張圖像而言，旋轉(zhuǎn)圖像與原圖像進行對比，余弦相似度都有著不同程度的下降，圖像結(jié)構(gòu)越復雜，相似度下降越大，可見拍攝角度不同造成的圖像旋轉(zhuǎn)會對VGG19 網(wǎng)絡(luò)模型的分類性能造成較大的負面影響。對于同一物體，僅因拍攝角度發(fā)生變化而被歸于不同的類別顯然是不合理的，但由于VGG 網(wǎng)絡(luò)的局限性，并不能很好地處理此類情況。在VGG19 網(wǎng)絡(luò)各個不同層次的輸出結(jié)果中，使用第3 卷積層輸出結(jié)果進行分類的平均效果最好，使用其他層次卷積結(jié)果均會使圖像的分類效果有一定程度的下降，可見使用VGG19 網(wǎng)絡(luò)第3 卷積層的輸出結(jié)果對于旋轉(zhuǎn)圖像分類有更好的效果。

除此之外，即使針對同一物體的相同角度的圖像進行分類，光照條件不同、背景不同也會造成不同程度的影響，圖4（a）和圖4（b）、圖4（b）和圖4（c）為同一物體在不同背景、不同光照條件下拍攝得到的圖像，使用 VGG19網(wǎng)絡(luò)計算圖像特征，并計算余弦相似度，結(jié)果見表2。

表1 旋轉(zhuǎn)圖像的余弦相似度對比

圖4 背景、光照圖像數(shù)據(jù)

表2 同一物體不同背景、亮度圖像的余弦相似度對比

從表2 可以看出，對于同一物體相同拍攝角度下的圖片，背景不同、光照條件不同，均會對VGG19 網(wǎng)絡(luò)的處理性能造成一定影響，尤其在背景和亮度都發(fā)生變化的情況下，圖像的余弦相似度與僅改變單個條件的圖像相比有更為明顯的下降。而在各個卷積層輸出中，使用第3 卷積層輸出進行分類的平均效果最好，使用其他卷積層輸出結(jié)果進行分類的效果都與實際情況存在較大偏差，尤其使用最后3 個全連接層得到輸出結(jié)果，與其他層次相比下降了一個量級。

用于分類任務(wù)的卷積神經(jīng)網(wǎng)絡(luò)的每一層本質(zhì)上是在對輸入圖像進行編碼，通過卷積核滑動的方式給圖像中的每個像素點打分，最終由全連接層解碼，將不同卷積核得到的特征圖中不同位置的分值解碼為不同類別的概率。使用多個卷積層就是不斷地對圖像的特征進行抽象，淺層主要提取圖像的細節(jié)特征，層次越深網(wǎng)絡(luò)的抽象能力越強，因此中間層次對于圖片中物體的抽象程度較好。結(jié)合上述實驗結(jié)果可以看出，對于不同場景的圖片，VGG19 網(wǎng)絡(luò)模型各層的分類性能并不是相同的，本文以圖片中的物體而不是整張圖片作為比較的對象，可以發(fā)現(xiàn)使用第3 卷積層的輸出結(jié)果進行分類效果更好。

圖像邊緣是圖像最基本的特征之一，使用邊緣檢測算法對圖像進行增強，可以初步提取圖像中物體的底層基礎(chǔ)特征。因此，在使用第3 卷積層輸出進行分類的前提條件下，使用邊緣增強圖像作為輸入以增強物體的輪廓信息，方法的整個流程對圖像中物體的特征進行了二次提取，能在一定程度上減輕旋轉(zhuǎn)或者環(huán)境變化對VGG19 造成的影響。

針對上述圖像旋轉(zhuǎn)時圖像背景、光照條件不同而導致分類性能降低的問題，本文提出一種改進策略，在將圖像投入VGG19 網(wǎng)絡(luò)計算之前，先對原始圖像進行邊緣增強處理，突出主要拍攝對象的邊緣特征，結(jié)合VGG19 網(wǎng)絡(luò)第3 卷積層對物體抽象程度較好的特點，以此增加同一對象在不同拍攝角度下、不同背景下以及不同光照條件下得到圖像與原始圖像的余弦相似度。

3.3 結(jié)果分析

3.3.1 旋轉(zhuǎn)圖像對比實驗

本文基于圖3、圖4 所示的幾組數(shù)據(jù)進行實驗。其中，圖3（a）和圖3（c）、圖3（e）和圖3（g）、圖3（i）和圖3（k） 3 組圖像為同一物體在不同拍攝角度下得到的旋轉(zhuǎn)圖像組，而圖3（b）和圖3（d）、圖3（f）和圖3（h）、圖3（j）和圖3（l）分別是使用拉普拉斯變換得到的對應(yīng)邊緣增強圖像，實驗結(jié)果數(shù)據(jù)見表3。從表3 可知，對于不同物體，不管使用原始圖像得到的相似水平如何，不同的拍攝角度都會造成相同物體的余弦相似度降低，但使用邊緣增強圖像進行相同的計算，與原始數(shù)據(jù)相比，最終得到的余弦相似度都有不同程度的提升，對于邊緣簡單的圖像，VGG19 的分類效果更接近于實際情況，因此邊緣增強對分類效果的提升空間不大，而對于邊緣較為復雜的圖像，邊緣增強方法可以在更大程度上改善分類性能。從表3 數(shù)據(jù)可以看出，使用邊緣增強的方式突出圖像主體，能在一定程度上降低拍攝角度旋轉(zhuǎn)給VGG19 網(wǎng)絡(luò)帶來的負面影響，提高VGG19 網(wǎng)絡(luò)的分類穩(wěn)定性。

對比3 組數(shù)據(jù)，前兩組數(shù)據(jù)的圖像主體邊緣相對第三組要復雜得多，因此旋轉(zhuǎn)角度對于前兩組圖像的影響較大。前兩組數(shù)據(jù)中，對于同一物體，旋轉(zhuǎn)造成了0.5 左右的相似度誤差，而第三組數(shù)據(jù)因為邊緣簡單，受旋轉(zhuǎn)的影響較小。在使用邊緣增強圖像替換原始圖像投入網(wǎng)絡(luò)之后，對相似度誤差都有了不同程度的減小，邊緣增強對于前兩組數(shù)據(jù)的提升效果優(yōu)于第三組數(shù)據(jù)，第三組數(shù)據(jù)的相似度誤差降到了0.002 以下，幾乎消除了旋轉(zhuǎn)帶來的影響。

表3 旋轉(zhuǎn)條件邊緣增強圖像的余弦相似度對比

3.3.2 變換背景對比實驗

圖4（a）、圖4（b）、圖4（c）分別為同一物體在不同背景、不同光照條件下的原始彩色圖像，圖4（d）、圖4（e）、圖4（f）分別是與之對應(yīng)的邊緣增強圖像，實驗結(jié)果見表4。從表4可知，對于同一物體，不同的背景、不同的光照條件會使圖像的余弦相似度有不同程度的降低，與物體旋轉(zhuǎn)相比，背景和光照條件的變化將使圖像中的大部分像素點發(fā)生變化，雖然圖像的主體部分沒有過大的改變，但是其余像素點的變化會使VGG19 網(wǎng)絡(luò)在處理時受一定的影響，因此，背景和光照條件變化的圖像相比于旋轉(zhuǎn)變化的圖像來說，余弦相似度更低，網(wǎng)絡(luò)的分類性能更差。使用邊緣增強圖像進行計算，與原始彩色圖像相比，余弦相似度都有較大的提升，特別對于不同光照條件下的圖像，邊緣增強帶來的效果提升尤為明顯。與采用原始彩色圖像的對照組相同，對于變換背景、變換光照條件的圖像來說，使用VGG19 的第3 卷積層輸出來計算余弦相似度的分類效果最好。

通過上述幾組對比實驗可以看出，對于同一物體，不同的拍攝角度、不同的背景、不同的光照條件都會對VGG19 網(wǎng)絡(luò)的分類性能帶來一定的影響，變換背景、變換光照條件造成的影響相對較大，但使用邊緣增強圖像均能在一定程度上降低拍攝條件對VGG19 網(wǎng)絡(luò)造成的負面影響，提高VGG 網(wǎng)絡(luò)的穩(wěn)定性。由此可以看出，通過邊緣增強突出圖片主體對象的輪廓，使其在圖片中更為明顯，可以改善VGG19 網(wǎng)絡(luò)的分類性能，此外，對于不同的條件變化，使用VGG19 網(wǎng)絡(luò)不同層次的輸出也獲得不同的效果。

表4 背景、光照條件邊緣增強圖像的余弦相似度對比

表5 與參考文獻[8]方法對比結(jié)果

3.3.3 與其他增強算法對比

參考文獻[8]中所提方法將不同尺寸的圖像進行定量平均分塊以保證圖像在卷積過程中的特征完整性，然后對分塊圖像進行深度卷積池化增強以提高算法的分類性能?；趫D3、圖4 的數(shù)據(jù)，將本文方法與參考文獻[8]所提方法進行對比，結(jié)果見表5，進一步驗證了本文方法的有效性。

由表5 數(shù)據(jù)可以看出，本文方法的分類性能在大部分情況下優(yōu)于參考文獻[8]所提方法，在結(jié)構(gòu)簡單、背景單一且物體占據(jù)圖像主要部分的情況下，如圖3（i）和圖3（k），參考文獻[8]算法的余弦相似度結(jié)果略優(yōu)于本文算法，但在圖像結(jié)構(gòu)較為復雜或者背景變化較大的情況下，本文方法得到的結(jié)果明顯優(yōu)于參考文獻[8]的算法，從數(shù)據(jù)中可以看出，在大部分情況下，本文所提方法具有更好的適用性和穩(wěn)定性。

4 結(jié)束語

本文采用卷積神經(jīng)網(wǎng)絡(luò)模型VGG19 結(jié)合余弦相似度進行圖像的分類，使用邊緣增強圖像代替原始圖像作為網(wǎng)絡(luò)輸入以降低對象拍攝角度的旋轉(zhuǎn)對分類性能造成的影響。實驗基于天翼云盤平臺，選取了大量旋轉(zhuǎn)圖片和背景變換圖片進行驗證，并以其中最具有代表性的3 組數(shù)據(jù)進行客觀分析。實驗結(jié)果表明使用邊緣增強圖像突出圖像主體邊緣信息有助于降低旋轉(zhuǎn)圖片和背景變換圖片對VGG 網(wǎng)絡(luò)分類性能帶來的影響，對于各類對象的旋轉(zhuǎn)圖像和背景變換圖像，本文方法均能在一定程度提高同一物體不同類圖像的余弦相似度，但對于邊緣簡單的物體提升效果不夠明顯，這也是后續(xù)研究中有待探索并改進的問題。