柯研 王希龍 鄭鈺輝

摘要

隨著互聯(lián)網(wǎng)信息技術(shù)的迅速發(fā)展，圖像類型的數(shù)據(jù)也呈現(xiàn)出爆炸式增長，如何能夠快速有效地對這些圖像信息進行處理，已經(jīng)成為目前計算機領(lǐng)域的一個重要研究方向。傳統(tǒng)的圖像識別方法，主要是先通過提取一些特征點，然后再通過數(shù)學統(tǒng)計模型表示圖像，最后通過圖像匹配的算法對圖像進行識別。然而隨著人工智能，深度神經(jīng)網(wǎng)絡(luò)的發(fā)展，深度學習的技術(shù)已經(jīng)廣泛地應(yīng)用于語音識別，自然語言處理，計算機視覺等多個領(lǐng)域，并且取得了巨大的成功。本文主要介紹一種對于處理圖像非常有效的神經(jīng)網(wǎng)絡(luò) 卷積神經(jīng)網(wǎng)絡(luò)。

【關(guān)鍵詞】深度學習 卷積神經(jīng)網(wǎng)絡(luò) 圖像處理

近年來，隨著研究神經(jīng)網(wǎng)絡(luò)特別是卷積神經(jīng)網(wǎng)絡(luò)相關(guān)領(lǐng)域的研究人員不斷地增長，技術(shù)的發(fā)展也是日新月異，卷積神經(jīng)網(wǎng)絡(luò)也變的愈加復(fù)雜，越來越深。卷積神經(jīng)網(wǎng)絡(luò)是人工神經(jīng)網(wǎng)絡(luò)和深度學習相結(jié)合的結(jié)構(gòu)，所謂深度神經(jīng)網(wǎng)絡(luò)或者深度學習指的是含有多層隱藏層的神經(jīng)網(wǎng)絡(luò)。目前，卷積神經(jīng)網(wǎng)絡(luò)已經(jīng)成為人工神經(jīng)網(wǎng)絡(luò)中應(yīng)用最廣泛，效果最好的一種神經(jīng)網(wǎng)絡(luò)。卷積神經(jīng)網(wǎng)絡(luò)的大體結(jié)構(gòu)與普通的人工神經(jīng)網(wǎng)絡(luò)非常相似，但是在大規(guī)模的圖像數(shù)據(jù)集上著有非常好的效果。

如圖1所示，卷積神經(jīng)網(wǎng)絡(luò)的主要結(jié)構(gòu)包括;卷積層，池化層以及全連接層。卷積神經(jīng)網(wǎng)絡(luò)屬于前饋式神經(jīng)網(wǎng)絡(luò)，通過卷積，池化以及非線性激活函數(shù)映射這些操作一層一層地將高層的語義信息從原始數(shù)據(jù)中剝離出來，這就屬于前饋運算。每個卷積層后都會有一個池化層，這是因為信息此時從低維映射到高維，參數(shù)非常多，維度也過高，不適宜作為下一層神經(jīng)元的輸入，所以必須對這一層的輸出做一個降維的處理，因此引入池化操作。若是不對數(shù)據(jù)進行降維，則很容易造成過擬合，甚至導(dǎo)致維數(shù)災(zāi)難。

1 積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

1.1 卷積層

卷積層對應(yīng)的就是卷積操作，圖像以矩陣X的形式輸入，在卷積層中就是X與參數(shù)矩陣W做卷積操作的過程。其中W就被稱作為卷積核，不同的卷積核能夠提取到圖像中的不同特征，一般而言我們會把很多卷積核拼接在一起運算，這樣就可以盡可能多的獲取圖像中的信息。卷積核的每個元素與被卷積圖像對應(yīng)位置相乘，再求和。通過卷積核的不斷移動，我們就有了一個新的圖像，這個圖像完全由卷積核在各個位置時的乘積求和的結(jié)果組成。二維卷積在圖像中的效果就是：對圖像的每個像素的鄰域（鄰域的大小就是卷積核的大?。┘訖?quán)求和得到該像素點的輸出值，也就是可以使原信號的特征增強，并且降低噪聲。

事實上，卷積網(wǎng)絡(luò)中的卷積核參數(shù)是通過反向傳播中不斷優(yōu)化訓(xùn)練學出的，除了可以學到類似于橫向邊緣、縱向邊緣的卷積核，還可以學到任意角度邊緣甚至檢測顏色、紋理這些信息的卷積核。而且這些卷積核全都可以包含在一個足夠復(fù)雜的深層卷積神經(jīng)網(wǎng)絡(luò)中。如圖2所示，這是一張圖像經(jīng)過第卷積層之后的結(jié)果，與不同的卷積核卷積運算之后的結(jié)果也不相同。隨著“組合”這些卷積核以及各種操作的進行，圖像的信息會逐漸被抽象為具有高層語義的“概念”表示，然后就可以通過這些高層的語義信息進行后續(xù)分類這樣的操作。

1.2 池化層

通常我們使用的池化操作為最大池化或者平均池化，與之前卷積層里的卷積核不同，池化層參數(shù)矩陣里的參數(shù)是不需要學習去變化的。實際使用時只需要提前指定好池化的類型、核大小以及池化操作的步長等超參數(shù)就不用再改變了。最大池化也就是在每次操作時，將池化核所覆蓋的區(qū)域中所有值的最大值作為池化結(jié)果，平均池化亦然。池化操作后的圖像矩陣大小相比于輸入的圖像矩陣變小了，也就是說池化操作其實就是一個下采樣的過程。

如圖3所示，這是一張圖像經(jīng)過第池化層之后的結(jié)果，我們可以看出相比于卷積層的輸出，池化層的輸出更加抽象，通過這樣的下采樣能夠很好的保留主要信息，減少計算量。池化層具有以下這些特性：

（l）特征不變性。池化操作能夠使模型更加關(guān)注特征的存在與否而不是特征所在的具體位置。這樣可以很好的提高模型的泛化能力。

（2）特征降維。由于池化操作屬于一個下采樣的過程，因此能夠減少圖像矩陣的維數(shù)，在更廣范圍的范圍內(nèi)抽取特征。

（3）在一定程度防止過擬合，更方便優(yōu)化。

1.3 激活函數(shù)

激活函數(shù)層又被稱為是非線性映射層，也就是說激活函數(shù)的能夠增加整個網(wǎng)絡(luò)模型的表達能力即非線性的特性。如果沒有激活函數(shù)，卷積池化這些線性操作層的堆疊仍然只能起到一個線性映射的作用，無法表達出圖像中的一些非線性特征。通常使用的激活函數(shù)有sigmoid，tanh和relu。我們選擇的激活函數(shù)應(yīng)該具有如下的一些性質(zhì)：

（1）非線性。我們需要激活函數(shù)去幫助網(wǎng)絡(luò)模型表示出非線性的特征，線性的函數(shù)不符合我們的需求。

（2）連續(xù)且可微。我們通過反向傳播，使用梯度下降法來優(yōu)化參數(shù)，由于需要求梯度，激活函數(shù)必須是連續(xù)且可微的。

（3）單調(diào)性。激活函數(shù)是單調(diào)增長或下降時，則損失函數(shù)則會是一個凸函數(shù)，由于凸函數(shù)已經(jīng)被廣泛的研究，有很多已有的方法可以利用方便我們?nèi)?yōu)化。

（4）在原點處近似于線性。權(quán)值矩陣的參數(shù)初始化為接近0的隨機值時，網(wǎng)絡(luò)里的參數(shù)可以更快地學習更新。

1.4 全連接層

全連接層在卷積神經(jīng)網(wǎng)絡(luò)中起到“分類器”的作用。如果說卷積層、池化層和激活函數(shù)層的操作就是將原始數(shù)據(jù)映射到一個新的特征空間上，全連接層則是將學習到的特征空間里的特征參數(shù)映射到樣本的標記空間里。在實際使用中，全連接層可由全局卷積操作來實現(xiàn)，也就是用一個與前一層輸出的圖像矩陣大小相同的卷積核與前一層的輸出做卷積運算，這樣就能夠?qū)⒁粋€矩陣映射為一個數(shù)，而多個這樣的卷積核組合就可以將前層輸出的圖像矩陣映射成一個固定長度的特征向量，一般來說，特征向量的長度也就對應(yīng)分類的類別數(shù)。由于這個特征向量里的值是將經(jīng)過多個卷積層，池化層以及激活函數(shù)所獲得的圖像特征進行高度提純得到的，所以這個特征向量具有高層的特征信息，也就是包含了輸入圖像經(jīng)過各種操作的所有特征的組合信息，這些信息就是圖像中最具有特點特征，這樣就可以通過這些信息輸出圖像具體所屬類別的概率值來對圖像進行分類。

1.5 損失函數(shù)

與很多機器學習模型一樣，卷積神經(jīng)網(wǎng)絡(luò)也通過最小化損失函數(shù)來學習模型里的權(quán)值參數(shù)。損失函數(shù)可以體現(xiàn)出網(wǎng)絡(luò)模型所輸出的預(yù)測值與真實值之間的不一致程度，輸出的函數(shù)值是一個非負的值，輸出值越小，那么說明網(wǎng)絡(luò)的預(yù)測值與真實值越接近，也就是說模型的魯棒性越好。一般在圖像分類中我們選擇邏輯回歸中的softmax函數(shù)作為我們的損失函數(shù)。

2 總結(jié)

隨著深度學習越來越火爆，人工智能也離我們越來越近了，卷積神經(jīng)網(wǎng)絡(luò)在工業(yè)界廣泛的應(yīng)用，使得我們能夠越來越方便快捷地處理各種圖像信息，而想要更好的使用卷積神經(jīng)網(wǎng)絡(luò)這個工具，就需要深刻地理解它每一部分的含義以及作用，只有這樣我們才能知道如何調(diào)整各種超參數(shù)來優(yōu)化網(wǎng)絡(luò)，使其效果更好，在此基礎(chǔ)上我們還能不斷加深網(wǎng)絡(luò)，讓網(wǎng)絡(luò)獲取更多的信息，甚至是在結(jié)構(gòu)上加入我們的創(chuàng)新，去解決各種各樣問題，以此來推動神經(jīng)網(wǎng)絡(luò)的發(fā)展，推動深度學習的發(fā)展，讓深度學習在更多的領(lǐng)域迸發(fā)出活力。

參考文獻

[1]LeCun Y， Bottou L， Bengio Y， et al.Gradient-based learning applied todocument recognition [J].

Proceedingsof the IEEE，

1998， 86 （11）： 2278- 2324.

[2lGulcehre C，Moczulski M， Denil M， et al.

Noisy activation functions [C]//Internat ional

Conference on MachineLearning. 2016： 3059-3068.

[3] Graves A， Fern a ndez S， Gomez F，et al. Connectionist temporalclassification： labelling unsegmentedsequence data with recurrent neuralnetworks [C]//Proceedings of the 23rdinternational conference on Machinelearning. ACM， 2006： 369-376.