楊 浩，李靈巧 ，，楊輝華 ，，劉振丙 ，潘細(xì)朋

1.桂林電子科技大學(xué) 計(jì)算機(jī)與信息安全學(xué)院，廣西 桂林 541004

2.北京郵電大學(xué) 自動(dòng)化學(xué)院，北京 100876

1 引言

隨著互聯(lián)網(wǎng)技術(shù)的快速發(fā)展，城市管理正逐步走向數(shù)字化、網(wǎng)絡(luò)化、智能化[1]，基于互聯(lián)網(wǎng)技術(shù)的城市管理技術(shù)也越來越成熟[2]，如在智慧城市管理系統(tǒng)[3]中，普通市民可利用智能手機(jī)APP一鍵上報(bào)城市管理中存在的問題案件（如車輛亂停亂放、市容環(huán)境問題等）。同時(shí)，在上報(bào)這種城管案件時(shí)用戶需要上傳至少一張?jiān)摪讣?duì)應(yīng)的現(xiàn)場(chǎng)圖片、現(xiàn)場(chǎng)位置等信息，城市管理工作人員在看到市民上報(bào)的問題案件后即可立即根據(jù)上報(bào)案件的圖片信息和位置信息等前往案發(fā)地點(diǎn)進(jìn)行相應(yīng)的處理，極大地提高了城市管理的工作效率[4]。然而，隨著用戶量的不斷增加，每天上報(bào)的案件數(shù)也在增加，若僅用人工來挑選不同類別的案件則費(fèi)時(shí)費(fèi)力，效率極低。因此迫切需要一種能夠?qū)⒊枪馨讣焖俜诸惖姆椒▉韰f(xié)助城市管理工作，讓城市管理更加智能化。

基于案件圖像中的信息，可利用圖像分類的方法將案件自動(dòng)分類。目前，圖像分類的方法已經(jīng)很多，如Vapnik等人提出的支持向量機(jī)（Support Vector Machines，SVM）分類方法，Lu等人使用的拉格朗日支持向量機(jī)LSVM[5]方法等，然而使用這些方法前一般需要提取圖像的HOG特征等紋理特征，且對(duì)圖像特征提取的質(zhì)量會(huì)對(duì)最終的分類結(jié)果產(chǎn)生直接的影響。比較常用的圖像特征提取的方法有Gabor小波圖像紋理特征提取[6]、高斯馬爾柯夫隨機(jī)場(chǎng)（GMRF）遙感圖像特征提取[7]、SIFT提取圖像特征[8]。深度學(xué)習(xí)由Hinton等于2006年提出，其顯著特點(diǎn)是能夠自行學(xué)習(xí)圖像特征，并通過組合數(shù)據(jù)的低層特征從而形成更加抽象的高層特征表示[9]，可極大地減少人工提取特征的各種開銷。隨后，一些深度學(xué)習(xí)方法快速發(fā)展起來，如降噪自編碼Denoising Autoencoder（DAE）[10]、稀疏自編碼 Sparse Autoencoder（SAE）[11]、卷積神經(jīng)網(wǎng)絡(luò)Convolutional Neural Networks（CNN）[12]等算法。利用卷積神經(jīng)網(wǎng)絡(luò)（CNN）對(duì)minist手寫數(shù)據(jù)集進(jìn)行識(shí)別，錯(cuò)誤率已經(jīng)低于人類手動(dòng)識(shí)別的錯(cuò)誤率[13]；Yang等人利用SAE對(duì)圖像進(jìn)行分類[14]，2012年KrizheVsky等人對(duì)ImageNet數(shù)據(jù)庫進(jìn)行圖像分類，測(cè)得top-5的測(cè)試誤差率為15.3%[12]。

城市管理案件中的圖像均由各種普通手機(jī)拍攝所得，背景信息比較復(fù)雜、圖像質(zhì)量較低，因此利用上述方法對(duì)該類圖像進(jìn)行分類不能取得理想效果。針對(duì)該問題，本文基于城市管理案件中的圖像進(jìn)行分析，利用卷積神經(jīng)網(wǎng)絡(luò)自動(dòng)提取圖像特征的特性，設(shè)計(jì)了一種改進(jìn)的卷積神經(jīng)網(wǎng)絡(luò)算法ZCNN。首先，將獲取到案件圖像進(jìn)行統(tǒng)一的ZCA白化[15]處理，有效降低圖像特征之間的相關(guān)性，然后根據(jù)圖像特征，搭建8層卷積神經(jīng)網(wǎng)絡(luò)，設(shè)定合適的卷積核大小，每層卷積層后連接一個(gè)下采樣層即pooling層，并利用線性糾正單元ReLU[16-17]加速訓(xùn)練過程，在pooling層中使用dropout技術(shù)隨機(jī)斷開網(wǎng)絡(luò)結(jié)點(diǎn)防止算法的過擬合。最后，在進(jìn)行模型微調(diào)時(shí)，采用隨機(jī)梯度下降法逐層計(jì)算模型的參數(shù)，此外，為了提高算法的精度，采用BP（Back Propagation）[18]算法對(duì)網(wǎng)絡(luò)參數(shù)進(jìn)行優(yōu)化。本文分別以兩類案件圖片（各1 300張，共2 600張）和四類案件圖片（各1 300張，共5 200張）實(shí)驗(yàn)，驗(yàn)證算法的有效性。

2 數(shù)據(jù)預(yù)處理——ZCA白化

圖像數(shù)據(jù)的預(yù)處理是圖像分類任務(wù)中至關(guān)重要的一步，特別是自然圖像，圖像相鄰像素之間具有很強(qiáng)的相關(guān)性，影響最終分類效果，因此如何有效地去除圖像數(shù)據(jù)的相關(guān)性并降低其冗余度尤為必要[19]。白化（whitening），即將數(shù)據(jù)的協(xié)方差矩陣轉(zhuǎn)變成單位矩陣的過程，其目的是降低輸入數(shù)據(jù)的冗余，使白化后的數(shù)據(jù)更接近原始數(shù)據(jù)。在數(shù)值上，主要是使數(shù)據(jù)具有統(tǒng)一的協(xié)方差，且每個(gè)特征都有相同的方差。具體步驟如下：

（1）首先，對(duì)數(shù)據(jù)進(jìn)行亮度和對(duì)比度的歸一化，對(duì)于圖像中每個(gè)像素點(diǎn)的像素值p(i)，減去圖像灰度均值，然后再除以標(biāo)準(zhǔn)差，為使分母不為0，通常在分母中加入一個(gè)很小常數(shù)ε。計(jì)算公式如下：

其中是原始輸入圖像數(shù)據(jù)別表示圖像的均值和方差。當(dāng)圖像灰度值在[0,255]時(shí)，令常數(shù)ε=10。

（2）計(jì)算訓(xùn)練樣本的協(xié)方差矩陣，公式如下：

由于數(shù)據(jù)間是相關(guān)的，因此此時(shí)計(jì)算的協(xié)方差矩陣是非對(duì)角陣。

（3）降低數(shù)據(jù)間的相關(guān)性，將協(xié)方差矩陣轉(zhuǎn)變?yōu)閷?duì)角陣。方程如下：

其中V是特征向量矩陣。D是由協(xié)方差矩陣Σ特征值組成的對(duì)角陣。

（4）采用ZCA白化，公式如下：

其中δ是很小的一個(gè)常數(shù)，設(shè)置為0.01，I為單位矩陣。

通過將圖像數(shù)據(jù)進(jìn)行ZCA（Zero Components Analysis）白化后，可降低各像素之間的相關(guān)性和數(shù)據(jù)的冗余度，使得特征向量各維度方差相等，數(shù)據(jù)得到有效的統(tǒng)一。

3 卷積神經(jīng)網(wǎng)絡(luò)模型搭建

3.1 卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，CNN），是由Huber和Wiesel提出[20]，其獨(dú)特的網(wǎng)絡(luò)結(jié)構(gòu)可以有效地降低反饋神經(jīng)網(wǎng)絡(luò)的復(fù)雜性，基本結(jié)構(gòu)主要包括兩層：一層是卷積層，用設(shè)定的卷積核對(duì)一幅圖像進(jìn)行卷積，將卷積值加權(quán)并加偏置，然后通過一個(gè)激活函數(shù)得到的；另一層是下采樣層也稱池化層（pooling層），利用圖像的局部相關(guān)性原理對(duì)圖像進(jìn)行子抽樣，這樣可以減少數(shù)據(jù)處理量的同時(shí)又保留了有用的信息。

為了更清楚地理解卷積和池化的過程，如圖1所示，輸入圖像的大小為h×d,kx是r×c大小的卷積濾波器（卷積核），步長(zhǎng)設(shè)置為1，那么卷積層的特征圖的大小為(h -r+1)×(d -c+1)。池化層Cx的特征平面數(shù)量等于卷積層的特征平面?zhèn)€數(shù)，其每個(gè)神經(jīng)元都與卷積層的感受野區(qū)域連接，計(jì)算最大值或平均值。第l個(gè)卷積層的第j個(gè)特征平面上的神經(jīng)元通過激活函數(shù)的輸出為：

其中，是第l個(gè)卷積層的第 j個(gè)特征平面上的神經(jīng)元輸出，是偏置向量，*表示二維卷積操作，是卷積核。S(·)是非線性激活函數(shù)。非線性激活函數(shù)通常的有雙曲函數(shù)（tanh）、sigmoid函數(shù)和修正線性單元（ReLU），前兩種是飽和非線性函數(shù)，后一種是不飽和非線性函數(shù)，在網(wǎng)絡(luò)模型訓(xùn)練時(shí)前兩種的速度明顯低于后者，尤其是在深度神經(jīng)網(wǎng)絡(luò)中，這種時(shí)間上的差異更加明顯。因此，本文中所有卷積層激活函數(shù)都采用ReLU函數(shù)，即S(z)=max(0,z)。

3.2 ZCNN模型

本文所研究的數(shù)據(jù)為城市管理案件圖像，該類型圖像均為普通手機(jī)拍攝所得，且拍攝者均為普通市民，拍攝地點(diǎn)為城市各個(gè)角落，因此這種圖片具有圖片背景復(fù)雜、圖片像素較低、圖片大小角度不一、圖片像素之間相關(guān)性較強(qiáng)的特點(diǎn)，考慮傳統(tǒng)的圖像識(shí)別分類方法需要進(jìn)行非常復(fù)雜的特征提取，本文以深度學(xué)習(xí)中的卷積神經(jīng)網(wǎng)絡(luò)（CNN）算法為基礎(chǔ)，利用CNN能夠自行學(xué)習(xí)圖片特征的優(yōu)勢(shì)，設(shè)計(jì)網(wǎng)絡(luò)模型?？紤]本模型要應(yīng)用于智慧城市管理案件數(shù)據(jù)，因此網(wǎng)絡(luò)結(jié)構(gòu)在保證分類精度的前提下不宜太大，盡量減少訓(xùn)練時(shí)間，縮減運(yùn)營成本。為了去除圖像各像素之間的相關(guān)性且使圖像大小均一，模型使用了圖像歸一化處理和ZCA白化處理，具體方法如下。

本算法首先對(duì)輸入圖像采用了歸一化處理和ZCA白化處理，其次，本方法設(shè)計(jì)的卷積核大小為13×13，且在卷積層利用ReLU激活函數(shù)加快網(wǎng)絡(luò)訓(xùn)練速度，同時(shí)在pooling層后利用dropout技術(shù)隨機(jī)斷開10%的網(wǎng)絡(luò)結(jié)點(diǎn)防止算法過擬合，最后使用BP算法對(duì)網(wǎng)絡(luò)參數(shù)進(jìn)行微調(diào)，全連接層采用softmax分類器進(jìn)行分類。模型的結(jié)構(gòu)依次為輸入層Input—卷積層C1—下采樣層S2—卷積層C3—下采樣層S4—卷積層C5—下采樣層S6—全連接層Full Connected。具體過程如下：

（1）將經(jīng)過ZCA白化預(yù)處理后的圖像數(shù)據(jù)統(tǒng)一處理成100×100大小作為模型的輸入層。

（2）設(shè)定卷積核大小為13×13，采用6個(gè)濾波器用于卷積輸入的圖像，然后加偏置，得到卷積層C1，包含6個(gè)大小為88×88的特征圖。

（3）將得到的C1層中的每個(gè)特征圖中經(jīng)過averagepooling，即特征圖中每4個(gè)像素值求其平均值，然后加權(quán)值，加偏置，并采用ReLU作為激活函數(shù)，同時(shí)本方法在pooling層采用dropout隨機(jī)斷開10%結(jié)點(diǎn)，最后輸出S2層6個(gè)大小為44×44的特征圖。

（4）將得到的S2層作為下一層的輸入層，采用卷積核大小為13×13，輸出特征圖數(shù)為12，卷積后得到C3層，特征圖大小為32×32。

（5）將C3層的特征圖經(jīng)過同步驟（3）的處理后得到S4層，特征圖大小為16×16。

（6）同步驟（4），將S4層作為輸入層，卷積核大小依然為13×13，輸出特征圖數(shù)為18，卷積后得到C5的特征圖大小為4×4。

（7）將C5層經(jīng)過同步驟（3）的處理后得到S6層的特征圖，大小為2×2。

（8）最后將得到的S6層進(jìn)行全連接，通過softmax分類器得到分類結(jié)果。

整個(gè)ZCNN的模型結(jié)構(gòu)圖如圖2，卷積過程表述如表1。

圖1 卷積和池化結(jié)構(gòu)

圖2 卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

表1 卷積神經(jīng)網(wǎng)絡(luò)模型實(shí)現(xiàn)過程

4 實(shí)驗(yàn)數(shù)據(jù)與結(jié)果

4.1 基于城管案件數(shù)據(jù)的實(shí)驗(yàn)

本實(shí)驗(yàn)數(shù)據(jù)主要來源于本單位與南寧市青秀區(qū)合作研發(fā)的智慧城市管理系統(tǒng)[3-4]（簡(jiǎn)稱“城管通”系統(tǒng)），該系統(tǒng)包括Web網(wǎng)頁端和智能手機(jī)APP端（支持iOS和Android兩個(gè)平臺(tái)），市民或工作者發(fā)現(xiàn)城市中的問題時(shí)，通過個(gè)人手機(jī)拍攝案發(fā)現(xiàn)場(chǎng)圖片，選擇案件描述，然后一鍵上報(bào)到系統(tǒng)。本文針對(duì)不同類別案件數(shù)據(jù)做了兩組實(shí)驗(yàn)：第一組從系統(tǒng)中道路交通類和市容環(huán)境類中案件各隨機(jī)選取1 300個(gè)，共2 600個(gè)案件，做二分類實(shí)驗(yàn)。第二組從系統(tǒng)中電動(dòng)車亂擺放類、亂扔垃圾類、機(jī)動(dòng)車違章停放類、垃圾桶周圍臟亂類四類案件中各隨機(jī)選取1 300個(gè)，共5 200個(gè)案件做四分類。部分智慧城管案件的樣例圖像如圖3所示。

圖3 實(shí)驗(yàn)數(shù)據(jù)樣例圖

4.2 評(píng)價(jià)指標(biāo)

本文采用幾個(gè)常用的分類評(píng)價(jià)指標(biāo)作為模型的評(píng)價(jià)標(biāo)準(zhǔn)，具體為Accuracy、Precision、Recall、F1_Score[21]。其計(jì)算公式分別如下：

令TP表示當(dāng)前類原本是正類并且也被預(yù)測(cè)為正類的個(gè)數(shù)，F(xiàn)P表示當(dāng)前類原本是負(fù)類且被預(yù)測(cè)為正類的個(gè)數(shù)，TN表示當(dāng)前類原本是負(fù)類且被預(yù)測(cè)為負(fù)類的個(gè)數(shù)，F(xiàn)N表示當(dāng)前類原本是正類且被預(yù)測(cè)為負(fù)類的個(gè)數(shù)[22]，S表示當(dāng)前類樣本總數(shù)。

（1）當(dāng)前類的精度：

（2）當(dāng)前類的準(zhǔn)確率：

（3）當(dāng)前類的召回率

（4）當(dāng)前類的F1值：

（5）平均精度：總類別數(shù)）。

（6）平均召回率：總類別數(shù)）。

（7）平均準(zhǔn)確率：總類別數(shù)）。

（8）平均 F1值總類別數(shù)）。

4.3 二分類實(shí)驗(yàn)

本實(shí)驗(yàn)采用道路交通類（Road_Traffic）和市容環(huán)境（City_Environment）類的案件圖片各1 300張，共2 600張，其中，各取1 000張作為訓(xùn)練集，剩余各取300張作為測(cè)試集；分別計(jì)算各類的Accuracy（精度）、Precision（準(zhǔn)確率）、Recall（召回率）、F1_Score（F1值）以及總的平均精度Mean_acc、平均準(zhǔn)確率Mean_pre、平均召回率Mean_recall以及平均的F1值Mean_F1，并與Lagrangian SVM（LSVM）、稀疏自編碼SAE以及未改進(jìn)的卷積神經(jīng)網(wǎng)絡(luò)CNN進(jìn)行對(duì)比，實(shí)驗(yàn)結(jié)果如表2所示，模型ROC曲線如圖4，均方誤差曲線如圖5。

圖4 ROC曲線

根據(jù)以上實(shí)驗(yàn)結(jié)果，可以看出本文所設(shè)計(jì)的ZCNN模型在對(duì)于智慧城管的二分類問題上，其各項(xiàng)性能均優(yōu)于LSVM、SAE以及傳統(tǒng)的CNN算法，且根據(jù)圖5可以看出，本算法能夠在短時(shí)間內(nèi)得到收斂，誤差逐漸減小并趨于穩(wěn)定。

表2 二分類實(shí)驗(yàn)結(jié)果

表3 四分類實(shí)驗(yàn)結(jié)果

圖5 均方誤差曲線

4.4 多分類實(shí)驗(yàn)

本實(shí)驗(yàn)采用電動(dòng)車亂擺放類（electrocar）、亂丟垃圾類（rubbish）、汽車違章停放類（car）和垃圾箱周圍不清潔類（dustbin）共四類案件圖片各1 300張，共5 200張；其中各選1 000張共4 000張作為訓(xùn)練集，剩余各取300張，共1 200張作為測(cè)試集；分別計(jì)算各類的Accuracy（精度）、Precision（準(zhǔn)確率）、Recall（召回率）、F1_Score（F1值）以及總的平均精度Mean_acc、平均準(zhǔn)確率Mean_pre、平均召回率Mean_recall以及平均的F1值Mean_F1，并與線性SVM（LSVM）、稀疏自編碼SAE以及未改進(jìn)的卷積神經(jīng)網(wǎng)絡(luò)CNN進(jìn)行對(duì)比，實(shí)驗(yàn)結(jié)果如表3所示，模型ROC曲線如圖6，均方誤差曲線MSE如圖7。

圖6 ROC曲線

圖7 均方誤差曲線

根據(jù)實(shí)驗(yàn)結(jié)果，可以看出本文所設(shè)計(jì)的ZCNN模型在對(duì)于城管案件的多分類問題上明顯優(yōu)于LSVM、SAE以及傳統(tǒng)的CNN算法，且根據(jù)圖7可以看出，本算法能夠在短時(shí)間內(nèi)得到收斂，誤差逐漸減小并趨于穩(wěn)定。

4.5 基于ImageNet數(shù)據(jù)集的多分類實(shí)驗(yàn)

ImageNet數(shù)據(jù)集為目前世界上最大的圖像識(shí)別庫，共包含1 400萬張以上的高清圖片，在ILSVRC-2012大賽中，Alex等人設(shè)計(jì)出AlexNet模型，在ImageNet的子集中做實(shí)驗(yàn)測(cè)得top-5的錯(cuò)誤率為15.3%[12]。此外，Simonyan等人設(shè)計(jì)的VGG-Net基于該數(shù)據(jù)集在ILSVRC-2014大賽中測(cè)得top-5的錯(cuò)誤率為7.3%[23]。Szegedy等人設(shè)計(jì)的Google-Net基于該數(shù)據(jù)集測(cè)得top-5的錯(cuò)誤率僅為6.67%[24]。該類型網(wǎng)絡(luò)結(jié)構(gòu)均是基于多GPU并行加速的大型深層神經(jīng)網(wǎng)絡(luò)模型，雖然能夠在大型數(shù)據(jù)庫的識(shí)別中獲得較高的精度，但是其不論在訓(xùn)練時(shí)間和花費(fèi)代價(jià)成本上均遠(yuǎn)遠(yuǎn)高于本文所設(shè)計(jì)的模型，不適用于本文中所提及的城管案件圖像分類工作。具體模型結(jié)構(gòu)對(duì)比如表4。

表4 模型結(jié)構(gòu)對(duì)比（總層數(shù)只計(jì)算卷積層和全連接層）

從表4中可以看出，本文所提出的方法在沒有使用GPU加速和使用普通電腦配置（酷睿 i5，4 GB內(nèi)存，MATLAB2016b）的條件下雖然只采用ImageNet數(shù)據(jù)集中的部分?jǐn)?shù)據(jù)進(jìn)行實(shí)驗(yàn)，依然能夠很快地完成模型的訓(xùn)練，相比 AlexNet、VGG-Net、Google-Net等較大型的網(wǎng)絡(luò)結(jié)構(gòu)，極大地縮短了訓(xùn)練時(shí)間，減少了成本開支，提高了工作效率。適用于本文所提及的城管案件分類情況和其他中小型應(yīng)用場(chǎng)景。

本文在ImageNet數(shù)據(jù)庫中隨機(jī)抽取4類圖片數(shù)據(jù)各1 300張共5 200張進(jìn)行分類實(shí)驗(yàn)，實(shí)驗(yàn)數(shù)據(jù)樣例如圖8。

圖8 ImageNet數(shù)據(jù)樣例圖

實(shí)驗(yàn)選取4類圖片各1 000張共4 000張作為訓(xùn)練集，其余各300張共1 200張作為測(cè)試集，實(shí)驗(yàn)結(jié)果如表5。根據(jù)表5可以看出，本文所提方法對(duì)于ImageNet數(shù)據(jù)集依然能夠在較短訓(xùn)練時(shí)間內(nèi)獲得較高精確率。ROC曲線如圖9，均方誤差曲線如圖10，可以看出能夠在較短時(shí)間內(nèi)得到收斂。

圖9 ROC曲線

5 結(jié)論

隨著智慧城管系統(tǒng)的應(yīng)用越來越普及，每日上報(bào)的案件數(shù)量也在增加，對(duì)于大量由市民和工作人員上報(bào)的城管案件若僅用人工來挑選出不同的類別，則費(fèi)時(shí)費(fèi)力，效率極低，且由于個(gè)人對(duì)于不同案件類型的理解錯(cuò)誤導(dǎo)致大量案件被錯(cuò)誤分類，造成對(duì)于城市管理案件的紊亂。

表5 ImageNet多分類實(shí)驗(yàn)結(jié)果

圖10 均方誤差曲線

本文基于深度學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)算法設(shè)計(jì)了改進(jìn)的ZCNN算法用于將城管案件圖像自動(dòng)分類，從而達(dá)到將案件自動(dòng)分類的效果。首先獲取城市管理案件圖像，將案件圖像進(jìn)行ZCA預(yù)處理，設(shè)計(jì)8層卷積神經(jīng)網(wǎng)絡(luò)模型，采用大小為13×13的卷積核對(duì)圖像進(jìn)行卷積，為了加速模型的訓(xùn)練，采用線性糾正單元ReLU作為激活函數(shù)，在pooling層采用average-pooling，并且在pooling之后采用dropout減少算法的過擬合，使用BP算法優(yōu)化模型，提高模型的魯棒性，全連接層采用softmax分類器進(jìn)行分類。通過采用道路交通類和市容環(huán)境類兩類案件圖像共2 600張做二分類實(shí)驗(yàn)和采用電動(dòng)車亂擺放類、亂丟垃圾類、汽車違章停放類和垃圾箱周圍不清潔類四類案件圖片共5 200張做四分類實(shí)驗(yàn)，并與LSVM、SAE以及未經(jīng)過改進(jìn)的CNN算法進(jìn)行對(duì)比，分別計(jì)算各類的Accuracy（精度）、Precision（準(zhǔn)確率）、Recall（召回率）、F1_Score（F1值）以及總的平均精度Mean_acc、平均準(zhǔn)確率Mean_pre、平均召回率Mean_recall以及平均的F1值Mean_F1，結(jié)果顯示本方法的分類結(jié)果明顯優(yōu)于其他方法。且將本方法應(yīng)用于公開數(shù)據(jù)集ImageNet中，在保持原層數(shù)不變和不使用GPU加速的情況下相比 AlexNet、VGG-Net、Google-Net等大型網(wǎng)絡(luò)極大地縮短了訓(xùn)練時(shí)間，減少了模型本身的大小，節(jié)約了成本，且依然能夠保持較好的分類精度。

：

[1]王靜遠(yuǎn)，李超，熊璋，等.以數(shù)據(jù)為中心的智慧城市研究綜述[J].計(jì)算機(jī)研究與發(fā)展，2014，51（2）：239-259.

[2]Yang C.Research on construction of digital intelligent city management system[J].International Journal of Hybrid Information Technology，2014，7.

[3]吳希玉.深化城管改革建設(shè)宜居南寧[N].廣西日?qǐng)?bào)，2015-12-30（7）.

[4]向志強(qiáng)，朱麗莉.“互聯(lián)網(wǎng)+城管”的“青秀探索”[N].新華每日電訊，2016-02-03（7）.

[5]Lu S X，Wang X Z.A comparison among four SVM classification methods：LSVM，NLSVM，SSVM and NSVM[C]//Proceedings of 2004 International Conference on Machine Learning and Cybernet-ics，2004：4277-4282.

[6]Zhang D，Wong A，Indrawan M，et al.Content-based image retrieval using Gabor texture features[J].IEEE Transactions on PAMI，2010：13-15.

[7]明冬萍，駱劍承，沈占鋒.基于GMRF-SVM的高分辨率遙感影像目標(biāo)區(qū)域劃分方法[J].測(cè)繪科學(xué)，2009，34（2）：33-37.

[8]Lindeberg T.Scale invariant feature transform[J].Scholarpedia，2012，7（5）：2012-2021.

[9]Hinton G E，Salakhutdinov R R.Reducing the dimensionality of data with neural networks[J].Science，2006，313（5786）.

[10]Jain V，Seung H S.Natural image denoising with convolutional networks[J].Advances in Neural Information Processing Systems，2009：769-776.

[11]Ng A.Sparse autoencoder[J].CS294A Lecture notes，2011，72：1-19.

[12]Krizhevsky A，Sutskever I，Hinton G E.ImageNet classification with deep convolutional neural networks[J].Advances in Neural Information Processing Systems，2012：1097-1105.

[13]Dan C，Meier U，Schmidhuber J.Multi-column deep neural networks for image classification[J].Computer Vision and Pattern Recognition，2012，157（10）：3642-3649.

[14]Yang J，Yu K，Gong Y，et al.Linear spatial pyramid matching using sparse coding for image classification[C]//IEEE Computer Society Conference on Computer Vision and Pattern Recognition，2009：1794-1801.

[15]Adam C，Ng A Y.Learning feature repre-sentations with k-means[M]//Neural networks：Tricks of the trade.Berlin Heidelberg：Springer，2012：561-580.

[16]Hinton G E，Srivastava N，Krizhevsky A，et al.Improving neural networks by preventing coada-ptation of feature detectors[J].arXiv preprint arXiv：1207.0580，2012.

[17]Maas A L，Hannun A Y，Ng A Y.Rectifier nonlinearities improve neural network acoustic models[C]//Proc ICML，2013.

[18]Cheng J，Wang X，Si T，et al.Maximum burning rate and fixed carbon burnout efficiency of power coal blends predicted with back-propagation neural network models[J].Fuel，2016，172：170-177.

[19]Akata Z，Perronnin F，Harchaoui Z，et al.Label-embedding for image classification[J].IEEE Transactions on Software Engineering，2016，38（7）：1425-1438.

[20]Lawrence S，Giles C L，Tsoi A C，et al.Face recognition：a convolutional neural-network approach[J].IEEE Transactions on Neural Networks，1997，8（1）：98-113.

[21]Bahrampour S，Nasrabadi N M，Ray A，et al.Multimodal task-driven dictionary learning for image classification[J].IEEE Transactions on Image Processing，2016，25（1）：24-38.

[22]Zhou Y，Wei Y.Learning hierarchical spectral spatial features for hyperspectral image classification[J].IEEE Transactions on Cybernetics，2015，46（7）：1667-1678.

[23]Simonyan K，Zisserman A.Very deep convolutional networks for large-scale image recognition[J].Computer Science，2014.

[24]Szegedy C，Liu W，Jia Y，et al.Going deeper with convolutions[C]//IEEE Conference on Computer Vision and Pattern Recognition，2014：1-9.