• 
    

    
    

      99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

      卷積神經(jīng)網(wǎng)絡(luò)中減少訓(xùn)練樣本時(shí)間方法研究

      2017-03-21 23:19:04范青
      電腦知識(shí)與技術(shù) 2016年33期
      關(guān)鍵詞:卷積神經(jīng)網(wǎng)絡(luò)圖像處理深度學(xué)習(xí)

      范青

      摘要:深度學(xué)習(xí)在人工智能尤其是在圖像處理,圖像分類方面的應(yīng)用越來(lái)越廣泛。其中卷積神經(jīng)網(wǎng)絡(luò)在其中具有重要地位。本文的主要目的為探究通過調(diào)整在網(wǎng)絡(luò)中卷積過程所使用的濾波器大小,在保證分類結(jié)果準(zhǔn)確率可接受情況下,盡量減少樣本的訓(xùn)練時(shí)間,并總結(jié)出一套較為通用的濾波器大小設(shè)置規(guī)則。在文章中,通過對(duì)theano中基于lenet模型所構(gòu)造的卷積神經(jīng)網(wǎng)絡(luò)的兩層卷積層中的濾波器大小進(jìn)行不同搭配的設(shè)置,測(cè)試數(shù)據(jù)集為廣泛使用的mnist手寫數(shù)字庫(kù)以及cifar_10庫(kù),最后對(duì)比探究出適用于這兩個(gè)數(shù)據(jù)集的減少訓(xùn)練時(shí)間的設(shè)置規(guī)律。

      關(guān)鍵詞:卷積神經(jīng)網(wǎng)絡(luò);深度學(xué)習(xí);圖像處理;訓(xùn)練時(shí)間

      中圖分類號(hào):TP18 文獻(xiàn)標(biāo)識(shí)碼:A 文章編號(hào):1009-3044(2016)33-0167-04

      如今在機(jī)器學(xué)習(xí)領(lǐng)域中,深度學(xué)習(xí)方法已經(jīng)占據(jù)了相當(dāng)重要的地位,通過模仿人腦學(xué)習(xí)方式構(gòu)造模型,在圖像、文本、語(yǔ)音處理方面取得了顯著成果[1]。目前應(yīng)用較為廣泛的深度學(xué)習(xí)模型包含多層感知器模型(MLP)[2],卷積神經(jīng)網(wǎng)絡(luò)模型和限制性玻爾茲曼機(jī)模型等[4]。多層感知器[2]網(wǎng)絡(luò)結(jié)構(gòu)的神經(jīng)節(jié)點(diǎn)一般分層排列,主要由輸入層,輸出層和一些隱層組成,同層之間的神經(jīng)元節(jié)點(diǎn)無(wú)連接,相鄰的兩層神經(jīng)元進(jìn)行全連接,前一層的神經(jīng)元的輸出作為后一層神經(jīng)元的輸入,但本身此種算法存在著一些問題,那就是它的學(xué)習(xí)速度非常慢,其中一個(gè)原因就是由于層與層之間進(jìn)行全連接,所以它所需要訓(xùn)練的參數(shù)的規(guī)模是非常大的,所以對(duì)其進(jìn)行改進(jìn),產(chǎn)生了卷積神經(jīng)網(wǎng)絡(luò)模型。卷積神經(jīng)網(wǎng)絡(luò)模型在圖像識(shí)別方面的應(yīng)用十分廣泛[5,8,9]。從它的結(jié)構(gòu)上來(lái)看,層與層之間的神經(jīng)元節(jié)點(diǎn)采用局部連接模式,而并非MLP的全連接模型,這樣就降低了需要訓(xùn)練的參數(shù)的規(guī)模。而在它卷積層中,它的每一個(gè)濾波器作為卷積核重復(fù)作用于整個(gè)輸入圖像中,對(duì)其進(jìn)行卷積,而得出的結(jié)果作為輸入圖像的特征圖[6],這樣就提取出了圖像的局部特征。而由于每一個(gè)卷積濾波器共享相同的參數(shù),這樣也就大大降低了訓(xùn)練參數(shù)的時(shí)間成本。而本文,以卷積神經(jīng)網(wǎng)絡(luò)為研究對(duì)象,在其模型的基礎(chǔ)上通過對(duì)其結(jié)構(gòu)中卷積核也就是濾波器的大小進(jìn)行調(diào)整并結(jié)合卷積核個(gè)數(shù)調(diào)整和gpu加速等已有的訓(xùn)練提速方法,達(dá)到降低訓(xùn)練時(shí)間并且對(duì)識(shí)別結(jié)果并無(wú)太大影響的目的。

      1 卷積神經(jīng)網(wǎng)絡(luò)

      卷積神經(jīng)網(wǎng)絡(luò)在MLP的基礎(chǔ)上,已經(jīng)對(duì)結(jié)構(gòu)進(jìn)行了優(yōu)化,通過層與層之間的局部連接以及權(quán)值共享等方式對(duì)要訓(xùn)練的參數(shù)的進(jìn)行了大幅減低。

      1.1局部連接

      BP神經(jīng)網(wǎng)絡(luò)中,神經(jīng)元在本層中呈線性排列狀態(tài),層與層之間進(jìn)行全連接,而在卷積神經(jīng)網(wǎng)絡(luò)中,為了減少每層之間的可訓(xùn)練參數(shù)數(shù)量,對(duì)連接方式進(jìn)行了修改,相對(duì)于BP神經(jīng)網(wǎng)絡(luò)的全連接,卷積神經(jīng)網(wǎng)絡(luò)采取了局部連接的連接方式[7],也就是說按照某種關(guān)聯(lián)因素,本層的神經(jīng)元只會(huì)與上層的部分神經(jīng)元進(jìn)行連接。

      2.2 權(quán)值共享

      在CNN中,卷積層中的卷積核也就是濾波器,重復(fù)作用在輸入圖像上,對(duì)其進(jìn)行卷積,最后的輸出作為他的特征圖,由于每個(gè)濾波器共享相同的參數(shù),所以說他們的權(quán)重矩陣以及偏置項(xiàng)是相同的。

      我們從上圖看出,相同箭頭連線的權(quán)值是共享的,這樣在原有的局部連接的基礎(chǔ)上我們又降低了每層需要訓(xùn)練的參數(shù)的數(shù)量。

      2.3卷積過程

      特征圖是通過濾波器按照特定的步長(zhǎng),對(duì)輸入圖像進(jìn)行濾波,也就是說我們用一個(gè)線性的卷積核對(duì)輸入圖像進(jìn)行卷積然后附加一個(gè)偏置項(xiàng),最后對(duì)神經(jīng)元進(jìn)行激活。如果我們?cè)O(shè)第k層的特征圖記為[hk],權(quán)重矩陣記為[Wk],偏置項(xiàng)記為[bk],那么卷積過程的公式如下所示(雙曲函數(shù)tanh作為神經(jīng)元的激活函數(shù)):

      2.4 最大池采樣

      通過了局部連接與權(quán)值共享等減少連接參數(shù)的方式卷積神經(jīng)網(wǎng)絡(luò)中還有另外一個(gè)重要的概念那就是最大池采樣方法,它是一種非線性的采樣方法。最大池采樣法在對(duì)減少訓(xùn)練參數(shù)數(shù)量的作用體現(xiàn)在兩個(gè)方面:

      1 )它減小了來(lái)自m-1層的計(jì)算復(fù)雜度。

      2 )池化的單元具有平移不變性,所以即使圖像在濾波后有小的位移,經(jīng)過池化的特征依然會(huì)保持不變。

      3卷積神經(jīng)網(wǎng)絡(luò)整體構(gòu)造以及減少訓(xùn)練時(shí)間的方法

      3.1使用GPU加速

      本次論文實(shí)驗(yàn)中,使用了theano庫(kù)在python環(huán)境下實(shí)現(xiàn)卷積神經(jīng)網(wǎng)絡(luò)模型,在lenet手寫數(shù)字識(shí)別模型上進(jìn)行改進(jìn),由于theano庫(kù)本身支持GPU加速,所以在訓(xùn)練速度上實(shí)現(xiàn)了大幅度的提高。

      3.2 數(shù)據(jù)集的預(yù)處理

      本次實(shí)驗(yàn)使用的兩個(gè)數(shù)據(jù)集是mnist手寫數(shù)字庫(kù)以及cifar_10庫(kù)

      Mnist手寫數(shù)字庫(kù)具有60000張訓(xùn)練集以及10000張測(cè)試集,圖片的像素都為28*28,而cifar_10庫(kù)是一個(gè)用于普適物體識(shí)別的數(shù)據(jù)集,它由60000張32*32像素的RGB彩色圖片構(gòu)成,50000張圖片組成訓(xùn)練集,10000張組成測(cè)試集。而對(duì)于cifar_10數(shù)據(jù)集來(lái)說,由于圖片都是RGB的,所以我們?cè)谶M(jìn)行實(shí)驗(yàn)的時(shí)候,先把其轉(zhuǎn)換為灰度圖在進(jìn)行存儲(chǔ)。由于實(shí)驗(yàn)是在python環(huán)境下運(yùn)行,theano函數(shù)庫(kù)進(jìn)行算法支持,所以我們把數(shù)據(jù)集進(jìn)行處理,此處我們對(duì)使用的數(shù)據(jù)集進(jìn)行了格式化。格式化的文件包括三個(gè)list,分別是訓(xùn)練數(shù)據(jù),驗(yàn)證數(shù)據(jù)和測(cè)試數(shù)據(jù)。而list中每個(gè)元素都是由圖像本身和它的相對(duì)應(yīng)的標(biāo)簽組成的。以mnist數(shù)據(jù)集為例,我們包含train_set,valid_set,test_set三個(gè)list,每個(gè)list中包含兩個(gè)元素,以訓(xùn)練集為例,第一個(gè)元素為一個(gè)784*60000的二維矩陣,第二個(gè)元素為一個(gè)包含60000個(gè)元素的列向量,第一個(gè)元素的每一行代表一張圖片的每個(gè)像素,一共60000行,第二個(gè)元素就存儲(chǔ)了對(duì)相應(yīng)的標(biāo)簽。而我們?nèi)∮?xùn)練樣本的10%作為驗(yàn)證樣本,進(jìn)行相同的格式化,而測(cè)試樣本為沒有經(jīng)過訓(xùn)練的10000張圖片。在以cifar_10數(shù)據(jù)集為實(shí)驗(yàn)對(duì)象時(shí),把其進(jìn)行灰度化后,進(jìn)行相同的格式化處理方式。

      3.3實(shí)驗(yàn)?zāi)P徒Y(jié)構(gòu)

      本次實(shí)驗(yàn)是在python環(huán)境下基于theano函數(shù)庫(kù)搭建好的lenet模型進(jìn)行參數(shù)的調(diào)整,以達(dá)到在實(shí)驗(yàn)準(zhǔn)確度可接受情況下減少訓(xùn)練時(shí)間的目的。

      上圖為實(shí)驗(yàn)中的基礎(chǔ)模型舉例說明實(shí)驗(yàn)過程,首先以mnist數(shù)據(jù)集為例,我們的輸入圖像為一個(gè)28*28像素的手寫數(shù)字圖像,在第一層中我們進(jìn)行了卷積處理,四個(gè)濾波器在s1層中我們得到了四張?zhí)卣鲌D。在這里要特別的說明一下濾波器的大小問題,濾波器的大小可根據(jù)圖像像素大小和卷積神經(jīng)網(wǎng)絡(luò)整體結(jié)構(gòu)進(jìn)行設(shè)置,舉例說明,假如說我們的輸入圖像為28*28像素的圖像,我們把第一層卷積層濾波器大小設(shè)置為5*5,也就是說我們用一個(gè)大小為5*5的局部滑動(dòng)窗,以步長(zhǎng)為一對(duì)整張圖像進(jìn)行滑動(dòng)濾波,則滑動(dòng)窗會(huì)有24個(gè)不同的位置,也就是說經(jīng)過卷積處理后的C1層特征圖的大小為24*24。此處的濾波器大小可進(jìn)行調(diào)整,本論文希望通過對(duì)濾波器大小的調(diào)整,已達(dá)到減少訓(xùn)練時(shí)間的目的,并尋找調(diào)整的理論依據(jù)。C1層的特征圖個(gè)數(shù)與卷積過程中濾波器數(shù)量相同。S1層是C1經(jīng)過降采樣處理后得到的,也就是說四個(gè)點(diǎn)經(jīng)過降采樣后變?yōu)橐粋€(gè)點(diǎn),我們使用的是最大池方法,所以取這四個(gè)點(diǎn)的最大值,也就是說S1層圖像大小為12*12像素,具有4張?zhí)卣鲌D。而同理S1層經(jīng)過卷積處理得到C2層,此時(shí)我們?yōu)V波器的大小和個(gè)數(shù)也可以自行設(shè)置,得到的C2層有6張?zhí)卣鲌D,C2到S2層進(jìn)行降采樣處理,最后面的層由于節(jié)點(diǎn)個(gè)數(shù)較少,我們就用MLP方法進(jìn)行全連接。

      3.4實(shí)驗(yàn)參數(shù)改進(jìn)分析

      由此可見,我們對(duì)濾波器的大小以及個(gè)數(shù)的改變,可以直接影響到卷積訓(xùn)練參數(shù)的個(gè)數(shù),從而達(dá)到減少訓(xùn)練時(shí)間的目的。

      從另一種角度來(lái)看,增大濾波器的大小,實(shí)際效果應(yīng)該相似于縮小輸入圖像的像素大小,所以這樣我們可以預(yù)測(cè)增大濾波器的大小會(huì)減少樣本的訓(xùn)練時(shí)間,但是這樣也可能會(huì)降低訓(xùn)練后的分類的準(zhǔn)確率,而濾波器的大小是如何影響訓(xùn)練時(shí)間以及分類準(zhǔn)確率的,我們通過對(duì)兩種圖片庫(kù)的實(shí)驗(yàn)來(lái)進(jìn)行分析。

      4 實(shí)驗(yàn)結(jié)果與分析

      4.1以mnist手寫數(shù)字?jǐn)?shù)據(jù)集作為實(shí)驗(yàn)數(shù)據(jù)

      我們知道卷積層可訓(xùn)練參數(shù)的數(shù)字與濾波器的大小和數(shù)字有關(guān),所以我們通過對(duì)卷積層濾波器大小的變化來(lái)尋找較為普遍的可減少訓(xùn)練參數(shù)從而達(dá)到減少訓(xùn)練時(shí)間的目的。在實(shí)驗(yàn)記錄中,我們表格縱列記錄兩層卷積層濾波器大小,橫列分別為對(duì)已經(jīng)過訓(xùn)練圖像識(shí)別和對(duì)未經(jīng)過訓(xùn)練的驗(yàn)證圖像進(jìn)行識(shí)別的錯(cuò)誤率,最后記錄每種濾波器大小搭配的使用時(shí)間。我們?cè)O(shè)定每次試驗(yàn)都進(jìn)行100次重復(fù)訓(xùn)練,每次對(duì)權(quán)重矩陣進(jìn)行優(yōu)化。

      此處我們記錄兩層濾波器大小之和作為橫坐標(biāo),比較濾波器大小與實(shí)驗(yàn)之間的關(guān)系。兩層濾波器大小相加后相同的元素我們把其對(duì)應(yīng)時(shí)間做平均。

      4.2以cifar_10數(shù)據(jù)集作為實(shí)驗(yàn)數(shù)據(jù)

      同樣是以100次循環(huán)訓(xùn)練進(jìn)行測(cè)試,通過改變兩層中濾波器的大小來(lái)尋找減少訓(xùn)練時(shí)間的設(shè)定。

      此處以同樣的方法,記錄兩層濾波器大小之和作為橫坐標(biāo),比較濾波器大小與實(shí)驗(yàn)之間的關(guān)系。

      4.3實(shí)驗(yàn)結(jié)果分析

      從兩組試驗(yàn)中,在不同的數(shù)據(jù)集下,我們得到了濾波器的大小與訓(xùn)練時(shí)間成反比的關(guān)系,而在減少了訓(xùn)練時(shí)間的同時(shí)確實(shí)增大了訓(xùn)練的錯(cuò)誤率。

      5 總結(jié)

      通過實(shí)驗(yàn)結(jié)果分析表明,增大卷積層濾波器大小的方法,在此兩種數(shù)據(jù)庫(kù)的情況下,是有效減小訓(xùn)練時(shí)間的方式,而在不同的數(shù)據(jù)庫(kù)對(duì)分類準(zhǔn)確率的影響程度不同,mnist手寫數(shù)字?jǐn)?shù)據(jù)庫(kù)中圖像之間的相似度非常高,所以濾波器的增大對(duì)準(zhǔn)確率產(chǎn)生的負(fù)面影響較小,而ifar_10數(shù)據(jù)集中圖像之間的相似度較小,所以增大濾波器的大小對(duì)其分類結(jié)果的準(zhǔn)確率的負(fù)面影響較大。

      參考文獻(xiàn):

      [1]LeCun Y, Bengio Y, Hinton G. Deep learning[J]. Nature, 2015, 521(7553): 436-444.

      [2] Ruck D W, Rogers S K, Kabrisky M. Feature selection using a multilayer perceptron[J]. ]Journal of Neural Network Computing, 1990, 2(2): 40-48.

      [3]LeCun Y, Bengio Y. Convolutional networks for images, speech, and time series[J]. The handbook of brain theory and neural networks, 1995, 3361(10): 1995.

      [4] Larochelle H, Bengio Y. Classification using discriminative restricted Boltzmann machines[C]//Proceedings of the 25th international conference on Machine learning. ACM, 2008: 536-543.

      [5]Krizhevsky A, Sutskever I, Hinton G E. Imagenet classification with deep convolutional neural networks[C]//Advances in neural information processing systems. 2012: 1097-1105.

      [6] Zeiler M D, Fergus R. Visualizing and understanding convolutional networks[C]//European Conference on Computer Vision. Springer International Publishing, 2014: 818-833.

      [7] Jarrett K, Kavukcuoglu K, Lecun Y. What is the best multi-stage architecture for object recognition?[C]//2009 IEEE 12th International Conference on Computer Vision. IEEE, 2009: 2146-2153.

      [8] Ji S, Xu W, Yang M, et al. 3D convolutional neural networks for human action recognition[J]. IEEE transactions on pattern analysis and machine intelligence, 2013, 35(1): 221-231.

      [9] Ciregan D, Meier U, Schmidhuber J. Multi-column deep neural networks for image classification[C]//Computer Vision and Pattern Recognition (CVPR), 2012 IEEE Conference on. IEEE, 2012: 3642-3649.

      猜你喜歡
      卷積神經(jīng)網(wǎng)絡(luò)圖像處理深度學(xué)習(xí)
      機(jī)器學(xué)習(xí)在圖像處理中的應(yīng)用
      電子制作(2018年18期)2018-11-14 01:48:20
      模糊圖像處理,刑事偵查利器
      圖像處理技術(shù)的實(shí)戰(zhàn)應(yīng)用
      基于深度卷積神經(jīng)網(wǎng)絡(luò)的物體識(shí)別算法
      MOOC與翻轉(zhuǎn)課堂融合的深度學(xué)習(xí)場(chǎng)域建構(gòu)
      大數(shù)據(jù)技術(shù)在反恐怖主義中的應(yīng)用展望
      深度學(xué)習(xí)算法應(yīng)用于巖石圖像處理的可行性研究
      基于深度卷積網(wǎng)絡(luò)的人臉年齡分析算法與實(shí)現(xiàn)
      軟件工程(2016年8期)2016-10-25 15:47:34
      基于卷積神經(jīng)網(wǎng)絡(luò)的樹葉識(shí)別的算法的研究
      Photo Shop通道在圖像處理中的應(yīng)用
      河南科技(2014年1期)2014-02-27 14:04:06
      旌德县| 克什克腾旗| 商河县| 大余县| 特克斯县| 汝南县| 花垣县| 教育| 新建县| 泾阳县| 美姑县| 阿拉善盟| 潜山县| 大姚县| 鄂托克前旗| 富宁县| 和龙市| 绵竹市| 道真| 清河县| 枣庄市| 荔波县| 大埔区| 唐山市| 怀柔区| 正定县| 沙河市| 滁州市| 仪征市| 九台市| 昌乐县| 泗阳县| 孟津县| 山东省| 通州市| 阳曲县| 务川| 乡宁县| 石河子市| 淳化县| 日土县|