（中安興坤（杭州）科技有限公司，浙江杭州市，311121） 吳 凱

（江蘇電子信息職業(yè)學(xué)院，江蘇淮安市，223000） 楊新志

1 深度學(xué)習(xí)概述

機(jī)器學(xué)習(xí)的領(lǐng)域有很多，深度學(xué)習(xí)作為研究領(lǐng)域中的一個(gè)新的研究方向，在近幾年中，深度學(xué)習(xí)在圖像識(shí)別與檢索、語(yǔ)言信息處理等、語(yǔ)音識(shí)別等方面表現(xiàn)顯著。建立模型來(lái)模擬人類(lèi)大腦的神經(jīng)連接結(jié)構(gòu)是深度學(xué)習(xí)應(yīng)用的發(fā)展基礎(chǔ)，在處理圖像、聲音和文本這些信號(hào)時(shí)，通過(guò)多個(gè)變換階段分層對(duì)數(shù)據(jù)特征進(jìn)行描述，進(jìn)而給出數(shù)據(jù)的解釋。[1]

深度機(jī)器學(xué)習(xí)分為有監(jiān)督學(xué)習(xí)和無(wú)監(jiān)督學(xué)習(xí)，不管哪種學(xué)習(xí)方式[2]，都是機(jī)器學(xué)習(xí)在模仿人類(lèi)對(duì)于事物的認(rèn)識(shí)中來(lái)的。例如常見(jiàn)的卷積神經(jīng)網(wǎng)絡(luò)就屬于監(jiān)督學(xué)習(xí)方法，生成對(duì)抗網(wǎng)絡(luò)（GAN）就是一種無(wú)監(jiān)督學(xué)習(xí)方法。典型的深度學(xué)習(xí)模型有卷積神經(jīng)網(wǎng)絡(luò)、深度置信網(wǎng)絡(luò)和堆棧自編碼網(wǎng)絡(luò)模型等，下面對(duì)這些模型進(jìn)行描述。

1.1 卷積神經(jīng)網(wǎng)絡(luò)模型

Yann Lecun最早將CNN用于手寫(xiě)數(shù)字識(shí)別，這一應(yīng)用引起了巨大反響。隨著卷積神經(jīng)網(wǎng)絡(luò)的發(fā)展，卷積神經(jīng)網(wǎng)絡(luò)現(xiàn)如今在語(yǔ)音識(shí)別、人臉識(shí)別、通用物體識(shí)別、運(yùn)動(dòng)分析、甚至腦電波方面都表現(xiàn)顯著，這也充分說(shuō)明了人工智能與我們的生活更加緊密。卷積神經(jīng)網(wǎng)絡(luò)的構(gòu)成部分，一是輸入層、二是由n 個(gè)卷積層和池化層的組合組成[2]。卷積神經(jīng)網(wǎng)絡(luò)中層間聯(lián)系和空域信息緊密聯(lián)系，圖像處理時(shí)，就會(huì)易于理解，并且它在自動(dòng)提取圖像上表現(xiàn)顯著，因此如今多被應(yīng)用于自動(dòng)提取圖像方面，而且在自動(dòng)提取圖像的顯著特征方面還表現(xiàn)了十分優(yōu)異的性能。

1.2 深度信任網(wǎng)絡(luò)學(xué)習(xí)模型

深度信任網(wǎng)絡(luò)學(xué)習(xí)模型最早2006 年提出，由Geoffrey Hinton 提出，目的就是可以讓整個(gè)神經(jīng)網(wǎng)絡(luò)按照最大概率來(lái)生成訓(xùn)練數(shù)據(jù)，這樣的操作它是通過(guò)訓(xùn)練其神經(jīng)元間的權(quán)值來(lái)實(shí)現(xiàn)的，因此它是一種生成模型?，F(xiàn)如今它也被應(yīng)用在人工智能領(lǐng)域，在識(shí)別特征、分類(lèi)數(shù)據(jù)方面表現(xiàn)顯著。

1.3 生成對(duì)抗網(wǎng)絡(luò)模型

生成對(duì)抗網(wǎng)絡(luò)模型是2014年提出的，屬于無(wú)監(jiān)督學(xué)習(xí)，與自動(dòng)編碼器和回歸模型相比等其他無(wú)監(jiān)督學(xué)習(xí)方法來(lái)說(shuō)，GANS更能充分?jǐn)M合數(shù)據(jù)，由于它對(duì)數(shù)據(jù)的擬合性好，因此在圖片生成、自然語(yǔ)言應(yīng)用方面得到了廣泛的應(yīng)用。

2 深度學(xué)習(xí)的一些算法

2.1 深度費(fèi)希爾映射方法

正則化深度費(fèi)希爾映射方法是由wong 等人提出的，這種方法屬于一種新的特征提取方法，學(xué)習(xí)從樣本空間到特征空間的顯示映射是它的方法，當(dāng)然這種方法是根據(jù)Fisher 準(zhǔn)則來(lái)的，特征的區(qū)分度是根據(jù)Fisher 準(zhǔn)則用深度結(jié)構(gòu)神經(jīng)網(wǎng)絡(luò)來(lái)提高的。正則化因子被引入這種學(xué)習(xí)過(guò)程，因此學(xué)習(xí)能力過(guò)強(qiáng)帶來(lái)的過(guò)擬合問(wèn)題在很大程度上被解決了。

2.2 非線(xiàn)性變換方法

非線(xiàn)性變換方法最早是由Raiko 等人提出，該變換方法使得學(xué)習(xí)MLP變得更容易，因?yàn)槎鄬痈兄骶W(wǎng)絡(luò)的每個(gè)隱神經(jīng)元的輸出具有零輸出和平均值上的零斜率[2]。非線(xiàn)性變換方法的應(yīng)用領(lǐng)域有很多，例如圖像分類(lèi)和學(xué)習(xí)圖像通常采用深度無(wú)監(jiān)督自編碼模型。非線(xiàn)性變換方法被應(yīng)用于這種模型中進(jìn)行圖像分類(lèi)和學(xué)習(xí)圖像的實(shí)驗(yàn)中，最后的結(jié)果表明這些變換對(duì)學(xué)習(xí)深度至少達(dá)到五個(gè)隱層的結(jié)構(gòu)神經(jīng)網(wǎng)絡(luò)是有幫助的。

2.3 遷移學(xué)習(xí)算法

遷移學(xué)習(xí)算法最早是由Mesnil 等人研究出來(lái)的，學(xué)習(xí)表示的不同種類(lèi)模型結(jié)構(gòu)在無(wú)監(jiān)督學(xué)習(xí)場(chǎng)景中很多，遷移學(xué)習(xí)算法被應(yīng)用于其中。五個(gè)學(xué)習(xí)任務(wù)通常采用被無(wú)監(jiān)督學(xué)習(xí)算法，遷移學(xué)習(xí)算法將不同結(jié)構(gòu)的層堆棧應(yīng)用在其中[2]。

3 深度學(xué)習(xí)的應(yīng)用

3.1 人臉識(shí)別

深度學(xué)習(xí)被用于物體識(shí)別上，它在物體方面最重要的一個(gè)突破就是人臉識(shí)別[3]。每個(gè)人的臉都不一樣，表情、光線(xiàn)和姿態(tài)等因素是人臉識(shí)別的一個(gè)障礙，要學(xué)會(huì)如何降低表情、光線(xiàn)等對(duì)系統(tǒng)帶來(lái)的影響。我們知道表情等其他因素會(huì)引起身份的不同，就會(huì)導(dǎo)致產(chǎn)生類(lèi)間變化，這兩種變化是極其復(fù)雜的，且無(wú)法識(shí)別，傳統(tǒng)的線(xiàn)性模型只能單一的判別人臉，但加入了深度學(xué)習(xí)后，人臉的特征表示就可以通過(guò)深度學(xué)習(xí)多層的非線(xiàn)性變換得到新的特征表示，這些特征保留了類(lèi)間變化，而且深度學(xué)習(xí)算法可以很好的擬合數(shù)據(jù)，因此在人臉識(shí)別方面取得了很好的效果。

3.2 圖像處理

深度學(xué)習(xí)在圖像處理上得到了廣泛應(yīng)用，現(xiàn)如今最重要的目標(biāo)就是在非常有限的設(shè)置內(nèi)，通過(guò)算法處理更多數(shù)據(jù)，如果我們考慮圖像理解，這是人工智能任務(wù)中最具體的任務(wù)之一，我們會(huì)意識(shí)到我們還沒(méi)有發(fā)現(xiàn)更多的視覺(jué)和語(yǔ)義概念學(xué)習(xí)算法，而這些概念是解釋大多數(shù)圖像所必需的。其他人工智能任務(wù)的情況類(lèi)似。深度學(xué)習(xí)在圖像處理上通常是用深度信任網(wǎng)絡(luò)和堆棧自編碼網(wǎng)絡(luò)，這兩種方法通常被用于單個(gè)圖像識(shí)別，并且取得很好的效果，由于它現(xiàn)在已經(jīng)成功用于生成緊湊的圖像檢索表示形式，它在大型圖像檢索任務(wù)中也取得了很好效果，加入了深度學(xué)習(xí)的圖像識(shí)別系統(tǒng)，提高了文字識(shí)別能力，大大節(jié)省時(shí)間。

3.3 系統(tǒng)辨識(shí)

系統(tǒng)辨識(shí)是根據(jù)系統(tǒng)的輸入輸出來(lái)確定系統(tǒng)的模型，傳統(tǒng)的系統(tǒng)辨識(shí)有著識(shí)別速度慢，正確率很低的問(wèn)題，系統(tǒng)辨識(shí)的不足就是當(dāng)遇到復(fù)雜的線(xiàn)性系統(tǒng)時(shí)，就難以用線(xiàn)性函數(shù)知識(shí)來(lái)建立，而此時(shí)神經(jīng)網(wǎng)絡(luò)具有擬合復(fù)雜線(xiàn)性函數(shù)的能力?，F(xiàn)在的系統(tǒng)辨識(shí)已經(jīng)深度神經(jīng)網(wǎng)絡(luò)的參數(shù)優(yōu)化了。系統(tǒng)參數(shù)辨識(shí)控制系統(tǒng)涉及深度學(xué)習(xí)通常是模糊控制系統(tǒng)，其中的預(yù)測(cè)模型就是用深度學(xué)習(xí)來(lái)實(shí)現(xiàn)的。

4 深度學(xué)習(xí)的問(wèn)題以及發(fā)展趨勢(shì)

深度學(xué)習(xí)算法在人工智能領(lǐng)域中被廣泛應(yīng)用，它在圖像識(shí)別等都有了很大的進(jìn)展，加入了深度學(xué)習(xí)算法的數(shù)據(jù)處理時(shí)間上減少了很多，并且在大規(guī)模破數(shù)據(jù)集下的應(yīng)用都取得了很大的進(jìn)展。但是深度學(xué)習(xí)依然有些不足，需要更進(jìn)一步的研究。深度學(xué)習(xí)也有很多的模型，在很多時(shí)候，會(huì)出現(xiàn)一些模型規(guī)模很大的情況，通常模型的規(guī)模越大，訓(xùn)練的精度就會(huì)越高。同時(shí)在訓(xùn)練中參數(shù)的設(shè)置問(wèn)題、模型規(guī)模的調(diào)整都可能會(huì)影響模型優(yōu)化，效率完全會(huì)被訓(xùn)練時(shí)間所影響。因此在深度學(xué)習(xí)算法和深度學(xué)習(xí)模型中，要提高訓(xùn)練精度和速度仍然是深度學(xué)習(xí)方向研究的內(nèi)容之一。

5 總結(jié)

目前多種模式分類(lèi)問(wèn)題都使用了深度學(xué)習(xí)，深度學(xué)習(xí)目前有很多工作需要研究，研究可行的訓(xùn)練是深度學(xué)習(xí)的目標(biāo)之一，并且還有探索新的特征提取模型，文章簡(jiǎn)要介紹了深度學(xué)習(xí)的一些概況、算法、以及應(yīng)用，未來(lái)深度學(xué)習(xí)肯定還是研究的熱點(diǎn)問(wèn)題之一。