摘 要 我們?cè)诿魅斯ぶ悄茏灾鲗W(xué)習(xí)網(wǎng)絡(luò)構(gòu)建方案的最優(yōu)解過(guò)程中，由Norbert Wiener創(chuàng)立的控制論（Cybernetics）意在模仿人類思考過(guò)程到Geoffrey Hinton提出人工智能的自主學(xué)習(xí)應(yīng)構(gòu)建在類人神經(jīng)網(wǎng)絡(luò)之上再到近年來(lái)深度學(xué)習(xí)（Deep Learning）與強(qiáng)化學(xué)習(xí)（Reinforcement Learning）的熱潮，再到目前人工智能發(fā)展進(jìn)入瓶頸期，于此本論文希望將對(duì)人工智能如何在未來(lái)實(shí)現(xiàn)自主學(xué)習(xí)網(wǎng)絡(luò)的構(gòu)建加以淺析。

【關(guān)鍵詞】強(qiáng)化學(xué)習(xí) 神經(jīng)網(wǎng)絡(luò) 深度學(xué)習(xí) 人工智能 Capsule理論

1 傳統(tǒng)人工智能深度學(xué)習(xí)方式的困局

Frank Rosenblatt在1957年提出最早的神經(jīng)網(wǎng)絡(luò)Perceptron開(kāi)始了人類邁向仿生人類機(jī)器智能的第一步，但是其局限在于僅僅擁有兩層神經(jīng)元（一個(gè)輸入層與一個(gè)輸出層）同時(shí)對(duì)于更多神經(jīng)元的層數(shù)的加入及神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法上，此網(wǎng)絡(luò)難以應(yīng)用于實(shí)際問(wèn)題中，隨后Geoffrey Hinton通過(guò)BP（Backpropagation）誤差反向算法與最優(yōu)化方法結(jié)合使用來(lái)作為訓(xùn)練人工智能的手段，但是BP有一定局限性如學(xué)習(xí)速度慢且學(xué)習(xí)過(guò)程不穩(wěn)定，而且容錯(cuò)率低，于是徑向基網(wǎng)絡(luò)：RBF網(wǎng)絡(luò)應(yīng)用而生，比起B(yǎng)P的多層單元，RBF將層數(shù)降低至3層同時(shí)使用了不同的激活函數(shù)使得RBF網(wǎng)絡(luò)具有“局部映射”特性，每個(gè)神經(jīng)元相互影響效應(yīng)甚微，可以看作由一個(gè)個(gè)負(fù)責(zé)不同“職能”的神經(jīng)元結(jié)合在一起，然而RBF網(wǎng)絡(luò)的缺陷在于其僅僅是一個(gè)運(yùn)算網(wǎng)絡(luò)的執(zhí)行者，只能執(zhí)行命令而自身沒(méi)有能力去解釋該命令背后的邏輯，例如我們現(xiàn)在使用的所謂智能助手，讓我們誤以為“他們“”具有一定程度人工智能，因?yàn)椤八麄儭钡幕卮馃o(wú)不模仿人類的語(yǔ)言構(gòu)詞習(xí)慣，但是事實(shí)上智能助手更像是一個(gè)人類對(duì)話交流語(yǔ)言數(shù)據(jù)提取庫(kù)，通過(guò)大量的歸納重復(fù)，選擇其中的一些特定語(yǔ)句作為自己的標(biāo)準(zhǔn)答案來(lái)應(yīng)答，并且進(jìn)行同一問(wèn)題的連續(xù)對(duì)話時(shí)，標(biāo)準(zhǔn)答案之間可能會(huì)毫不相干。我們使“他們”更多執(zhí)行的是有明確任務(wù)趨向的指令式對(duì)話，雖然識(shí)別成功率很高但是距離其自主學(xué)習(xí)相距甚遠(yuǎn)，他們甚至無(wú)法學(xué)會(huì)最簡(jiǎn)單的“異或”邏輯，正如了解某一件事的名稱，并不等同于真正理解它一樣，在1997年擊敗人類國(guó)際象棋冠軍的IBM的“深藍(lán)”（Deep Blue）與2016年擊敗人類國(guó)際圍棋冠軍的Deep Mind的AlphaGo，“深藍(lán)”的勝利依靠的是其每秒高達(dá)幾億次的暴力運(yùn)算窮舉，可以看作“只知其名”，而后者可以“會(huì)其意”但是“不明其理”雖然依靠的是深度學(xué)習(xí)體系---蒙特卡洛樹(shù)搜索（Monte Calro Tree Search）與價(jià)值網(wǎng)絡(luò)和策略網(wǎng)絡(luò)的結(jié)合，基于模擬的數(shù)百萬(wàn)數(shù)千萬(wàn)次自我獨(dú)立博弈，從中發(fā)揮強(qiáng)化學(xué)習(xí)的最大效力，借由蒙特卡洛樹(shù)搜索在與動(dòng)態(tài)環(huán)境的“交互反饋”中尋求最優(yōu)解，但是在處理R.Bellman提出的“維數(shù)詛咒”即現(xiàn)實(shí)世界中，強(qiáng)化學(xué)習(xí)要納入數(shù)百甚至數(shù)千個(gè)變量進(jìn)行考慮，并且強(qiáng)化學(xué)習(xí)會(huì)消耗大量數(shù)據(jù)同時(shí)，自身依靠對(duì)于能夠進(jìn)行模擬的案例，成功率更高，進(jìn)而現(xiàn)實(shí)中均陷入一定的困局。

2 未來(lái)人工智能神經(jīng)網(wǎng)絡(luò)的構(gòu)建方向

對(duì)于機(jī)器又是如何完成“自我學(xué)習(xí)”這件事情，先前的BP類的構(gòu)架更像是從粗鉑金到精鉑金的“提純”，而深度學(xué)習(xí)與強(qiáng)化學(xué)習(xí)像是從原礦石中獲取鉑金，不可避免的是需要大量的原礦石，這是深度學(xué)習(xí)與強(qiáng)化學(xué)習(xí)所需要的大量的數(shù)據(jù)，雖然深度學(xué)習(xí)與強(qiáng)化學(xué)習(xí)能夠得到很多基于大數(shù)據(jù)分析得到的“經(jīng)驗(yàn)公式”，執(zhí)行“化繁為簡(jiǎn)”的工作而不能做到“舉一反三”等。所以其深度學(xué)習(xí)模仿人腦行為的程度，只能停留在一個(gè)淺薄的層面，雖然不可否認(rèn)目前深度學(xué)習(xí)在圖像處理，語(yǔ)音、模式識(shí)別這些領(lǐng)域仍處于絕對(duì)領(lǐng)先的地位，但是這并不是我們認(rèn)知人工智能自主學(xué)習(xí)網(wǎng)絡(luò)的本質(zhì)，如Geoffrey Hinton所言：目前人工智能局限性的關(guān)鍵在于搭建“一個(gè)連接計(jì)算機(jī)科學(xué)和生物學(xué)的橋梁”，受大腦皮層中的微柱體（mini-column）的啟發(fā)，近期他正式在論文中提出了更加成熟的Capsule理論，Capsule稱為膠囊，每一個(gè)Capsule表示的是它所檢測(cè)到的類型的一個(gè)多維實(shí)體的存在和實(shí)例化參數(shù)，作為一組神經(jīng)元向量替代現(xiàn)在神經(jīng)網(wǎng)絡(luò)的layer中作為簡(jiǎn)單的標(biāo)量neuron。Capsule其向量長(zhǎng)度表征了某個(gè)實(shí)例（物體，視覺(jué)概念或者它們的一部分）出現(xiàn)的概率其方向（長(zhǎng)度無(wú)關(guān)部分）表征了物體的某些實(shí)例的一些客觀屬性（包括位置、粗糙度、紋理和顏色等等），每一個(gè)capsule由對(duì)應(yīng)一個(gè)layer中向量neuron構(gòu)成，其本身可以進(jìn)行大量運(yùn)算，多個(gè)活躍同一層級(jí)預(yù)測(cè)一致的capsule輸出一個(gè)經(jīng)過(guò)「squashing」的非線性函數(shù)（該非線性函數(shù)確保短向量的長(zhǎng)度能夠縮短到幾乎等于零，而長(zhǎng)向量的長(zhǎng)度壓縮到接近但不超過(guò) 1 的情況）“壓縮”（通過(guò)變換矩陣）獲得的更高級(jí)別的capsule的預(yù)測(cè)向量，簡(jiǎn)單的capsule系統(tǒng)已經(jīng)能在分割重疊數(shù)字任務(wù)中表現(xiàn)出空前強(qiáng)大的性能，在識(shí)別高度重疊數(shù)字上比卷積神經(jīng)網(wǎng)絡(luò)（CNN）的性能優(yōu)越很多，更趨近于利用高維度向量neuron來(lái)進(jìn)行多模態(tài)機(jī)器學(xué)習(xí)。靈感同樣來(lái)自于對(duì)人類大腦視覺(jué)皮層對(duì)于物體的輪廓（contour）和表面（surface）的識(shí)別思考，遞歸皮層網(wǎng)絡(luò)（Recursive Cortical Netowks）的誕生整合了實(shí)驗(yàn)神經(jīng)科學(xué)結(jié)論的概率生成模型，RCN在多個(gè)CAPTCHA數(shù)據(jù)庫(kù)中，獲得了極佳的成績(jī)（reCAPTCHA：66.6%， BotDetect 64.4%， Yahoo： 57.4%， PayPal： 57.1%），整體上以300倍的數(shù)據(jù)有效性（data efficiency）將深度學(xué)習(xí)的卷積網(wǎng)絡(luò)模型遠(yuǎn)遠(yuǎn)甩開(kāi)。其中，在reCAPTCHA上，對(duì)于每個(gè)字母，RCN僅使用5個(gè)訓(xùn)練樣本，而CNN模型達(dá)到相似的成績(jī)使用了二百三十萬(wàn)個(gè)訓(xùn)練樣本。此外，RCN在多個(gè)任務(wù)（如單樣本和小樣本識(shí)別、手寫(xiě)數(shù)字生成等）中，均取得了優(yōu)異的結(jié)果，RCN進(jìn)一步融合了系統(tǒng)神經(jīng)科學(xué)（systems neuroscience）研究的啟發(fā)，特別是視皮層中的側(cè)連接把物體表示為邊緣和面的組合，生成式組成模型的進(jìn)步，此外，RCN還可以將中低層的語(yǔ)義表達(dá)“具體圖形化”的基本概念單元通過(guò)側(cè)向連接來(lái)分享給不同高層語(yǔ)義，并且可以被不同的物體邊緣輪廓所共有，大大提高了算法的高效性，算法的可解釋性為其鋪平道路，更是實(shí)現(xiàn)了某種意義上的“舉一反三”。

3 綜述

Capsule理論的提出和RCN的不謀而合之處在于將人工智能的發(fā)展藍(lán)圖寄希望于對(duì)人類自我大腦的認(rèn)知能力的深度模仿，不是源于無(wú)數(shù)次的“歸納總結(jié)”無(wú)論是高維度的模擬還是由對(duì)人類大腦皮層識(shí)別算法的解析，或許未來(lái)人工智能自主學(xué)習(xí)網(wǎng)絡(luò)構(gòu)建的“第一性原理”基于大腦的深度解讀。

作者簡(jiǎn)介

董鑫（1999-），男，河北省張家口市下花園區(qū)人。河北省張家口市宣化第一中學(xué)學(xué)生。

作者單位

張家口市宣化第一中學(xué) 河北省張家口市 075100