深度學(xué)習(xí)的可解釋性

吳飛 廖彬兵 韓亞洪

摘要：深度學(xué)習(xí)已經(jīng)成功運(yùn)用在自然語言、多媒體、計(jì)算機(jī)視覺、語音和跨媒體等相關(guān)的特定領(lǐng)域。然而，這一架構(gòu)在“端到端”模式下、通過標(biāo)注大量數(shù)據(jù)來進(jìn)行誤差后向傳播而優(yōu)化參數(shù)的學(xué)習(xí)方法被比喻為一個(gè)“黑盒子”，解釋性較弱?？山忉屝灾杆惴ㄒ獙?duì)特定任務(wù)給出清晰概括，并與人類世界中已定義的原則或原理聯(lián)結(jié)。在諸如自動(dòng)駕駛、醫(yī)療和金融決策等“高風(fēng)險(xiǎn)”領(lǐng)域，利用深度學(xué)習(xí)進(jìn)行重大決策時(shí)，往往需要知曉算法所給出結(jié)果的依據(jù)。因此，透明化深度學(xué)習(xí)的“黑盒子”，使其具有可解釋性，具有重要意義。圍繞深度學(xué)習(xí)可解釋性這一問題，本文從卷積神經(jīng)網(wǎng)絡(luò)可視化、卷積神經(jīng)網(wǎng)絡(luò)的特征分析、卷積神經(jīng)網(wǎng)絡(luò)的缺陷及優(yōu)化、利用傳統(tǒng)機(jī)器學(xué)習(xí)模型來解釋神經(jīng)網(wǎng)絡(luò)和基于可解釋模塊的深度網(wǎng)絡(luò)學(xué)習(xí)這五個(gè)方面介紹現(xiàn)有研究工作。對(duì)近年來人工智能頂級(jí)會(huì)議上關(guān)于深度學(xué)習(xí)可解釋性的論文發(fā)表數(shù)量進(jìn)行統(tǒng)計(jì)分析，發(fā)現(xiàn)深度學(xué)習(xí)的可解釋性是目前人工智能研究的一個(gè)熱點(diǎn)。最后，本文認(rèn)為深度學(xué)習(xí)的可解釋性研究可從因果模型、推理、認(rèn)知理論和模型、智能人機(jī)交互等方面著手，以構(gòu)建出可解釋、更通用和適應(yīng)性強(qiáng)的人工智能理論、模型和方法。

關(guān)鍵詞：深度學(xué)習(xí);可解釋性;端到端;可視化;智能人機(jī)交互;人工智能

中圖分類號(hào)：TP18文獻(xiàn)標(biāo)識(shí)碼：A文章編號(hào)：1673-5048（2019）01-0039-08[SQ0]

0引言

目前，深度學(xué)習(xí)[1-2]已經(jīng)成功運(yùn)用于自然語言、多媒體、計(jì)算機(jī)視覺、語音和跨媒體[3-7]等相關(guān)特定領(lǐng)域。然而，深度學(xué)習(xí)架構(gòu)在“端到端”模型上，通過標(biāo)注大量數(shù)據(jù)驅(qū)動(dòng)的誤差后向傳播來不斷優(yōu)化模型參數(shù)，這一學(xué)習(xí)過程猶如“黑盒子”：人們很難理解深度網(wǎng)絡(luò)中隱藏層數(shù)目、神經(jīng)元個(gè)數(shù)和激活函數(shù)形式等會(huì)對(duì)結(jié)果產(chǎn)生怎樣的影響，使得深度學(xué)習(xí)大多依賴于大量的工程經(jīng)驗(yàn)和技巧。

于是，只要設(shè)計(jì)好模型結(jié)構(gòu)，如網(wǎng)絡(luò)隱藏層數(shù)目、每個(gè)隱藏層中包含的神經(jīng)元數(shù)目、激活函數(shù)類型（Sigmoid或ReLu激活函數(shù)）等，收集大量標(biāo)注數(shù)據(jù)，應(yīng)用能力強(qiáng)的計(jì)算架構(gòu)，不斷優(yōu)化模型參數(shù)，就可以訓(xùn)練得到一個(gè)針對(duì)特定任務(wù)的神經(jīng)網(wǎng)絡(luò)。

在這種“端到端”學(xué)習(xí)過程中，準(zhǔn)備好數(shù)據(jù)、設(shè)計(jì)好模型結(jié)構(gòu)即可，以“煉金術(shù)”方式不斷調(diào)整網(wǎng)絡(luò)隱藏層數(shù)目、每個(gè)隱藏層中包含的神經(jīng)元數(shù)目、激活函數(shù)類型，來調(diào)整網(wǎng)絡(luò)參數(shù)，最終得到一個(gè)特定任務(wù)、特定場(chǎng)景的“最優(yōu)”深度學(xué)習(xí)模型。

近年來，許多研究人員都意識(shí)到需要打破深度學(xué)習(xí)“黑盒子”之桎梏，建立深度學(xué)習(xí)可解釋性[8]的若干評(píng)價(jià)準(zhǔn)則：

（1）算法結(jié)果的合理性。在諸如自動(dòng)駕駛、醫(yī)療和金融決策等領(lǐng)域，進(jìn)行重大決策時(shí)，需要知道算法所給出決策的合理依據(jù)。如果算法只是提供建議作為參考，也要知道算法建議的理由，才能評(píng)估算法結(jié)果是否值得參考。如在醫(yī)療上，曾發(fā)生過預(yù)測(cè)感染肺炎機(jī)率的算法因?yàn)闅v史數(shù)據(jù)存在偏差，誤認(rèn)為患有氣喘與心臟疾病的人死于肺炎的機(jī)率要小于一般健康的人。

（2）算法可被改進(jìn)。如果模型具備可解釋性，則算法研發(fā)者可根據(jù)其輸出結(jié)果優(yōu)劣的原因所在，對(duì)算法進(jìn)行改良。如果算法不具備解釋性，則改良算法變得異常艱難，如設(shè)計(jì)一個(gè)深度學(xué)習(xí)算法要將所有熊貓的圖像分類出來，但是若在熊貓圖像中添加少許噪音，則該算法容易將熊貓圖像識(shí)別為其他物體。由于所設(shè)計(jì)算法不具有可解釋性，因此對(duì)算法的改進(jìn)就無從下手。

（3）算法能提供學(xué)習(xí)的啟迪。當(dāng)一個(gè)學(xué)習(xí)模型從海量數(shù)據(jù)中萃取出知識(shí)，則可使人類利用這些知識(shí)來提高能力。如AlphaGo[9]從浩瀚棋局中采樣得到人類棋手幾乎從未涉足的棋局，從而提高了棋手對(duì)圍棋的理解能力。但這往往需要人類弄清楚模型如何“下”出了如此奇招妙術(shù)。

（4）算法要符合法規(guī)要求。人工智能具有技術(shù)屬性和社會(huì)屬性高度融合的特點(diǎn)。隨著智能算法逐漸賦能社會(huì)，需要算法對(duì)執(zhí)行結(jié)果具有解釋能力，并且符合法律法規(guī)要求，如《歐盟數(shù)據(jù)保護(hù)通用條例》（GeneralDataProtectionRegulation）就規(guī)定使用者有“要求解釋的權(quán)力”。

本文將分別介紹深度學(xué)習(xí)可解釋性研究的五個(gè)方向：卷積神經(jīng)網(wǎng)絡(luò)的可視化、卷積神經(jīng)網(wǎng)絡(luò)的特征分析、卷積神經(jīng)網(wǎng)絡(luò)的缺陷及優(yōu)化、利用傳統(tǒng)機(jī)器學(xué)習(xí)模型來解釋神經(jīng)網(wǎng)絡(luò)、基于可解釋模塊的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)，最后對(duì)深度學(xué)習(xí)可解釋性的進(jìn)展進(jìn)行總結(jié)并展望其發(fā)展趨勢(shì)。

1卷積神經(jīng)網(wǎng)絡(luò)的可視化

1.1基于梯度的濾波器可視化

對(duì)卷積神經(jīng)網(wǎng)絡(luò)（ConvolutionalNeuralNetworks，CNN）中學(xué)習(xí)得到的濾波器（filter）進(jìn)行可視化是探索神經(jīng)元內(nèi)部模式最直接的方式。目前，研究人員已提出了許多卷積神經(jīng)網(wǎng)絡(luò)可視化的方法。

基于梯度的方法[10-13]是卷積神經(jīng)網(wǎng)絡(luò)可視化的主要方法。輸入一張圖像，這些方法計(jì)算圖像所對(duì)應(yīng)的CNN中神經(jīng)元的梯度，然后利用梯度來估計(jì)使神經(jīng)元響應(yīng)最大的圖像外觀。在神經(jīng)網(wǎng)絡(luò)中，一個(gè)神經(jīng)元將前序相連神經(jīng)元給其的輸入信息進(jìn)行加權(quán)累加，然后進(jìn)行非線性變換，將變換結(jié)果以不同權(quán)重向后續(xù)相連神經(jīng)元傳遞。文獻(xiàn)[10]提出了兩種卷積神經(jīng)網(wǎng)絡(luò)可視化的方法，第一種是在計(jì)算輸入圖像的類別置信度梯度基礎(chǔ)上，生成一幅能夠最大化類別置信度的圖像，于是能對(duì)卷積神經(jīng)網(wǎng)絡(luò)所學(xué)習(xí)到的該類別內(nèi)在模式進(jìn)行可視化。第二種是給定某幅輸入圖像及其類別標(biāo)簽，計(jì)算其類別顯著性圖（saliencymap），這種顯著性圖可用來實(shí)現(xiàn)物體分割。文獻(xiàn)[11]提出了另外一種可視化方法，可幫助深入了解卷積神經(jīng)網(wǎng)絡(luò)的中間特征層功能以及分類器的操作。該方法還分析了神經(jīng)網(wǎng)絡(luò)中不同隱藏層在分類任務(wù)中所做出的不同貢獻(xiàn)。文獻(xiàn)[12]提出了一種通過深度學(xué)習(xí)所得結(jié)果來重建圖像的框架，分析了卷積神經(jīng)網(wǎng)絡(luò)中不同隱藏層對(duì)原始圖像的幾何和光照等不變性特點(diǎn)。文獻(xiàn)[13]發(fā)現(xiàn)在不損失任務(wù)精度情況下，卷積網(wǎng)絡(luò)中最大池化層（maxpooling）可用卷積層來代替，只需要將卷積步幅增加即可。同時(shí)，文獻(xiàn)[13]還提出了一種反卷積網(wǎng)絡(luò)方法，可以用于可視化深度學(xué)習(xí)得到的特征。

航空兵器2019年第26卷第1期

吳飛，等：深度學(xué)習(xí)的可解釋性

1.2上卷積網(wǎng)絡(luò)

上卷積網(wǎng)絡(luò)[14]（upconvolutionalnetworks）是另一種可視化卷積神經(jīng)網(wǎng)絡(luò)的技術(shù)。與CNN將圖像非映射到區(qū)別性特征相反，上卷積網(wǎng)絡(luò)將CNN學(xué)習(xí)得到特征反向映射到圖像。值得注意的是，文獻(xiàn)[14]發(fā)現(xiàn)圖像某些視覺屬性可通過靠近輸出端的激活函數(shù)甚至最后一層預(yù)測(cè)置信度大小來重建。

文獻(xiàn)[15]在生成對(duì)抗網(wǎng)絡(luò)（GenerativeAdversarialNetworks，GAN）中以隱式碼元（latentcode）形式引入了一個(gè)附加先驗(yàn)，用來控制合成圖像的語義，從而提升訓(xùn)練樣本的質(zhì)量和多樣性。該方法由一個(gè)生成器網(wǎng)絡(luò)G和一個(gè)可替換條件網(wǎng)絡(luò)C組成，C既可以是一個(gè)用于圖像分類的網(wǎng)絡(luò)，也可以是一個(gè)用于圖像描述生成的網(wǎng)絡(luò)。

1.3圖像區(qū)域提取與顯示

圖像區(qū)域提取是另一類能夠可視化卷積神經(jīng)網(wǎng)絡(luò)的方法，給定一幅帶標(biāo)簽的圖像，該方法能直接提取和輸出對(duì)提高分類置信度起作用的圖像區(qū)域，達(dá)到解釋模型輸出的目的。

文獻(xiàn)[16-17]提出了將特征圖最終損失的梯度回傳到圖像平面的方法來估計(jì)圖像區(qū)域。文獻(xiàn)[18]提出了LIME模型，該模型通過在預(yù)測(cè)值局部的學(xué)習(xí)，從而以一種可解釋的且令人信服的方式解釋任意分類器的預(yù)測(cè)值，并將該方法用于提取對(duì)網(wǎng)絡(luò)輸出高度敏感的圖像區(qū)域。文獻(xiàn)[19-20]提出了能夠?qū)⑤斎雸D像中對(duì)CNN決策過程貢獻(xiàn)最大的區(qū)域進(jìn)行可視化的方法。文獻(xiàn)[21]可對(duì)神經(jīng)網(wǎng)絡(luò)在決策過程中注意區(qū)域以及與注意區(qū)域相關(guān)的主要類別進(jìn)行可視化。文獻(xiàn)[22]提出了一種解釋神經(jīng)網(wǎng)絡(luò)的啟發(fā)式方法，該方法通過計(jì)算Kullback-Leibler散度來選擇與預(yù)測(cè)值最相關(guān)的參數(shù)，并且將輸入圖像散度和CNN的分類預(yù)測(cè)結(jié)果繪制成熱度圖，為“圖像哪部分區(qū)域參與分類”提供了視覺解釋。文獻(xiàn)[23]提出了一種被稱為層級(jí)相關(guān)性傳播（layerwiserelevancepropagation）方法，可對(duì)非線性分類器的分類決策結(jié)果在像素級(jí)上找到解釋，得到每個(gè)像素參與分類決策的貢獻(xiàn)大小，繪制出熱度圖以供參考。

2卷積神經(jīng)網(wǎng)絡(luò)的特征分析

2.1從全局進(jìn)行CNN的特征分析

文獻(xiàn)[24]通過單元分析的方法，探索了每個(gè)濾波器的語義含義，發(fā)現(xiàn)神經(jīng)網(wǎng)絡(luò)中高層所包含的語義信息與整個(gè)高層結(jié)構(gòu)有關(guān)而跟單個(gè)高層單元無關(guān)。文獻(xiàn)[25]通過實(shí)驗(yàn)量化了卷積神經(jīng)網(wǎng)絡(luò)的中間層濾波器的遷移性，發(fā)現(xiàn)通過可遷移特征對(duì)網(wǎng)絡(luò)參數(shù)進(jìn)行初始化可提高網(wǎng)絡(luò)泛化能力。文獻(xiàn)[26]使用大型3DCAD模型數(shù)據(jù)庫進(jìn)行渲染，分析了CNN在識(shí)別不同場(chǎng)景過程中的重要因素。文獻(xiàn)[27]將兩種無監(jiān)督降維學(xué)習(xí)算法PCA和ICA應(yīng)用于預(yù)訓(xùn)練CNN輸出上，通過內(nèi)嵌（embedding）表示來揭示物體類別在視覺上的相似性。

2.2從局部進(jìn)行CNN的對(duì)抗樣本學(xué)習(xí)

對(duì)抗機(jī)器學(xué)習(xí)（adversarialmachinelearning）[28]通過構(gòu)建對(duì)抗樣本來探測(cè)深度學(xué)習(xí)模型的脆弱性，從而理解深度學(xué)習(xí)的可解釋性。文獻(xiàn)[29]通過探討卷積深度神經(jīng)網(wǎng)絡(luò)中各隱藏層神經(jīng)元在不同對(duì)抗樣本上被激活的差異，回溯判斷神經(jīng)元對(duì)卷積深度神經(jīng)網(wǎng)絡(luò)決策過程的影響。文獻(xiàn)[30]建立了一個(gè)逼近卷積深度神經(jīng)網(wǎng)絡(luò)的線性替代模型（substitutemodel），并在結(jié)構(gòu)更加清晰的替代模型上利用梯度信息構(gòu)建對(duì)抗樣本，模擬深度模型對(duì)微小擾動(dòng)的反應(yīng)，以分析卷積深度神經(jīng)網(wǎng)絡(luò)對(duì)輸入樣本變化的敏感性。文獻(xiàn)[31-32]提出了用于計(jì)算CNN對(duì)抗樣本的方法，這些研究旨在估計(jì)可以改變輸入圖像所對(duì)應(yīng)最終預(yù)測(cè)結(jié)果的最小噪聲擾動(dòng)。值得注意的是，文獻(xiàn)[32]提出了一種可用于計(jì)算對(duì)抗樣本的影響函數(shù)，這種影響函數(shù)還可以通過創(chuàng)建訓(xùn)練樣本以攻擊CNN的學(xué)習(xí)、修復(fù)訓(xùn)練集，并進(jìn)一步調(diào)試CNN表示。

3卷積神經(jīng)網(wǎng)絡(luò)的缺陷及優(yōu)化

3.1卷積神經(jīng)網(wǎng)絡(luò)的缺陷

文獻(xiàn)[33]發(fā)現(xiàn)了CNN會(huì)因數(shù)據(jù)集而引發(fā)潛在的偏差表示。具體來說，當(dāng)利用CNN來估計(jì)圖像屬性的時(shí)候，若某個(gè)屬性經(jīng)常與訓(xùn)練圖像中的特定視覺特征共同出現(xiàn)時(shí)，CNN會(huì)趨向于使用共同出現(xiàn)特征來表示屬性。當(dāng)某一屬性所對(duì)應(yīng)特征在語義上與目標(biāo)屬性本身無關(guān)時(shí)，可視為偏差表示。實(shí)際上，這種由于數(shù)據(jù)集偏差引起的表示缺陷是無法通過基于測(cè)試圖像這一傳統(tǒng)評(píng)估策略來發(fā)現(xiàn)，因?yàn)闇y(cè)試圖像也可能含有相同偏差。給定一個(gè)預(yù)訓(xùn)練CNN，例如用于估計(jì)面部屬性的CNN，文獻(xiàn)[33]首先要求用戶去標(biāo)記屬性之間真實(shí)存在的一些關(guān)系，如“唇膏”屬性與“濃妝”屬性之間是正相關(guān)，并與“黑發(fā)”屬性無關(guān)。然后，該方法挖掘CNN中卷積層輸出這些屬性的模式，并使用這些模式來計(jì)算編碼在CNN中的實(shí)際屬性關(guān)系。真實(shí)的屬性關(guān)系與挖掘出來的屬性關(guān)系之間的沖突表明，CNN的表示確實(shí)是有偏差的。

現(xiàn)實(shí)世界中的預(yù)測(cè)模型可能會(huì)給實(shí)例分配錯(cuò)誤的標(biāo)簽。這種錯(cuò)誤或者未知模式來源于模型的不完備性，通常是由于訓(xùn)練數(shù)據(jù)和測(cè)試數(shù)據(jù)不匹配造成的。給定一個(gè)預(yù)訓(xùn)練好的用于物體分類的CNN，文獻(xiàn)[34]提出了一種以弱監(jiān)督的方式來發(fā)現(xiàn)CNN知識(shí)盲點(diǎn)（未知模式）的方法。該方法通過預(yù)言（oracle）反饋?zhàn)詣?dòng)發(fā)現(xiàn)和識(shí)別未知模式。這一方法根據(jù)實(shí)例特征相似度和預(yù)測(cè)模型給出的置信度將CNN整個(gè)特征空間中所有采樣點(diǎn)分類為數(shù)千個(gè)偽類別。假設(shè)一個(gè)性能良好的CNN能夠使用每個(gè)偽類別的子空間來表示特定物體類的子集。通過這種方式，該方法隨機(jī)展示了每個(gè)子空間內(nèi)物體樣本，并利用探索-利用（explore-exploit）策略來揭示隱藏在預(yù)訓(xùn)練CNN中的潛在表示缺陷。

3.2卷積神經(jīng)網(wǎng)絡(luò)的優(yōu)化

將神經(jīng)網(wǎng)絡(luò)和結(jié)構(gòu)化的邏輯規(guī)則相結(jié)合，利用邏輯規(guī)則的靈活性來提升神經(jīng)網(wǎng)絡(luò)可解釋性是卷積神經(jīng)網(wǎng)絡(luò)優(yōu)化的一種方法。文獻(xiàn)[35]提出了一種能利用一階邏輯來優(yōu)化神經(jīng)網(wǎng)絡(luò)的方法。具體而言，該方法是一種迭代蒸餾的方法，將邏輯規(guī)則的結(jié)構(gòu)化信息轉(zhuǎn)換為神經(jīng)網(wǎng)絡(luò)的權(quán)重，并將基于該方法的卷積神經(jīng)網(wǎng)絡(luò)和循環(huán)神經(jīng)網(wǎng)絡(luò)分別應(yīng)用于情感分析和命名實(shí)體識(shí)別。該方法以自然語言中直觀的邏輯規(guī)則作為損失函數(shù)，對(duì)網(wǎng)絡(luò)進(jìn)行優(yōu)化，從而獲得高性能的可解釋網(wǎng)絡(luò)表示。

文獻(xiàn)[36]通過利用豐富的語義信息來提升神經(jīng)網(wǎng)絡(luò)的可解釋性。以視頻描述生成任務(wù)為例，文獻(xiàn)[36]先通過WarpLDA[37]提取一些覆蓋了大多數(shù)視覺概念的具有語義信息的主題，然后通過一個(gè)可解釋損失函數(shù)將其整合進(jìn)模型中，利用一個(gè)預(yù)測(cè)誤差最大化算法來解釋每個(gè)神經(jīng)元學(xué)到的特征。在視頻描述生成任務(wù)上的實(shí)驗(yàn)驗(yàn)證了該方法的有效性。不僅如此，將視頻描述生成任務(wù)中所學(xué)習(xí)得到的特征遷移到視頻動(dòng)作識(shí)別任務(wù)中也依然有效。通過人機(jī)交互（humanintheloop）方式，用戶易于更正錯(cuò)誤預(yù)測(cè)值，從而對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行優(yōu)化。

文獻(xiàn)[38]提出了一種基于采樣和強(qiáng)化學(xué)習(xí)的新型損失函數(shù)，通過該損失函數(shù)訓(xùn)練的網(wǎng)絡(luò)不僅可以判別出圖像的屬性，還可以同時(shí)生成判別的依據(jù)。實(shí)驗(yàn)結(jié)果表明，添加了新型損失函數(shù)的網(wǎng)絡(luò)比圖像描述生成的網(wǎng)絡(luò)具有更好的性能。

4利用傳統(tǒng)機(jī)器學(xué)習(xí)模型來解釋神經(jīng)網(wǎng)絡(luò)

與前述神經(jīng)網(wǎng)絡(luò)的可視化、特征分析、缺陷和優(yōu)化相比，利用傳統(tǒng)機(jī)器學(xué)習(xí)模型也可解釋神經(jīng)網(wǎng)絡(luò)。考慮到卷積網(wǎng)絡(luò)的卷積層中的每個(gè)濾波器都融合了某些物體部位的表示，Zhang等人[39-40]提出了一種解釋預(yù)訓(xùn)練CNN的卷積層特征的方法，并使用可解釋圖（explanatorygraph）來揭示隱藏在CNN內(nèi)的知識(shí)層次。該方法是一種無監(jiān)督學(xué)習(xí)的方法，即不需要物體的部位標(biāo)記信息。

圖1所示的可解釋圖揭示了CNN中隱藏的知識(shí)層次和濾波器所對(duì)應(yīng)特征圖中組件模式（partpattern）的融合方式，并使用圖節(jié)點(diǎn)來表示一個(gè)部位：

（1）可解釋圖具有多層，每層對(duì)應(yīng)于CNN的特定卷積層。

（2）可解釋圖中的每個(gè)節(jié)點(diǎn)表示一個(gè)具有高遷移性的組件模式，這些組件模式由數(shù)百或數(shù)千個(gè)不同圖像中相同物體組件所共享。因此，可以將節(jié)點(diǎn)用于物體定位。

（3）可解釋圖中，邊表示相鄰層中兩個(gè)節(jié)點(diǎn)之間相同激活關(guān)系及其對(duì)應(yīng)組件的空間關(guān)系。

（4）每個(gè)輸入圖像只能觸發(fā)可解釋圖中的一小部分節(jié)點(diǎn)。

在可解釋圖的基礎(chǔ)上，Zhang等人[41]提出了一種通過決策樹來定量解釋卷積網(wǎng)絡(luò)的預(yù)測(cè)邏輯。該方法可以在CNN的高層卷積層中學(xué)習(xí)物體部位的顯示表示，同時(shí)在全連接層中挖掘潛在決策模式。決策樹通過一種由粗到細(xì)的方式對(duì)這些潛在決策模式進(jìn)行重組，從而可以定量解釋CNN的預(yù)測(cè)邏輯。也就是說，給定輸入圖像，使用CNN來進(jìn)行預(yù)測(cè)。決策樹將揭示卷積層中哪些濾波器會(huì)參與預(yù)測(cè)以及這些濾波器對(duì)預(yù)測(cè)結(jié)果的貢獻(xiàn)程度。

5基于可解釋模塊的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)

上述方法幾乎都集中在對(duì)預(yù)訓(xùn)練網(wǎng)絡(luò)的解釋上。本節(jié)將介紹基于可解釋模塊的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)方法，這些神經(jīng)網(wǎng)絡(luò)的中間層不再是黑盒子，而是具有明確的語義。與對(duì)預(yù)訓(xùn)練好的網(wǎng)絡(luò)進(jìn)行解釋相比，基于可解釋模塊的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)帶來了更大的挑戰(zhàn)。目前，只有少數(shù)關(guān)于這方面的研究。

5.1可解釋的卷積神經(jīng)網(wǎng)絡(luò)

文獻(xiàn)[42]提出了一種可解釋的卷積神經(jīng)網(wǎng)絡(luò)，如圖2所示。該方法通過為卷積層中每個(gè)濾波器添加損失來獲得高層卷積層中可解釋表示。在可解釋卷積神經(jīng)網(wǎng)絡(luò)中，每個(gè)濾波器所對(duì)應(yīng)特征圖表

示某個(gè)物體組件。與此同時(shí)，該方法不需要標(biāo)注任何物體組件或紋理來指導(dǎo)可解釋神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)。相反，該網(wǎng)絡(luò)會(huì)在“端到端”學(xué)習(xí)過程中自動(dòng)為高層卷積層中每個(gè)濾波器分配一個(gè)物體組件?？山忉尵矸e網(wǎng)絡(luò)中的顯示知識(shí)表示可以幫助人們更好地理解卷積神經(jīng)網(wǎng)絡(luò)中的邏輯。

5.2可解釋的區(qū)域卷積神經(jīng)網(wǎng)絡(luò)

基于隱性結(jié)構(gòu)學(xué)習(xí)和區(qū)域卷積網(wǎng)絡(luò)（RCNN）[43-45]，文獻(xiàn)[46]提出了一種用于物體檢測(cè)的可解釋區(qū)域卷積神經(jīng)網(wǎng)絡(luò)。該方法是一種弱監(jiān)督學(xué)習(xí)模型，可在物體檢測(cè)過程中自動(dòng)展開物體組件的隱組件標(biāo)記（partconfiguration），且不需要標(biāo)注任何組件作為監(jiān)督信息。文獻(xiàn)[46]使用了一種有向無環(huán)與或圖（AndOrGraph，AOG）模型，并利用該模型中的自上而下的層次和組合語法模型來模擬物體部位的隱標(biāo)記，從而探索和展開興趣區(qū)域（RegionofInterest，RoI）的隱組件標(biāo)記空間。與此同時(shí)，該方法提出了一種AOG解析運(yùn)算符來替代RCNN中使用的興趣區(qū)域池化（RoIPooling）運(yùn)算符。在物體檢測(cè)過程中，邊界框由AOG導(dǎo)出的最佳解析樹來解釋。該方法采用了一種折疊-展開的“端到端”的方法來訓(xùn)練AOG和RCNN。

5.3膠囊網(wǎng)絡(luò)

文獻(xiàn)[47]提出了一種被稱為“膠囊”的新型神經(jīng)單元，這種單元可代替?zhèn)鹘y(tǒng)的神經(jīng)單元以構(gòu)建膠囊網(wǎng)絡(luò)。每個(gè)膠囊由一組神經(jīng)元組成，這些神經(jīng)元的活動(dòng)向量（activityvector）表示某種實(shí)體類型的實(shí)例化參數(shù)?；顒?dòng)向量的長度表示實(shí)體出現(xiàn)概率，活動(dòng)向量的方向表示實(shí)例化的參數(shù)?；钴S的低層膠囊預(yù)測(cè)結(jié)果會(huì)通過轉(zhuǎn)移矩陣發(fā)送到相鄰更高層的膠囊之中。當(dāng)多個(gè)預(yù)測(cè)信息一致時(shí)，高層膠囊會(huì)變得活躍。該方法使用協(xié)議路由（routingbyagreement）機(jī)制，該機(jī)制會(huì)為那些能更好擬合高層膠囊的實(shí)例化參數(shù)的低層膠囊分配更高權(quán)重。在MNIST[48]上的實(shí)驗(yàn)表明，使用訓(xùn)練膠囊網(wǎng)絡(luò)時(shí)，膠囊編碼了一個(gè)特定語義概念。膠囊活動(dòng)向量的不同維度刻畫了不同特征，如（1）尺度和厚度;（2）局部部位;（3）筆畫粗細(xì);（4）局部偏斜;（5）寬度和平移。

6發(fā)展趨勢(shì)與展望

6.1發(fā)展趨勢(shì)

關(guān)于深度學(xué)習(xí)的可解釋性的發(fā)展趨勢(shì)，對(duì)近5年（2014～2018年）發(fā)表在機(jī)器學(xué)習(xí)與人工智能相關(guān)的國際頂級(jí)會(huì)議（ICML，NeurIPS，AAAI，IJCAI，CVPR，ICCV/ECCV）上的論文進(jìn)行調(diào)研，統(tǒng)計(jì)分析了題目包含“explain”或“interpret”的深度學(xué)習(xí)相關(guān)的論文，統(tǒng)計(jì)結(jié)果如表1所示。

近5年來，總共有101篇關(guān)于深度學(xué)習(xí)的可解釋性的論文發(fā)表在上述的關(guān)于機(jī)器學(xué)習(xí)和人工智能的七大國際頂級(jí)會(huì)議中，統(tǒng)計(jì)調(diào)查后發(fā)現(xiàn)：

（1）總體來講，深度學(xué)習(xí)的可解釋性是當(dāng)前的一個(gè)研究熱點(diǎn)。關(guān)于深度學(xué)習(xí)可解釋性的論文在2014～2015年幾乎沒有，在2016年只有11篇，但在2018年卻增長到了62篇。

（2）關(guān)于深度學(xué)習(xí)的可解釋性的研究呈現(xiàn)出快速增長趨勢(shì)，且增長速度越來越快。2014～2015年的時(shí)候幾乎沒有關(guān)于深度學(xué)習(xí)的可解釋性的研究，但隨后以每年10余篇左右的增長趨勢(shì)增長，2018年關(guān)于深度學(xué)習(xí)的可解釋性的研究已經(jīng)達(dá)到62篇?？梢灶A(yù)見，之后兩年關(guān)于深度學(xué)習(xí)的可解釋性的研究會(huì)越來越多。

（3）上述各大機(jī)器學(xué)習(xí)與人工智能的會(huì)議既包含了理論又包含了應(yīng)用，但每年關(guān)于深度學(xué)習(xí)的可解釋性的研究論文數(shù)量分布都較為均勻，體現(xiàn)了深度學(xué)習(xí)的可解釋性的理論價(jià)值和應(yīng)用價(jià)值，從側(cè)面說明了深度學(xué)習(xí)的可解釋性的重要性。

6.2展望

2018年9月，美國國防高級(jí)研究計(jì)劃局（DARPA）啟動(dòng)了被稱為“加速第三波”的人工智能探索（ArtificialIntelligenceExploration，AIE）項(xiàng)目，探索類人水平的交流和推理能力，以對(duì)新環(huán)境自適應(yīng)。

DAPRA認(rèn)為，第一波人工智能以符號(hào)主義人工智能為手段，主要處理語言和可描述信息;第二波人工智能在數(shù)據(jù)建模基礎(chǔ)上、從數(shù)據(jù)中學(xué)習(xí)模式，以模型假設(shè)的機(jī)器學(xué)習(xí)為手段;第三波人工智能以自適應(yīng)和推理為核心目標(biāo)。

美國國家科學(xué)基金會(huì)（NationalScienceFoundation，NSF）2018年12月啟動(dòng)了“魯棒智能（robustintelligence）”項(xiàng)目，旨在對(duì)復(fù)雜和真實(shí)環(huán)境下的人工智能進(jìn)行更好理解。

目前，深度學(xué)習(xí)的可解釋性研究雖然取得了一定的進(jìn)展，但仍處于初級(jí)階段，還有許多值得研究的方向：

（1）深度學(xué)習(xí)+因果模型（causalmodeling）。因果計(jì)算指從觀察數(shù)據(jù)中發(fā)現(xiàn)事物間的因果結(jié)構(gòu)和定量推斷，將深度學(xué)習(xí)與因果模型相結(jié)合，是研究深度學(xué)習(xí)的可解釋性的一種直觀和自然的方法。圖靈獎(jiǎng)獲得者JudeaPearl教授曾通過三個(gè)層面來解釋因果與關(guān)聯(lián)之間的關(guān)系：關(guān)聯(lián)（association）是直接可從數(shù)據(jù)中計(jì)算得到的統(tǒng)計(jì)相關(guān);介入（intervention）是無法直接從觀測(cè)數(shù)據(jù)就能得到關(guān)系，如“某個(gè)商品漲價(jià)會(huì)產(chǎn)生什么結(jié)果”;反事實(shí)（counterfactual）指某個(gè)事情已經(jīng)發(fā)生了，那么在相同環(huán)境中，這個(gè)事情不發(fā)生會(huì)帶來怎樣的新結(jié)果。

（2）深度學(xué)習(xí)+推理（reasoning）。深度學(xué)習(xí)可以與推理在多個(gè)方向進(jìn)行結(jié)合：a.常識(shí)推理（commonsensereasoning），將深度學(xué)習(xí)與常識(shí)相結(jié)合，形成可解釋的能自動(dòng)推理的系統(tǒng);b.類比計(jì)算（computationalanalogy），在復(fù)雜環(huán)境中，利用已有的案例和不完備的信息進(jìn)行推理;c.時(shí)空推理（spatialtemporalreasoning），為智能體設(shè)計(jì)高級(jí)的控制系統(tǒng)，使其能導(dǎo)航和理解時(shí)間和空間。DARPA在2018年10月啟動(dòng)了一個(gè)被稱為“機(jī)器常識(shí)（machinecommonsense）”的項(xiàng)目，研究如何從書本和已有數(shù)據(jù)中學(xué)習(xí)常識(shí)、如何從環(huán)境交互中學(xué)習(xí)常識(shí)以及如何測(cè)試常識(shí)能力等內(nèi)容?！痘茨献诱f山訓(xùn)》中曾寫到：見一葉落，而知?dú)q之將暮;審堂下之陰，而知日月之行，陰陽之變。人類具有這樣的常識(shí)推理能力，從一個(gè)現(xiàn)象“直覺聯(lián)想”到另外一個(gè)現(xiàn)象。

（3）認(rèn)知理論和模型（cognitivetheoryandmodeling）?，F(xiàn)有的許多深度學(xué)習(xí)模型都來源于對(duì)生物認(rèn)知的模仿，如“神經(jīng)網(wǎng)絡(luò)”一詞本身就表明其借鑒了生物的神經(jīng)元結(jié)構(gòu)，卷積神經(jīng)網(wǎng)絡(luò)和長短時(shí)記憶網(wǎng)絡(luò)都可以看作是大腦皮層結(jié)構(gòu)的模仿。要設(shè)計(jì)出更魯棒的可解釋的深度學(xué)習(xí)系統(tǒng)，可以考慮將更先進(jìn)的認(rèn)知理論和模型與深度學(xué)習(xí)系統(tǒng)相結(jié)合。

（4）智能人機(jī)交互（intelligenthumancomputerinteraction）。要設(shè)計(jì)出可解釋的智能深度學(xué)習(xí)交互系統(tǒng)，可從以下幾個(gè)方向考慮：人類認(rèn)知建模、腦機(jī)接口、觸覺界面、人機(jī)交互和協(xié)作、用戶適應(yīng)和個(gè)性化。

良好的人工智能模型應(yīng)該是可解釋、更通用和自適應(yīng)的，從數(shù)據(jù)、規(guī)則以及交互中永不停息（neverending）進(jìn)行學(xué)習(xí)[49]。數(shù)據(jù)驅(qū)動(dòng)的機(jī)器學(xué)習(xí)方法已經(jīng)成功運(yùn)用于自然語言、多媒體、計(jì)算機(jī)視覺、語音和跨媒體等領(lǐng)域，后續(xù)應(yīng)以可解釋性作為切入點(diǎn)，通過注意力機(jī)制、記憶網(wǎng)絡(luò)、遷移學(xué)習(xí)、強(qiáng)化學(xué)習(xí)等手段與人類知識(shí)進(jìn)行有機(jī)結(jié)合，從而實(shí)現(xiàn)從淺層計(jì)算到深度神經(jīng)推理、從單純依賴于數(shù)據(jù)驅(qū)動(dòng)的模型到數(shù)據(jù)驅(qū)動(dòng)與知識(shí)引導(dǎo)相結(jié)合、從領(lǐng)域任務(wù)驅(qū)動(dòng)智能到更通用條件下的強(qiáng)人工智能。

參考文獻(xiàn)：

[1]LeCunY，BengioY，HintonG.Deeplearning[J].Nature，2015，521（7553）：436-444.

[2]GoodfellowI，BengioY，CourvilleA，etal.DeepLearning[M].Cambridge：MITPress，2016.

[3]MikolovT，SutskeverI，ChenK，etal.DistributedRepresentationsofWordsandPhrasesandTheirCompositionality[C]∥AdvancesinNeuralInformationProcessingSystems，2013：3111-3119.

[4]WuFei，LuXiyan，SongJun，etal.LearningofMultimodalRepresentationswithRandomWalksontheClickGraph[J].IEEETransactionsonImageProcessing，2016，25（2）：630-642.

[5]KrizhevskyA，SutskeverI，HintonGE.ImagenetClassificationwithDeepConvolutionalNeuralNetworks[C]∥AdvancesinNeuralInformationProcessingSystems，2012：1097-1105.

[6]GravesA，JaitlyN.TowardsEndtoEndSpeechRecognitionwithRecurrentNeuralNetworks[C]∥Proceedingsofthe31stInternationalConferenceonMachineLearning，Beijing，2014：1764-1772.

[7]PengYuxin，HuangXin，ZhaoYunzhen.AnOverviewofCrossMediaRetrieval：Concepts，Methodologies，Benchmarks，andChallenges[J].IEEETransactionsonCircuitsandSystemsforVideoTechnology，2018，28（9）：2372-2385.

[8]ZhangQuanshi，ZhuSongchun.VisualInterpretabilityforDeepLearning：ASurvey[J].FrontiersofInformationTechnology&ElectronicEngineering，2018，19（1）：27-39.

[9]SilverD，HuangA，MaddisonCJ，etal.MasteringtheGameofGowithDeepNeuralNetworksandTreeSearch[J].Nature，2016，529（7587）：484.

[10]SimonyanK，VedaldiA，ZissermanA.DeepInsideConvolutionalNetworks：VisualisingImageClassificationModelsandSaliencyMaps[EB/OL].（2014-04-19）[2018-11-29].https：∥arxiv.org/pdf/1312.6034.pdf.

[11]ZeilerMD，F(xiàn)ergusR.VisualizingandUnderstandingConvolutionalNetworks[C]∥13thEuropeanConferenceonComputerVision，Zurich，2014：818-833.

[12]MahendranA，VedaldiA.UnderstandingDeepImageRepresentationsbyInvertingThem[C]∥ProceedingsoftheIEEEConferenceonComputerVisionandPatternRecognition，Boston，2015：5188-5196.

[13]SpringenbergJT，DosovitskiyA，BroxT，etal.StrivingforSimplicity：TheAllConvolutionalNet

[EB/OL].（2015-04-13）[2018-11-29].https：∥arxiv.org/pdf/1412.6806.pdf.

[14]DosovitskiyA，BroxT.InvertingVisualRepresentationswithConvolutionalNetworks[C]∥ProceedingsoftheIEEEConferenceonComputerVisionandPatternRecognition，LasVegas，2016：4829-4837.

[15]NguyenA，CluneJ，BengioY，etal.Plug&PlayGenerativeNetworks：ConditionalIterativeGenerationofImagesinLatentSpace[C]∥ProceedingsoftheIEEEConferenceonComputerVisionandPatternRecognition（CVPR），Honolulu，2017.

[16]FongRC，VedaldiA.InterpretableExplanationsofBlackBoxesbyMeaningfulPerturbation[C]∥IEEEInternationalConferenceonComputerVision（ICCV），2017.

[17]SelvarajuRR，CogswellM，DasA，etal.GradCAM：VisualExplanationsfromDeepNetworksviaGradientBasedLocalization[C]∥IEEEInternationalConferenceonComputerVision（ICCV），2017.

[18]RibeiroMT，SinghS，GuestrinC."WhyShouldITrustYou？"：ExplainingthePredictionsofAnyClassifier[C]∥Proceedingsofthe22ndACMSIGKDDInternationalConferenceonKnowledgeDiscoveryandDataMining，2016：1135-1144.

[19]ZintgrafLM，CohenTS，AdelT，etal.VisualizingDeepNeuralNetworkDecisions：PredictionDifferenceAnalysis[C]∥InternationalConferenceonLearningRepresentations，Toulon，2017.

[20]KindermansPJ，SchüttKT，AlberM，etal.LearningHowtoExplainNeuralNetworks：PatternNetandPatternAttribution[C]∥InternationalConferenceonLearningRepresentations，Vancouver，2018.

[21]KumarD，WongA，TaylorGW.ExplainingtheUnexplained：AClassEnhancedAttentiveResponse（CLEAR）ApproachtoUnderstandingDeepNeuralNetworks[C]∥ProceedingsoftheIEEEComputerVisionandPatternRecognition（CVPR），Honolulu，2017.

[22]BabikerHKB，GoebelR.UsingKLDivergencetoFocusDeepVisualExplanation[EB/OL].（2018-01-25）[2018-11-29].https：∥arxiv.org/pdf/1711.06431.pdf.

[23]BachS，BinderA，MontavonG，etal.OnPixelWiseExplanationsforNonLinearClassifierDecisionsbyLayerWiseRelevancePropagation[J].PlosOne，2015，10（7）：e0130140.

[24]SzegedyC，ZarembaW，SutskeverI，etal.IntriguingPropertiesofNeuralNetworks[EB/OL].（2014-02-19）[2018-11-29].https：∥arxiv.org/pdf/1312.6199.pdf.

[25]YosinskiJ，CluneJ，BengioY，etal.HowTransferableareFeaturesinDeepNeuralNetworks？[C]∥AdvancesinNeuralInformationProcessingSystems，2014：3320-3328.

[26]AubryM，RussellBC.UnderstandingDeepFeatureswithComputerGeneratedImagery[C]∥ProceedingsoftheIEEEInternationalConferenceonComputerVision，2015：2875-2883.

[27]LuYao.UnsupervisedLearningonNeuralNetworkOutputs：withApplicationinZeroShotLearning[EB/OL].（2016-05-23）[2018-11-29].https：∥arxiv.org/pdf/1506.00990.pdf.

[28]PapernotN，McDanielP，JhaS，etal.TheLimitationsofDeepLearninginAdversarialSettings[C]∥SecurityandPrivacy（EuroS&P），IEEEEuropeanSymposiumonSecurityandPrivacy，Saarbrucken，2016：372-387.

[29]DongY，SuH，ZhuJ，etal.TowardsInterpretableDeepNeuralNetworksbyLeveragingAdversarialExamples[EB/OL].（2017-08-18）[2018-11-29].https：∥arxiv.org/pdf/1708.05493.pdf.

[30]RossAS，DoshiVelezF.ImprovingtheAdversarialRobustnessandInterpretabilityofDeepNeuralNetworksbyRegularizingTheirInputGradients[C]∥AAAI，2018：1660-1669.

[31]SuJ，VargasDV，KouichiS.OnePixelAttackforFoolingDeepNeuralNetworks[EB/OL].（2018-02-22）[2018-11-29].https：∥arxiv.org/pdf/1710.08864.pdf.

[32]KohPW，LiangP.UnderstandingBlackBoxPredictionsviaInfluenceFunctions[EB/OL].（2017-07-10）[2018-11-29].https：∥arxiv.org/pdf/1703.04730.pdf.

[33]ZhangQuanshi，WangWenguan，ZhuSongchun.ExaminingCNNRepresentationswithRespecttoDatasetBias[EB/OL].（2017-11-22）[2018-11-29].https：∥arxiv.org/pdf/1710.10577.pdf.

[34]LakkarajuH，KamarE，CaruanaR，etal.IdentifyingUnknownUnknownsintheOpenWorld：RepresentationsandPoliciesforGuidedExploration[C]∥AAAIConferenceonArtificialIntelligence，2017.

[35]HuZhiting，MaXuezhe，LiuZhengzhong，etal.HarnessingDeepNeuralNetworkswithLogicRules[EB/OL].（2016-11-15）[2018-11-29].https：∥arxiv.org/pdf/1603.06318.pdf.

[36]DongYinpeng，SuHang，ZhuJun，etal.ImprovingInterpretabilityofDeepNeuralNetworkswithSemanticInformation[EB/OL].（2017-03-30）[2018-11-29].https：∥arxiv.org/pdf/1703.04096.pdf.

[37]ChenJianfei，LiKaiwei，ZhuJun，etal.WarpLDA：ASimpleandEfficientO（1）AlgorithmforLatentDirichletAllocation[EB/OL].（2016-03-02）[2018-11-29].https：∥arxiv.org/pdf/1510.08628v1.pdf.

[38]HendricksLA，AkataZ，RohrbachM，etal.GeneratingVisualExplanations[C]∥14thEuropeanConferenceonComputerVision，Amsterdam，2016：3-19.

[39]ZhangQuanshi，CaoRuiming，WuYingnian，etal.GrowingInterpretablePartGraphsonConvNetsviaMultiShotLearning[C]∥AAAIConferenceonArtificialIntelligence，2017：2898-2906.

[40]ZhangQuanshi，CaoRuiming，ShiFeng，etal.InterpretingCNNKnowledgeviaanExplanatoryGraph[C]∥AAAIConferenceonArtificialIntelligence，2018.

[41]ZhangQuanshi，YangYu，WuYingnian，etal.InterpretingCNNsviaDecisionTrees[EB/OL].（2018-02-01）[2018-11-29].https：∥arxiv.org/pdf/1802.00121.pdf.

[42]ZhangQuanshi，WuYingnian，ZhuSongchun.InterpretableConvolutionalNeuralNetworks[C]∥ProceedingsoftheIEEEConferenceonComputerVisionandPatternRecognition（CVPR），2018：8827-8836

[43]GirshickR，DonahueJ，DarrellT，etal.RichFeatureHierarchiesforAccurateObjectDetectionandSemanticSegmentation[C]∥ProceedingsoftheIEEEConferenceonComputerVisionandPatternRecognition，2014：580-587.

[44]GirshickR.FastRCNN[C]∥ProceedingsoftheIEEEInternationalConferenceonComputerVision，Santiago，2015：1440-1448.

[45]RenShaoqing，HeKaiming，GirshickR，etal.FasterRCNN：TowardsRealTimeObjectDetectionwithRegionProposalNetworks[J].IEEETransactionsonPatternAnalysis&MachineIntelligence，2015，39（6）：1137-1149.

[46]WuTianfu，SunWei，LiXilai，etal.TowardsInterpretableRCNNbyUnfoldingLatentStructures[EB/OL].（2018-09-06）[2018-11-29].https：∥arxiv.org/pdf/1711.05226.pdf.

[47]SabourS，F(xiàn)rosstN，HintonGE.DynamicRoutingbetweenCapsules[C]∥AdvancesinNeuralInformationProcessingSystems，2017：3856-3866.

[48]LeCunY.TheMNISTDatabaseofHandwrittenDigits[EB/OL].[2018-11-29].http：∥yann.lecun.com/exdb/mnist/，1998.

[49]ZhuangYueting，WuFei，ChenChun，etal.ChallengesandOpportunities：FromBigDatatoKnowledgeinAI2.0[J].FrontiersofInformationTechnology&ElectronicEngineering，2017，18（1）：3-14.