程國(guó)建, 劉連宏

(西安石油大學(xué) 研究生院, 西安710065)

0 引 言

自20 世紀(jì)70 年代以來(lái),對(duì)智能系統(tǒng)的解釋一直存在著零星的關(guān)注。 首先是對(duì)專家系統(tǒng)的關(guān)注,接著是十年之后的神經(jīng)網(wǎng)絡(luò),再到2000 年之后的推薦系統(tǒng)［1～2］。 但是,近年來(lái)關(guān)于機(jī)器學(xué)習(xí)的可解釋性的研究尚未引起足夠的重視,越來(lái)越多的關(guān)注放到了用機(jī)器學(xué)習(xí)實(shí)現(xiàn)預(yù)測(cè)能力和模型的研究,而解釋決策過(guò)程的能力則退居其次。 ML(機(jī)器學(xué)習(xí))系統(tǒng)在許多領(lǐng)域都取得了矚目的成就,使用越來(lái)越復(fù)雜和不透明的算法(如深度學(xué)習(xí)),需要對(duì)上述系統(tǒng)的輸出進(jìn)行分析和解釋。

人工智能可解釋性也受到公眾的關(guān)注,2016年,白宮科技政策辦公室公布的美國(guó)人工智能的報(bào)告,題目為“準(zhǔn)備人工智能的未來(lái)”。 這篇報(bào)告表示,人工智能系統(tǒng)應(yīng)確保是透明的、開放的、可以理解的,這樣就能清楚的知道人工智能系統(tǒng)背后的假設(shè)和決策模型。 在2017 年,美國(guó)計(jì)算機(jī)協(xié)會(huì)公共政策委員會(huì)(USACM)發(fā)布了一份“算法透明度聲明和問(wèn)責(zé)”,也要求算法透明,以達(dá)到可解釋的目的。2018 年荷蘭AI 宣言的草案中,專注于可辯解的人工智能,要求人工智能的準(zhǔn)確性與可解釋性并重。同年7 月,歐盟委員會(huì)發(fā)布了一份關(guān)于負(fù)責(zé)任的人工智能和國(guó)家人工智能的戰(zhàn)略報(bào)告中,將不透明(黑盒風(fēng)險(xiǎn))和可解釋性風(fēng)險(xiǎn)列為人工智能的兩個(gè)性能風(fēng)險(xiǎn)［3］。 2019 年4 月,歐盟委員會(huì)的人工智能高級(jí)別專家組(AI HLEG)發(fā)布了“值得信賴的人工智能”［4］,可解釋性原則被列為人工智能系統(tǒng)中的倫理原則之一,透明性被作為可信任AI 的七個(gè)關(guān)鍵要求之一［5］,并指出“一個(gè)系統(tǒng)要成為可信賴的,必須能夠理解為什么它會(huì)以某種方式運(yùn)行,為什么它會(huì)提供給定的解釋”,強(qiáng)調(diào)了對(duì)可解釋人工智能領(lǐng)域研究的重要性。

1 動(dòng)機(jī)和挑戰(zhàn)

1.1 可解釋性

可解釋沒有確切的定義,Miller 給出了一個(gè)解釋是：“可解釋性是指一個(gè)人能夠理解一個(gè)決定的原因的程度”［6］。 也就是說(shuō),如果一個(gè)人能夠容易的推理和追溯為什么模型能做出預(yù)測(cè),那么模型的可解釋性就較好。 相比之下,第一個(gè)模型的決策比第二個(gè)模型的決策更容易讓人們理解和接受,那么第一個(gè)模型就比第二個(gè)更具解釋性。

1.2 可解釋性的要求

如果一個(gè)機(jī)器學(xué)習(xí)模型表現(xiàn)的足夠好,并且具有可接受的預(yù)測(cè)性能,為什么在信任它的同時(shí)還得明白它為什么做出某個(gè)決定？ Doshi-Velez 和Kim認(rèn)為,只采用單一的度量標(biāo)準(zhǔn),如分類精度,是對(duì)大多數(shù)真實(shí)世界任務(wù)的不完整描述。 值得注意的是并不是每個(gè)ML 系統(tǒng)都需要解釋能力,在某些具體的應(yīng)用中,只需要提高預(yù)測(cè)性能,不需要解釋決策。Doshi-Velez 和Kim 認(rèn)為有兩種情況是不需要解釋決策的(1)在沒有重大影響或沒有因結(jié)果不正確而導(dǎo)致嚴(yán)重后果的；(2)在實(shí)際的運(yùn)用中該問(wèn)題已經(jīng)有足夠多的研究和驗(yàn)證,可以完全信任系統(tǒng)的決策。前者指的是低風(fēng)險(xiǎn)的系統(tǒng),如推薦系統(tǒng)、廣告系統(tǒng)等,即使決策錯(cuò)誤也不會(huì)造成嚴(yán)重甚至致命的后果［7］。 后者指的是已經(jīng)經(jīng)過(guò)研究并且使用了一段時(shí)間的系統(tǒng),如郵政編碼的分揀和飛機(jī)碰撞系統(tǒng)［8］等。

1.3 高風(fēng)險(xiǎn)決策

在醫(yī)療保健和金融服務(wù)以及其他受到嚴(yán)格監(jiān)管的領(lǐng)域,利用ML 系統(tǒng)進(jìn)行高風(fēng)險(xiǎn)決策的趨勢(shì)越來(lái)越明顯,這些決策對(duì)人類生活和社會(huì)都產(chǎn)生了深遠(yuǎn)的影響,進(jìn)一步推動(dòng)了對(duì)可解釋的需求。 ML 已經(jīng)支持高風(fēng)險(xiǎn)決策的事實(shí)并不意味著它不容易出錯(cuò),預(yù)測(cè)模型缺乏透明性和可靠性在不同領(lǐng)域中已經(jīng)出現(xiàn)了嚴(yán)重的后果,如：人們被錯(cuò)誤地拒絕假釋［9］,錯(cuò)誤的保釋決定導(dǎo)致潛在的危險(xiǎn)罪犯得到釋放。 決策系統(tǒng)不是百分百的完美,但并不是意味著ML 模型原本就是壞的。 模型取決于訓(xùn)練它的信息,將真實(shí)世界的數(shù)據(jù)提供給模型時(shí),該模型將學(xué)習(xí)這些模式并返回針對(duì)于這些行為的預(yù)測(cè)。 出現(xiàn)預(yù)測(cè)不準(zhǔn)確的原因有兩個(gè)：(1)在訓(xùn)練時(shí)如果提供的數(shù)據(jù)本身就存在不正確的因素；(2)將訓(xùn)練好的模型用于一個(gè)相似的領(lǐng)域的預(yù)測(cè),也可能導(dǎo)致預(yù)測(cè)失敗。 有證據(jù)證明,不正確的建模假設(shè)至少對(duì)最近的抵押貸款危機(jī)負(fù)有部分責(zé)任［10］。

2 可解釋性評(píng)估方法

2.1 評(píng)估指標(biāo)

評(píng)價(jià)和比較機(jī)器學(xué)習(xí)的可解釋性有兩種指標(biāo)：定性指標(biāo)和定量指標(biāo)。

定性解釋能力指標(biāo)：Doshi-Velez 和Kim 提出了與解釋相關(guān)的5 個(gè)因素：(1)認(rèn)知塊形式,即這些解釋的組成,如特征值、訓(xùn)練集的例子或是規(guī)則列表。在特定領(lǐng)域中,該形式也會(huì)有所不同,如在圖像識(shí)別中認(rèn)知塊形式就是像素組。 (2)解釋所包含的認(rèn)知塊數(shù)量。 考慮到一個(gè)示例包含的信息可能比一個(gè)特性多得多,是否可以在易于理解的程度上處理相同數(shù)量的信息,如果解釋是由特性組成的,那么它是包含所有特性還是只包含少數(shù)特性(選擇性)。 (3)語(yǔ)義合成性,與認(rèn)知塊的組織結(jié)構(gòu)有關(guān)。 規(guī)則、層次結(jié)構(gòu)和其他抽象可能會(huì)影響人類的處理能力。 例如：一個(gè)解釋可以定義一個(gè)新的單元(認(rèn)知塊),它是原始單元的一個(gè)功能,并根據(jù)這個(gè)新單元提供一個(gè)解釋。 (4)單元之間的獨(dú)立性和相互性,單元之間可以有線性、非線性或是獨(dú)立的特性。 (5)不確定性和隨機(jī)性是指返回某種可理解的不確定性的解釋。

定量可解釋性指標(biāo)：量化解釋,為不同的解釋提供一種直觀的方法。 Sundararajan 等人創(chuàng)建了一種基于公理的方法,把深度神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)歸因于原始輸入特征［10］,發(fā)展了一種特定于模型的神經(jīng)網(wǎng)絡(luò)解釋方法,稱為綜合梯度。 Wilson 等人在他們的著作中對(duì)定量指標(biāo)也進(jìn)行了闡釋。

一個(gè)好的解釋應(yīng)該做到：完整性,即解釋的涵蓋范圍,包括解釋所包含的實(shí)例數(shù)目。 正確性,解釋的結(jié)果是與事實(shí)相符的。 簡(jiǎn)潔性,解釋應(yīng)該簡(jiǎn)潔,可通過(guò)決策規(guī)則中的條件數(shù)量和基于鄰域的解釋的特征維度來(lái)驗(yàn)證［12］。

2.2 可解釋的模型

可解釋的模型的算法包括線性回歸、邏輯回歸和決策樹,它們的參數(shù)具有意義,可以從中提取有用的信息來(lái)解釋預(yù)測(cè)結(jié)果。 基于這些可解釋模型所構(gòu)成的神經(jīng)網(wǎng)絡(luò)也具有可解釋性,神經(jīng)網(wǎng)絡(luò)的處理過(guò)程不再是暗箱操作,而是透明可解釋的,具有明確的語(yǔ)義信息。 Zhang 等人提出了基于可解釋圖的一種通過(guò)決策樹來(lái)定量解釋卷積神經(jīng)網(wǎng)絡(luò)的預(yù)測(cè)邏輯。該方法可在CNN(卷積神經(jīng)網(wǎng)絡(luò))的高層卷積層中學(xué)習(xí)物體部位的顯示表示,同時(shí)在全連接層中挖掘潛在的決策模式。 決策樹通過(guò)一定的規(guī)則來(lái)對(duì)潛在的決策模式進(jìn)行重組,從而達(dá)到定量解釋CNN 的預(yù)測(cè)邏輯。 有文獻(xiàn)提出了一種可解釋的卷積神經(jīng)網(wǎng)絡(luò),高對(duì)流層中的每個(gè)過(guò)濾器代表一個(gè)特定的對(duì)象部分。 可解釋CNNs 使用與普通CNNs 相同的訓(xùn)練數(shù)據(jù),不需要任何對(duì)象部件或紋理的注釋來(lái)進(jìn)行監(jiān)督。 在學(xué)習(xí)過(guò)程中,可解釋的CNN 自動(dòng)地在一個(gè)高對(duì)流層中給每個(gè)過(guò)濾器分配一個(gè)對(duì)象部分。 可解釋的CNN 中的顯式知識(shí)表示可以幫助理解CNN 內(nèi)部的邏輯,從而達(dá)到可解釋的目的。

2.3 機(jī)器學(xué)習(xí)中可解釋的重要性

可解釋性是滿足人類好奇心和求知欲的一種手段,人們不需要對(duì)每件事都做解釋,但是對(duì)于意外事件,就迫切的想要知道發(fā)生的原因。 不透明的機(jī)器學(xué)習(xí)模型應(yīng)用于科學(xué)研究時(shí),如果該模型是只給出預(yù)測(cè)卻不給出解釋的一個(gè)黑盒子,不懂其中的原理就無(wú)法進(jìn)行科學(xué)創(chuàng)新。 基于ML 模型的決策對(duì)人們的生活影響越來(lái)越大,這意味著解釋機(jī)器的行為愈發(fā)重要。 2016 年的著名論文《Why Should I Trust You？》 的發(fā)表掀起了可解釋性學(xué)習(xí)的熱潮［13］,隨后MIT 在SIGKDD2016 上介紹了LIME(局部可解釋模型-不可知論解釋)的概念［14］。 目的是解釋黑盒子分類器的預(yù)測(cè),這意味著對(duì)于任何給定的預(yù)測(cè)和任何給定的分類器,它都能夠確定原始數(shù)據(jù)中驅(qū)動(dòng)預(yù)測(cè)結(jié)果的一小部分特征。

3 發(fā)展趨勢(shì)與展望

3.1 發(fā)展趨勢(shì)

近5 年(2015～2019 年)發(fā)表在知網(wǎng)(CNKI)上的有關(guān)于可解釋性的論文的數(shù)量也越來(lái)越多,統(tǒng)計(jì)了題目包含有：“interpretability”的相關(guān)論文,統(tǒng)計(jì)結(jié)果如表1 所示。

表1 2015～2019 年知網(wǎng)上關(guān)于題目包含可解釋性的論文數(shù)量統(tǒng)計(jì)Tab. 1 Statistics of the number of papers on topics including interpretability on cnki from 2015 to 2019

從統(tǒng)計(jì)結(jié)果來(lái)看,近5 年來(lái),共有81 篇有關(guān)于可解釋性的論文發(fā)表在知網(wǎng)上,統(tǒng)計(jì)調(diào)查后發(fā)現(xiàn)：

(1)總體來(lái)講,可解釋性已經(jīng)得到了研究學(xué)者的關(guān)注。 相比于國(guó)內(nèi)學(xué)者,國(guó)外學(xué)者的關(guān)注度可能更高一些,也說(shuō)明可解釋性是當(dāng)前的一個(gè)研究熱點(diǎn)。關(guān)于可解釋性的論文在2015 ～2017 年之間較少,在2018 年也只有18 篇,其中中文的只有3 篇,但在2019 年卻增長(zhǎng)到了55 篇,中文達(dá)到了13 篇,外文達(dá)到了42 篇。

(2)關(guān)于可解釋性的研究呈現(xiàn)出快速增長(zhǎng)的趨勢(shì),可預(yù)見,在之后的幾年中,有關(guān)于可解釋性的算法和論文數(shù)量會(huì)越來(lái)越多。

(3)在上述統(tǒng)計(jì)的論文中既包含了理論又包含了應(yīng)用。 體現(xiàn)了可解釋性理論價(jià)值和應(yīng)用價(jià)值。 從側(cè)面說(shuō)明了可解釋性的重要性。

3.2 展望

可解釋性是一個(gè)很主觀的概念,所以難以形式化［15］,這是該問(wèn)題尚未解決的一個(gè)重要原因。 可解釋性是一個(gè)特定領(lǐng)域的概念［16］,無(wú)法給出一個(gè)通用定義,表明當(dāng)涉及到ML 可解釋性時(shí),需要考慮每個(gè)特定問(wèn)題的應(yīng)用程序域和用例。 如今也有很多關(guān)注可解釋性方面的工作,但只是關(guān)注現(xiàn)有的解釋而不是創(chuàng)造新的解釋。 所以,應(yīng)開發(fā)出一個(gè)模型無(wú)關(guān)的解釋框架,這個(gè)框架能夠在考慮問(wèn)題域、用例和用戶類型的同時(shí),在可用的框架中推薦最佳的解釋。