當(dāng)人工智能（AI）機(jī)器人為你診斷疾病，你是否信任它的判斷？當(dāng)用AI模型來預(yù)測(cè)蛋白質(zhì)的復(fù)雜結(jié)構(gòu)，你能否理解其預(yù)測(cè)邏輯？如今，AI已經(jīng)融入生活的方方面面，一個(gè)問題顯得愈發(fā)關(guān)鍵：如何讓人們理解并信任AI輸出的結(jié)果。

構(gòu)建可解釋性模型是解決這一難題的重要途徑。正如中國(guó)科學(xué)院院士張鈸所言，如果不能建立可解釋的AI理論，就會(huì)無法解決人們對(duì)AI技術(shù)的困惑和誤解，這也將限制AI技術(shù)的發(fā)展。

什么是可解釋性模型？它如何幫助人們理解AI？構(gòu)建可解釋性模型有哪些技術(shù)路徑？筆者日前就上述問題采訪了相關(guān)專家。

“看清”決策過程

“可解釋性模型是指能夠幫助人們理解其預(yù)測(cè)或決策過程的模型?？山忉屝砸馕吨Ｐ偷倪\(yùn)行邏輯和預(yù)測(cè)結(jié)果對(duì)人類是透明且易于理解的?！敝袊?guó)科學(xué)技術(shù)大學(xué)人工智能與數(shù)據(jù)科學(xué)學(xué)院教授王翔解釋道。

王翔認(rèn)為，可解釋性模型應(yīng)當(dāng)具有四個(gè)重要特性。一是透明性，可解釋性模型需要提供清晰的決策依據(jù)，讓人們能“看清”模型根據(jù)輸入數(shù)據(jù)做決定的全過程；二是一致性，可解釋性模型的解釋需要與人類已有知識(shí)一致，不與已知規(guī)律矛盾，例如醫(yī)療AI的診斷解釋應(yīng)與醫(yī)學(xué)標(biāo)準(zhǔn)一致；三是語義性，可解釋性模型的解釋方式應(yīng)易于理解，能通過自然語言或圖示化形式呈現(xiàn)；四是因果性，可解釋性模型能夠明確說明驅(qū)動(dòng)其預(yù)測(cè)的關(guān)鍵輸入特征，用戶能夠通過調(diào)整輸入數(shù)據(jù)，觀察模型輸出的變化，從而驗(yàn)證預(yù)測(cè)結(jié)果的可靠性和模型的局限性。

在AI影響力持續(xù)提升的今天，構(gòu)建可解釋性模型成了一項(xiàng)極為重要的任務(wù)。王翔認(rèn)為，可解釋性模型不僅能提升用戶對(duì)AI系統(tǒng)的信任度，還有助于提升全社會(huì)對(duì)AI的接受程度，推動(dòng)其在各領(lǐng)域廣泛應(yīng)用。

“可解釋性模型還可以促進(jìn)AI的公平性和倫理性，避免出現(xiàn)偏見或歧視。對(duì)于開發(fā)者來說，可解釋性模型能提高AI的調(diào)試和優(yōu)化能力，幫助開發(fā)者更好地理解和改進(jìn)模型?？山忉屝阅Ｐ鸵灿兄谔嵘鼳I安全性，能幫助監(jiān)管機(jī)構(gòu)和政策制定者更清楚了解AI技術(shù)，確保技術(shù)應(yīng)用符合法律和倫理框架。”王翔補(bǔ)充說。

探索兩種路徑

事實(shí)上，并不是所有的模型都難以理解。王翔介紹，對(duì)于結(jié)構(gòu)較為簡(jiǎn)單、透明的模型，例如線性回歸或決策樹等，人們往往能夠直接理解輸入與輸出之間的關(guān)系。而對(duì)于復(fù)雜、高性能的神經(jīng)網(wǎng)絡(luò)模型來說，則需要借助相應(yīng)的方法或工具來提高可解釋性。

目前，提升模型可解釋性的技術(shù)路徑主要分為內(nèi)在可解釋性方法和事后可解釋性方法。

內(nèi)在可解釋性方法是在模型設(shè)計(jì)階段就融入可解釋性需求，通過構(gòu)建天然具備解釋能力的模型，使其決策過程透明、直觀。例如，深度學(xué)習(xí)模型中的注意力機(jī)制就是一種常見的內(nèi)在可解釋性技術(shù)，它通過顯示模型關(guān)注的區(qū)域，幫助用戶理解模型的行為?！巴该餍院蛯?shí)時(shí)性是內(nèi)在可解釋性方法的優(yōu)勢(shì)。這種方法特別適合對(duì)解釋性要求高且需要快速響應(yīng)的場(chǎng)景，如醫(yī)療診斷或金融決策?！蓖跸枵f。

事后可解釋性方法則是在模型訓(xùn)練完成后，通過外部工具或算法分析模型的決策過程，無需修改模型本身。王翔介紹，事后可解釋性方法的最大優(yōu)勢(shì)在于靈活性，它幾乎適用于任何復(fù)雜的“黑箱”模型，但計(jì)算成本通常較高，尤其是單樣本解釋可能需要多次模型評(píng)估，不適合實(shí)時(shí)性要求高的場(chǎng)景。此外，事后可解釋性方法僅能輔助分析模型行為，無法深入影響或改變模型本身的結(jié)構(gòu)。

提升可解釋性

在提升模型可解釋性方面，學(xué)界正在積極進(jìn)行探索。例如，王翔團(tuán)隊(duì)致力于建立可信賴的圖基礎(chǔ)模型。圖基礎(chǔ)模型是能夠處理和分析各種復(fù)雜圖數(shù)據(jù)的數(shù)學(xué)模型，它要處理的圖數(shù)據(jù)可以是社交網(wǎng)絡(luò)中的朋友關(guān)系、生物中蛋白質(zhì)之間的相互作用、通信網(wǎng)絡(luò)中的設(shè)備連接，甚至是人類大腦中的神經(jīng)元連接等。傳統(tǒng)的圖神經(jīng)網(wǎng)絡(luò)通常通過聚合節(jié)點(diǎn)特征和拓?fù)浣Y(jié)構(gòu)信息進(jìn)行學(xué)習(xí)，但實(shí)際圖數(shù)據(jù)中往往包含冗余或噪聲信息，這可能導(dǎo)致模型捕獲與任務(wù)無關(guān)的特征。王翔團(tuán)隊(duì)提出了一種基于因果的內(nèi)在可解釋架構(gòu)（DIR），有效剔除了干擾因素，保留了因果特征，大幅提升了模型的透明度和魯棒性。

產(chǎn)業(yè)界的探索也取得了進(jìn)展。例如，螞蟻集團(tuán)聯(lián)合清華大學(xué)發(fā)布的AI安全檢測(cè)平臺(tái)“蟻鑒2.0”融入了可解釋性檢測(cè)工具。綜合AI技術(shù)和專家知識(shí)，通過可視化、邏輯推理、因果推斷等技術(shù)，“蟻鑒2.0”從完整性、準(zhǔn)確性、穩(wěn)定性等7個(gè)維度及20余項(xiàng)評(píng)估指標(biāo)，對(duì)AI系統(tǒng)的解釋質(zhì)量進(jìn)行量化分析，幫助用戶更清晰驗(yàn)證與優(yōu)化可解釋方案。

商湯科技推出的自動(dòng)駕駛大模型DriveMLM，則可以根據(jù)輸入的信息給出自動(dòng)駕駛每一步?jīng)Q策和操作時(shí)背后的邏輯和推理的原因，能夠以自然語言解釋自動(dòng)駕駛的行為。也就是說，人們只需將圖像、激光雷達(dá)信息、交通規(guī)則甚至是乘客需求“一股腦”丟給大模型，它就能給出駕駛方案，并解釋為什么要這么開。商湯科技聯(lián)合創(chuàng)始人王曉剛說，自動(dòng)駕駛的挑戰(zhàn)之一就是AI模型的可解釋性不高，決策過程難以被人們理解，增強(qiáng)AI模型的可解釋性能推動(dòng)自動(dòng)駕駛技術(shù)進(jìn)一步發(fā)展和普及。

仍存技術(shù)難題

行業(yè)在構(gòu)建可解釋性模型上取得一定進(jìn)展，但仍存在不少技術(shù)難點(diǎn)，需要研究人員進(jìn)一步攻克。

首先，隨著大模型性能、參數(shù)不斷提升，其內(nèi)部結(jié)構(gòu)的復(fù)雜程度也在增加，這使得大模型內(nèi)部決策機(jī)理變得越發(fā)難以理解，如何實(shí)現(xiàn)高度復(fù)雜模型的可解釋性是重要問題。

其次，通常情況下，模型性能越強(qiáng)，可解釋性就會(huì)越差，如何在模型的性能和可解釋性之間找到合適平衡點(diǎn)，也是亟待解決的問題。王翔認(rèn)為，未來，開發(fā)新的可解釋性算法或?qū)⒊蔀橹匾l(fā)展方向之一，新算法可以結(jié)合深度學(xué)習(xí)和邏輯推理等多種路徑，實(shí)現(xiàn)模型高性能與解釋性的更好平衡。

最后，目前沒有統(tǒng)一標(biāo)準(zhǔn)來衡量模型的可解釋性，如何準(zhǔn)確評(píng)估并提升模型的解釋性仍然是開放問題。“可以通過跨學(xué)科合作，結(jié)合認(rèn)知科學(xué)、心理學(xué)等領(lǐng)域知識(shí)，共同定義和量化解釋的標(biāo)準(zhǔn)，提高模型的可解釋性?！蓖跸杞ㄗh。