夏正勛，唐劍飛，羅圣美，張燕

星環(huán)信息科技（上海）股份有限公司，上海 200233

0 引言

人工智能（AI）的蓬勃發(fā)展是人類社會的重大歷史事件，其開創(chuàng)了一個新的時代[1]。隨著AI技術的快速發(fā)展，AI應用的規(guī)模愈加龐大，IDC預測AI應用市場規(guī)模有望在2024年突破5 000億美元大關[2]。但隨著AI應用的深入，一些深層次問題逐漸暴露出來，比如使用臉部照片、人臉視頻、3D頭套等方式惡意欺騙人臉識別系統(tǒng)[3]；在交通標志上添加一個不顯眼的對抗擾動，誤導并改變自動駕駛汽車的行車路線[4]；通過毒化數(shù)據(jù)的方式，在模型中添加后門，從而控制模型的行為[5]；“大數(shù)據(jù)殺熟”[6]和“數(shù)字剝削”[7]等惡意使用AI的行為。上述AI安全倫理問題引發(fā)了人們對AI系統(tǒng)可信性的擔憂，阻礙了AI的進一步發(fā)展，已經(jīng)成為亟待解決的問題。

如何打造可信的AI系統(tǒng)已經(jīng)成為政府、企業(yè)的關注重點。本文分析了AI系統(tǒng)在當下遇到的可信問題與挑戰(zhàn)，從技術和管理兩個維度出發(fā)，提出了一種通用的可信AI治理框架——T-DACM（trusted data & algorithm & computation &management）。T-DACM具體包括可信數(shù)據(jù)、可信算法、可信計算、可信管理4個層次，覆蓋了數(shù)據(jù)安全、模型安全、隱私保護、風險控制、過程管理、可解釋性、公平倫理、追溯追責等AI熱點問題的解決方法，為企業(yè)及監(jiān)管機構提供了一種可行的可信AI解決方案。

1 國內(nèi)外研究進展

可信是AI技術的自身要求，也是AI產(chǎn)業(yè)發(fā)展的要求。統(tǒng)計模型存在類似“射手假說”[8]的問題，AI不可避免地有被誤用、濫用、惡意使用的風險。為了降低這些風險，國外對可信AI的研究主要從安全及數(shù)據(jù)隱私方面入手，兼顧AI使用過程中的倫理道德，制定了相關的法律法規(guī)。

2014年Goodfellow I J等人[9]提出用模型對抗訓練的方法來防御對抗樣本攻擊，增強模型的安全性；2016年Ribeiro M T等人[10]提出一種生成解釋方法來解釋模型的決策過程，提升模型決策的透明性；2018年Gidaris S等人[11]提出一種元學習方法來提高模型在未知領域數(shù)據(jù)上的泛化能力，降低模型的誤用風險；2019年Nguyen H H等人[12]提出使用多任務學習的方法來提高模型的領域泛化能力，降低模型誤判的風險；2019年Iosifidis V等人[13]提出一種基于重采樣的方法來消除數(shù)據(jù)中的偏見，提升模型的公平性；2021年Sauer A等人[14]提出一種反事實圖片的生成方法來協(xié)助分類模型找到更穩(wěn)定的因果特征，提升模型的泛化能力。

與此同時，在可信AI治理指導原則方面，2018年歐盟提出了《人工智能道德準則》，提出可信AI的5個指導原則：福祉原則、不作惡原則、自治原則、公正原則、可解釋性原則[15]；2020年Shin J等人[16]提出構建一個可信AI系統(tǒng)需要重點考慮AI應用的再現(xiàn)性、可解釋性和公平性；2020年英國信息專員辦公室提出了《解釋AI做出的決定》，提出算法透明度可以從原理解釋、責任解釋、數(shù)據(jù)解釋、公平性解釋、安全與可靠性解釋及影響解釋6個方面實現(xiàn)[17]。2021年，Winter P M等人[18]提出，可信的AI應用需要重點關注機器學習（machine learning，ML）關鍵理論理解、質(zhì)量評估手段、領域泛化、置信度量手段、道德倫理、用戶可接受度、抗攻擊能力等方面。

國內(nèi)對可信AI的技術研究基本與國外同步，在可信AI治理配套的法規(guī)方面，從網(wǎng)絡安全、數(shù)據(jù)安全、個人信息多維度入手，更加全面，職責明確，易于實施。在可信AI技術研究方面，2017年Meng D Y等人[19]提出基于數(shù)據(jù)增強和樣本檢測的MagNet方法來防御對抗樣本攻擊；2018年Kuang K等人[20]提出一種基于樣本加權的因果預測算法DGBR來提高模型對未知環(huán)境的適應能力；2019年Zhang Q S等人[21]提出一種基于決策樹的替代模型方法來解釋卷積神經(jīng)網(wǎng)絡（convolutional neural network，CNN）模型的決策邏輯；2019年FENG R等人[22]提出一種基于對抗框架的數(shù)據(jù)表示方法來消除數(shù)據(jù)集中對特定群體的偏見；2021年Zhao Y Y等人[23]提出一種多源元學習框架來增強模型的領域泛化能力。

在可信AI治理指導原則方面，我國于2016年頒布了《中華人民共和國網(wǎng)絡安全法》，要求網(wǎng)絡運營者保障網(wǎng)絡免受干擾、破壞或者未經(jīng)授權的訪問，防止網(wǎng)絡數(shù)據(jù)泄露或被竊取、篡改。2019年我國提出了《新一代人工智能治理原則——發(fā)展負責任的人工智能》，強調(diào)了和諧友好、公平公正、包容共享、尊重隱私、安全可控等8條原則，從而逐步實現(xiàn)可審核、可追溯、可信賴的AI[24]；2020年中國信息通信研究院提出了《人工智能安全框架（2020年）》，其從AI安全技術、AI安全管理兩個方面設計AI安全框架，對AI安全能力進行分級，提出了合法合規(guī)、功能可靠可控、數(shù)據(jù)安全可信、決策公平公正、行為可解釋、事件可追溯的AI安全目標[25]；2021年6月通過的《中華人民共和國數(shù)據(jù)安全法》要求機構開展數(shù)據(jù)處理活動時，應當遵守法律、法規(guī)，尊重社會公德和倫理，遵守商業(yè)道德和職業(yè)道德，誠實守信，履行安全保護義務、承擔社會責任，不得危害國家安全、公共利益，不得損害個人、組織的合法權益；2021年8月通過的《中華人民共和國個人信息保護法》要求機構在利用個人信息進行自動化決策時，要建立算法影響評估制度進行事前風險評估，建立算法審計制度審計活動遵守法律、法規(guī)的情況，保證決策的透明度和結(jié)果公平合理。

綜上所述，圍繞可信AI的問題，學術界、產(chǎn)業(yè)界及政府均進行了不同方向的探索，取得了一些成果，但可信AI的落地尚存在一些問題：首先，大多可信方面的研究還停留在理論分析階段，在產(chǎn)業(yè)界尚未進行大規(guī)模應用；其次，可信AI涉及的技術領域較廣，目前尚缺少一個通用模式將諸多可信AI技術有機結(jié)合起來；最后，針對AI系統(tǒng)的行為，缺乏完善的監(jiān)管系統(tǒng)。因此，需要一個統(tǒng)一的可信AI治理框架，對可信AI涉及的管理及技術因素進行統(tǒng)籌考慮，以滿足學術界、產(chǎn)業(yè)界及政府三方對可信AI的迫切需求，完成AI系統(tǒng)由可用系統(tǒng)向可信系統(tǒng)的轉(zhuǎn)變。

2 可信AI治理框架簡介

本文在現(xiàn)有理論及技術研究的基礎之上，結(jié)合應用場景，對可信A I治理進行了探索與實踐，提出了T-DACM ，如圖1所示。

圖1 T-DACM

T-DACM由下而上分為4 層，分別是可信數(shù)據(jù)（trusted data）層、可信算法（trusted algorithm）層、可信計算（trusted computation）層、可信管理（trusted management）層，具體如下。

● 可信數(shù)據(jù)層為可信AI提供了數(shù)據(jù)基礎。其具體包含異常數(shù)據(jù)檢測、偏倚消除、偏見消除、數(shù)據(jù)增強等組件，可以檢測異常樣本，保證模型正常工作，對異常數(shù)據(jù)、異質(zhì)性數(shù)據(jù)進行處理，引入公平性算法消除數(shù)據(jù)中的歧視與偏見，通過樣本變換或者樣本生成來擴增數(shù)據(jù)集，增強模型的魯棒性。

● 可信算法層為可信AI提供安全與強魯棒性的核心能力。除了現(xiàn)有算法，其還包含因果算法、公平算法、模型增強等算法組件，可以從數(shù)據(jù)中發(fā)現(xiàn)穩(wěn)定特征，提高模型對不同環(huán)境的適應能力，去除模型的決策邏輯對弱勢群體的歧視，提升模型對常見攻擊方式的防御能力。

● 可信計算層為可信AI提供可信計算的能力。其具體包括加密算法、可信計算、計算調(diào)度等模組，可以使用加密算法及可信平臺控制模塊（trusted platform control module，TPCM）保障單方計算場景下的數(shù)據(jù)安全，使用聯(lián)邦學習、聯(lián)邦計算、安全多方計算（secure multi-party computation，MPC）等組件為多方參與的模型訓練、模型推理、計算等保障數(shù)據(jù)安全。

● 可信管理層為可信AI提供可追溯、可監(jiān)管、可理解的管理能力。其具體包括追溯追責、公平倫理查驗、可解釋性3個組件，可以通過事故發(fā)生之后的回溯對責任進行認定，通過分析系統(tǒng)的實時行為來監(jiān)控違反法規(guī)倫理的行為，對模型的決策邏輯進行解釋，為模型的優(yōu)化提供參考。

T-DACM 基本覆蓋了A I 從模型學習、模型應用到系統(tǒng)管理的全流程。以個性化保險定價為例，可信數(shù)據(jù)層使用Relabelling算法[26]消除數(shù)據(jù)集中對弱勢群體的偏見；可信算法層使用公平優(yōu)化（fair optimization）方法[27]增強定價算法的公平性；可信計算層使用聯(lián)邦學習計算框架[28]在保護隱私的前提下聯(lián)合第三方銀行數(shù)據(jù)共同建模，定價結(jié)果更加準確可信；在可信管理層，既能回溯某一定價的決策過程并做出解釋，也能實時檢測在運行過程中整個定價系統(tǒng)是否存在違反法律、倫理規(guī)則的行為。T-DACM內(nèi)層與層之間的無縫協(xié)作可以保障AI系統(tǒng)全流程的可信性。

3 可信AI治理框架實現(xiàn)

3.1 可信數(shù)據(jù)層

數(shù)據(jù)是人工智能的基礎，模型學習依賴于大量訓練樣本，模型推理也依賴于輸入數(shù)據(jù)的質(zhì)量，但當數(shù)據(jù)異常時，模型的輸出結(jié)果往往脫離預期，為人工智能系統(tǒng)帶來潛在的風險。2016年，微軟聊天機器人Tay受到一些偏激言論的語料影響，行為異常，微軟被迫臨時關閉了Tay的在線學習能力；2019年，騰訊科恩實驗室發(fā)現(xiàn)存在擾動信息的路面誤導了自動駕駛系統(tǒng)，致使車輛駛?cè)敕聪蜍嚨馈Ｉ鲜隼泳怯僧惓?shù)據(jù)引起的模型行為異常。除此以外，數(shù)據(jù)還與模型的魯棒性、公平性密切相關，具體而言，當推理數(shù)據(jù)與訓練數(shù)據(jù)分布不同時，模型的精度往往會下降，嚴重時甚至無法工作。當訓練數(shù)據(jù)中弱勢群體的數(shù)據(jù)遠少于強勢群體的數(shù)據(jù)時，模型的決策往往會更傾向強勢群體，從而造成對弱勢群體的偏見或不公平對待。因此，構建一個可信的數(shù)據(jù)層是可信AI系統(tǒng)的首要任務。

可信數(shù)據(jù)層是可信AI治理的首要環(huán)節(jié)?？尚艛?shù)據(jù)層解決由數(shù)據(jù)導致的不可靠、不可信問題，方法主要有兩大類：一類通過檢測方法找到異常數(shù)據(jù)并刪除，另一類通過數(shù)據(jù)增強方法對數(shù)據(jù)進行可信性增強。在訓練階段，其輸入為訓練數(shù)據(jù)集，輸出為剔除了惡意數(shù)據(jù)或增強了公平性的可信數(shù)據(jù)集；在推理階段，其根據(jù)具體任務，對輸入數(shù)據(jù)進行檢測，拒絕對抗樣本、偽造數(shù)據(jù)等惡意輸入，或通過技術手段過濾掉對抗樣本、毒化樣本中的惡意信息，保證服務的延續(xù)性。

可信數(shù)據(jù)層具體包括數(shù)據(jù)檢測模組與數(shù)據(jù)增強模組，如圖2所示。數(shù)據(jù)檢測模組由樣本集檢測模塊與單樣本檢測模塊組成：樣本集檢測模塊可以對樣本集進行整體檢測，單樣本檢測模塊用來對樣本進行獨立檢測。數(shù)據(jù)增強模組由樣本增強、偏見消除與偏倚消除3個模塊組成：數(shù)據(jù)增強模塊可以降低對抗樣本等惡意數(shù)據(jù)的干擾，也可以擴展數(shù)據(jù)集；偏見消除模塊可以平衡數(shù)據(jù)集中弱勢群體與優(yōu)勢群體的比例，從而消除對弱勢群體的偏見；偏倚消除模塊可以消除樣本集中的異質(zhì)性影響。

圖2中數(shù)據(jù)檢測模組具體如下。

圖2 可信數(shù)據(jù)層架構

● 樣本集檢測模塊：由分布檢測、偏見檢測、毒化樣本檢測與偏倚檢測等組件組成。分布檢測可以將樣本集中不同分布的數(shù)據(jù)檢測出來，通過控制模型輸入數(shù)據(jù)的邊界來降低魯棒性風險，該類方法包括孤立森林、DBScan等；偏見檢測可以檢測數(shù)據(jù)集中強勢群體與弱勢群體在特定公平規(guī)則下的比例是否失衡，用來判斷使用的樣本集中是否存在偏見，該類方法包括Equal Opportunity[29]、Equalized Odds[30]等；毒化樣本檢測可以檢測樣本集中是否包含被毒化的數(shù)據(jù)，可以將毒化數(shù)據(jù)從數(shù)據(jù)集中剔除，典型的毒化數(shù)據(jù)檢測方法有AUROR[31]等；偏倚檢測可以用來檢查是否采集過程的瑕疵導致了樣本的分布不均衡，進而導致了數(shù)據(jù)的異質(zhì)性，偏倚檢測的經(jīng)典方法為卡方檢驗[32]。

● 單樣本檢測模塊：由毒化樣本檢測、偏倚檢測、邊界檢測、Deepfakes檢測、對抗樣本檢測、活體檢測等組件組成。毒化樣本檢測和偏倚檢測組件的功能與樣本集檢測模塊類似；邊界檢測指的是檢測數(shù)據(jù)的常規(guī)指標，判斷其是否超出閾值，可以判斷樣本中是否存在明顯異常；Deepfakes檢測、對抗樣本檢測、活體檢測指的是對偽造視頻、對抗樣本、假臉數(shù)據(jù)等惡意數(shù)據(jù)進行針對性檢測，這些惡意數(shù)據(jù)檢測模塊可以在一定程度上解決AI應用被惡意誤導的問題，目前，Deepfakes、對抗樣本、假臉數(shù)據(jù)都有許多成熟的檢測方法，如使用MesoNet[33]來檢測Deepfakes視頻，使用MagNet[19]來檢測對抗樣本，使用De-Spoofing[34]來進行活體檢測。

圖2中數(shù)據(jù)增強模組具體如下。

● 樣本增強模塊：由隨機修剪、噪聲擾動、對抗樣本生成、反事實樣本等組件組成。隨機修剪、噪聲擾動等是機器學習中常用的數(shù)據(jù)增強方法，這些組件通過對原數(shù)據(jù)進行隨機裁剪、添加隨機噪聲以及進行翻轉(zhuǎn)、尺度變換來生成新的樣本數(shù)據(jù)，生成的樣本可以對原樣本集進行擴充，從而豐富樣本集，也可以對原始圖片進行替換，從而在一定程度上防御對抗樣本、毒化樣本等的惡意攻擊。對抗樣本生成組件可以用來生成對抗樣本，生成的對抗樣本可以用于對抗訓練，提升模型對對抗攻擊的防御能力。反事實樣本組件可以基于結(jié)構因果模型，采用類似于反事實生成網(wǎng)絡（counterfactual generative network）[14]的方法，使用事實中不存在的特征組合，生成反事實樣本，從而提高模型的泛化能力。

● 偏見消除模塊：由公平重采樣、公平修復等組件組成。對于樣本集中的不公平，公平重采樣組件通過對樣本集進行重新采樣，重新生成弱勢群體與強勢群體均衡的樣本集，如按照指定的公平原則進行重采樣的方法[35-36]。公平修復組件通過修改標簽或直接改變訓練數(shù)據(jù)中一個或多個變量的分布來修復數(shù)據(jù)集中的不公平，如訓練專用模型來修正標簽的方法[26，37]。

● 偏倚消除模塊：由樣本分層、樣本匹配、局部相似、權重調(diào)整等組件組成。樣本分層方法通過對數(shù)據(jù)集進行分層，保證每一層中的數(shù)據(jù)是同質(zhì)的、均衡的，從而達到消除偏倚的目的，如基于傾向得分進行分層的方法[38-39]；樣本匹配方法用匹配的方法將數(shù)據(jù)集中同質(zhì)的數(shù)據(jù)篩選出來，保證篩選出來的數(shù)據(jù)是均衡的，這一類方法以PSM[38]為代表；局部相似組件基于流行假設/局部近似理論，找到一個好的樣本集劃分方式，使得每個樣本組在特征空間上足夠近且樣本量上足夠，并認為細小到分支（局部）的數(shù)據(jù)是近似的、同質(zhì)的、均衡的，這一類方法以SITE[40-41]為代表；權重調(diào)整方法給樣本分配不同的權重，使得實驗組與對照組的分布類似，以實現(xiàn)均衡，其代表方法有逆概率加權（inverse propensity weighting，IPW）[38]、數(shù)據(jù)驅(qū)動變量分解（data-driven variable decomposition，D2VD）[42]等。

得益于異常數(shù)據(jù)檢測模組與數(shù)據(jù)增強模組的協(xié)作，經(jīng)可信數(shù)據(jù)層處理后的數(shù)據(jù)大概率是可信的，將這些正常、無偏、公平的數(shù)據(jù)作為后續(xù)環(huán)節(jié)的輸入，為整個AI應用的可信打下了堅實基礎。

3.2 可信算法層

算法與模型是AI系統(tǒng)的核心，但當前基于統(tǒng)計理論的人工智能算法只完成了輸入數(shù)據(jù)與輸出數(shù)據(jù)的“曲線擬合”[43]，因此模型輸出的結(jié)果缺乏內(nèi)在邏輯，難以解釋，也缺乏公平性及安全性方面的考量，由此引發(fā)了很多問題。比如，一個模型可以很好地識別草地上的狗，但難以識別水中的狗，這是因為訓練過程中更傾向于將草地特征與狗的特征直接“擬合”，由此可見，這種Shortcut Learning[44]的學習方式使模型預測過程缺乏嚴謹邏輯，預測結(jié)果只適用于特定場景，特別容易產(chǎn)生魯棒性問題。此外，由于概率空間邊界的模糊性，在理論上，統(tǒng)計模型始終無法防御對抗性攻擊[45]，只能持續(xù)提升模型抗攻擊的能力。在AI大規(guī)模應用的過程中，除了魯棒性問題、安全性問題，還存在更隱蔽的歧視偏見、公平倫理問題，比如美國的一款案件管理和決策支持工具COMPAS傾向于給少數(shù)族裔較高的“累犯”得分。針對上述的問題，需要在AI研發(fā)過程中，對算法訓練、模型決策過程進行約束、監(jiān)管及核查，使模型不違背人類社會規(guī)則及倫理道德。

現(xiàn)有算法為了提升模型魯棒性，通常采用元學習[46]、多任務學習[47]、網(wǎng)絡架構設計[48]等方法，T-DACM在現(xiàn)有算法之外，擴展了因果算法、公平算法及安全增強3個模組，如圖3所示。其中，因果算法模組用因果關系代替相關關系提升模型的穩(wěn)定性；公平算法模組通過消除推理過程中的偏見來提升模型的公平性；安全增強模組持續(xù)提升模型的安全性，從而為AI構建一個可信的算法層。

圖3 可信算法層架構

● 因果算法模組由因果發(fā)現(xiàn)及推理模塊、因果啟發(fā)穩(wěn)定學習模塊組成，消除弱相關特征或錯誤特征對決策結(jié)果的干擾，確立輸入數(shù)據(jù)與輸出結(jié)果之間的因果邏輯，基于穩(wěn)定的因果邏輯進行AI決策。

● 公平算法模組由事中處理（i np r o c e s s i n g）模塊與后處理（p o s tprocessing）模塊組成，分別在模型學習過程中、模型學習完成后兩個階段對模型的公平性進行檢查、糾正，保證模型決策過程及結(jié)果與群體的膚色、人種、性別等受保護屬性[49]無關，從而保證AI的公平性。

● 安全增強模組由對抗訓練、安全基準測試及模型安全檢測模塊組成。對抗訓練組件通過使用迭代更新的對抗樣本不斷提升模型的對抗攻擊防御能力；安全基準測試模塊可以對模型的安全性能進行衡量；模型安全檢測模塊通過不同的參數(shù)對安全提升方法的效果進行衡量，從而持續(xù)提升模型的安全性。

圖3中因果算法模組具體如下。

● 因果發(fā)現(xiàn)及推理模塊由基于對照的因果模型、基于約束的因果模型、針對因果函數(shù)的因果模型、針對隱變量的因果模型等組件組成。基于對照的因果模型組件通過不同組之間的對照，比較得出平均干預效應來完成因果學習，該類方法包括實驗性方法及觀測性方法兩大類，其中實驗性方法有隨機對照試驗方法、A/B測試方法[50]，觀測性方法有Stratification、Matching、Re-weighting、Tree-based等[51]；基于約束的因果模型組件通過先確定因果關系結(jié)構、再確定結(jié)構中方向的方法來完成因果學習，這一類方法包括IC算法[52]、FCI算法[53]等；針對因果函數(shù)的因果模型組件利用因果數(shù)據(jù)生成機制引起數(shù)據(jù)分布的不對稱性來分析變量之間的因果關系，這一類方法包括ANM算法[54]、LiNGAM算法[55]等；針對隱變量的因果模型組件可以對包含未觀測到因素（隱變量）影響的數(shù)據(jù)進行因果分析，通常采用的方法有Cornfield不等式[56]、工具變量法[57]、陰性對照法等[58]。

● 因果啟發(fā)穩(wěn)定學習模塊由因果特征工程、反事實輔助學習等組件組成。因果特征工程組件可以利用因果發(fā)現(xiàn)及推理算法從特征中找到強相關的因果特征，剔除無關及弱相關特征，提高模型的穩(wěn)定性，這一類方法包括IAMB[59]、MMMB[60]、MMPC[61]等；反事實輔助學習組件生成反事實圖片，并將其加入訓練，以提高模型的泛化能力，這一類方法有反事實生成網(wǎng)絡[14]等。

圖3中公平算法模組具體如下。

● 事中處理模塊提供在模型訓練過程中解決公平問題的工具，由公平約束優(yōu)化、Adversarial Debiasing等組件組成。其中，公平約束優(yōu)化組件可以在模型的目標函數(shù)中增加以公平為目標的正則項來保證模型的公平性，該類方法有Prejudice Remover Regularizer[62]等；Adversarial Debiasing指的是在訓練的過程中嘗試訓練一個對抗組件[63]，對模型的公平性進行衡量，同時根據(jù)衡量結(jié)果持續(xù)優(yōu)化模型的公平性，該類方法有One-Network[64]等。

● 后處理模塊通過對模型的推理結(jié)果進行后處理來解決公平問題，由公平閾值調(diào)整（fair thresholding）與公平校準（fair calibration）等組件組成。其中，公平閾值調(diào)整指的是通過調(diào)整模型的決策閾值來保證模型的公平性，這一類方法有Equalized Odds Post-Processing[29]等；公平校準組件可以通過優(yōu)化模型的得分輸出來修改模型的決策結(jié)果，保證模型的公平性，這一類方法有Calibrated Equalized Odds Post-Processing[65]等。

圖3中安全增強模組具體如下。

● 對抗訓練模塊通過對抗訓練的方法，使用可信數(shù)據(jù)層生成的對抗樣本，對模型持續(xù)進行微調(diào)（fine-tuning），可以持續(xù)不斷地提升模型對對抗攻擊的防御能力。

● 安全基準測試模塊可以設置不同的基準測試對不同場景下的模型進行安全性能評估。通過為每個測試場景設置測試數(shù)據(jù)、攻擊方案、基準配置等，測試模型在各攻擊方案下的安全性能，并與基準配置進行比較排序。

● 模型安全檢測模塊由分類精度差異（classification accuracy variance，CAV）、分類犧牲率（c l a s s i f i c at i o n sacrifice ratio，CSR）與分類矯正率（classification rectify ratio，CRR）等檢測指標組成。CAV指標衡量的是應用防御方法前后模型對同一批對抗樣本的準確率的變化情況，該指標越大，表示抗攻擊的效果越好；CSR指標表示模型增強前防御成功的樣本在模型增強后防御失敗的比率，該指標越高，表示抗攻擊的效果越差；CRR指標表示模型增強前防御失敗的樣本在模型增強后防御成功的樣本中的比例，該指標越高，表示抗攻擊的效果越好。

可信算法層從因果、公平、增強3個角度提供了多樣的可信AI能力，為其他層的可信能力提供了支持與補充，是可信AI治理框架可信能力的核心。

3.3 可信計算層

大規(guī)模分布式訓練可充分利用跨組織的數(shù)據(jù)資產(chǎn)及計算資源，極大地提升人工智能模型的精度，但此過程中往往存在數(shù)據(jù)安全及隱私泄露的風險。比如，2019年研究人員發(fā)現(xiàn)，分布式訓練過程中參與方之間交換的梯度信息能夠造成訓練樣本泄露[66]。跨地域的分布式服務系統(tǒng)同樣存在類似的問題，早在2016年研究人員就發(fā)現(xiàn)，AI模型僅在幾千次使用后就被竊取數(shù)據(jù)[67]。分布式計算框架最初被設計用來解決單機性能不足的問題，節(jié)點間的數(shù)據(jù)交互主要發(fā)生在內(nèi)部網(wǎng)絡，受到網(wǎng)絡防火墻的保護，不易被外界攻擊，因此數(shù)據(jù)泄露的風險較低。但在跨域計算的場景下，節(jié)點間的數(shù)據(jù)交換暴露在公共網(wǎng)絡中，因此計算過程中的數(shù)據(jù)安全問題不能被忽視。本文設計的T-DCAM的可信計算層通過引入聯(lián)邦學習、聯(lián)邦計算、安全多方計算等隱私計算方法，減少交互過程中敏感數(shù)據(jù)的傳輸，并對數(shù)據(jù)通道進行加密，保證計算全流程和跨組織計算的安全性。其具體如圖4所示。

圖4 可信計算層結(jié)構

可信計算層包括加密算法、可信計算、計算調(diào)度3個模組。加密算法模組由同態(tài)加密、差分隱私、秘密分享、零知識證明、不經(jīng)意傳輸?shù)冉M件組成，保證數(shù)據(jù)傳輸?shù)陌踩?；可信計算模組由隱私信息搜索、隱私邏輯計算、共識機制、聯(lián)邦特征工程、TPCM可信計算模塊等組件組成，提供跨節(jié)點的可信計算能力；計算調(diào)度模組由聯(lián)邦學習、聯(lián)邦計算及安全多方計算模塊組成，提供了一個多方參與的可信計算調(diào)度框架，從架構流程、計算規(guī)范上保證跨域計算的可信性。

圖4中加密算法模組為可信計算層提供了各種加密算法，具體如下。

● 同態(tài)加密組件為可信計算層提供同態(tài)加密[68]算法。該算法可以對數(shù)據(jù)進行加密，且加密后的數(shù)據(jù)可以直接計算，并可以通過解密獲得正確的計算結(jié)果。

● 差分隱私組件為可信計算層提供差分隱私[69]算法。該算法可以對數(shù)據(jù)添加干擾噪聲，以此來保護數(shù)據(jù)中的用戶隱私信息，且不會顯著改變數(shù)據(jù)的計算結(jié)果。

● 秘密分享組件為可信計算層提供秘密分享[70]的能力。該組件可以將需要加密的數(shù)據(jù)信息以適當?shù)姆绞讲鸱郑鸱趾蟮拿恳环菪畔⒂刹煌膮⑴c者管理，單個參與者無法恢復秘密信息，只有若干個參與者協(xié)作才能恢復信息。

● 零知識證明組件為可信計算層提供零知識證明[71]算法。通過該算法，證明者能夠在不向驗證者提供任何有用信息的情況下，使驗證者相信某個論斷是正確的。

● 不經(jīng)意傳輸組件為可信計算層提供不經(jīng)意傳輸[72]能力。該組件可以從數(shù)據(jù)集合中發(fā)送部分數(shù)據(jù)給接收者，但事后不清楚具體發(fā)送了哪些數(shù)據(jù)，以保護數(shù)據(jù)接收者的隱私。

圖4中可信計算模組具體如下。

● 隱私信息檢索組件可以在查詢的過程中保護查詢方的隱私信息，數(shù)據(jù)提供方無法獲知查詢方具體查詢了哪個對象。隱私信息檢索組件基于n選1的不經(jīng)意傳輸[72]，查詢方將查詢需求加密后發(fā)給數(shù)據(jù)提供方，數(shù)據(jù)提供方基于加密信息返回n條查詢結(jié)果給查詢方，查詢了方從n條信息中計算出自己需要的查詢結(jié)果，在此過程中，隱私信息檢索組件保證查詢方得到了匹配的查詢結(jié)果卻不留查詢痕跡。

● 隱私邏輯計算組件基于混淆電路[73]或不經(jīng)意傳輸[74]技術來實現(xiàn)多方安全比較，可以在不提供自己的數(shù)據(jù)給其他參與方的情況下，判斷各方數(shù)據(jù)的大小關系，判斷各方數(shù)據(jù)是否相等。

● 共識機制組件可以在分布式系統(tǒng)中各節(jié)點狀態(tài)不一致時，提供特定機制獎勵提供資源維護區(qū)塊鏈的使用者，懲罰惡意的危害者，使得分布式系統(tǒng)中的各節(jié)點達成共識，保證狀態(tài)的一致。共識機制組件中的工作量證明（proof of work，PoW）機制基于節(jié)點的工作量對節(jié)點進行獎懲，權益證明（proof of stake，PoS）機制基于節(jié)點持有區(qū)塊的比例及持有時間來進行獎懲。

● 聯(lián)邦特征工程組件可以對即將進行聯(lián)邦學習的各參與方數(shù)據(jù)進行聯(lián)合的特征工程。由于聯(lián)邦學習對數(shù)據(jù)隱私保護的要求，特征工程不能直接使用各參與方的數(shù)據(jù)，需要借助特定的算法來完成。聯(lián)邦特征工程組件包含聯(lián)邦采樣、聯(lián)邦特征分箱、聯(lián)邦特征選擇、聯(lián)邦特征歸一化、聯(lián)邦獨熱編碼等算法。

● TPCM可信計算模塊可以為軟件的執(zhí)行提供一個可信的執(zhí)行環(huán)境，該模塊包含可信度量根（root of trust for measurement，RTM）、可信存儲根（root of trust for storage，RTS）及可信報告根（root of trust for reporting，RTR）等組件。當實體請求訪問可信執(zhí)行環(huán)境時，根據(jù)請求的資源類型，使用RTM、RTS或RTR對實體進行度量，完成實體的身份認證，即判斷得到的度量值是否在可信環(huán)境中有記錄，若有，則認為該實體可信，否則，認為該實體不可信。

圖4中計算調(diào)度模組具體如下。

● 聯(lián)邦學習模塊在保護數(shù)據(jù)參與方數(shù)據(jù)隱私的前提下，利用多方數(shù)據(jù)完成模型訓練、推理等功能。該模塊由橫向聯(lián)邦學習、縱向聯(lián)邦學習、聯(lián)邦遷移學習3個組件組成：橫向聯(lián)邦學習模塊針對參與方擁有相同特征但樣本分布不同的情況，讓各參與方利用私有數(shù)據(jù)在本地進行訓練，再通過模型聚合方式不斷更新模型；縱向聯(lián)邦學習模塊適用于參與方數(shù)據(jù)特征不同，只有一方有標簽數(shù)據(jù)的情況，此時模型需要多方的數(shù)據(jù)才能訓練，推理時也需要多方數(shù)據(jù)才能完成，進行縱向聯(lián)邦學習首先需要對各參與方的加密實體進行對齊，然后使用特定的縱向聯(lián)邦學習算法進行加密模型訓練；聯(lián)邦遷移學習模塊適用于參與者間特征和樣本重疊都很少的場景，不同的數(shù)據(jù)方首先訓練各自的模型，然后在保證隱私的前提下，多方對這些模型進行聯(lián)合訓練，最后得出最優(yōu)的模型，并將其返回給各個數(shù)據(jù)所有方。

● 聯(lián)邦計算模塊可以在不直接進行數(shù)據(jù)交換的前提下，集成來自不同數(shù)據(jù)庫、數(shù)據(jù)平臺產(chǎn)品的異構數(shù)據(jù)源，按協(xié)議統(tǒng)籌調(diào)度，各參與方先計算各自的中間結(jié)果，再匯總所有數(shù)據(jù)源的計算結(jié)果，計算出全體數(shù)據(jù)的計算結(jié)果。

● 安全多方計算模塊可以在無可信第三方參與的情況下，讓多個計算參與方利用各方的秘密數(shù)據(jù)計算一個預先達成共識的函數(shù)，計算結(jié)束后任意一方可以得到己方的結(jié)果，但無法獲得其他信息。

借助加密算法、可信計算、計算調(diào)度模組提供的技術支撐，在多方參與的跨域計算過程中，可信計算層在滿足《中華人民共和國數(shù)據(jù)安全法》要求的前提下，實現(xiàn)數(shù)據(jù)資產(chǎn)的跨企業(yè)協(xié)同，保障數(shù)據(jù)安全的合規(guī)使用。

3.4 可信管理層

多國政府從頂層設計對AI系統(tǒng)提出了可信要求[15,17,24-25]，目標是建立合法合規(guī)、公平公正、行為可解釋、結(jié)果可追溯的可靠、可控、可信的AI系統(tǒng)?？尚殴芾韺邮荰-DACM的最頂層，如圖5所示，從模型、事件、系統(tǒng)3個層級對AI系統(tǒng)進行管理，實現(xiàn)AI行為可解釋、事件可追溯、責任可定位，并符合法律法規(guī)的監(jiān)管要求。

圖5 可信管理層結(jié)構

模型級監(jiān)管可跟蹤模型內(nèi)部的決策過程，對決策結(jié)果進行解釋，其功能具體由可解釋性模組實現(xiàn)；事件級監(jiān)管可在事后對某一事件全流程進行回溯，準確定位到問題發(fā)生的子流程，進行進一步的問題診斷及責任細分，其功能具體由事件追溯模組實現(xiàn)；系統(tǒng)級監(jiān)管可對AI系統(tǒng)的整體行為進行實時監(jiān)控或周期性復盤，對違反法律法規(guī)與倫理道德的行為進行預警及處理，其功能具體由公平倫理核查模組實現(xiàn)。

可解釋性模組由自解釋方法、生成解釋方法、代理模型可解釋方法、可視化的解釋方法組件組成，解 決黑盒模型不可解釋的問題，具體如下。

● 自解釋方法指的是線性模型、樹模型等本身可解釋性較好的模型，可以通過模型自身來解釋其決策邏輯。

● 生成解釋方法使用分類和語言生成模型生成解釋性文本，相關方法有Generating Visual Explanations[74]等。

● 代理模型可解釋方法通過訓練一個局部近似的自解釋性模型來解釋原模型的行為，LIME[10]是這一類方法的代表。

● 可視化的解釋方法指的是利用熱圖、特征圖等方法對模型決策過程進行可視化的展示，針對模型行為提供直觀、可理解的視覺解釋。

事件追溯模組由日志記錄、日志分析、追溯定責組件組成，記錄AI系統(tǒng)決策過程，解決事后問題定位及定責難題，具體如下。

● 日志記錄組件根據(jù)事先約定，在AI應用特定行為被觸發(fā)、特定時間點或特定時間間隔后，進行日志記錄。記錄內(nèi)容包括時間、行為主體、行為內(nèi)容、執(zhí)行上下文環(huán)境等。

● 日志分析組件在事件完成后被觸發(fā)，可以根據(jù)事件的日志記錄生成事件的報告，按事件中子流程發(fā)生的先后順序或子流程之間的依賴關系對子流程進行展示，方便后續(xù)的分析。

● 追溯定責組件在事件完成后對事件報告進行檢查，判斷有無事故發(fā)生。若有事故發(fā)生，則按照子流程的時間順序或依賴關系定位到問題發(fā)生的源頭，按照責任劃分規(guī)則，進行故障的自動認定。

公平倫理核查模組由關鍵結(jié)果留存、公平倫理算法、自動監(jiān)管組件組成，對系統(tǒng)行為進行合規(guī)性監(jiān)管，保證AI系統(tǒng)符合法律法規(guī)及公平倫理要求，具體如下。

● 關鍵結(jié)果留存組件負責留存系統(tǒng)運行過程中的關鍵數(shù)據(jù)。對于涉及公平倫理、法律法規(guī)的關鍵數(shù)據(jù)，如員工的調(diào)度數(shù)據(jù)等，在系統(tǒng)做出決策的同時，將決策結(jié)果與決策的上下文數(shù)據(jù)存入數(shù)據(jù)庫等持久存儲介質(zhì)中，方便后續(xù)的核查。

● 公平倫理算法組件負責提供判斷系統(tǒng)行為是否違反公平倫理及法律法規(guī)的標準，針對具體的AI應用，需要根據(jù)其可能涉及的公平倫理及法律法規(guī)問題，設計出專用的公平倫理算法。如可以使用機會均等（equal opportunity）[29]方法，對系統(tǒng)一段時間內(nèi)的優(yōu)惠券發(fā)放行為進行審查，判斷有無對老年人的歧視行為發(fā)生，也可以使用廣義熵指數(shù)（generalized entropy index，GEI）[75]方法對針對某位員工的調(diào)度指令進行檢查，判斷該調(diào)度是否公平。

● 自動監(jiān)管組件針對AI系統(tǒng)中類似“大數(shù)據(jù)殺熟”“數(shù)字勞工”等違反倫理或法規(guī)的系統(tǒng)敏感行為，進行事前數(shù)據(jù)、事中處理、事后結(jié)果的監(jiān)管，實時或定期地從公平倫理算法組件中選擇合適的算法對系統(tǒng)行為進行監(jiān)管。

可信管理層是可信技術與管理要求的結(jié)合，T-DACM通過模型、事件、系統(tǒng)3個層級的協(xié)作滿足了AI可解釋、可追溯、可監(jiān)管的要求?？尚殴芾韺涌梢詭椭藗兏玫卣瓶谹I的行為，是可信AI不可或缺的組成部分。

4 應用案例

T-DACM通過可信數(shù)據(jù)層、可信算法層、可信計算層、可信管理層的聯(lián)合協(xié)作，滿足了可信AI應用及管理的要求，并可通過組件擴展的方式滿足未來需求。其應用全景圖如圖6所示，在研發(fā)階段，可通過可信數(shù)據(jù)治理、可信算法設計、模型學習等相關過程實現(xiàn)可信AI模型的開發(fā)工作；在應用階段，可通過可信數(shù)據(jù)治理、模型推理、安全多方計算等相關過程實現(xiàn)可信AI解決方案的落地工作；在管理階段，可通過事件追溯、公平倫理核查、可解釋性等能力接口對AI系統(tǒng)進行可信監(jiān)管。

圖6 可信AI 治理框架應用全景圖

以星環(huán)信息科技（上海）股份有限公司Sophon可信AI治理套件（Sophon trusted-AI toolkit）在某銀行風控項目的實施為例。該項目目標是對原授信系統(tǒng)進行可信化升級改造。原授信系統(tǒng)架構如圖7所示，由數(shù)據(jù)層、算法庫、管理層、應用層與決策引擎構成。該架構存在以下問題及需求。

圖7 原授信系統(tǒng)架構

業(yè)務推廣過程中高風險客戶的識別率僅達到87%，較低的風險識別率提高了項目的財務風險；此外，還存在大約3%的優(yōu)質(zhì)客戶聯(lián)系方式失效的問題，導致客戶資源流失。

現(xiàn)有黑盒客 戶信用評分模型無法對客戶評分差異進行解釋，授信結(jié)果缺乏透明性及可比較性，給授信工作的順利開展增加了困難，需要引入新方法解決此問題。

對于高風險客戶識別率較低的問題，盡管嘗試了多模型融合、參數(shù)優(yōu)化等多種模型優(yōu)化方法，模型精確率仍只有91.7%。針對模型優(yōu)化效果不佳的情況，引入T-DACM的可信計算層，通過縱向聯(lián)邦學習組件利用第三方風控數(shù)據(jù)進行聯(lián)合建模，從數(shù)據(jù)優(yōu)化的維度提升模型精度。聯(lián)邦學習的方式解決了模型學習過程中數(shù)據(jù)風險特征不足的問題，在不直接引入運營商風險特征數(shù)據(jù)的前提下，將風控模型精度提升到99.2%，達到了商用要求。對于客戶資源流失的問題，通過T-DACM可信計算層的安全多方計算組件，使用隱匿集合求交功能，實現(xiàn)與第三方社交媒體用戶資源的匹配，從而找到失聯(lián)客戶，并進行接觸推廣，最終將失聯(lián)用戶率降低至0.4%，有效地挽回了客戶資源。在本案例中，T-DACM可信計算層在不共享數(shù)據(jù)的前提下，完成了模型學習和聯(lián)合計算，既保護了雙方的數(shù)據(jù)隱私安全，又充分利用了數(shù)據(jù)的價值。

對于模型黑盒問題，項目初期嘗試了線性回歸、決策樹等自解釋性較好的模型，但未能達到項目使用要求。通過引入T-DACM可信管理層的可解釋性模塊，具體使用LIME[77]來解釋信用評分模型的決策行為，LIME方法適用于多種模型及數(shù)據(jù)的解釋，其解釋結(jié)果容易理解，解決了對客戶的評分差異無法解釋的問題。

綜上所述，引入T-DACM對原風控項目進行了如圖8所示的改造。

圖8 改造后系統(tǒng)架構

T-DACM的引入解決了原有項目開發(fā)、運營過程中模型精度不足、模型黑盒難以解釋等問題，為AI應用提供了可信化改造的指導。該案例對類似項目的可信AI問題的解決具有借鑒意義。

5 結(jié)束語

近10年來，人工智能應用呈現(xiàn)爆發(fā)式增長，在人臉識別、自動駕駛、對話系統(tǒng)、金融風控等領域得到了廣泛應用。但是，外部惡意攻擊與內(nèi)部機理引發(fā)的可信事故給AI的深入發(fā)展帶來了新的挑戰(zhàn)。本文提出的T-DACM結(jié)合數(shù)據(jù)、算法、計算、管理4個維度的可信方法，提供了一個端到端的可信AI解決方案，并在產(chǎn)業(yè)界進行了實踐與落地。可信AI是一件任重而道遠的事情，當前模型的黑盒仍未完全解開，徹底的可信尚未達到。相信隨著人們對AI研究的愈加深入、新方法新技術的不斷提出，可信AI治理框架必將越來越完善。