編者按：

隨著越來越多的政府部門采用自動決策系統(tǒng)，公共機(jī)構(gòu)將需要一種方式來處理隨之而來的諸如公平、正義、法律正當(dāng)程序等風(fēng)險，同時又要將受影響群體納入對話中。本文提出的算法影響評估為機(jī)構(gòu)提供了一個框架，幫助他們明白自己所應(yīng)用的自動決策系統(tǒng)，并讓公眾更深入地了解自動決策系統(tǒng)的工作原理。通過公開通知、自我評估、研究人員和專家審核以及正當(dāng)法律程序機(jī)制，算法影響評估將幫助政府做好準(zhǔn)備，應(yīng)對自動決策系統(tǒng)所帶來的風(fēng)險。

2013年2月，艾瑞克·盧米斯因?yàn)橥当I了一輛曾被用于一起槍擊案的汽車被法院判處6年有期徒刑，對于他被控的罪名而言，這是相當(dāng)重的判罰。為此，盧米斯不服判決，提出上訴，理由是法官在量刑調(diào)查環(huán)節(jié)中使用了預(yù)測性算法COMPAS——一款基于大數(shù)據(jù)識別罪犯風(fēng)險程度的評估工具。他認(rèn)為法院依據(jù)軟件對其“再次犯罪”進(jìn)行風(fēng)險評估，并基于評估結(jié)果對其加大量刑的做法違背了正當(dāng)?shù)姆沙绦颍夜姴⒉恢儡浖且罁?jù)什么參數(shù)或指標(biāo)進(jìn)行的風(fēng)險評估。這個案例一路打到美國最高法院。2016年7月13日威斯康辛州最高法院做出終審判決，維持一審法院的量刑意見。

實(shí)際上，這一起特殊案件的最終結(jié)果并沒有其提出的問題重要，即在刑事司法系統(tǒng)中采用自動決策系統(tǒng)（Automated decision systems 簡稱ADS）對公平、正義是否有影響。有研究認(rèn)為看似客觀公平的COMPAS代替人進(jìn)行自動化決策，雖然大大提升了效率，但它傾向于高估某些特定人群的再犯罪可能性，而這極可能因?yàn)橐延袛?shù)據(jù)不準(zhǔn)確或者設(shè)計者的固有偏見所致。此外，算法對于受影響人群來說幾乎就是“黑盒子”，其保密性和不可解釋性更是讓人們無法知曉這些系統(tǒng)自行決策時究竟是不是比人類更加公平公正。

當(dāng)然，對于大數(shù)據(jù)和人工智能的冷思考并不代表對它們的排斥，因?yàn)樵谒痉I(lǐng)域自動決策系統(tǒng)的運(yùn)用已是大勢所趨，并且在就業(yè)、保險、教育等領(lǐng)域自動評估工具和算法匹配的應(yīng)用也日益廣泛，比如由算法決定求職者是否適合這份工作，決定你是否應(yīng)該付更高的汽車保險費(fèi)。但對于由機(jī)器做決策，外界也不乏質(zhì)疑，關(guān)于如何充分評估這些系統(tǒng)的影響，人們更是提出了諸多問題：它們?yōu)槟男┤说睦娣?wù)？它們是否足夠“聰明”以對抗復(fù)雜的社會和歷史環(huán)境？除了公平正義，算法的透明度與可責(zé)性如何解決？這些問題都是令人擔(dān)憂的，因?yàn)槿绻涣私猬F(xiàn)有自動決策系統(tǒng)的使用情況，不知曉公共機(jī)構(gòu)如何使用這些系統(tǒng)以及這些系統(tǒng)會導(dǎo)致哪些意外后果，那么司法部門等使用自動決策系統(tǒng)的公共機(jī)構(gòu)就不可能與公眾展開對話，進(jìn)行明智的政策辯論。

為此，公共機(jī)構(gòu)迫切需要一個實(shí)用的框架來評估自動決策系統(tǒng)來解決潛在問題，并確保算法的可責(zé)性（accountability），即在對算法結(jié)果不滿意時，對算法進(jìn)行審核。2018年4月，由紐約大學(xué)、谷歌、微軟等組織的公共政策研究者組成的 AI Now研究院發(fā)布了一份報告“ALGORITHMIC IMPACT ASSESSMENTS： A PRACTICAL FRAMEWORK FOR PUBLIC AGENCY ACCOUNTABILITY”。報告為公共機(jī)構(gòu)提供了一種實(shí)用性的問責(zé)框架，即算法影響評估（algorithmic impact assessment，簡稱AIA），結(jié)合了機(jī)構(gòu)審核和公眾參與，幫助那些受影響的社區(qū)和利益相關(guān)方評估該系統(tǒng)的主張并確定系統(tǒng)在哪些情況可用或者是否可用。其實(shí)，不僅受影響群體缺乏必要的信息來評估自動決策系統(tǒng)如何工作，政府部門自身也在努力評估這些系統(tǒng)的使用，探究它們是否產(chǎn)生了差異性影響以及思考如何讓算法承擔(dān)責(zé)任。

報告中提出的公共機(jī)構(gòu)算法影響評估的關(guān)鍵要素包括：

1.機(jī)構(gòu)應(yīng)對現(xiàn)有的和擬用的自動決策系統(tǒng)進(jìn)行自評，評估其對公平、正義、偏見及其他方面的潛在影響；

2.機(jī)構(gòu)應(yīng)開發(fā)外部研究員審核程序，發(fā)現(xiàn)、衡量或長期追蹤系統(tǒng)的影響；

3.機(jī)構(gòu)應(yīng)向公眾披露他們對于“自動決策系統(tǒng)”的定義（無論是現(xiàn)行的還是擬用的系統(tǒng)）、使用目的、范圍、時間、內(nèi)部使用策略等，同時還要披露在系統(tǒng)采用之前的任何相關(guān)自評和研究員審核過程；

4.機(jī)構(gòu)應(yīng)征求公眾意見，講清楚公眾的擔(dān)憂并就突出問題進(jìn)行解答；

5.政府部門應(yīng)為受影響個人或群體提供正當(dāng)法律訴訟機(jī)制，以應(yīng)對評估不足、不公平、有偏見等挑戰(zhàn)以及其他的機(jī)構(gòu)未能減輕或糾正的有害的系統(tǒng)使用。

如果政府在沒有問責(zé)框架的情況下部署自動決策系統(tǒng)，他們很可能與制定決策的過程失聯(lián)，進(jìn)而很難識別或應(yīng)對偏見、錯誤或其他問題。公眾對機(jī)構(gòu)如何運(yùn)作了解較少，他們質(zhì)疑或訴諸決策的權(quán)利也會更小。

迫于這種擔(dān)憂的緊迫性，AI Now研究院呼吁停止在核心公共機(jī)構(gòu)使用未經(jīng)審核的“黑箱子”系統(tǒng)。他們認(rèn)為向自動決策及預(yù)警系統(tǒng)的轉(zhuǎn)變不能妨礙機(jī)構(gòu)履行責(zé)任，保護(hù)公民諸如公平、正義、正當(dāng)法律程序的基本民主價值，防范諸如非法歧視或權(quán)利剝奪等威脅。

算法影響評估雖并不是解決自動決策系統(tǒng)的“萬靈丹”，但它確實(shí)提供了一種重要的機(jī)制來告知公眾，并讓決策者和研究人員參與到富有成效的對話中來，實(shí)現(xiàn)以下四個主要目標(biāo)：

1. 通過公開列出并描述自動決策系統(tǒng)對個人和社區(qū)的影響，既尊重了公眾的知情權(quán)同時也讓他們了解到了哪些系統(tǒng)在影響他們的生活；

2. 增加公共機(jī)構(gòu)內(nèi)部的專業(yè)知識和能力評估他們構(gòu)建或采購的系統(tǒng)，這樣他們就能夠預(yù)見那些可能引起關(guān)注的問題，例如差異性影響或?qū)φ?dāng)法律程序的違反；

3.通過為外部研究人員提供一個有意義的、持續(xù)的機(jī)會來審查、審計、評估這些系統(tǒng)，確保了自動決策系統(tǒng)更大的可責(zé)性；

4.確保公眾有機(jī)會回應(yīng)并在必要時對某一特定系統(tǒng)的使用或機(jī)構(gòu)的算法問責(zé)方法提出異議。

編輯|胡文娟 wenjuan.hu@wtoguide.net

部分內(nèi)容編譯自AI Now研究院報告“ALGORITHMIC IMPACT ASSESSMENTS： A PRACTICAL FRAMEWORK FOR PUBLIC AGENCY ACCOUNTABILITY”