謝永江，楊永興

(北京郵電大學(xué) 互聯(lián)網(wǎng)治理與法律研究中心，北京 100876)

作為信息技術(shù)領(lǐng)域的開(kāi)創(chuàng)性技術(shù)，人工智能對(duì)人類(lèi)社會(huì)的發(fā)展與變遷產(chǎn)生了深遠(yuǎn)的影響。算法、算力、數(shù)據(jù)共同構(gòu)筑人工智能的底層邏輯。其中，以算法和大數(shù)據(jù)驅(qū)動(dòng)的算法自動(dòng)化決策正悄無(wú)聲息滲透政治、經(jīng)濟(jì)、社會(huì)等領(lǐng)域的各層面，這種算法決策在信息推送、招聘、警務(wù)、電商等方面的廣泛應(yīng)用正逐步取代長(zhǎng)期以來(lái)由人類(lèi)決策或者組織的工作[1]。人類(lèi)社會(huì)儼然陷入算法社會(huì)的泥潭之中[2]。在理想狀態(tài)下，鑒于人工智能的技術(shù)中立原則，算法的自動(dòng)化決策不僅效率更高，還具有相對(duì)客觀、獨(dú)立、公正的優(yōu)勢(shì)。但在算法的具體應(yīng)用之中，算法開(kāi)發(fā)者內(nèi)隱偏見(jiàn)于算法、數(shù)據(jù)偏差、算法黑箱等因素中，導(dǎo)致算法自動(dòng)化形成的決策帶有濃厚的歧視性色彩。除了擔(dān)憂(yōu)“大數(shù)據(jù)殺熟”等消費(fèi)者權(quán)益被侵害的問(wèn)題，更讓人們惴惴不安的是透明度缺乏、監(jiān)管失位的算法決策可能使社會(huì)陷入算法和數(shù)據(jù)濫用的泥沼之中。算法歧視帶來(lái)的嚴(yán)重后果已引起不少?lài)?guó)家的關(guān)注。本文擬對(duì)人工智能時(shí)代下的算法歧視及其治理進(jìn)行探討，以期對(duì)我國(guó)算法歧視治理制度的完善提出建議。

一、算法歧視概念之厘定

目前，不同學(xué)者對(duì)算法歧視的認(rèn)知不一。理清算法歧視之定義需要從算法與歧視兩個(gè)概念著手。

算法作為一項(xiàng)新興的數(shù)字技術(shù)，已被廣泛應(yīng)用于自然科學(xué)領(lǐng)域，其主要是為解決某特定問(wèn)題而采取的明確的操作方法[3]。在人工智能時(shí)代，算法與機(jī)器學(xué)習(xí)密切相關(guān)，以大數(shù)據(jù)為節(jié)點(diǎn)，可將算法分為兩類(lèi)：一為半自主式學(xué)習(xí)算法，即使用人類(lèi)定義的模型分析數(shù)據(jù)的算法；二為自主式學(xué)習(xí)算法，即機(jī)器自動(dòng)抓取數(shù)據(jù)并生成和選擇模型的算法[4]。半自主式學(xué)習(xí)算法可以理解為在人類(lèi)定義的算法下，機(jī)器對(duì)數(shù)據(jù)進(jìn)行理解。人輸入什么數(shù)據(jù)，機(jī)器就會(huì)按照既定模型輸出相應(yīng)結(jié)果。因此，如果輸入歧視性數(shù)據(jù)，那么所得結(jié)果將不可避免地帶有歧視性色彩。而自主式學(xué)習(xí)算法是指機(jī)器自動(dòng)抓取數(shù)據(jù)并進(jìn)行自我分析建模[5]的行為，那么基于技術(shù)受限等原因?qū)е聶C(jī)器抓取的數(shù)據(jù)有偏差時(shí)，同樣會(huì)導(dǎo)致算法歧視。

不同學(xué)科對(duì)歧視有不同的定義。(1)從語(yǔ)義學(xué)角度來(lái)看，歧視是指?jìng)€(gè)人或者群體對(duì)其他個(gè)人或者群體的某些特點(diǎn)諸如性別、疾病、缺陷等又以不平等的眼光看待[6]。(2)從經(jīng)濟(jì)學(xué)角度來(lái)看，歧視是指基于偏好選擇與信息不對(duì)稱(chēng)而做出的為滿(mǎn)足特定個(gè)體利益最大化的區(qū)別對(duì)待[7]。(3)從法學(xué)的角度來(lái)看，平等與非歧視構(gòu)成國(guó)際人權(quán)法的核心。在國(guó)際人權(quán)法上，構(gòu)成歧視需滿(mǎn)足三個(gè)要件：第一，實(shí)施差別待遇；第二，該差別待遇造成不良后果；第三，實(shí)施差別待遇的理由違法[8]。雖然我國(guó)現(xiàn)行《中華人民共和國(guó)憲法》《中華人民共和國(guó)勞動(dòng)法》《中華人民共和國(guó)婦女權(quán)益保障法》等法律明確規(guī)定了禁止歧視條款，但未能清晰界定何為歧視。目前通說(shuō)認(rèn)為，歧視是指沒(méi)有合理的依據(jù)而實(shí)施區(qū)別對(duì)待的行為。

綜合上述算法與歧視概念，筆者認(rèn)為，算法歧視是由不完全或不合理的數(shù)據(jù)分析所導(dǎo)致的對(duì)特定群體或個(gè)人實(shí)施的不公正待遇。

二、算法歧視的表現(xiàn)與后果

(一)種族歧視

2015年7月，黑人程序員杰基·阿爾辛發(fā)現(xiàn)自己與黑人異性朋友的合照被谷歌圖像標(biāo)記為“大猩猩”[9]。該事件發(fā)生后，谷歌僅將“大猩猩”相關(guān)標(biāo)簽除去，并未就為何谷歌圖像會(huì)將黑人照片識(shí)別認(rèn)定為“大猩猩”這一行為做出解釋?zhuān)瑫r(shí)至今日該問(wèn)題仍未解決。研究表明，在谷歌上搜索“白人女孩”(Caucasian girls)，得到的是相對(duì)正常的信息，而搜索“亞洲女孩”(Asian girls)或者“黑人女孩”(black girls)，智能推薦算法推薦的往往是關(guān)于“約會(huì)”“色情”等方面的信息。與此類(lèi)似，人工智能算法也被廣泛應(yīng)用于司法實(shí)踐中。美國(guó)警察局在“預(yù)測(cè)警務(wù)”項(xiàng)目中，引入智能算法分析。在目標(biāo)犯罪應(yīng)呈平均分布的情況下，以大約兩倍于白人社區(qū)的規(guī)模向黑人社區(qū)調(diào)配警力[10]。上述種種現(xiàn)象表明，智能時(shí)代運(yùn)用算法進(jìn)行種族歧視已不是簡(jiǎn)單的個(gè)例現(xiàn)象。而在國(guó)際公約方面，《消除一切形式種族歧視國(guó)際公約》《公民權(quán)利和政治權(quán)利國(guó)際公約》《經(jīng)濟(jì)、社會(huì)及文化權(quán)利國(guó)際公約》等均將對(duì)特定種族實(shí)施差別待遇的歧視行為認(rèn)定為侵犯人權(quán)的行為[11]。

(二)消費(fèi)者歧視

人工智能技術(shù)的變遷促進(jìn)了電商產(chǎn)業(yè)的蓬勃發(fā)展。受逐利思想的驅(qū)使，電商經(jīng)營(yíng)者將算法的效用發(fā)揮到了極致，導(dǎo)致被人詬病的“大數(shù)據(jù)殺熟”問(wèn)題。大數(shù)據(jù)殺熟即電商經(jīng)營(yíng)者通過(guò)算法程序，對(duì)平臺(tái)內(nèi)消費(fèi)者的數(shù)據(jù)進(jìn)行搜集、匯總、分析并對(duì)其進(jìn)行精準(zhǔn)畫(huà)像，得到消費(fèi)者最大支付意愿信息，進(jìn)而實(shí)行千人千價(jià)[12]。2020年12月，美團(tuán)被爆涉嫌利用大數(shù)據(jù)殺熟。有網(wǎng)友稱(chēng)通過(guò)美團(tuán)購(gòu)物時(shí)發(fā)現(xiàn)配送地點(diǎn)相同的外賣(mài)，使用會(huì)員賬號(hào)登錄的配送費(fèi)是6元，而使用非會(huì)員賬號(hào)登錄的配送費(fèi)卻是2元[13]。就一般意義而言，老客戶(hù)原本會(huì)獲得新顧客享受不到的優(yōu)惠，然而有報(bào)道稱(chēng)價(jià)值300元的酒店房間，老客戶(hù)在APP上卻要花費(fèi)380元[14]。這種差異化定價(jià)使消費(fèi)者在同等質(zhì)量和數(shù)量的產(chǎn)品交易中并未獲得公正的待遇，是對(duì)消費(fèi)者公平交易權(quán)的侵害。除此之外，消費(fèi)者在電商平臺(tái)瀏覽過(guò)相關(guān)商品之后，打開(kāi)其他APP時(shí)也會(huì)收到相關(guān)商品的廣告推送，這實(shí)際上是平臺(tái)利用算法將搜集到的用戶(hù)數(shù)據(jù)在不同平臺(tái)之間進(jìn)行共享，借此進(jìn)行相關(guān)推送，損害用戶(hù)的隱私權(quán)。

(三)競(jìng)爭(zhēng)對(duì)手歧視

谷歌公司開(kāi)發(fā)出一款名為PageRank的算法。與淘寶類(lèi)似，該算法根據(jù)賣(mài)家的信譽(yù)度、銷(xiāo)量等因素對(duì)平臺(tái)商品進(jìn)行賦權(quán)，對(duì)產(chǎn)品從高到低進(jìn)行排序，從而對(duì)網(wǎng)頁(yè)進(jìn)行篩選[15]。權(quán)重大的網(wǎng)頁(yè)得到靠前推送的機(jī)會(huì)，權(quán)重低的網(wǎng)頁(yè)自然排序在后。Google Shopping服務(wù)進(jìn)入歐洲市場(chǎng)后，將自己的商品業(yè)務(wù)排除在PageRank算法的審核范圍外，并且將自己旗下的商品信息置于搜索頁(yè)面頂部。谷歌這種濫用市場(chǎng)支配地位，利用算法進(jìn)行流量阻截以達(dá)排除、限制競(jìng)爭(zhēng)效果的做法，已然構(gòu)成對(duì)其他經(jīng)營(yíng)者競(jìng)爭(zhēng)性利益的侵害。

(四)性別歧視

Datta等[16]研究了求職者性別與廣告推送的關(guān)系。研究發(fā)現(xiàn)，谷歌推送給男性求職者高薪職位的次數(shù)要遠(yuǎn)高于女性求職者。2019年，聯(lián)合國(guó)教科文組織發(fā)布的建議書(shū)《如果我能，我會(huì)臉紅》指出，性別歧視隱藏在亞馬遜語(yǔ)音助手Alexa、蘋(píng)果語(yǔ)音助手Siri等多數(shù)AI語(yǔ)音助手中，而且這些語(yǔ)音助手都被算法設(shè)計(jì)為千篇一律、謙卑恭順的女性形象[17]。除此之外，Zhao等[18]研究發(fā)現(xiàn)，男性照片被識(shí)別為女性的原因是照片中的人物在忙家務(wù)。

前文所述的種種算法歧視，也間接產(chǎn)生了諸多不利后果。首先，算法歧視加劇了數(shù)字鴻溝。作為人工智能時(shí)代的特有產(chǎn)物，算法歧視將特定群體排除在人際交往之外，當(dāng)這些群體在數(shù)字信息供給能力、獲取能力、應(yīng)用能力上分別或均處于缺乏狀態(tài)時(shí)，他們會(huì)陷入數(shù)字貧困狀態(tài)[19]，繼而進(jìn)一步擴(kuò)大社會(huì)貧富差距，加深既有偏見(jiàn)。其次，算法歧視不利于人工智能產(chǎn)業(yè)的長(zhǎng)遠(yuǎn)發(fā)展。人工智能的健康發(fā)展有賴(lài)于人機(jī)關(guān)系的相互信任，而算法歧視將會(huì)破壞這種信任關(guān)系。

三、算法歧視肇因之追本溯源

歧視并非算法社會(huì)的專(zhuān)利。作為人類(lèi)社會(huì)的附屬品，早在人工智能誕生之前，歧視現(xiàn)象就已廣泛存在于人類(lèi)社會(huì)[20]。步入算法社會(huì)之后，算法開(kāi)發(fā)者的內(nèi)隱偏見(jiàn)嵌于算法、數(shù)據(jù)偏差、算法黑箱中，為歧視持續(xù)注入生成動(dòng)力。

(一)內(nèi)隱偏見(jiàn)

內(nèi)隱偏見(jiàn)是在信息匱乏、主體經(jīng)驗(yàn)以及慣性思維等因素影響下，形成的可自動(dòng)表達(dá)的對(duì)他人或者群體的片面的看法[21]。誠(chéng)如一萬(wàn)個(gè)人眼里有一萬(wàn)個(gè)蒙娜麗莎，受所受的職業(yè)教育、所處的家庭背景等影響，算法工程師對(duì)同一事物形成的印象存在差異，基于個(gè)人主觀的看法不可避免存有片面性。而出于維持積極的自我認(rèn)同及維護(hù)尊嚴(yán)的需要，算法工程師傾向于將貶義的刻板印象賦予外群[22]。然偏見(jiàn)與歧視不可同日而語(yǔ)，內(nèi)隱偏見(jiàn)需要以一定的方式外化方可構(gòu)成歧視。如果算法工程師在進(jìn)行算法的編寫(xiě)過(guò)程中將自己的內(nèi)隱偏見(jiàn)以代碼形式嵌于算法中，勢(shì)必會(huì)造成嚴(yán)重的算法歧視問(wèn)題。無(wú)論是算法引發(fā)的種族歧視還是就業(yè)歧視，歸根結(jié)底都是人類(lèi)思想所主導(dǎo)的算法歧視，而不是算法技術(shù)所帶來(lái)的必然后果[23]。

(二)數(shù)據(jù)偏差

數(shù)據(jù)偏差是算法歧視產(chǎn)生的另一途徑。有學(xué)者稱(chēng)算法是機(jī)器學(xué)習(xí)的結(jié)果，而機(jī)器的學(xué)習(xí)遠(yuǎn)不能離開(kāi)對(duì)數(shù)據(jù)的搜集，故數(shù)據(jù)偏差同樣會(huì)引起算法歧視。

在大數(shù)據(jù)時(shí)代，數(shù)據(jù)通過(guò)被動(dòng)、主動(dòng)、自動(dòng)三種途徑產(chǎn)生[24]，每個(gè)人都可能成為數(shù)據(jù)的生產(chǎn)者。根據(jù)艾媒數(shù)據(jù)中心《2020年中國(guó)主要網(wǎng)絡(luò)直播平臺(tái)用戶(hù)年齡分布》，以嗶哩嗶哩視頻網(wǎng)站為例，18歲以下用戶(hù)占比25.1%，19～24歲占比56.4%，25～30歲占比4.9%，31～35歲占比2.3%，46歲以上占比4.7%[25]。據(jù)此可知，觀看直播的用戶(hù)主要為青少年，老年人較少。當(dāng)這些直播電商平臺(tái)利用算法搜集這些用戶(hù)生成的數(shù)據(jù)自動(dòng)化決策時(shí)，即使算法設(shè)計(jì)極具公正性，由于所選取的樣本數(shù)據(jù)分配不均，也會(huì)出現(xiàn)自動(dòng)化形成的決策對(duì)老年不公的現(xiàn)象。

此外，對(duì)于自主學(xué)習(xí)算法而言，人類(lèi)開(kāi)發(fā)機(jī)器學(xué)習(xí)算法是為了通過(guò)對(duì)數(shù)據(jù)的搜集與學(xué)習(xí)，提高機(jī)器在學(xué)習(xí)過(guò)程中輸出結(jié)論的準(zhǔn)確性與高效性。但目前市面上一些機(jī)器學(xué)習(xí)算法并不具備信息甄別與過(guò)濾功能[23]66，導(dǎo)致機(jī)器學(xué)習(xí)算法將帶有歧視性數(shù)據(jù)也搜集起來(lái)，進(jìn)而產(chǎn)生“偏見(jiàn)進(jìn)、偏見(jiàn)出”的現(xiàn)象。意即其能解決提高效率問(wèn)題，卻不能避免歷史數(shù)據(jù)本身造成的缺陷[26]。

(三)算法黑箱

黑箱理論源于控制論，是指在人類(lèi)對(duì)系統(tǒng)開(kāi)展研究時(shí)，不針對(duì)系統(tǒng)，而僅僅依據(jù)輸入和輸出結(jié)論分析相關(guān)規(guī)律，即人類(lèi)把系統(tǒng)作為一個(gè)看不透的黑色箱子，該系統(tǒng)為人不知、不能打開(kāi)也不能從外部查知[27]。在信息技術(shù)領(lǐng)域，黑箱是指當(dāng)技術(shù)專(zhuān)業(yè)人員對(duì)計(jì)算系統(tǒng)進(jìn)行理解或測(cè)試時(shí)，他們不知道且不能查看系統(tǒng)的內(nèi)部運(yùn)轉(zhuǎn)情況[28]。因此，從這個(gè)意義上來(lái)說(shuō)，算法黑箱是指算法運(yùn)行過(guò)程中出現(xiàn)的復(fù)雜且專(zhuān)業(yè)性極強(qiáng)的環(huán)節(jié)，而部分人對(duì)此環(huán)節(jié)也無(wú)法得到解釋。諸多企業(yè)將算法作為商業(yè)秘密進(jìn)行保護(hù)，用戶(hù)不能知悉算法運(yùn)行的工作原理，由此推動(dòng)算法黑箱的形成。當(dāng)用戶(hù)僅知悉算法結(jié)果，而對(duì)初始數(shù)據(jù)的搜集、自動(dòng)化決策的算法運(yùn)行規(guī)則并不知情時(shí)，此種嚴(yán)重的信息不對(duì)稱(chēng)現(xiàn)象會(huì)導(dǎo)致算法歧視更加隱蔽而不易被查知。

四、算法歧視規(guī)制的域外考察

如前文所述，算法歧視帶來(lái)了諸多不利后果。為了充分保護(hù)公民權(quán)益，促進(jìn)人工智能產(chǎn)業(yè)健康發(fā)展，亟需對(duì)其規(guī)制。數(shù)據(jù)和算法為人工智能的兩大核心，針對(duì)算法歧視的規(guī)制，歐盟形成了個(gè)人數(shù)據(jù)賦權(quán)的嚴(yán)格保護(hù)模式，美國(guó)形成了以算法問(wèn)責(zé)為中心的模式，而日本建立匿名加工信息制度以對(duì)抗數(shù)據(jù)的濫用。

(一)歐盟——個(gè)人數(shù)據(jù)賦權(quán)為核心的嚴(yán)格保護(hù)模式

1953年，《歐洲人權(quán)公約》對(duì)個(gè)人數(shù)據(jù)的保護(hù)做出規(guī)定，其中第8條規(guī)定“人人有權(quán)享有使自己的私人和家庭生活、住所和通信得到尊重的權(quán)利”，這一條款后經(jīng)歐洲人權(quán)法院解釋將個(gè)人數(shù)據(jù)納入隱私權(quán)的保護(hù)范圍[29]。隨著大數(shù)據(jù)的發(fā)展，傳統(tǒng)隱私權(quán)保護(hù)路徑已然不能應(yīng)對(duì)數(shù)據(jù)濫用對(duì)公民個(gè)人數(shù)據(jù)保護(hù)的沖擊。直到2000年，作為一種新興的權(quán)利，個(gè)人數(shù)據(jù)保護(hù)權(quán)才被寫(xiě)入《歐盟基本權(quán)利憲章》，但其僅僅是原則性規(guī)定，此時(shí)個(gè)人數(shù)據(jù)保護(hù)權(quán)仍未與隱私權(quán)相分離。直到2018年5月25日，歐盟的《一般數(shù)據(jù)保護(hù)條例》(GeneralDataProtectionRegulation，GDPR)才徹底將個(gè)人數(shù)據(jù)保護(hù)權(quán)與隱私權(quán)相剝離。

GDPR在前言部分對(duì)算法歧視概念做出相應(yīng)界定，并后續(xù)規(guī)定了一系列規(guī)制算法歧視的方法。GDPR規(guī)定“數(shù)據(jù)控制者應(yīng)當(dāng)采用合適的數(shù)學(xué)或統(tǒng)計(jì)程序進(jìn)行數(shù)據(jù)畫(huà)像活動(dòng)，確保個(gè)人數(shù)據(jù)安全，防止因?yàn)榉N族、政治主張或者性取向等原因?qū)ψ匀蝗嗽斐善缫曈绊憽盵4]67。基于此，有學(xué)者將歐盟GDPR規(guī)制算法歧視的基本原則稱(chēng)為“數(shù)據(jù)清潔”，具體規(guī)定見(jiàn)GDPR第9條，“揭露種族、宗教信仰等資格，及出于識(shí)別自然人身份目的，處理基因數(shù)據(jù)、或與自然人的健康、性生活等個(gè)人數(shù)據(jù)相關(guān)的個(gè)人數(shù)據(jù)處理活動(dòng)應(yīng)被禁止”[4]67。此外，GDPR賦予數(shù)據(jù)主體訪(fǎng)問(wèn)權(quán)、刪除權(quán)、可攜權(quán)、被遺忘權(quán)、算法解釋權(quán)等權(quán)利，試圖以個(gè)人權(quán)利限制算法權(quán)力的擴(kuò)張進(jìn)而達(dá)到對(duì)算法歧視的抑制效果。

為了更好地貫徹落實(shí)GDPR，歐盟通過(guò)了《關(guān)于自動(dòng)化個(gè)人決策目的和識(shí)別分析目的準(zhǔn)則》(GuidelinesonAutomatedIndividualDecision-MakingandProfilingforthePurposesofRegulation2016/679)，其在附錄一的“良好實(shí)踐經(jīng)驗(yàn)”中針對(duì)GDPR第22條的“適當(dāng)安全保障措施”提出了算法審計(jì)，即“數(shù)據(jù)控制者應(yīng)檢測(cè)使用的和機(jī)器學(xué)習(xí)發(fā)展出的算法，以證明其是在按照實(shí)際運(yùn)行，并且沒(méi)有產(chǎn)生歧視性的、錯(cuò)誤的或不合理的結(jié)果”(1)參見(jiàn)Guidelines on Automated Individual Decision-Making and Profiling for the Purposes of Regulation 2016/679：ANNEX 1-Good practice recommendations。在此需厘定的是該條款僅僅是對(duì)自動(dòng)化決策的特殊規(guī)定，即對(duì)GDPR第22條規(guī)定的應(yīng)當(dāng)采取的安全保障措施做出的闡釋?zhuān)疵撾xGDPR的個(gè)人數(shù)據(jù)賦權(quán)模式的范式分析。

(二)美國(guó)——算法問(wèn)責(zé)模式

1986年，美國(guó)《電子記錄系統(tǒng)和個(gè)人隱私》已充分意識(shí)到治理算法歧視的必要性，其明確指出政府部門(mén)畫(huà)像的使用引起了算法歧視等重要的隱私和憲法問(wèn)題，但當(dāng)時(shí)并未有任何針對(duì)此種問(wèn)題的立法。1974年通過(guò)的《平等信用機(jī)會(huì)法》已包含禁止算法歧視的相關(guān)內(nèi)容。該法規(guī)定，“在信貸交易方面，因種族、國(guó)籍、性取向等的差異而歧視相應(yīng)信貸者即為非法”[30]。然而在相當(dāng)長(zhǎng)一段時(shí)間內(nèi)，美國(guó)針對(duì)算法歧視的治理立法一直停滯不前。2014年，美國(guó)白宮發(fā)布《大數(shù)據(jù)：抓住機(jī)遇，堅(jiān)守價(jià)值》報(bào)告。報(bào)告稱(chēng)，受數(shù)據(jù)偏差、算法設(shè)計(jì)者主觀影響，算法自動(dòng)化決策往往會(huì)對(duì)特定人群帶來(lái)歧視損害，建議政府采取行動(dòng)應(yīng)對(duì)算法歧視[31]。2017年8月，紐約州率先通過(guò)算法問(wèn)責(zé)法案，緊接著2019年華盛頓州亦通過(guò)相關(guān)的問(wèn)責(zé)法案。2019年4月，美國(guó)國(guó)會(huì)引入《2019算法問(wèn)責(zé)法案》，該法案的第一部分旨在規(guī)制算法黑箱中的歧視，具體路徑即授權(quán)美國(guó)聯(lián)邦貿(mào)易委員會(huì)要求受監(jiān)管的企業(yè)自行審查算法歧視[4]69。2022年2月，美國(guó)幾個(gè)民主黨參議員推出《2022年算法問(wèn)責(zé)法案》，該法案為《2019年算法問(wèn)責(zé)法案》的更新版本。該法案要求科技企業(yè)在運(yùn)用自動(dòng)化決策系統(tǒng)做出關(guān)鍵決策時(shí)，對(duì)歧視性、有效性和相關(guān)因素進(jìn)行自我審查。此外，該法案另規(guī)定聯(lián)邦貿(mào)易委員會(huì)開(kāi)發(fā)一個(gè)自動(dòng)化決策系統(tǒng)的公共存儲(chǔ)庫(kù)，里面包括自動(dòng)化決策系統(tǒng)的源數(shù)據(jù)、參數(shù)以及對(duì)算法自動(dòng)化決策提出質(zhì)疑的記錄，并建議聯(lián)邦貿(mào)易委員會(huì)增加工作人員，成立一個(gè)專(zhuān)門(mén)的技術(shù)局來(lái)執(zhí)行該項(xiàng)立法。由此可見(jiàn)，美國(guó)針對(duì)算法歧視選擇了以問(wèn)責(zé)為中心的規(guī)制路徑，成立專(zhuān)門(mén)的監(jiān)管機(jī)構(gòu)對(duì)被監(jiān)管的企業(yè)具有審查追責(zé)的權(quán)力。雖然對(duì)算法進(jìn)行問(wèn)責(zé)尚未在美國(guó)全域展開(kāi)，但美國(guó)的做法可為世界各國(guó)治理算法歧視提供寶貴的經(jīng)驗(yàn)。

(三)日本——匿名加工信息模式

日本《個(gè)人信息保護(hù)法》并非以歐盟對(duì)個(gè)人數(shù)據(jù)賦權(quán)的路徑對(duì)個(gè)人數(shù)據(jù)提供保護(hù)，而是在賦予數(shù)據(jù)某種公共物品的屬性以促進(jìn)數(shù)據(jù)資源流通時(shí)，建立“匿名加工信息”制度以兼顧保護(hù)與開(kāi)發(fā)二者之間的關(guān)系。雖然對(duì)于匿名加工信息的使用不需經(jīng)過(guò)相關(guān)主體的同意，但為了避免相關(guān)信息被用以實(shí)施歧視性算法決策，日本對(duì)數(shù)據(jù)控制者科以嚴(yán)格的法定義務(wù)：第一，妥善加工義務(wù)，如刪除可識(shí)別特定自然人的特征信息；第二，安全管理義務(wù)，如防止匿名加工的相關(guān)信息泄露；第三，公示義務(wù)，如經(jīng)營(yíng)者應(yīng)當(dāng)將擬實(shí)施的匿名加工信息或者將此等信息提供給他人的情況予以公示通知；第四，禁止識(shí)別義務(wù)，即禁止反向清洗匿名信息—利用匿名加工所得信息實(shí)施識(shí)別特定自然人的行為[32]。

(四)域外算法歧視規(guī)制的啟示

綜上所述，歐盟、美國(guó)、日本分別基于各自的背景形成了各具特色的算法歧視規(guī)制模式。歐盟的“數(shù)據(jù)清潔”雖然可以防止基于種族、性別、健康信息等因素實(shí)施的直接歧視，但是其在面對(duì)算法基于關(guān)聯(lián)數(shù)據(jù)實(shí)施的間接歧視行為面前則顯得成效不足。日本的“匿名加工信息”制度與歐盟“數(shù)據(jù)清潔”模式有異曲同工之處，但日本對(duì)數(shù)據(jù)控制者科以嚴(yán)格的法定義務(wù)，在一定程度上可緩解基于關(guān)聯(lián)數(shù)據(jù)實(shí)施的算法歧視行為。美國(guó)《2022年算法問(wèn)責(zé)法案》規(guī)定的算法審查問(wèn)責(zé)制度可以較好地解決基于直接數(shù)據(jù)及關(guān)聯(lián)數(shù)據(jù)實(shí)施的歧視行為，但該模式不可避免地使公民在算法運(yùn)用中處于被動(dòng)的地位。

五、算法歧視規(guī)制的中國(guó)路徑

當(dāng)下，我國(guó)人工智能產(chǎn)業(yè)尚處于新生階段。規(guī)制算法歧視，除了參考借鑒域外模式，更重要的是立足于我國(guó)的基本國(guó)情，結(jié)合歐、美、日算法歧視治理的范式，形成算法治理多元規(guī)制的中國(guó)模式。

(一)算法歧視規(guī)制的法律之維

1.賦予數(shù)據(jù)主體算法解釋權(quán)

抑制算法歧視首先應(yīng)賦予數(shù)據(jù)主體算法解釋權(quán)。由于算法黑箱的存在，算法平臺(tái)與用戶(hù)之間存在嚴(yán)重的數(shù)據(jù)差，為算法歧視注入生成動(dòng)力。為了破解算法黑箱給用戶(hù)帶來(lái)的歧視性問(wèn)題，應(yīng)當(dāng)肯定數(shù)據(jù)主體的權(quán)利：當(dāng)數(shù)據(jù)主體認(rèn)為算法決策與自己的預(yù)期存有偏差且該決策關(guān)涉自身合法權(quán)益時(shí)，要求對(duì)算法的工作原理進(jìn)行解釋的權(quán)利。姜野等[33]認(rèn)為，算法解釋權(quán)不僅使用戶(hù)擁有知悉算法真相的權(quán)利，而且當(dāng)算法存在不合理或數(shù)據(jù)偏差時(shí)民眾有救濟(jì)的權(quán)利。雖然我國(guó)《中華人民共和國(guó)個(gè)人信息保護(hù)法》第24條涉及算法解釋權(quán)，但其規(guī)定過(guò)于模糊，適用起來(lái)較為困難。因此，賦予數(shù)據(jù)主體算法解釋權(quán)需要明確其具體內(nèi)容：算法解釋權(quán)的權(quán)利主體應(yīng)為自然人；義務(wù)主體應(yīng)為算法開(kāi)發(fā)者與算法應(yīng)用者；權(quán)利內(nèi)容為要求對(duì)不涉及商業(yè)秘密的算法運(yùn)行原理進(jìn)行公開(kāi)解釋。在人工智能時(shí)代，算法對(duì)于互聯(lián)網(wǎng)企業(yè)來(lái)說(shuō)極具商業(yè)價(jià)值。為了避免不法行為人濫用算法解釋權(quán)而侵害他人的商業(yè)秘密，有必要對(duì)算法解釋權(quán)進(jìn)行一定的限制，即對(duì)于涉及企業(yè)商業(yè)秘密的核心算法代碼，權(quán)利主體不能要求義務(wù)主體公開(kāi)，否則既違反了公平原則，也容易滋生不正當(dāng)競(jìng)爭(zhēng)行為。

2.建構(gòu)算法審查制度

規(guī)制算法歧視，更重要的是建構(gòu)算法審查制度。美國(guó)在公布《2019年算法問(wèn)責(zé)法案》之前，學(xué)界主張推動(dòng)算法透明化以應(yīng)對(duì)算法歧視行為。我國(guó)《關(guān)于加強(qiáng)互聯(lián)網(wǎng)信息服務(wù)算法綜合治理的指導(dǎo)意見(jiàn)》的第十三條(2)《關(guān)于加強(qiáng)互聯(lián)網(wǎng)信息服務(wù)算法綜合治理的指導(dǎo)意見(jiàn)》第十三條規(guī)定：推動(dòng)算法公開(kāi)透明。規(guī)范企業(yè)算法應(yīng)用行為，保護(hù)網(wǎng)民合理權(quán)益，秉持公平、公正原則，促進(jìn)算法公開(kāi)透明。及《互聯(lián)網(wǎng)信息服務(wù)算法推薦管理規(guī)定》第十二條亦規(guī)定推動(dòng)算法透明(3)《互聯(lián)網(wǎng)信息服務(wù)算法推薦管理規(guī)定》第十二條規(guī)定：鼓勵(lì)算法推薦服務(wù)提供者綜合運(yùn)用內(nèi)容去重、打散干預(yù)等策略，并優(yōu)化檢索、排序、選擇、推送、展示等規(guī)則的透明度和可解釋性，避免對(duì)用戶(hù)產(chǎn)生不良影響，預(yù)防和減少爭(zhēng)議糾紛。。筆者不太認(rèn)同此做法。根據(jù)2020年頒布的《最高人民法院關(guān)于審理侵犯商業(yè)秘密民事案件適用法律若干問(wèn)題的規(guī)定》的司法解釋(4)《最高人民法院關(guān)于審理侵犯商業(yè)秘密民事案件適用法律若干問(wèn)題的規(guī)定》第一條規(guī)定：與技術(shù)有關(guān)的結(jié)構(gòu)、原料、組分、配方、材料、樣品、樣式、植物新品種繁殖材料、工藝、方法或其步驟、算法、數(shù)據(jù)、計(jì)算機(jī)程序及其有關(guān)文檔等信息，人民法院可以認(rèn)定構(gòu)成反不正當(dāng)競(jìng)爭(zhēng)法第九條第四款所稱(chēng)的技術(shù)信息。，算法、數(shù)據(jù)被認(rèn)定為商業(yè)秘密。算法對(duì)于平臺(tái)來(lái)說(shuō)極具商業(yè)價(jià)值，如果強(qiáng)行要求企業(yè)公開(kāi)算法，不僅會(huì)侵犯企業(yè)的商業(yè)秘密，還會(huì)滋生不正當(dāng)競(jìng)爭(zhēng)行為。構(gòu)建算法審查制度將知悉算法的主體限定在一定范圍之內(nèi)，可以緩解商業(yè)秘密保護(hù)和用戶(hù)知情權(quán)之間的矛盾。為此，美國(guó)《2022年算法問(wèn)責(zé)法案》規(guī)定企業(yè)應(yīng)自行對(duì)算法進(jìn)行審核并報(bào)告給聯(lián)邦貿(mào)易委員會(huì)。歐盟在《關(guān)于自動(dòng)化個(gè)人決策目的和識(shí)別分析目的準(zhǔn)則》中亦提出數(shù)據(jù)控制者要進(jìn)行算法審計(jì)的實(shí)踐建議。我國(guó)《互聯(lián)網(wǎng)信息服務(wù)算法推薦管理規(guī)定》也規(guī)定算法推薦服務(wù)提供商應(yīng)自我定期審查。筆者認(rèn)為，受逐利思想的驅(qū)使，企業(yè)的自我審核對(duì)規(guī)制算法歧視恐怕難以起到良好的效果。

因此，構(gòu)建完善的算法審查制度應(yīng)包括三個(gè)方面：第一，企業(yè)的自我審查；第二，行業(yè)協(xié)會(huì)的自律審查；第三，行政機(jī)關(guān)的監(jiān)督審查。首先，就企業(yè)的自我審查而言，其在開(kāi)發(fā)應(yīng)用新的算法之前，應(yīng)主動(dòng)審查該算法是否會(huì)造成歧視以及數(shù)據(jù)有無(wú)偏差，并將該審查報(bào)告向行政機(jī)關(guān)進(jìn)行備案。其次，對(duì)于互聯(lián)網(wǎng)相關(guān)行業(yè)協(xié)會(huì)而言，應(yīng)制定該協(xié)會(huì)算法審查的相關(guān)規(guī)則，可以將通過(guò)行業(yè)協(xié)會(huì)算法審查作為協(xié)會(huì)的準(zhǔn)入門(mén)檻。最后，對(duì)于行政審查而言，應(yīng)由行政人員、算法技術(shù)人員、法律工作者、消費(fèi)者等人員共同組建行政主導(dǎo)的算法審查委員會(huì)，不定期對(duì)市場(chǎng)運(yùn)行算法進(jìn)行審查，并將算法審查結(jié)果納入企業(yè)信用系統(tǒng)[34]。

3.進(jìn)行算法問(wèn)責(zé)

對(duì)算法進(jìn)行問(wèn)責(zé)，即通過(guò)問(wèn)責(zé)制，將由高交易成本造成的外部性?xún)?nèi)部化[35]。一方面，當(dāng)用戶(hù)因算法不公受到傷害時(shí)，應(yīng)鼓勵(lì)用戶(hù)通過(guò)行使訴權(quán)的方式向法院提起訴訟進(jìn)行救濟(jì)；另一方面，通過(guò)對(duì)算法平臺(tái)進(jìn)行追責(zé)，對(duì)其科以賠償責(zé)任以彌補(bǔ)算法用戶(hù)受到的傷害。而當(dāng)下，我國(guó)《中華人民共和國(guó)憲法》《中華人民共和國(guó)婦女權(quán)益保障法》等僅以宣示性條款禁止各種歧視，對(duì)算法歧視規(guī)制缺乏實(shí)際可操作性與可訴性。為了切實(shí)維護(hù)公民的合法權(quán)益，可以將公益訴訟制度引入算法歧視的規(guī)制體系中，即賦予檢察院或者其他行政主體或組織在特定群體因算法歧視遭受侵害時(shí)向人民法院提起公益訴訟的權(quán)利。

此外，在對(duì)算法進(jìn)行追責(zé)時(shí)，雖然我國(guó)《關(guān)于加強(qiáng)互聯(lián)網(wǎng)信息服務(wù)算法綜合治理的指導(dǎo)意見(jiàn)》指出企業(yè)應(yīng)對(duì)算法應(yīng)用的后果承擔(dān)責(zé)任，但是此條款缺乏配套性措施，故需要明確算法歧視的責(zé)任主體、算法歧視行為與損害之間的因果關(guān)系、歸責(zé)原則以及責(zé)任方式。首先，就算法歧視的責(zé)任主體而言，雖然歧視由算法造成，但是仍應(yīng)由人來(lái)承擔(dān)算法責(zé)任，即由算法開(kāi)發(fā)者與算法使用者承擔(dān)責(zé)任。至于算法開(kāi)發(fā)者與算法使用者應(yīng)當(dāng)承擔(dān)何種責(zé)任，則需要根據(jù)算法具體的應(yīng)用場(chǎng)景不同而做出不同的規(guī)定。其次，針對(duì)算法歧視行為與造成損害之間的因果關(guān)系判斷，應(yīng)采取相當(dāng)因果關(guān)系的認(rèn)定標(biāo)準(zhǔn)[36]。再次，就算法歧視的歸責(zé)原則而言，由于人機(jī)之間關(guān)系的不對(duì)等使算法用戶(hù)處于一種弱勢(shì)地位，應(yīng)采取無(wú)過(guò)錯(cuò)責(zé)任原則。但是，為了平衡公民權(quán)益保護(hù)與人工智能產(chǎn)業(yè)發(fā)展之間的矛盾，應(yīng)肯定算法責(zé)任主體存有免責(zé)事由。從這個(gè)角度來(lái)說(shuō)，《中華人民共和國(guó)產(chǎn)品質(zhì)量法》提供了值得借鑒的思路：如在算法設(shè)計(jì)之時(shí)，算法經(jīng)過(guò)多方主體審核認(rèn)證不存在偏見(jiàn)，而歧視現(xiàn)象在現(xiàn)有科技水平下不能發(fā)現(xiàn)的，那么算法開(kāi)發(fā)者與算法運(yùn)用者應(yīng)當(dāng)獲得免責(zé)事由。最后，針對(duì)算法歧視的責(zé)任，需要根據(jù)歧視的具體場(chǎng)景決定責(zé)任主體的責(zé)任方式，包括但不限于民事責(zé)任、行政責(zé)任甚至刑事責(zé)任。

(二)算法歧視規(guī)制的技術(shù)之維

算法歧視是算法技術(shù)濫用所導(dǎo)致的不良后果，因此，利用技術(shù)手段規(guī)制算法歧視是另一重要的途徑。技術(shù)規(guī)制不僅是一種理論，也具有具體實(shí)踐的基礎(chǔ)。歐盟GDPR在“控制者責(zé)任”部分要求數(shù)據(jù)控制者應(yīng)采取適當(dāng)?shù)募夹g(shù)措施以決定處理方式[37]。就技術(shù)規(guī)制而言，首先，應(yīng)擴(kuò)大算法數(shù)據(jù)采集維度以應(yīng)對(duì)數(shù)據(jù)偏差問(wèn)題，利用技術(shù)從源頭擴(kuò)充數(shù)據(jù)的可選擇范圍，擴(kuò)充數(shù)據(jù)搜集維度[5]48。其次，應(yīng)推動(dòng)開(kāi)發(fā)具有反歧視意識(shí)的數(shù)據(jù)挖掘技術(shù)。再次，利用技術(shù)手段提高算法運(yùn)行過(guò)程的透明度，避免算法黑箱的產(chǎn)生。最后，算法開(kāi)發(fā)者在研發(fā)算法產(chǎn)品時(shí)應(yīng)對(duì)相關(guān)算法應(yīng)用類(lèi)型涉及的數(shù)據(jù)安全、個(gè)人信息保護(hù)、消費(fèi)者權(quán)益保護(hù)、反壟斷等要求進(jìn)行全面考量，并根據(jù)現(xiàn)行法律法規(guī)要求進(jìn)行算法開(kāi)發(fā)設(shè)計(jì)。鑒于算法工程師對(duì)法律要求的理解可能不符合法律的本意，則需要法律工作者與算法工程師通力合作開(kāi)發(fā)出符合法律要求的算法技術(shù)。

(三)算法歧視規(guī)制的社會(huì)規(guī)范之維

羅爾斯[38]認(rèn)為，社會(huì)公正是一個(gè)社會(huì)制度的首要價(jià)值，而公正亦是當(dāng)下中國(guó)人民努力追求的崇高價(jià)值之一。黨的十八大報(bào)告提出“倡導(dǎo)富強(qiáng)、民主、文明、和諧，倡導(dǎo)自由、平等、公正、法治，倡導(dǎo)愛(ài)國(guó)、敬業(yè)、誠(chéng)信、友善，積極培育和踐行社會(huì)主義核心價(jià)值觀”[39]。規(guī)制算法歧視不能忽視社會(huì)主義核心價(jià)值觀的引領(lǐng)作用，要大力弘揚(yáng)社會(huì)主義核心價(jià)值觀，積極引導(dǎo)算法工程師樹(shù)立公正的算法意識(shí)，引導(dǎo)算法工程師將公正理念嵌于算法之中。算法使用者亦要牢固樹(shù)立公正意識(shí)，不欺詐、不偏袒，從而構(gòu)建信任的人機(jī)關(guān)系，推動(dòng)人工智能產(chǎn)業(yè)的健康發(fā)展。執(zhí)法人員亦要堅(jiān)守法律底線(xiàn)，恪守公正道德，將公正理念貫徹落實(shí)于算法歧視治理的全過(guò)程。

六、結(jié) 語(yǔ)

作為人工智能核心技術(shù)之一，算法在造福人類(lèi)的同時(shí)亦帶來(lái)不可忽視的算法歧視問(wèn)題。算法歧視給人類(lèi)社會(huì)帶來(lái)諸多不利后果，有必要對(duì)其進(jìn)行規(guī)制。作為人工智能的先行者，歐盟、美國(guó)、日本分別形成了規(guī)制算法歧視的不同模式。由于我國(guó)尚處于人工智能的發(fā)展階段，規(guī)制算法歧視要立足于我國(guó)的基本國(guó)情，借鑒域外模式，從法律、技術(shù)、社會(huì)規(guī)范三重維度形成具有中國(guó)特色的算法歧視規(guī)制范式。