曹博

摘 要：對(duì)算法歧視進(jìn)行一體化規(guī)制的預(yù)設(shè)失之抽象，個(gè)別化規(guī)制的探討則受限于部門法思維，過(guò)于宏觀與過(guò)于微觀的視角都存在各自盲點(diǎn)，基于類型界分的規(guī)制范式重構(gòu)嘗試探索一條折中路徑。承認(rèn)算法歧視在根源上與傳統(tǒng)歧視具有同質(zhì)性是進(jìn)行分類的前提，復(fù)現(xiàn)型算法歧視、加劇型算法歧視及新增型算法歧視是在比對(duì)算法決策與傳統(tǒng)決策的基礎(chǔ)上實(shí)現(xiàn)的類型化整合，以此為基礎(chǔ)分析規(guī)制歧視的傳統(tǒng)范式也顯得有的放矢。面對(duì)不同類型算法歧視存在的技術(shù)難題與法理障礙，進(jìn)一步細(xì)化具體類型中的特殊情形，提煉規(guī)制重點(diǎn)，將深化對(duì)算法歧視的認(rèn)知，實(shí)現(xiàn)以制衡算法權(quán)力為核心的規(guī)制范式重構(gòu)。

關(guān)鍵詞：算法歧視;算法權(quán)力;規(guī)制范式

中圖分類號(hào)：DF920.0 文獻(xiàn)標(biāo)志碼：A

文章編號(hào)：1001-2397（2021）04-0115-12

DOI：10.3969/j.issn.1001-2397.2021.04.10

不同概念語(yǔ)境下對(duì)算法歧視的探討明晰了其基本內(nèi)涵與進(jìn)行法律規(guī)制的正當(dāng)性和必要性，對(duì)算法歧視規(guī)制路徑的具體化研究則有待進(jìn)一步深化。以追尋算法歧視的根源為起點(diǎn)，考察算法決策的形成過(guò)程，將發(fā)現(xiàn)其與傳統(tǒng)決策存在高度趨同的特質(zhì)。為此，有必要從算法和歧視的關(guān)系入手，明確算法歧視的表現(xiàn)形式并對(duì)其進(jìn)行類型化整合，在分析規(guī)制歧視的傳統(tǒng)范式及其缺陷的基礎(chǔ)上，重構(gòu)更具針對(duì)性的規(guī)制范式。

一、算法歧視的概念語(yǔ)境

算法歧視并非法律體系中的規(guī)范表達(dá)，主要出現(xiàn)于學(xué)術(shù)討論和新聞報(bào)道之中，檢索和分析代表性文獻(xiàn)，對(duì)算法歧視的探討主要集中于以下三種語(yǔ)境，論證重點(diǎn)有所差異。

（一）算法社會(huì)語(yǔ)境下的算法歧視

隨著智能設(shè)備的全面普及，數(shù)據(jù)的收集、處理與整合成為常態(tài)，作為主體的人正在被數(shù)據(jù)化和客體化John Cheney-Lippold，We Are Data： Algorithms and the Making of Our Digital Selves， New York University Press， 2017， p.141.，評(píng)分社會(huì)Danielle Keats Citron & Frank Pasquale，The Scored Society： Due Process for Automated Predictions， 89 Washington Law Review 2 （2014）.、微粒社會(huì)[德]克里斯托夫·庫(kù)克里克：《微粒社會(huì)：數(shù)字化時(shí)代的社會(huì)模式》，黃昆、夏柯譯，中信出版社2017年版。、數(shù)字社會(huì)胡凌：《數(shù)字社會(huì)權(quán)力的來(lái)源：評(píng)分、算法與規(guī)范的再生產(chǎn)》，載《交大法學(xué)》2019年第1期，第22頁(yè)。直觀地呈現(xiàn)了這種變化。算法的重要性逐漸凸顯，它不但是實(shí)現(xiàn)數(shù)據(jù)控制的工具，而且具備主體化的潛力，足以形成算法權(quán)力。其野心是全知全能——了解一切并預(yù)測(cè)一切，控制算法的人對(duì)作為數(shù)據(jù)主體的人群進(jìn)行分析、控制、指揮、命令和塑造，進(jìn)而對(duì)整個(gè)人群進(jìn)行分類、選擇、理解和決策。算法社會(huì)中，企業(yè)與政府是算法的主要使用者，個(gè)人作為消費(fèi)者無(wú)處逃遁，隱私和言論自由等個(gè)人權(quán)利將受到前所未有的多方威脅Jack M. Balkin， Free Speech in the Algorithmic Society： Big Data， Private Governance， and New School Speech Regulation，51 UC Davis Law Review 1153 （2018）.。較之于種種顛覆性變革和社會(huì)關(guān)系重構(gòu)，算法歧視只是算法社會(huì)的危害之一，論者的關(guān)注焦點(diǎn)深入對(duì)人的智性發(fā)展進(jìn)行遏制的可能路徑於興中：《算法社會(huì)與人的秉性》，載《中國(guó)法律評(píng)論》2018年第2期，第65頁(yè)。。算法歧視或是遮蔽在這種敘事之中，或是僅作為規(guī)制算法或算法權(quán)力必要性的論據(jù)出現(xiàn)丁曉東：《論算法的法律規(guī)制》，載《中國(guó)社會(huì)科學(xué)》2020年第12期，第138-159頁(yè)。，相關(guān)細(xì)節(jié)問(wèn)題沒(méi)有進(jìn)一步展開。

（二）技術(shù)限定下的算法歧視

與算法社會(huì)這一引人注目的宏觀視角不同，強(qiáng)調(diào)在人工智能、大數(shù)據(jù)和自動(dòng)化決策等技術(shù)語(yǔ)境下認(rèn)知算法歧視的研究試圖提出整體性應(yīng)對(duì)方案。人工智能的實(shí)質(zhì)是對(duì)人類思維活動(dòng)進(jìn)行模仿并不斷實(shí)現(xiàn)進(jìn)化，算法技術(shù)的提升使得前所未有的數(shù)據(jù)流被用來(lái)解決實(shí)際問(wèn)題，通過(guò)“數(shù)據(jù)+算法”的方式自動(dòng)形成決策。這一過(guò)程中可能出現(xiàn)的種種不公平現(xiàn)象，被統(tǒng)稱為“算法歧視”。人工智能、大數(shù)據(jù)、自動(dòng)化決策是從不同側(cè)面呈現(xiàn)算法社會(huì)的方式，限定在這些技術(shù)語(yǔ)境之下討論的歧視現(xiàn)象往往具有同質(zhì)性，用以質(zhì)疑和反思算法歧視的例證也高度趨同。施加了人工智能、大數(shù)據(jù)、自動(dòng)化決策等不同技術(shù)語(yǔ)境進(jìn)行限定的討論中，關(guān)于算法歧視的界定并未體現(xiàn)出太大差異。這一方面說(shuō)明前述技術(shù)在實(shí)踐中高度交叉、難以進(jìn)行有效區(qū)分，另一方表明施加這些技術(shù)限定對(duì)算法歧視的討論并無(wú)助益，或許僅能起到彰顯所涉論題前沿性的效果。

（三）特定領(lǐng)域中的算法歧視

針對(duì)已經(jīng)出現(xiàn)的具體問(wèn)題，實(shí)用主義導(dǎo)向的研究試圖在比照傳統(tǒng)歧視現(xiàn)象的基礎(chǔ)上，探討特定領(lǐng)域內(nèi)的算法歧視問(wèn)題?！按髷?shù)據(jù)殺熟”、算法就業(yè)歧視、算法種族歧視、算法性別歧視等問(wèn)題均引發(fā)關(guān)注。例如，“大數(shù)據(jù)殺熟”被特定化為經(jīng)營(yíng)者以大數(shù)據(jù)為“原料”借助算法技術(shù)對(duì)具有購(gòu)買經(jīng)歷的消費(fèi)者采取不利的個(gè)性化價(jià)格策略喻玲：《算法消費(fèi)者價(jià)格歧視反壟斷法屬性的誤讀與辨明》，載《法學(xué)》2020年第9期，第83頁(yè)。。規(guī)制“大數(shù)據(jù)殺熟”的討論在《消費(fèi)者權(quán)益保護(hù)法》或《反壟斷法》的既定框架內(nèi)展開陳兵：《法治經(jīng)濟(jì)下規(guī)制算法運(yùn)行面臨的挑戰(zhàn)與響應(yīng)》，載《學(xué)術(shù)論壇》2020年第1期，第11-21頁(yè)。。這對(duì)解決特定領(lǐng)域的法律適用問(wèn)題具有現(xiàn)實(shí)價(jià)值，體現(xiàn)了部門法理論對(duì)新技術(shù)問(wèn)題的積極回應(yīng)。但部門法經(jīng)驗(yàn)存在局限性，能否擴(kuò)展到其他算法歧視問(wèn)題不無(wú)疑問(wèn)。此外，還有一些針對(duì)特定領(lǐng)域算法歧視問(wèn)題的討論雖然將主題限定在算法引發(fā)的某一具體歧視現(xiàn)象，但無(wú)論是成因分析還是治理路徑最終都走向了對(duì)算法歧視普遍特點(diǎn)的一般化討論，使得這種限定僅具有形式意義。

綜觀各個(gè)概念語(yǔ)境下對(duì)算法歧視的討論，基本形成如下共識(shí)：作為算法權(quán)力擴(kuò)張的副產(chǎn)品，算法歧視隨著人工智能、大數(shù)據(jù)與自動(dòng)化決策的發(fā)展應(yīng)用而出現(xiàn)，能夠與傳統(tǒng)歧視現(xiàn)象形成對(duì)照，對(duì)算法歧視進(jìn)行法律規(guī)制具有正當(dāng)性和必要性。鑒于社會(huì)科學(xué)的核心問(wèn)題是因果關(guān)系分析陳瑞華：《論法學(xué)研究方法》，法律出版社2017年版，第133頁(yè)。，對(duì)算法歧視規(guī)制路徑的探討必須探明算法歧視的根源。

二、算法歧視的根源探尋

算法是指將輸入轉(zhuǎn)換成輸出的計(jì)算步驟序列，本質(zhì)上是任何良定義（well-defined）的計(jì)算過(guò)程，將值或值的集合作為輸入，將某個(gè)值或值的集合作為輸出[美]Thomas H. Cormen等：《算法導(dǎo)論（原書第三版）》，殷建平等譯，機(jī)械工業(yè)出版社2013年版，第3頁(yè)。。算法決策既是對(duì)算法應(yīng)用結(jié)果的概括，也體現(xiàn)了決策過(guò)程自動(dòng)化的特點(diǎn)。在輸入——分析——輸出的三環(huán)節(jié)流程中，難以消除的既存偏見導(dǎo)致數(shù)據(jù)輸入和算法設(shè)計(jì)中的偏見無(wú)法避免，算法決策的類型化思維形成的聚類和分類模式是一種有利于偏見生成的模型，而算法運(yùn)行的準(zhǔn)自主化趨勢(shì)又進(jìn)一步將偏見內(nèi)化為算法的隨機(jī)表達(dá)。

（一）既存偏見的難以消除

在探尋算法歧視根源的嘗試中，將歧視追溯到算法偏見是最具代表性的做法。在美國(guó)被用于預(yù)測(cè)未來(lái)犯罪的算法工具COMPAS廣遭詬病，不同機(jī)構(gòu)的調(diào)查基本坐實(shí)了它基于種族、年齡、性別等上百個(gè)因素預(yù)測(cè)評(píng)估再犯可能性時(shí)極有可能對(duì)黑人造成歧視例如，ProPublica的一項(xiàng)調(diào)查發(fā)現(xiàn)，白人被告人的結(jié)果誤報(bào)率是24%，而黑人被告的誤報(bào)率高達(dá)45%，這些結(jié)果直接影響了有關(guān)審前保釋、量刑和假釋的判決。https：//www.washingtonpost.com/news/%20monkey-cage/wp/2016/10/17/can-an-algorithm-be-racist-our-analysis-is-more-cautious-than-propublicas/%20noredirect=on. 2020年10月2日訪問(wèn)。。梅森的論斷頗具代表性：風(fēng)險(xiǎn)評(píng)估中種族不平等的根源既不在于輸入數(shù)據(jù)，也不在于某個(gè)算法，更不在于算法方法本身，而是預(yù)測(cè)的性質(zhì)決定了任何預(yù)測(cè)方法都會(huì)把過(guò)去的不平等投射到未來(lái)。他借用計(jì)算機(jī)科學(xué)的術(shù)語(yǔ)“垃圾進(jìn)，垃圾出”（garbage in， garbage out），使用“偏見進(jìn)、偏見出”（bias in， bias out）形象地概括了算法歧視的生成機(jī)理Sandra G. Mayson，Bias in， Bias out，128 The Yale Law Journal 2224 （2019）.。與存在于計(jì)算機(jī)系統(tǒng)中的偏見類似，算法偏見主要來(lái)源于既存偏見，算法設(shè)計(jì)者在編程時(shí)可能有意或無(wú)意將自身偏見、社會(huì)風(fēng)氣、制度體制以及文化差異嵌入算法之中劉友華：《算法偏見及其規(guī)制路徑研究》，載《法學(xué)雜志》2019年第6期，第59頁(yè)。。算法決策的前提是獲取數(shù)據(jù)，只要人類對(duì)某些群體或事物的偏見無(wú)法消除，這些偏見極有可能出現(xiàn)在輸入算法的數(shù)據(jù)之中或?qū)⑺惴ㄔO(shè)計(jì)者自身的偏見融入其中，產(chǎn)生歧視性結(jié)果。

（二）算法決策的歸類思維

基于大數(shù)據(jù)的算法決策流程可以大致概括為：使用歷史數(shù)據(jù)歸納出某個(gè)類別，針對(duì)一個(gè)新的對(duì)象，按照已知的數(shù)據(jù)特征，將其歸屬于“最像”它的類別，如果該類別還有其它已知特征，就預(yù)測(cè)這個(gè)對(duì)象也具有相應(yīng)特征張玉宏、秦志光、肖樂(lè)：《大數(shù)據(jù)算法的歧視本質(zhì)》，載《自然辯證法研究》2017年第5期，第83頁(yè)。。按照認(rèn)知心理學(xué)的觀點(diǎn)，類型化實(shí)際上來(lái)源于人類為了節(jié)省認(rèn)知資源、簡(jiǎn)化認(rèn)知過(guò)程而對(duì)未知事物范疇化的認(rèn)知態(tài)度高明華：《偏見的生成與消解：評(píng)奧爾波特〈偏見的本質(zhì)〉》，載《社會(huì)》2015年第1期，第209頁(yè)。。范疇化導(dǎo)致的結(jié)果是范疇內(nèi)部的相似性和范疇之間的差異性被夸大，進(jìn)而形成難以克服的偏見。與傳統(tǒng)決策相比，算法決策雖然在數(shù)據(jù)處理能力和決策效率上大為提升，但依然難以跳脫人類認(rèn)知過(guò)程的類型化思路。這種思路一方面受到算法設(shè)計(jì)者認(rèn)知模式的影響，另一方面是提升決策效率的必然選擇。類型化思維主導(dǎo)下的算法決策很難實(shí)現(xiàn)真正的個(gè)性化，例如依據(jù)不同特征對(duì)消費(fèi)者分類之后，被聚集于同一類別的消費(fèi)者接收到的廣告具有高度趨同性。

（三）算法運(yùn)行的準(zhǔn)自主化趨勢(shì)

算法應(yīng)用普遍采納的機(jī)器學(xué)習(xí)使得算法運(yùn)行日趨復(fù)雜，甚至出現(xiàn)算法設(shè)計(jì)者無(wú)法預(yù)料的結(jié)果，其中就包括歧視性的決策結(jié)果。算法運(yùn)行的自主化不斷提升，通過(guò)基于大數(shù)據(jù)的自我訓(xùn)練、自我學(xué)習(xí)過(guò)程完成參數(shù)調(diào)整與模型建構(gòu)，實(shí)現(xiàn)算法的自我生產(chǎn)賈開：《人工智能與算法治理研究》，載《中國(guó)行政管理》2019年第1期，第18頁(yè)。。較之于機(jī)器學(xué)習(xí)，深度學(xué)習(xí)進(jìn)一步提升了算法運(yùn)行的自主化，它使用了人工神經(jīng)網(wǎng)絡(luò)的分層結(jié)構(gòu)，模擬生物大腦的神經(jīng)網(wǎng)絡(luò)，通過(guò)收集訓(xùn)練數(shù)據(jù)并進(jìn)行學(xué)習(xí)，再將所學(xué)知識(shí)應(yīng)用于更大的數(shù)據(jù)集。深度學(xué)習(xí)具有自動(dòng)提取特征的功能，不需要數(shù)據(jù)科學(xué)家在其預(yù)測(cè)不理想時(shí)進(jìn)行干預(yù)，不斷實(shí)現(xiàn)模型優(yōu)化，形成成熟模型并最終找到最優(yōu)解Ignacio N. Cofone，Algorithmic Discrimination is an Information Problem， 70 Hastings Law Journal 1395-1396 （2019）.。準(zhǔn)自主化運(yùn)行的算法在學(xué)習(xí)過(guò)程中建立了何種認(rèn)知無(wú)從預(yù)測(cè)，被內(nèi)化的偏見在算法決策中的隨機(jī)表達(dá)最終導(dǎo)致歧視性結(jié)果的出現(xiàn)。

（四）對(duì)算法歧視進(jìn)行分類的必要性

深入分析就會(huì)發(fā)現(xiàn)，算法歧視形成的根源與傳統(tǒng)歧視具有高度同質(zhì)性。首先，人類社會(huì)普遍存在的各種偏見無(wú)法消除已是事實(shí)，不同族群之間的異見與割裂非但沒(méi)有彌合的跡象，反而漸有加深之勢(shì)。其次，算法決策在思維模式上是對(duì)人腦的模仿，范疇化的思維路徑依然是人類思維領(lǐng)域中的主導(dǎo)方式。最后，人腦進(jìn)行的決策過(guò)程如何實(shí)現(xiàn)仍是科學(xué)研究中的基礎(chǔ)性疑難問(wèn)題，其自主化較之于算法更為突出。既然在根源上具有同質(zhì)性，傳統(tǒng)歧視的規(guī)制范式應(yīng)在一定程度上具有類比與借鑒的價(jià)值。因此，有必要對(duì)算法歧視與傳統(tǒng)歧視進(jìn)行比對(duì)，檢視算法決策與傳統(tǒng)歧視之間究竟呈現(xiàn)出哪些關(guān)系，實(shí)現(xiàn)對(duì)算法歧視的類型化整合。

三、算法歧視的基本樣態(tài)與類型界分

歧視的顯著特征是對(duì)本質(zhì)相同或類似的人或事進(jìn)行不合理的區(qū)別對(duì)待周偉：《論禁止歧視》，載《現(xiàn)代法學(xué)》2006年第5期，第69頁(yè)。。從時(shí)間維度考察，傳統(tǒng)決策及其引發(fā)的歧視現(xiàn)象在前，算法決策和由此產(chǎn)生的歧視性結(jié)果在后。比對(duì)二者在結(jié)果上的差異，將發(fā)現(xiàn)算法歧視與傳統(tǒng)決策下的歧視存在下列關(guān)系，算法歧視的基本樣態(tài)也得以呈現(xiàn)。

圖1 算法與歧視的關(guān)系

（一）算法歧視的基本樣態(tài)

1.復(fù)制歧視

如果算法決策復(fù)現(xiàn)了原有的歧視，其實(shí)質(zhì)是將原本存在的偏見顯露于外。例如，在谷歌的廣告服務(wù)中，定向推送的算法決策使得男性比女性看到的高薪招聘廣告更多。這顯然是復(fù)制了在職場(chǎng)中存在的性別偏見和性別歧視，甚至算法可能就是為了實(shí)現(xiàn)廣告主希望將特定廣告投放給特定主體的想法而設(shè)計(jì)的https：//www.theguardian.com/technology/2015/jul/08/women-less-likely-ads-high-paid-jobs-google-study. 2020年10月5日訪問(wèn)。。

2.減少歧視

如果算法決策使得歧視顯著減少，其實(shí)質(zhì)是隱藏了部分偏見。Uber的事例就是明證：美國(guó)的出租車司機(jī)群體中普遍存在對(duì)非洲裔犯罪率高、拒付車費(fèi)可能性高等偏見，巡游式出租車經(jīng)常拒絕黑人的乘車請(qǐng)求，形成事實(shí)上的歧視。Uber使用的算法程序添加了限制性要素，司機(jī)在接受行程訂單后才能看到乘客的照片和目的地，防止司機(jī)基于姓名、家庭住址等能夠判定種族的信息選擇乘客Clinton Yates，Uber： When Cabs Whiz By， Its a Pick Me Up， Wash. Post（Sep.28， 2012）， https：//www.washingtonpost.com/blogs/therootdc/post%20uber-when-cabs-whiz-by-its-%20a-pick-me-up/2012/09/28/06a4%201fOc-082f-11e2-858a-531%20ldf86ab%2004_blog.html？hpid=z4. 2020年10月5日訪問(wèn)。。

3.消除歧視

如果算法決策使得原有歧視不復(fù)存在，則是通過(guò)算法變量的設(shè)定以及機(jī)器學(xué)習(xí)的改進(jìn)將原本存在的偏見隱藏或直接在算法的參考變量中剔除偏見。考吉爾（Cowgill）在研究一家軟件公司工作篩選算法的表現(xiàn)時(shí)發(fā)現(xiàn)，當(dāng)該公司推出算法來(lái)決定哪些求職者應(yīng)該獲得面試機(jī)會(huì)時(shí)，“非傳統(tǒng)”求職者更受青睞，對(duì)顯著性不足的求職者表現(xiàn)出的偏見明顯減少Alex P. Miller，What Less-Biased Decisions？ Use Algorithms， Harvard Business Review， July 26， 2018. https：//hbr.org/2018/07/want-less-biased-decisions-use-algorithms. 2020年10月5日訪問(wèn)。。

4.代理歧視

如果算法決策使得原有的歧視不易覺察，雖然在表面上隱藏了偏見，實(shí)質(zhì)上依然造成了歧視性對(duì)待的結(jié)果。據(jù)彭博社報(bào)道，亞馬遜在六個(gè)主要城市的當(dāng)日送達(dá)服務(wù)區(qū)域不同程度地排除了以非洲裔美國(guó)人為主的郵政編碼，而環(huán)繞這些社區(qū)的其他街區(qū)均能享受當(dāng)日送達(dá)服務(wù)David Ingold & Spencer Soper，Amazon Doesnt Consider the Race of Its Customers. Should It？Bloomberg （Apr.21， 2016）， http：//www.bloomberg.com/ graphics/2016-amazon-same-day. 2020年10月5日訪問(wèn)。。這在表面上隱藏了針對(duì)種族、性別、年齡的偏見，但卻通過(guò)其他能夠替代相應(yīng)偏見的要素形成“代理歧視”（proxy discrimination）Anya E. R. Prince & Daniel Schwarcz，Proxy Discrimination in the Age of Artificial Intelligence and Big Data， 105 Iowa Law Review 1260 （2020）.。

5.加劇歧視

如果算法決策使得原有的歧視更為嚴(yán)重，意味著既存偏見通過(guò)算法的運(yùn)行擴(kuò)散。這種擴(kuò)散可能體現(xiàn)為社會(huì)群體中針對(duì)某人或某事的某種偏見更為嚴(yán)重，也可能體現(xiàn)為個(gè)人遭受的偏見和歧視性待遇隨著算法的應(yīng)用而更加嚴(yán)重。例如，谷歌的搜索引擎自動(dòng)補(bǔ)足算法利用搜索記錄幫助人們預(yù)測(cè)其想要搜索的內(nèi)容，既存偏見反映在自動(dòng)補(bǔ)足的搜索內(nèi)容中，使偏見更為擴(kuò)展Memac Ogilvy & Mather Dubai，UN Women Ad Series Reveals Widespread Sexism， UN Women （Oct.21， 2013）. https：//www.unwomen.org/en/news/stories/2013/10/women-should-ads. 2020年10月6日訪問(wèn)。。又如，一位患雙向情感障礙的大學(xué)生想找一份裝雜貨的工作，但由于他申請(qǐng)的便利店都在使用相同的心理測(cè)試軟件來(lái)篩選求職者，因此他被所有便利店拒絕Rachel Thomas， What HBR Gets Wrong About Algorithms and Bias，Harvard Business Review （Aug.7， 2018）. https：//www.fast.ai/2018/08/07/hbr-bias-algorithms/. 2020年10月6日訪問(wèn)。。

6.新增歧視

如果算法決策出現(xiàn)了新的歧視現(xiàn)象，意味著在決策過(guò)程中出現(xiàn)了新的偏見，并最終顯露于外。算法應(yīng)用中普遍采納的機(jī)器學(xué)習(xí)以及深度學(xué)習(xí)使得算法運(yùn)行更趨復(fù)雜，甚至出現(xiàn)不少意料之外的結(jié)果，其中就包括新的偏見以及歧視性結(jié)果。例如，卡利斯坎（Caliskan）等學(xué)者使用內(nèi)隱關(guān)聯(lián)測(cè)試（IAT）量化人類偏見時(shí)發(fā)現(xiàn)，在利用網(wǎng)絡(luò)上常見的人類語(yǔ)言進(jìn)行訓(xùn)練時(shí)，機(jī)器學(xué)習(xí)程序從文本語(yǔ)料庫(kù)中自動(dòng)推導(dǎo)的寓意中包含了偏見Aylin Caliskan， Joanna J. Bryson & Arvind Barayanan， Semantics derived automatically from language corpora contain human-like biases， 356 Science 183 （2017）.。

（二）算法歧視的類型界分

基于前述分析，如果和傳統(tǒng)決策相比，算法歧視減少甚至消除了歧視，顯然具有積極價(jià)值，應(yīng)將其排除在算法歧視的范疇之外，對(duì)算法歧視的類型化整合也得以實(shí)現(xiàn)。

1.復(fù)現(xiàn)型算法歧視

當(dāng)算法決策出現(xiàn)與相同情況下的傳統(tǒng)決策基本一致的歧視性結(jié)果時(shí)，算法成為實(shí)現(xiàn)歧視性對(duì)待的工具，復(fù)現(xiàn)了原本就存在的偏見?？蛇M(jìn)一步將其區(qū)分為直接復(fù)現(xiàn)與間接復(fù)現(xiàn)，前者指在人類決策場(chǎng)景下存在的偏見及歧視性結(jié)果直接體現(xiàn)于算法決策的結(jié)果中;后者指代理歧視，亦即在算法中使用替代性要素將顯性偏見隱藏，但替代性要素達(dá)到與原有顯性偏見相同或類似的分類效應(yīng)，最終導(dǎo)致算法決策的結(jié)果出現(xiàn)了與基于顯性偏見實(shí)現(xiàn)的傳統(tǒng)決策相同的歧視性對(duì)待。復(fù)現(xiàn)型算法歧視并未產(chǎn)生新的歧視結(jié)果，相當(dāng)于傳統(tǒng)歧視現(xiàn)象在算法決策場(chǎng)景下的復(fù)現(xiàn)，但算法應(yīng)用通常與網(wǎng)絡(luò)環(huán)境高度匹配，使得歧視性對(duì)待容易擴(kuò)張且難以覺察。

2.加劇型算法歧視

加劇型算法歧視可區(qū)分為針對(duì)個(gè)體的歧視加劇和針對(duì)群體的歧視加劇，前者主要包括針對(duì)個(gè)體的某個(gè)偏見在同一決策者實(shí)施不同決策的場(chǎng)景中擴(kuò)展、針對(duì)個(gè)體的某個(gè)偏見于同一場(chǎng)景下在不同決策者之間的擴(kuò)展，以及進(jìn)一步導(dǎo)致的雙重累積效應(yīng)，也就是某個(gè)偏見在不同決策者和不同決策場(chǎng)景中的一并擴(kuò)展。針對(duì)特定群體的歧視加劇與針對(duì)個(gè)體的歧視加劇較為接近，同樣體現(xiàn)為針對(duì)群體的某個(gè)偏見在同一決策者實(shí)施不同決策的場(chǎng)景中擴(kuò)展、在同一場(chǎng)景下于不同決策者之間的擴(kuò)展以及進(jìn)一步導(dǎo)致的雙重累積劣勢(shì)，也就是某個(gè)偏見在不同決策者和不同場(chǎng)景中的擴(kuò)展劉培、池忠均：《算法歧視的倫理反思》，載《自然辯證法通訊》2019年第10期，第19頁(yè)。。在互聯(lián)網(wǎng)平臺(tái)化運(yùn)營(yíng)的背景下，用戶數(shù)據(jù)向大型網(wǎng)絡(luò)平臺(tái)集中，平臺(tái)經(jīng)營(yíng)范圍的擴(kuò)張與數(shù)據(jù)的跨平臺(tái)流通使得加劇型算法歧視產(chǎn)生的負(fù)面影響有進(jìn)一步擴(kuò)張的風(fēng)險(xiǎn)。

3.新增型算法歧視

新增型算法歧視主要出現(xiàn)在機(jī)器學(xué)習(xí)算法，特別是深度學(xué)習(xí)算法的應(yīng)用場(chǎng)景中，其并未在實(shí)質(zhì)層面產(chǎn)生新的偏見，而是算法程序在自主學(xué)習(xí)的過(guò)程中將人類社會(huì)中既存的種種偏見內(nèi)化，生成歧視性決策，并通過(guò)算法程序?qū)嵤┑臎Q策將偏見顯露于外。算法運(yùn)行的自主化趨勢(shì)使得算法的開發(fā)者也無(wú)法掌握算法進(jìn)行數(shù)據(jù)處理的選取標(biāo)準(zhǔn)及操作步驟。在人自主作出的決策中，種種偏見的形成也是通過(guò)學(xué)習(xí)實(shí)現(xiàn)的，在對(duì)外部信息進(jìn)行接納的過(guò)程中，不可能做到有效地自我過(guò)濾與實(shí)時(shí)審查。至少在偏見這個(gè)問(wèn)題上，基于大數(shù)據(jù)的機(jī)器學(xué)習(xí)高度模仿了人類偏見的生成機(jī)理。隨著算法程序中輸入數(shù)據(jù)的實(shí)時(shí)更新，機(jī)器學(xué)習(xí)下的算法程序?qū)a(chǎn)生何種偏見并將其體現(xiàn)在算法決策中得出歧視性結(jié)果，算法開發(fā)者與使用者往往無(wú)法預(yù)測(cè)。

四、規(guī)制歧視的傳統(tǒng)范式及其缺陷

雖然算法歧視在根源上高度趨同于傳統(tǒng)決策產(chǎn)生的歧視現(xiàn)象，但對(duì)算法歧視樣態(tài)的進(jìn)一步認(rèn)知與整合發(fā)現(xiàn)：算法實(shí)現(xiàn)了對(duì)傳統(tǒng)決策歧視現(xiàn)象的復(fù)現(xiàn)、加劇與新增。大數(shù)據(jù)應(yīng)用提供數(shù)據(jù)輸入來(lái)源、互聯(lián)網(wǎng)平臺(tái)化運(yùn)行以及機(jī)器學(xué)習(xí)算法的自主化機(jī)理是傳統(tǒng)決策場(chǎng)景下未曾出現(xiàn)的情形，對(duì)不同類型算法歧視負(fù)面效應(yīng)的擴(kuò)張具有助推作用，也為規(guī)制歧視的傳統(tǒng)范式帶來(lái)了結(jié)構(gòu)性挑戰(zhàn)。

（一）內(nèi)部規(guī)制與外部規(guī)制的體系結(jié)構(gòu)

我國(guó)關(guān)于反歧視的法律規(guī)定首先體現(xiàn)于憲法中，“公民的基本權(quán)利和義務(wù)”一章明確規(guī)定“中華人民共和國(guó)公民在法律面前一律平等”。在憲法學(xué)者看來(lái)，基本權(quán)利具有二元特征：一是使國(guó)家負(fù)擔(dān)不得侵害基本權(quán)利的“保護(hù)義務(wù)”，體現(xiàn)權(quán)利的防御性觀念;二是國(guó)家同意負(fù)擔(dān)特定“給付義務(wù)”，體現(xiàn)國(guó)家必須為落實(shí)基本權(quán)利做出行動(dòng)的積極面向陳景輝：《比例原則的普遍化與基本權(quán)利的性質(zhì)》，載《中國(guó)法學(xué)》2017年第5期，第298頁(yè)。。對(duì)傳統(tǒng)歧視的規(guī)制也從這兩個(gè)層面展開，前者體現(xiàn)為立法過(guò)程中的透明度和相關(guān)利益主體的充分博弈，防止制度化的歧視性對(duì)待;后者體現(xiàn)為部門法中針對(duì)平等權(quán)的實(shí)現(xiàn)設(shè)定權(quán)利義務(wù)關(guān)系，為歧視性對(duì)待提供法律救濟(jì)途徑。

1.內(nèi)部規(guī)制：利益評(píng)價(jià)的民主立法范式

對(duì)歧視現(xiàn)象的內(nèi)部規(guī)制與不同國(guó)家在不同階段的經(jīng)濟(jì)社會(huì)發(fā)展水平相關(guān)，曾具有正當(dāng)性的制度在經(jīng)濟(jì)發(fā)展與價(jià)值理念更新時(shí)受到基本權(quán)利的詰問(wèn)。例如，在計(jì)劃經(jīng)濟(jì)體制下基于城鄉(xiāng)二元結(jié)構(gòu)與戶籍管理形成的制度隔離，被行政規(guī)章等行政規(guī)范性文件予以確認(rèn)。當(dāng)市場(chǎng)經(jīng)濟(jì)發(fā)展帶來(lái)人口自由流動(dòng)的現(xiàn)實(shí)需求時(shí)，原有制度因歧視性對(duì)待而違反了不得侵害平等權(quán)的保護(hù)義務(wù)，對(duì)其展開反思與廢止成為重要議題周偉：《從身高到基因：中國(guó)反歧視的法律發(fā)展》，載《清華法學(xué)》2012年第2期，第16頁(yè)。。目前，對(duì)歧視的內(nèi)部規(guī)制也從檢討和廢止既有立法中的制度性歧視轉(zhuǎn)向?qū)α⒎ㄟ^(guò)程的關(guān)注，亦即如何通過(guò)規(guī)范立法過(guò)程，防止出現(xiàn)歧視性對(duì)待的制度設(shè)計(jì)。作為利益衡量過(guò)程的立法進(jìn)程能否實(shí)現(xiàn)利益評(píng)價(jià)的民主化，將直接影響平等權(quán)的實(shí)現(xiàn)，進(jìn)而決定了能否防止制度性歧視的出現(xiàn)。《立法法》第5條確認(rèn)了民主立法的基本原則：“立法應(yīng)當(dāng)體現(xiàn)人民的意志，發(fā)揚(yáng)社會(huì)主義民主，堅(jiān)持立法公開，保障人民多種途徑參與立法活動(dòng)?！北M管在踐行民主立法的過(guò)程中依然存在不少問(wèn)題有待完善郝鐵川：《積極探索中國(guó)特色的民主立法新形式》，載《人大研究》2020年第3期，第14-19頁(yè)。，但通過(guò)利益評(píng)價(jià)的民主立法范式在很大程度上實(shí)現(xiàn)了對(duì)歧視的內(nèi)部規(guī)制。

2.外部規(guī)制：基于權(quán)利義務(wù)的法律責(zé)任范式

為進(jìn)一步落實(shí)憲法中規(guī)定的平等權(quán)，部門法針對(duì)特定主體與特定事項(xiàng)設(shè)定了諸多不受歧視對(duì)待的權(quán)利義務(wù)關(guān)系。例如，《民法典》《勞動(dòng)法》《教育法》《婦女權(quán)益保障法》都明確規(guī)定了不同領(lǐng)域內(nèi)的平等權(quán)和針對(duì)特定群體的反歧視義務(wù)。在司法實(shí)踐中，針對(duì)歧視現(xiàn)象提出的訴訟涉及多種歧視類型且大多在隱私權(quán)、人格尊嚴(yán)權(quán)、勞動(dòng)權(quán)、公平就業(yè)權(quán)等侵權(quán)訴訟案由下展開。這表明前述立法中有關(guān)反歧視義務(wù)的規(guī)定對(duì)于法律救濟(jì)并無(wú)規(guī)范意義，當(dāng)事人和人民法院在具體化的民事權(quán)利框架中對(duì)權(quán)利義務(wù)關(guān)系以及法律責(zé)任進(jìn)行評(píng)判，這與反歧視立法通常是在一般意義上為公共部門和私人企業(yè)設(shè)定普遍的反歧視注意義務(wù)的模式有關(guān)。盡管國(guó)際層面的反歧視法已從針對(duì)直接歧視的形式平等擴(kuò)展到面向間接歧視的實(shí)質(zhì)平等，但主要體現(xiàn)為采取特別措施彌補(bǔ)歧視后果的肯定行動(dòng)李薇薇：《平等原則在反歧視法中的適用和發(fā)展》，載《政法論壇》2009年第1期，第126-134頁(yè)。。由于歧視性對(duì)待具有價(jià)值評(píng)判色彩，平等權(quán)在部門法中的具體化注定不可能形成類似于傳統(tǒng)民事權(quán)利的規(guī)范結(jié)構(gòu)。但借助既有民事權(quán)利，特別是人格權(quán)，結(jié)合維護(hù)人身自由與人格尊嚴(yán)的規(guī)范目的，足以在個(gè)案中實(shí)現(xiàn)對(duì)歧視結(jié)果的法律責(zé)任評(píng)判。

（二）算法運(yùn)行的“黑箱化”與內(nèi)部規(guī)制的沖突

內(nèi)部規(guī)制旨在通過(guò)民主程序?qū)崿F(xiàn)利益評(píng)價(jià)過(guò)程的透明化，賦予利益相關(guān)方充分的表達(dá)自由，防范可能出現(xiàn)的制度化歧視，在立法環(huán)節(jié)實(shí)現(xiàn)對(duì)平等權(quán)的消極防御。從本質(zhì)上來(lái)說(shuō)，“算法和法律都是統(tǒng)轄具體文本的、為解決特定問(wèn)題而創(chuàng)造出的行之有效的方案?！笔Y舸：《作為算法的法律》，載《清華法學(xué)》2019年第1期，第66頁(yè)。較之于立法造成的制度性歧視，行政機(jī)關(guān)與商業(yè)機(jī)構(gòu)普遍采用的算法決策已在很大程度上發(fā)揮了類似于法律的效果，萊斯格口中的“代碼即法律”[美]萊斯格：《代碼2.0：網(wǎng)絡(luò)空間中的法律》，李旭、沈偉偉譯，清華大學(xué)出版社2018年版，第6頁(yè)。成為現(xiàn)實(shí)。與立法通常經(jīng)由復(fù)雜的利益博弈且程序繁復(fù)不同，算法的設(shè)計(jì)和應(yīng)用成本大為降低，在政府管理和商業(yè)經(jīng)營(yíng)的場(chǎng)合普遍采用。由此生成的決策較之于傳統(tǒng)決策具有高效便捷、節(jié)省制度資源的優(yōu)勢(shì)，但也排除了利益相關(guān)方對(duì)算法生成過(guò)程的觀察、評(píng)價(jià)與介入。學(xué)界對(duì)此提出了“算法解釋權(quán)”與“算法透明”的主張，在一定程度上實(shí)現(xiàn)對(duì)算法的內(nèi)部規(guī)制。算法解釋權(quán)在比較法上已經(jīng)有所體現(xiàn)，歐盟《一般數(shù)據(jù)保護(hù)條例》（GDPR）對(duì)算法決策設(shè)定了一般性禁止與例外應(yīng)用時(shí)的算法解釋權(quán)，算法決策的相對(duì)人有權(quán)獲得解釋并據(jù)此提出異議，美國(guó)司法實(shí)踐中法院也對(duì)當(dāng)事人提出了解釋算法的要求Patel v. Zillow， Inc.， 915 F. 3d 446 （7th Cir. 2019）.。算法透明亦來(lái)自域外實(shí)踐，美國(guó)學(xué)者認(rèn)為它是針對(duì)算法的事前規(guī)制原則，要求算法的設(shè)計(jì)方或者使用方披露包括源代碼、輸入數(shù)據(jù)、輸出結(jié)果在內(nèi)的算法要素Danielle Keats Citron & Frank Pasquale，The Scored Society： Due Process for Automated Predictions， 89 Washington Law Review 8 （2014）.。

然而，算法解釋權(quán)以及算法透明與算法運(yùn)行的“黑箱化”特點(diǎn)存在不可調(diào)和的沖突。前文論及的機(jī)器學(xué)習(xí)準(zhǔn)自主化趨勢(shì)只是算法運(yùn)行“黑箱化”的一個(gè)表現(xiàn)形式，它導(dǎo)致的問(wèn)題是算法解釋與透明在技術(shù)層面不可行;就法律層面的障礙而言，算法輸入數(shù)據(jù)中的大量個(gè)人信息一旦被公開會(huì)產(chǎn)生侵害隱私和個(gè)人信息權(quán)益的風(fēng)險(xiǎn)，算法程序作為企業(yè)的核心競(jìng)爭(zhēng)力，通常以商業(yè)秘密的形式進(jìn)行保護(hù);此外，應(yīng)用于公共安全領(lǐng)域的算法與國(guó)家安全密切關(guān)聯(lián)，難以進(jìn)行解釋或?qū)崿F(xiàn)透明化沈偉偉：《算法透明原則的迷思——算法規(guī)制理論的批判》，載《環(huán)球法律評(píng)論》2019年第6期，第24-27頁(yè);梁志文：《論算法排他權(quán)：破除算法偏見的路徑選擇》，載《政治與法律》2020年第8期，第97-98頁(yè)。。算法運(yùn)行的“黑箱化”既有技術(shù)原因，也有市場(chǎng)競(jìng)爭(zhēng)和國(guó)家安全的原因，在法律層面具有正當(dāng)性依據(jù)，這為算法解釋權(quán)和算法透明的可行性增加了難度。

（三）算法邏輯的相關(guān)性本質(zhì)與外部規(guī)制的矛盾

外部規(guī)制旨在通過(guò)權(quán)利義務(wù)關(guān)系在歧視性結(jié)果與具體決策之間建立因果聯(lián)系，從而為違反不得歧視義務(wù)的主體確定法律責(zé)任。算法從隨機(jī)數(shù)據(jù)中提取模式，與規(guī)范性方法不同，它是一種建立在學(xué)習(xí)性、描述性和統(tǒng)計(jì)學(xué)基礎(chǔ)上的定量方法。其機(jī)理在于將新增加的信息和之前形成的記憶不停進(jìn)行綜合，從動(dòng)態(tài)的隨機(jī)數(shù)據(jù)中臨時(shí)建立相關(guān)性并做出判斷余成峰：《法律的死亡：人工智能時(shí)代的法律功能危機(jī)》，載《華東政法大學(xué)學(xué)報(bào)》2018年第2期，第8頁(yè)。。例如，根據(jù)銷售數(shù)據(jù)，購(gòu)買過(guò)海明威作品的顧客大部分會(huì)購(gòu)買菲茨杰拉德的書籍，由此在二者之間形成了相關(guān)性結(jié)論，當(dāng)消費(fèi)者點(diǎn)擊選擇海明威的書籍之后，亞馬遜的個(gè)性化推薦便會(huì)出現(xiàn)菲茨杰拉德的作品Brent Smith & Greg Linden，Two Decades of Recommender Systems at Amazon.com， 21 IEEE Computer Society12-18 （2017）.。基于相關(guān)性的預(yù)測(cè)是大數(shù)據(jù)的核心Viktor Mayer-Schnberger & Kenneth Cukier， Big Data： A Revolution That Will Transform How We Live， Work， and Think， Houghton Mifflin Hartcourt， 2013， p.50-72.，其進(jìn)一步應(yīng)用的結(jié)果是：針對(duì)某人可能做出某種選擇或?qū)嵤┠撤N行為預(yù)測(cè)的相關(guān)性變量眾多，甚至與某人的具體行為沒(méi)有關(guān)聯(lián)，只是由于統(tǒng)計(jì)數(shù)據(jù)中體現(xiàn)出某個(gè)變量或某些變量與某種行為之間具有相關(guān)性，相應(yīng)變量便足以左右最終針對(duì)某一個(gè)體的決策。正是由于這種相關(guān)性，通常不可能對(duì)決策基于什么信息或?yàn)楹巫龀鰶Q策給出明確答案，基于大數(shù)據(jù)的機(jī)器決策背后甚至可能沒(méi)有邏輯Manon Oostveen，Protecting Individuals Against the Negative Impact of Big Data： Potential and Limitations of the Privacy and Data Protection Law Approach， Kluwer Law International BV， 2018， p.135.。

如果以侵權(quán)責(zé)任的確定為原型，歧視性結(jié)果對(duì)應(yīng)著損害后果，算法決策對(duì)應(yīng)著行為，但算法邏輯的相關(guān)性本質(zhì)決定了確定后果和行為之間的因果關(guān)系非常困難。大數(shù)據(jù)背景下驅(qū)動(dòng)決策的算法面對(duì)眾多變量，尋找算法決策和歧視性結(jié)果的因果關(guān)系相當(dāng)于在眾多變量中判定那個(gè)或哪幾個(gè)變量最終促成了決策結(jié)果的形成。依據(jù)民法理論，對(duì)條件因果關(guān)系和相當(dāng)因果關(guān)系的考察在面對(duì)算法時(shí)都顯得無(wú)的放矢。通過(guò)“若無(wú)，則不”的公式考察算法決策，即便能夠窮盡算法運(yùn)行中納入的所有變量，也很難確定沒(méi)有哪個(gè)或哪幾個(gè)變量，就不會(huì)出現(xiàn)相應(yīng)決策結(jié)果;更難于確定哪些變量能夠滿足“無(wú)此行為，雖必不生此損害，有此行為，通常即足生此種損害”的要求。如此一來(lái)，外部規(guī)制的嘗試存在著因果關(guān)系鏈條斷裂的缺陷，對(duì)算法歧視問(wèn)題的解決也會(huì)陷入邏輯悖論。

五、重塑算法歧視的規(guī)制范式

將傳統(tǒng)范式套用于算法歧視的嘗試難于成功的原因，一方面在于算法運(yùn)行的“黑箱化”和算法邏輯的相關(guān)性本質(zhì)，另一方面在于算法決策對(duì)歧視的呈現(xiàn)在不同場(chǎng)景下具有質(zhì)和量的差異。算法決策與歧視的具體關(guān)系決定了借鑒傳統(tǒng)規(guī)制范式的可能性，由此，根據(jù)前文概括的算法歧視類型重構(gòu)規(guī)制范式便具有了現(xiàn)實(shí)意義。

（一）復(fù)現(xiàn)型算法歧視的規(guī)制

復(fù)現(xiàn)型算法歧視的實(shí)現(xiàn)方式有兩種：一是直接將原有的偏見與歧視的因果聯(lián)系轉(zhuǎn)化到算法中;二是使用替代性變量替換傳統(tǒng)決策因果鏈條中作為原因而存在的偏見。二者的結(jié)果都是復(fù)制了傳統(tǒng)決策場(chǎng)景中產(chǎn)生的歧視性對(duì)待。對(duì)直接復(fù)現(xiàn)與間接復(fù)現(xiàn)的規(guī)制重點(diǎn)存在差異，前者重在發(fā)現(xiàn)歧視效應(yīng)，后者重在探明替代變量。

1.規(guī)制直接復(fù)現(xiàn)型算法歧視重在發(fā)現(xiàn)歧視效應(yīng)

直接復(fù)現(xiàn)型算法歧視的典型例證是前文提及的谷歌定向推送廣告的算法使男性比女性看到的高薪招聘廣告更多，這是將本就存在的男性比女性更適宜高薪職位這一針對(duì)性別的偏見進(jìn)而將高薪職位信息更多提供給男性的因果鏈條轉(zhuǎn)化為了算法。此時(shí)，偏見與歧視性對(duì)待之間的因果關(guān)系明確，當(dāng)受到歧視性對(duì)待的主體以訴訟形式主張權(quán)利時(shí)，算法的設(shè)計(jì)者和使用者應(yīng)承擔(dān)法律責(zé)任。但是，由于算法通常與網(wǎng)絡(luò)環(huán)境深度綁定，其產(chǎn)生的歧視性結(jié)果難以輕易察覺，大多數(shù)網(wǎng)民既沒(méi)有動(dòng)力也沒(méi)有能力判斷是否遭遇了歧視性對(duì)待。算法的設(shè)計(jì)者也沒(méi)有動(dòng)力主動(dòng)改善歧視性結(jié)果，這為外部規(guī)制的實(shí)現(xiàn)帶來(lái)了前提性障礙。事實(shí)上，網(wǎng)絡(luò)時(shí)代個(gè)體對(duì)算法決策的被動(dòng)接納已成常態(tài)，在未觸及切身利益的情況下，即使察覺可能的歧視性對(duì)待，通常也會(huì)選擇容忍。由此，引入算法歧視的社會(huì)監(jiān)督具有必要性，設(shè)定監(jiān)管機(jī)構(gòu)受理針對(duì)算法歧視的公眾投訴、允許和鼓勵(lì)社會(huì)公益組織針對(duì)算法歧視提起公益訴訟值得嘗試?！毒W(wǎng)絡(luò)安全法》第8條規(guī)定國(guó)家網(wǎng)信部門負(fù)責(zé)統(tǒng)籌協(xié)調(diào)網(wǎng)絡(luò)安全工作和相關(guān)監(jiān)督管理工作，在未來(lái)不妨由其作為受理投訴算法歧視的行政機(jī)構(gòu)。

2.規(guī)制間接復(fù)現(xiàn)型算法歧視重在探明替代變量

在算法決策的場(chǎng)景中，以代理歧視為典型的間接復(fù)現(xiàn)型算法歧視危害可能更為嚴(yán)重。例如，前文提及的亞馬遜當(dāng)日免費(fèi)送達(dá)服務(wù)算法使用郵政編碼替換了原有的偏見和歧視因果鏈條中指向種族偏見的非洲裔聚居地區(qū)。線下活動(dòng)與互聯(lián)網(wǎng)深度融合后，對(duì)應(yīng)于線下活動(dòng)中某些決定性因素的替代變量開始增多，其深層原因在于個(gè)人進(jìn)行網(wǎng)絡(luò)活動(dòng)時(shí)留下的能夠識(shí)別身份與特征的痕跡越來(lái)越豐富。對(duì)個(gè)人信息進(jìn)行的廣泛收集和深度分析足以實(shí)現(xiàn)通過(guò)特定符號(hào)對(duì)網(wǎng)絡(luò)用戶分類，從而將相應(yīng)符號(hào)設(shè)定為算法中的變量，復(fù)現(xiàn)原有的歧視性結(jié)果。就代理歧視而言，歧視性結(jié)果的發(fā)現(xiàn)并非難題，規(guī)制的重點(diǎn)應(yīng)投向?qū)μ娲宰兞康奶矫髋c剔除，在源頭上限制算法對(duì)偏見的隱性替換。立法已關(guān)注到這一問(wèn)題，例如，《電子商務(wù)法》第18條規(guī)定：“電子商務(wù)經(jīng)營(yíng)者根據(jù)消費(fèi)者的興趣愛好、消費(fèi)習(xí)慣等特征向其提供商品或者服務(wù)的搜索結(jié)果的，應(yīng)當(dāng)同時(shí)向該消費(fèi)者提供不針對(duì)其個(gè)人特征的選項(xiàng)，尊重和平等保護(hù)消費(fèi)者合法權(quán)益?！逼湟?guī)范意旨中隱含了防止個(gè)人特征作為替代性變量進(jìn)入算法程序之中實(shí)現(xiàn)歧視對(duì)待的功能。此外，《個(gè)人信息保護(hù)法（草案二次審議稿）》也強(qiáng)調(diào)可能導(dǎo)致個(gè)人受到歧視是界定敏感個(gè)人信息的標(biāo)準(zhǔn)之一，通過(guò)自動(dòng)化決策方式進(jìn)行商業(yè)營(yíng)銷、信息推送，應(yīng)同時(shí)提供不針對(duì)其個(gè)人特征的選項(xiàng)。需要注意的是，有些變量并不屬于個(gè)人特征，也并非傳統(tǒng)意義上的敏感信息，但足以定位到特定群體，有必要對(duì)這些變量進(jìn)行歸納和概括并將其排除在算法決策的范疇之外。

（二）加劇型算法歧視的規(guī)制

加劇型算法歧視通過(guò)兩種形式加劇了對(duì)同一個(gè)體或群體的歧視性對(duì)待：一是同一決策者在多個(gè)決策場(chǎng)景中對(duì)同一個(gè)體或群體做出相同的歧視性對(duì)待;二是不同決策者在各自做出的決策中對(duì)同一個(gè)體或群體做出相同的歧視性對(duì)待。網(wǎng)絡(luò)運(yùn)行平臺(tái)化的背景下，加劇型算法歧視體現(xiàn)為平臺(tái)內(nèi)的加劇和平臺(tái)間的加劇，對(duì)前者的規(guī)制應(yīng)投向制衡平臺(tái)算法權(quán)力，對(duì)后者的規(guī)制應(yīng)關(guān)注對(duì)抗平臺(tái)合謀。

1.規(guī)制平臺(tái)內(nèi)加劇型算法歧視重在制衡平臺(tái)算法權(quán)力

移動(dòng)互聯(lián)網(wǎng)和大數(shù)據(jù)、人工智能的不斷發(fā)展使網(wǎng)絡(luò)空間與現(xiàn)實(shí)世界的連接更加緊密，業(yè)務(wù)內(nèi)容較為單一的網(wǎng)絡(luò)服務(wù)提供商積累了大量的用戶和數(shù)據(jù)，借助路徑依賴心理產(chǎn)生的“鎖定效應(yīng)”Judita Dolan， Trading in Data： A Policy Perspective， in Sebastian Lohsse/Reiner Schulze/Dirk Staudenmayer （eds.）， Trading Data in the Digital Economy： Legal Concepts and Tools， Hart Publishing， 2017， p.308.，不斷擴(kuò)張商業(yè)版圖，形成超大規(guī)模的網(wǎng)絡(luò)平臺(tái)，成為網(wǎng)絡(luò)世界游戲規(guī)則的制定者[英]扎拉奇、[美]斯圖克：《算法的陷阱》，余瀟譯，中信出版社2018年版，第229頁(yè)。。同一平臺(tái)內(nèi)不同應(yīng)用程序收集的用戶數(shù)據(jù)具有互通性，由此形成的算法決策程序一旦嵌入既有偏見，在全平臺(tái)內(nèi)都將產(chǎn)生歧視性對(duì)待，從而加劇算法歧視，使相應(yīng)個(gè)體或群體無(wú)處遁形。面對(duì)強(qiáng)大的平臺(tái)，個(gè)人用戶以及使用網(wǎng)絡(luò)平臺(tái)進(jìn)行交易的商家對(duì)算法決策的適用結(jié)果缺乏有力的對(duì)抗手段，對(duì)平臺(tái)內(nèi)加劇型算法歧視的規(guī)制也只能寄希望于對(duì)平臺(tái)算法權(quán)力的一體制衡。目前，平臺(tái)權(quán)力的擴(kuò)張引起高度關(guān)注，國(guó)務(wù)院反壟斷委員會(huì)發(fā)布《關(guān)于平臺(tái)經(jīng)濟(jì)領(lǐng)域的反壟斷指南》，國(guó)家市場(chǎng)監(jiān)督總局對(duì)阿里實(shí)施的“二選一”行為開出巨額罰單《國(guó)家市場(chǎng)監(jiān)管管理總局行政處罰決定書》（國(guó)市監(jiān)處[2021]28號(hào)）。。《個(gè)人信息保護(hù)法（草案二次審議稿）》也對(duì)大型網(wǎng)絡(luò)平臺(tái)設(shè)定了相應(yīng)的個(gè)人信息保護(hù)義務(wù)。這些措施將有力制衡平臺(tái)權(quán)力，但具體到算法歧視問(wèn)題，在行政處罰等規(guī)制手段之外還需考量平臺(tái)算法權(quán)力監(jiān)管如何具體化的問(wèn)題。

2.規(guī)制平臺(tái)間加劇型算法歧視重在對(duì)抗平臺(tái)合謀

平臺(tái)間的合謀不僅包括商業(yè)型平臺(tái)間的合謀，還包括政府與平臺(tái)的合謀。雖然大型網(wǎng)絡(luò)平臺(tái)通常呈現(xiàn)為激烈的市場(chǎng)競(jìng)爭(zhēng)關(guān)系，但由于各自的優(yōu)勢(shì)領(lǐng)域差異，基于利益訴求進(jìn)行合作的情況也越來(lái)越普遍《京東宣布與騰訊創(chuàng)新合作模式：將推出深挖微信市場(chǎng)的全新平臺(tái)》，https：//tech.qq.com/a/20190521/006988.htm. 2021年5月2日訪問(wèn)。。平臺(tái)間進(jìn)一步開展數(shù)據(jù)流通與共享后，算法歧視在平臺(tái)間的擴(kuò)張也難以避免。此外，政府與企業(yè)之間，特別是與大型網(wǎng)絡(luò)平臺(tái)之間的關(guān)系趨于復(fù)雜，基于加強(qiáng)網(wǎng)絡(luò)監(jiān)管與獲得監(jiān)管優(yōu)待的利益交換使二者進(jìn)行深度合作的可能性越來(lái)越高，美國(guó)學(xué)者將這種關(guān)系比喻為“大哥與馬仔”See Frank Pasquale，The Black Box Society： The Secret Algorithms That Control Money and Information， Harvard University Press 2015， p.51-52.。此種合謀在公共管理方面具有積極意義，例如，人民銀行的征信系統(tǒng)接入網(wǎng)絡(luò)貸款數(shù)據(jù)有利于防范金融風(fēng)險(xiǎn)。然而，存在偏見的數(shù)據(jù)與算法一旦通過(guò)這種合謀進(jìn)行大范圍適用，將產(chǎn)生普遍的歧視性結(jié)果。為了對(duì)抗平臺(tái)合謀，一方面要為個(gè)人保留算法決策之外的選擇權(quán)，另一方面要對(duì)跨平臺(tái)的算法應(yīng)用施加更嚴(yán)格的監(jiān)管。

（三）新增型算法歧視的規(guī)制

新增型算法歧視出現(xiàn)在機(jī)器學(xué)習(xí)算法應(yīng)用的場(chǎng)景下，不同的機(jī)器學(xué)習(xí)算法在可預(yù)測(cè)性方面的難度存在差異。有監(jiān)督的算法意味著設(shè)計(jì)者和運(yùn)營(yíng)者能夠控制決策系統(tǒng)的學(xué)習(xí)方向和預(yù)期結(jié)果，無(wú)監(jiān)督的算法則無(wú)法預(yù)設(shè)和控制其輸出結(jié)果崔聰聰、許智鑫：《機(jī)器學(xué)習(xí)算法的法律規(guī)制》，載《上海交通大學(xué)學(xué)報(bào)（哲學(xué)社會(huì)科學(xué)版）》2020年第2期，第42頁(yè)。。這意味著對(duì)這兩種技術(shù)模式之下的新增型算法歧視進(jìn)行規(guī)制也有差異：對(duì)有監(jiān)督的機(jī)器學(xué)習(xí)算法，應(yīng)通過(guò)風(fēng)險(xiǎn)評(píng)估降低其不確定性;對(duì)無(wú)監(jiān)督的機(jī)器學(xué)習(xí)算法，則應(yīng)通過(guò)限制應(yīng)用范圍規(guī)避其不確定性。

1.規(guī)制有監(jiān)督模式下的新增型算法歧視重在評(píng)估算法影響

按照計(jì)算機(jī)領(lǐng)域的專業(yè)界定，學(xué)習(xí)效果較好的機(jī)器學(xué)習(xí)算法一般情況下都難以脫離監(jiān)督學(xué)習(xí)的作用。即便是“阿爾法零”（AlphaGo Zero）這樣的機(jī)器學(xué)習(xí)代表作，其訓(xùn)練過(guò)程也需要受到人為設(shè)置的圍棋勝負(fù)規(guī)則限制See David Sliver & Julian Schrittwieser， et al，Mastering the game of Go without human knowledge， 550 Nature 354-359 （2017）.。因此，對(duì)有監(jiān)督的機(jī)器學(xué)習(xí)算法能夠事前干預(yù)，但這種算法仍然具備動(dòng)態(tài)更新的特點(diǎn)，存在較大的不確定性，如何降低新增算法歧視出現(xiàn)的風(fēng)險(xiǎn)與可能性是需要重點(diǎn)關(guān)注的問(wèn)題。建立恰當(dāng)?shù)娘L(fēng)險(xiǎn)評(píng)估機(jī)制是一種較為理性的選擇，需要監(jiān)管機(jī)構(gòu)和第三方協(xié)同努力，借助多學(xué)科的專家力量，不斷優(yōu)化監(jiān)督效能，強(qiáng)化設(shè)計(jì)者和運(yùn)營(yíng)者對(duì)算法決策的控制力。在這一過(guò)程中，需明確特定人員對(duì)特定事項(xiàng)的算法輸入數(shù)據(jù)、輸出內(nèi)容、系統(tǒng)源代碼的訪問(wèn)權(quán)限，保證算法風(fēng)險(xiǎn)評(píng)估的有效開展。

2.規(guī)制無(wú)監(jiān)督模式下的新增型算法歧視重在限制算法應(yīng)用

無(wú)監(jiān)督的機(jī)器學(xué)習(xí)算法具有高度的不確定性，在決策過(guò)程中產(chǎn)生偏見并形成歧視性對(duì)待的結(jié)果也無(wú)法預(yù)估，由此成為設(shè)計(jì)者與使用者推諉責(zé)任的借口。在技術(shù)水平尚不足以實(shí)現(xiàn)對(duì)這種算法進(jìn)行有力干預(yù)的前提下，只能對(duì)應(yīng)用范圍做嚴(yán)格限制，可以考慮將其限定于科學(xué)研究與電子游戲等不影響人類現(xiàn)實(shí)活動(dòng)的領(lǐng)域。此外，即使設(shè)定了這種限制，仍然難以避免在現(xiàn)實(shí)中出現(xiàn)應(yīng)用機(jī)器學(xué)習(xí)算法并產(chǎn)生歧視性對(duì)待的結(jié)果，因此有必要設(shè)定針對(duì)算法設(shè)計(jì)者與使用者的無(wú)過(guò)錯(cuò)責(zé)任或過(guò)錯(cuò)推定責(zé)任，使受到歧視性對(duì)待的算法決策相對(duì)人獲得救濟(jì)。通過(guò)侵權(quán)法上更為苛刻的注意義務(wù)設(shè)定，也能倒逼算法設(shè)計(jì)者對(duì)算法技術(shù)進(jìn)行改進(jìn)與優(yōu)化。

六、結(jié)語(yǔ)

反歧視立法是私主體權(quán)利意識(shí)覺醒之后要求公平對(duì)待并爭(zhēng)取權(quán)利和實(shí)現(xiàn)權(quán)利的過(guò)程，更多體現(xiàn)為對(duì)公權(quán)力的限制。進(jìn)入大數(shù)據(jù)時(shí)代，算法權(quán)力的興起已是不爭(zhēng)的事實(shí)，對(duì)個(gè)人生活越來(lái)越具備“構(gòu)成性地位”陳景輝：《算法的法律性質(zhì)：言論、商業(yè)秘密還是正當(dāng)程序》，載《比較法研究》2020年第2期，第128頁(yè)。，對(duì)抗算法權(quán)力也成為應(yīng)對(duì)算法歧視并在算法社會(huì)中爭(zhēng)取公平對(duì)待的核心問(wèn)題。對(duì)算法歧視進(jìn)行類型化整合，針對(duì)復(fù)現(xiàn)型算法歧視、加劇型算法歧視和新增型算法歧視確定各自的規(guī)制重點(diǎn)，實(shí)現(xiàn)對(duì)算法歧視規(guī)制范式的重構(gòu)，本質(zhì)上仍是從不同側(cè)面為制衡算法權(quán)力提供更多可能路徑，以期進(jìn)一步探究算法背后的人性基礎(chǔ)和制度目標(biāo)。

本文責(zé)任編輯：林士平