石穎

〔摘要〕算法歧視是新興技術(shù)風(fēng)險的典型代表，主要是由于算法內(nèi)部演算和數(shù)據(jù)分析所導(dǎo)致的對特定群體或個人的不公正對待。算法歧視是一種不合理的區(qū)別對待，是智能機(jī)器自動化決策的產(chǎn)物，以“隱蔽性”和“不可逆性”為表征。相較于一般歧視來說，算法歧視所帶來的是一種更深層次的歧視和不平等，并引發(fā)了倫理問題。算法歧視是人類社會歧視在算法領(lǐng)域的轉(zhuǎn)化，體現(xiàn)為歸納式的算法思維邏輯、算法黑箱與非中立性等算法技術(shù)設(shè)計所導(dǎo)致的算法歧視，更體現(xiàn)為算法運(yùn)行中的決策性歧視，即由于“冗余編碼”和“信息繭房”等數(shù)據(jù)動態(tài)交互所產(chǎn)生的算法歧視，以及因數(shù)據(jù)評估的導(dǎo)向性而引發(fā)的算法歧視。對此，應(yīng)通過倫理審計與公平性約束、數(shù)據(jù)信息的區(qū)別保護(hù)與算法解釋，以及建立算法的監(jiān)管制度來實現(xiàn)對算法歧視的法律規(guī)制，同時還要在特定重大領(lǐng)域慎用算法決策系統(tǒng)，以此來塑造算法時代的法律秩序，確保數(shù)字社會中人類的安全和發(fā)展。

〔關(guān)鍵詞〕算法歧視，數(shù)據(jù)信息，算法黑箱，冗余編碼，算法解釋

〔中圖分類號〕D90-052 〔文獻(xiàn)標(biāo)識碼〕A 〔文章編號〕1004-4175（2022）03-0122-07

〔收稿日期〕2022-03-31

〔作者簡介〕石 穎（1994- ），女，陜西西安人，西北政法大學(xué)法治學(xué)院2019級博士生、中共陜西省委黨校（陜西行政學(xué)院）法學(xué)與社會治理教研部講師，主要研究方向為法學(xué)理論。

隨著數(shù)字技術(shù)的快速發(fā)展，人們已經(jīng)能夠利用算法來幫助處理社會生活各領(lǐng)域的復(fù)雜問題，如利用算法決策系統(tǒng)作出信用評價、用人管理、政府治理、產(chǎn)品定價等。這極大地提高了決策效率，給人們生活帶來了諸多便利。但與此同時，我們還發(fā)現(xiàn)，算法對人們生活領(lǐng)域的滲透還帶來了新的問題，如在不同的手機(jī)端預(yù)定機(jī)票、酒店或打車時會得到不同的報價;亞馬遜公司使用的簡歷分析系統(tǒng)，自動將女性求職者的排名置于男性之后……這表明，歧視已經(jīng)隨著時代發(fā)展而呈現(xiàn)出新的表現(xiàn)形式。算法與大數(shù)據(jù)的應(yīng)用不僅無法解決公正和平等問題，反而讓本應(yīng)是“呈現(xiàn)觀念”的算法場景產(chǎn)生了“創(chuàng)造觀念”的歧視效果，進(jìn)一步加重了不公正和不平等，并引發(fā)新的倫理問題。數(shù)字科技帶給人們的這些最直觀的挑戰(zhàn)和問題，勢必需要法律作出回應(yīng)。因此，本文關(guān)注的問題是，算法歧視的發(fā)生邏輯是什么？以及如何對算法歧視進(jìn)行法律規(guī)制？既有理論研究，大多關(guān)注的是算法的宏觀規(guī)制問題，所提出的規(guī)制對策并非專門針對算法歧視，因此缺少針對性。而少部分專門針對算法歧視的研究尚不夠系統(tǒng)深入，有待于從“人”的層面、“技術(shù)”層面以及“運(yùn)行”層面對其發(fā)生邏輯和法律規(guī)制進(jìn)行深入剖析。對此，本文將從“先行存在的歧視”“技術(shù)本身的歧視”和“算法運(yùn)行中的決策性歧視”這三個方面來系統(tǒng)論證算法歧視的發(fā)生邏輯，并提出與之相對應(yīng)的法律規(guī)制措施，以期重塑數(shù)字社會的公正與平等，推動算法技術(shù)的良性發(fā)展。

一、算法歧視的核心要義

歧視在人類思維意識中從未缺席過，并且會隨著時代變遷而不斷演化出新的歧視類型。算法歧視即是隨著人工智能、大數(shù)據(jù)、算法等新興技術(shù)的發(fā)展和應(yīng)用而產(chǎn)生的新的社會歧視類型。數(shù)字社會與人類社會實際上是一種鏡像關(guān)系，即人類社會無法避免的歧視問題，在數(shù)字社會也同樣無法避免，甚至在數(shù)字空間中愈演愈烈。算法歧視對人類社會制度與經(jīng)濟(jì)、政治、文化發(fā)展的影響越來越深遠(yuǎn)，不僅限于傳統(tǒng)的種族、性別等因素，而且還投射到數(shù)字社會中人類的日常生活和社會事務(wù)當(dāng)中〔1〕。對算法歧視的發(fā)生邏輯與法律規(guī)制的研究，首先是要明晰算法歧視的核心要義。具體而言，算法歧視的核心要義體現(xiàn)在以下幾個方面：

（一）算法歧視是一種不合理的區(qū)別對待

如果將歧視比作風(fēng)險和災(zāi)難，那么算法技術(shù)的發(fā)展讓歧視這一風(fēng)險也隨之獲得了新的載體和表現(xiàn)形式，呈現(xiàn)出歧視風(fēng)險的高科技性，這種高科技性可能會讓更多、更普遍的人遭受歧視。歧視是“一切對公民群體或個人所實施的，其目的或效果在于不合理的區(qū)分、限制、排斥、優(yōu)待或侵害人尊嚴(yán)的行為或制度安排”〔2〕。簡言之，歧視是一種不合理的區(qū)別對待。算法歧視雖然是一種新型的歧視類型，但它并沒有創(chuàng)造歧視本身，也沒有改變歧視的本質(zhì)，而只是改變了歧視的產(chǎn)生方式和存在方式，使得歧視有了更廣闊的外延，是歧視在數(shù)字社會中的一種特殊表現(xiàn)形式。因此，算法歧視也具有歧視的一般性要義，同樣是一種不合理的區(qū)別對待。

（二）算法歧視是智能機(jī)器自動化決策的產(chǎn)物

算法的建構(gòu)與運(yùn)行極具復(fù)雜性。算法是在計算機(jī)程序中由包含百萬級的數(shù)據(jù)點(diǎn)與代碼建立起來的決策模型，是通過對海量數(shù)據(jù)進(jìn)行排序、分類并予以標(biāo)簽化，繼而建立若干數(shù)據(jù)集才得以運(yùn)行的。它會不斷地在動態(tài)數(shù)據(jù)的統(tǒng)計學(xué)習(xí)中作出決策選擇，具有“輸出預(yù)測”的功能。算法歧視正是由于算法內(nèi)部演算和數(shù)據(jù)分析所導(dǎo)致的對特定群體或個人的不公正對待。人們在算法技術(shù)的開發(fā)與應(yīng)用中，難免會將人類社會固有的偏見與歧視通過數(shù)據(jù)傳遞到同構(gòu)屬性的算法上，當(dāng)在數(shù)據(jù)分析中按照不合理的類別化區(qū)分標(biāo)準(zhǔn)進(jìn)行內(nèi)部演算，繼而對不同的人作出系統(tǒng)性的、可重復(fù)的不平等對待時，就會形成算法歧視。也即，算法歧視主要是嵌入了人類的認(rèn)知與價值觀后，由智能機(jī)器自動化決策后的產(chǎn)物，是一種自動化歧視（Automated Discrimination）〔3〕。

（三）算法歧視以“隱蔽性”和“不可逆性”為表征

雖然算法歧視歸屬于歧視，但又不完全等同于一般意義上的歧視，具有著“隱蔽性”與“不可逆性”，會產(chǎn)生更為嚴(yán)重、更為普遍的歧視性后果。（1）隱蔽性。算法的運(yùn)行過程是一個深度學(xué)習(xí)的過程，會在掌握數(shù)據(jù)屬性、人類偏好等的基礎(chǔ)上作出算法預(yù)測。在這一過程中，一方面，由于高度的專業(yè)性使得算法設(shè)計人員與普通用戶之間形成巨大的“數(shù)字鴻溝”。普通用戶根本無法從專業(yè)的程序代碼層面理解算法決策的過程、依據(jù)以及決策結(jié)構(gòu)。另一方面，算法黑箱也使得算法決策過程處于不公開不透明的狀態(tài)，普通用戶往往只能得到最終的決策結(jié)果，并被動地接受結(jié)果，而無法發(fā)現(xiàn)算法歧視。（2）不可逆性。算法歧視的不可逆性，體現(xiàn)在算法決策的過程與結(jié)果的雙重不可逆性上。整個算法運(yùn)行程序其實就是從“輸入”到“輸出”的過程。當(dāng)自動化決策的算法“輸出”歧視性結(jié)果或產(chǎn)生歧視性的危害后果時，是根本無法逆轉(zhuǎn)的。而這一歧視性結(jié)果的輸出還將會進(jìn)一步分別反饋給算法的內(nèi)部循環(huán)系統(tǒng)與外部流通系統(tǒng)，造成進(jìn)一步的歧視循環(huán)與流通。

二、算法歧視的發(fā)生邏輯

算法歧視作為算法技術(shù)的衍生品，使得算法的預(yù)測功能發(fā)生偏離，損害了人們平等和非歧視的基本權(quán)利。根據(jù)算法歧視的核心要義和呈現(xiàn)形式可以發(fā)現(xiàn)，算法歧視有“先行存在的歧視——人類社會歧視的算法轉(zhuǎn)化”“技術(shù)本身的歧視——算法設(shè)計所導(dǎo)致的歧視”和“決策性歧視——算法運(yùn)行所產(chǎn)生的歧視”三種發(fā)生邏輯。

（一）先行存在的歧視——人類社會歧視的算法轉(zhuǎn)化

歧視在人類社會中是普遍存在并不斷發(fā)展的，算法決策又是對人類決策的深度學(xué)習(xí)，因此，算法歧視在很大程度上源于對人類社會歧視的算法轉(zhuǎn)化，是在對現(xiàn)有文化中存在的歧視進(jìn)行歸納或“同構(gòu)”后，形成的數(shù)字社會中的文化禁錮或社會禁錮。種族歧視、性別歧視等傳統(tǒng)的社會歧視類型，就隨著算法技術(shù)的廣泛應(yīng)用而進(jìn)一步轉(zhuǎn)化為算法歧視。如2015年Google Photos就曾被曝出將黑人程序員Jacky Alcine標(biāo)記為“大猩猩”，此即是算法根據(jù)人類社會現(xiàn)實中存在的歧視所進(jìn)行的學(xué)習(xí)、演化與展示的典型樣本之一。數(shù)據(jù)源于社會現(xiàn)實，社會現(xiàn)實本就是存在群體差異的，因此，基于歷史和現(xiàn)實的事實數(shù)據(jù)生成的算法模型，必然會反映出群體差異，并進(jìn)一步形成歧視。算法歧視反映的正是一種社會權(quán)力關(guān)系中深層次的不平等。算法技術(shù)根本無法避免歧視的發(fā)生，反而是將社會歧視進(jìn)行了算法轉(zhuǎn)化，并進(jìn)一步加重了歧視，尤其是使間接歧視在算法技術(shù)的作用下獲得了新的發(fā)展契機(jī)，以更加隱蔽或是合法化的方式而存在著。如銀行通過大數(shù)據(jù)挖掘出與種族相關(guān)的屬性特征，并單純依據(jù)這些屬性特征來作出信貸時的征信評估，從而對并無征信問題的黑人等有色人種施加歧視性待遇。

（二）技術(shù)本身的歧視——算法設(shè)計所導(dǎo)致的歧視

1.歸納式的算法思維邏輯導(dǎo)致算法歧視

算法作為人類思維的外化物，在學(xué)習(xí)方法的本質(zhì)上是類似于人的，即算法運(yùn)用的也是一種在特定條件、特定范圍下的因果推論，是通過歸納法（即在既有知識的基礎(chǔ)上總結(jié)經(jīng)驗、得出結(jié)論）建立并運(yùn)行起來，繼而發(fā)揮相應(yīng)的預(yù)測功能的（即從經(jīng)驗和結(jié)論出發(fā)而對更多現(xiàn)象予以分析、進(jìn)行預(yù)測）?！叭诵灾凶匀欢５谋灸苁顾麄円子谧龀龇夯⒏拍詈头诸?，這些都是對經(jīng)驗世界的過度簡化?！薄?〕30這種類型化的、歸納式的人類認(rèn)知，極易產(chǎn)生對某群體或事物的刻板印象，繼而形成歧視。

經(jīng)過人的訓(xùn)練和改進(jìn)，算法實際亦遵循著該種思維邏輯和運(yùn)行機(jī)理，通過對海量數(shù)據(jù)的整合、排序、分類、訓(xùn)練，將問題分解為同類子問題，建立若干數(shù)據(jù)集，予以標(biāo)簽化，再利用機(jī)器自身的深度學(xué)習(xí)能力，實現(xiàn)對新數(shù)據(jù)的歸類與“預(yù)測”。因此，當(dāng)含有歧視性的標(biāo)簽被設(shè)置出來，或是算法自動將某標(biāo)簽關(guān)聯(lián)至歧視性的結(jié)果時，都會導(dǎo)致算法對該標(biāo)簽項下的群體作出系統(tǒng)性的歧視。簡而言之，算法的底層邏輯是從現(xiàn)有的樣例特征中提取、歸納、總結(jié)出可普遍適用的規(guī)則來指導(dǎo)實踐〔5〕360。但這種概率性的預(yù)測并不完全是準(zhǔn)確的，很容易因不完全歸納而導(dǎo)致歧視。如在就業(yè)招聘中，算法平臺對應(yīng)聘者所進(jìn)行的學(xué)歷、種族、年齡、戶籍等的信息篩選與統(tǒng)計區(qū)分，便是一種根據(jù)群體特征而對個體進(jìn)行的歸類與預(yù)測，這樣的招聘方式雖然是在信息不對稱狀態(tài)下進(jìn)行的理性篩選，但其僅根據(jù)概率性的群體身份特征來判斷個體能力的做法極易引起就業(yè)歧視。

2.算法黑箱與算法的非中立性引發(fā)算法歧視

整體來看，人們并不能充分了解算法內(nèi)部的決策規(guī)則，數(shù)據(jù)和編程的內(nèi)幕也無法做到公開透明，有關(guān)算法的運(yùn)行機(jī)制、決策原則和決策依據(jù)也只有相關(guān)的程序設(shè)計人員才知曉，由此形成的“算法黑箱”便成為算法技術(shù)最大的不可控因素。算法在“GIGO定律（Garbage In，Garbage Out）”，即“偏見進(jìn)，則偏見出（Bias In，Bias Out）”的作用下發(fā)生異化，產(chǎn)生算法歧視。并且這種非法目的與歧視性結(jié)果還得以掩蓋在算法技術(shù)的合法外衣下而持續(xù)存在。

人們普遍認(rèn)為，通過自然科學(xué)模式推算出來的機(jī)器算法決策是處于技術(shù)中立的，不存在價值判斷，不需要面對諸如“電車?yán)Ь场薄?〕等人類現(xiàn)實社會中的倫理難題，因此能夠作出既符合效益又切合情理的判斷與決策，可以無條件信任算法。但實際上，算法有著與人類社會同構(gòu)的特質(zhì)，它并非是完全中立的，算法決策也并非完全可靠。這是因為：（1）數(shù)據(jù)的偏差性會導(dǎo)致算法歧視。算法決策是在數(shù)據(jù)分析的基礎(chǔ)上建立起來的，因此，若數(shù)據(jù)存在錯誤，或數(shù)據(jù)本身即具有歧視性，又或是數(shù)據(jù)參數(shù)或?qū)傩圆粔蛉?，就會使算法模型產(chǎn)生對特定群體的特定預(yù)測，從而造成不合理的區(qū)別對待，形成歧視性的算法結(jié)果。（2）算法設(shè)計人員的有限理性會產(chǎn)生算法歧視。不論是算法的總體設(shè)計目的、數(shù)據(jù)運(yùn)用，還是最后的結(jié)果呈現(xiàn)，其實都在以價值判斷的形式體現(xiàn)著算法設(shè)計人員的認(rèn)知層級與認(rèn)知水準(zhǔn)。作為一種理性主義的產(chǎn)物，算法通過建構(gòu)結(jié)構(gòu)化的知識體系，盡最大可能地避免不確定性，實現(xiàn)對未來的預(yù)測。但正如法律會由于立法者的有限理性而產(chǎn)生立法空白、漏洞一樣，算法雖然能夠在一定程度上掌控現(xiàn)實世界的變量，但也難免會由于算法設(shè)計人員的有限理性或認(rèn)知盲區(qū)而產(chǎn)生算法歧視等問題。也就是說，算法這種理性其實和法律一樣，是屬于有限的理性，不能對其加以神化。（3）算法設(shè)計人員的歧視性價值滲透形成算法歧視。算法的編輯和數(shù)據(jù)的收集、訓(xùn)練都是在人的操作下進(jìn)行的，因此難免會攜帶設(shè)計人員的某種“偏見”。而實際上，算法技術(shù)的研發(fā)和應(yīng)用需要大量的包括資金和人力等的資本投入，在這樣的境況下，少數(shù)的網(wǎng)絡(luò)服務(wù)提供者或運(yùn)營商以及算法技術(shù)開發(fā)企業(yè)會逐步形成壟斷，擁有影響、左右甚至規(guī)訓(xùn)人們選擇的能力。繼而可以將某些具有利益傾向或其他歧視性傾向的價值觀念通過技術(shù)中立的外衣而滲透進(jìn)算法中，賦予算法進(jìn)行區(qū)別對待與區(qū)別影響的權(quán)力。

（三）決策性歧視——算法運(yùn)行所產(chǎn)生的歧視

算法是一種基于統(tǒng)計學(xué)而建立起的具有描述性、學(xué)習(xí)性、動態(tài)性的隨機(jī)性控制。在算法的實際運(yùn)行交互中，會因為在不同的數(shù)據(jù)條件或運(yùn)行環(huán)境下發(fā)生變動，產(chǎn)生不同的決策結(jié)果。算法歧視其實也是算法運(yùn)行中的策略選擇，它雖然生成了歧視性結(jié)果，但也符合一定的技術(shù)秩序，是在算法運(yùn)行環(huán)境中所產(chǎn)生的“決策性歧視”。它包括但不限于在數(shù)據(jù)動態(tài)交互中，由于“冗余編碼”和“信息繭房”而產(chǎn)生的算法歧視，以及因數(shù)據(jù)評估的導(dǎo)向性而引發(fā)的算法歧視。

1.數(shù)據(jù)動態(tài)交互中產(chǎn)生的算法歧視

第一，“冗余編碼”導(dǎo)致的算法歧視。數(shù)字社會中，公民的姓名、性別、民族、種族、住址等涉及隱私的個人信息已經(jīng)越過國家機(jī)關(guān)而被商業(yè)算法平臺收集、存儲，并進(jìn)行開發(fā)與應(yīng)用。算法按照設(shè)定的標(biāo)準(zhǔn)，通過利用公民的數(shù)據(jù)信息來重新分配公民身份，識別公民的社會關(guān)系。算法決策之所以會產(chǎn)生歧視，一個重要原因即在于算法運(yùn)行中的“冗余編碼”，就是將本應(yīng)受到保護(hù)的敏感性數(shù)據(jù)，與其他可合法獲得的數(shù)據(jù)進(jìn)行編碼與關(guān)聯(lián)性應(yīng)用〔7〕。如用人單位拒絕錄用通勤時間過長的員工，原因是其認(rèn)為通勤時間過長會增大員工每日上班成本，并消耗員工每日工作精力，然而這對于居住在遠(yuǎn)郊的較低收入群體來說構(gòu)成了歧視。在此，住址與通勤時間等數(shù)據(jù)信息都是用人單位合法收集獲取的，但當(dāng)這些合法獲取的數(shù)據(jù)信息與特定群體的行為建立起某種屬性的關(guān)聯(lián)時，便會對該群體帶來意料之外的歧視性決策結(jié)果。

我們可以對此作出更深入的解讀。實際上，在算法運(yùn)行中所產(chǎn)生的對某類特定群體的區(qū)別對待，其實并非完全是依據(jù)人類所認(rèn)為的區(qū)分屬性或特征（如籍貫、性別等）來作出區(qū)別對待或決策的，而只是在算法運(yùn)行時挖掘出了數(shù)據(jù)中的標(biāo)志性特征，并進(jìn)行匹配性判斷，從而對某類特定群體進(jìn)行區(qū)別對待或決策。如浙江省溫州市是皮革業(yè)的聚集地，算法即認(rèn)定一名溫州人應(yīng)該有從事皮革行業(yè)人士的待遇，從而在與該人的戶籍進(jìn)行關(guān)聯(lián)的基礎(chǔ)上，進(jìn)一步發(fā)掘了該人從事皮革業(yè)的特征。此外，美國曾在司法領(lǐng)域引入風(fēng)險評估系統(tǒng)COMPAS和PSA來預(yù)測罪犯的再犯概率，并作為法官輔助量刑的依據(jù)，然而，2016年根據(jù)一家總部設(shè)在美國紐約市曼哈頓區(qū)的非盈利性的、主要為公眾利益進(jìn)行調(diào)查報道的新聞編輯部ProPublica的調(diào)查顯示，COMPAS系統(tǒng)在對罪犯進(jìn)行再犯評估時，被標(biāo)注為高概率會再犯的群體（但實際未再犯）中，黑人比例高達(dá)45%，而白人比例只有23%，也即COMPAS系統(tǒng)對黑人所做的再犯評估率是白人的兩倍，增加了黑人被處以嚴(yán)厲刑罰的可能性〔8〕。這些原本基于事實數(shù)據(jù)訓(xùn)練出來的結(jié)果卻使黑人遭受了不合理的區(qū)別對待。事實上，算法并非明確知悉罪犯種族，而是通過訓(xùn)練數(shù)據(jù)集的其他屬性數(shù)據(jù)（如居住地、職業(yè)等）推測并提取出了種族的特征值。而且考慮到現(xiàn)實中黑人的再犯罪率確實會更高的情況，算法在分析具有黑人屬性特征的罪犯時，也難免會將其納入“高概率再犯”的范疇，將黑人屬性的特征值與“再犯概率”進(jìn)行了關(guān)聯(lián)，從而產(chǎn)生算法歧視。

第二，“信息繭房”導(dǎo)致的算法歧視?！靶畔⒗O房”是凱斯·桑斯坦首先提出的，主要是指人們關(guān)注的信息領(lǐng)域會習(xí)慣性地被自己的興趣所引導(dǎo)，從而將自己的生活桎梏于像蠶繭一般的“繭房”中的現(xiàn)象〔9〕7-8。運(yùn)用數(shù)據(jù)交互所實現(xiàn)的算法個性化推薦，原本是為了給不同用戶提供個性化和差異化服務(wù)，以獲得更好、更符合需要的用戶體驗。如在瀏覽器、客戶端等終端上，算法在掌握用戶使用習(xí)慣的基礎(chǔ)上，分析和解讀其喜好，并為其推送相關(guān)信息，指引用戶選擇。然而在這樣的商業(yè)營銷下，“信息繭房”編織的速度變得越來越快，人們也被不自覺地困在繭房之中，從而在獲取信息時被算法所引導(dǎo)和左右。如2016年“魏則西事件”，由于搜索平臺的競價排名而導(dǎo)致魏則西誤信了算法所推薦的醫(yī)療機(jī)構(gòu)，最終貽誤了病情，釀成悲劇。

在現(xiàn)代法治理念中，基于個人或群體的固定特征，如種族、性別、膚色、宗教信仰等作出區(qū)別性對待的公共決策與私人決策都會有歧視的嫌疑。而在算法中，算法決策反倒可以規(guī)避反歧視的約束，肆意對基于個人或群體的固定特征進(jìn)行自動化的分類。那種通過干預(yù)算法所實現(xiàn)的個性化推薦實際上是賦予了算法決策系統(tǒng)區(qū)別對待的權(quán)力，而這種區(qū)別對待在算法運(yùn)行中，形成了以差異化的不平等和特權(quán)為表現(xiàn)形式的算法歧視，嚴(yán)重侵犯了個人權(quán)益。在日常交易中，人們的正義感會附著在“允諾”和“對應(yīng)允諾”“履行”與“對應(yīng)履行”之間的平等與公平上。因此，一旦其中的交易一方在討價還價能力方面存在實質(zhì)性的不平等時，便會對交易公平產(chǎn)生嚴(yán)重的威脅。如果算法掌控者存在“看人下菜碟”的故意，那么就不可避免地會出現(xiàn)算法歧視。實際上，在算法的運(yùn)作下，線下的價格歧視已經(jīng)擴(kuò)展到線上，并且危害性與影響程度都會比線下要更大、更深。表現(xiàn)為“大數(shù)據(jù)殺熟”的算法歧視在更深層次的機(jī)理上即是一種由“交換不對等”所引起的不平等。企業(yè)利用特殊的算法來掌握消費(fèi)者的消費(fèi)記錄、上網(wǎng)記錄等，進(jìn)而對消費(fèi)者的偏好、習(xí)慣、支付能力等進(jìn)行畫像的繪制，“通過個性化定價的嘗試和驗證，獲取消費(fèi)者的最大支付意愿信息，從而使得對不同消費(fèi)者收取不同的價格成為可能”〔10〕。在這樣的交易模式下，買賣雙方的信息是極為不對稱的，買方（消費(fèi)者）實際是處于一種討價還價能力上的實質(zhì)不平等。買方（消費(fèi)者）基本喪失了對區(qū)別定價知情的權(quán)利，并常常在不知情但完全信任交易平臺的情境下，接受著這種差異化定價的算法歧視。由此可見，算法在商事經(jīng)營中乃是一種商家為最大限度地獲得商業(yè)利潤的技術(shù)手段，而巨大的商業(yè)利益也在推動著信息“繭化”的速度與程度，用戶無法自主決定自己所接收到的信息，而是被算法“精準(zhǔn)預(yù)測”并“精準(zhǔn)推送”，在這一過程中也不自覺地形成了算法歧視。事實上，當(dāng)算法掌控者根據(jù)各種數(shù)據(jù)變量進(jìn)行對象分組而產(chǎn)生算法畫像時，歧視便產(chǎn)生了，因為這種依據(jù)算法畫像來分配資源的方式，本身具有歧視性。

2.數(shù)據(jù)評估的導(dǎo)向性引發(fā)算法歧視

數(shù)據(jù)評估在自然科學(xué)領(lǐng)域是很常見的，如工程師會用一千座橋梁的數(shù)據(jù)來評估接下來可能會塌方的橋。然而這種數(shù)據(jù)評估方法運(yùn)用在社會科學(xué)領(lǐng)域卻產(chǎn)生了諸多問題。如我們所知，自動化系統(tǒng)中的信用評估，即是通過交易記錄的批量分析來預(yù)測用戶的違約概率。所不同的是，工程師的數(shù)據(jù)評估不會對被評估對象（橋梁）產(chǎn)生任何影響，而為測試違約概率的信用評估卻會影響相應(yīng)的測評對象（人），因為“信用評分系統(tǒng)一旦將某人定為高風(fēng)險用戶并隨即提高貸款利率，那么就會增加這個客戶的違約概率”〔11〕60。這種非公開、不可測、保密化的分析程序很難得到相應(yīng)的監(jiān)督，因此，歧視問題便很容易隱藏其中，再加上人們對于機(jī)器算法決策的濫用與盲目自信，使得算法歧視持續(xù)性生成并進(jìn)一步放大。

三、算法歧視的法律規(guī)制

在數(shù)字社會中，數(shù)字平臺搭建、數(shù)據(jù)利用、算法設(shè)計等都需要依靠技術(shù)規(guī)則和契約規(guī)則來加以保障。我國《關(guān)于加強(qiáng)互聯(lián)網(wǎng)信息服務(wù)算法綜合治理的指導(dǎo)意見》（國信辦發(fā)文〔2021〕7號，2021年9月17日發(fā)布）明確指出，要“以算法安全可信、高質(zhì)量、創(chuàng)新性發(fā)展為導(dǎo)向，建立健全算法安全治理機(jī)制，構(gòu)建完善算法安全監(jiān)管體系，推進(jìn)算法自主創(chuàng)新，促進(jìn)算法健康、有序、繁榮發(fā)展，為建設(shè)網(wǎng)絡(luò)強(qiáng)國提供有力支撐。”為有效應(yīng)對算法歧視，需要將法律的知識體系、價值體系與算法的技術(shù)體系相彌合，搭建起各利益相關(guān)者之間的對話和商談場域，以實現(xiàn)對算法歧視的法律規(guī)制和互聯(lián)網(wǎng)信息服務(wù)算法的安全治理，讓算法技術(shù)能夠在平等和非歧視的狀態(tài)下為人類社會服務(wù)。建立起由科技理性（技術(shù)良序）和法律理性（法律良序）共同支撐的、人與人之間相互協(xié)作配合的，以追求社會成員的共同利益為社會主要目標(biāo)的算法時代的“良序社會”〔12〕359。針對“先行存在的歧視”“技術(shù)本身的歧視”以及“決策性歧視”，可通過以下措施來實現(xiàn)相應(yīng)的法律規(guī)制。

（一）通過倫理審計與公平性約束，規(guī)制“先行存在的歧視”

“先行存在的歧視”這種人類社會歧視的算法轉(zhuǎn)化，歸根結(jié)底還是“人”的問題。因此，要想實現(xiàn)對該種歧視的規(guī)制，就要從算法平臺或算法設(shè)計人員入手。（1）算法平臺或算法設(shè)計人員要經(jīng)過嚴(yán)格的倫理審計。在算法的設(shè)計應(yīng)用中，要始終樹立“以人為中心”的技術(shù)發(fā)展理念，嚴(yán)格按照行業(yè)技術(shù)倫理規(guī)范或算法倫理法則進(jìn)行算法設(shè)計，督促算法平臺或算法設(shè)計人員遵循內(nèi)心的道德律，強(qiáng)化算法倫理建設(shè)，提高職業(yè)和道德的基本素養(yǎng)，在追求技術(shù)帶來的便捷與利益的同時，兼顧社會公平正義，獲取合理合法的算法利益，不唯資本或利益論。（2）在具體的算法模型設(shè)計中，要執(zhí)行嚴(yán)格的公平性約束規(guī)則。秉持平等、非歧視的行業(yè)技術(shù)標(biāo)準(zhǔn)或規(guī)則體系，將算法技術(shù)限定在平等、公正、安全又守秩序的數(shù)字人權(quán)界限內(nèi)，從權(quán)利視角來規(guī)制算法技術(shù)利用上的不平等，推動實現(xiàn)算法決策的公平公正、安全可控，防止算法平臺或算法設(shè)計人員為了商業(yè)利益而利用算法權(quán)力對個人數(shù)據(jù)進(jìn)行用戶畫像，實施惡意歧視。尤其是對于主觀數(shù)據(jù)較為集中的算法模型，要注意比較算法預(yù)測的結(jié)果是否符合理性認(rèn)知下的公平正義的標(biāo)準(zhǔn)，以保障算法模型設(shè)計始終處于公平性約束之下。并根據(jù)外部環(huán)境的流動變化及時調(diào)整和更新算法運(yùn)行規(guī)則，以盡可能地規(guī)避算法歧視。

（二）通過數(shù)據(jù)信息的區(qū)別保護(hù)與算法解釋，規(guī)制“技術(shù)本身的歧視”

對于算法設(shè)計所導(dǎo)致的技術(shù)本身的歧視，可通過以下兩方面進(jìn)行法律規(guī)制：

第一，通過數(shù)據(jù)信息的區(qū)別保護(hù)，規(guī)制“歸納式的算法思維邏輯導(dǎo)致的算法歧視”。在現(xiàn)有技術(shù)條件下，無法使得算法在窮盡所有的數(shù)據(jù)信息并經(jīng)過倫理價值判斷后作出完全精準(zhǔn)的歸納和預(yù)測，因此只能從建構(gòu)數(shù)據(jù)信息的區(qū)別保護(hù)機(jī)制入手，來盡可能地保證數(shù)據(jù)輸入時的平等和非歧視，從而確保算法歸納預(yù)測的客觀公正。我國《民法典》即以法律的形式確立了數(shù)據(jù)信息的權(quán)利屬性;《國家人權(quán)行動計劃（2021—2025年）》也將個人信息權(quán)益作為互聯(lián)網(wǎng)時代的基本人權(quán)。以強(qiáng)制性規(guī)定的方式來保障公民個人數(shù)據(jù)信息安全、規(guī)制算法歧視是大勢所趨也是必經(jīng)之路。對此，（1）要以平等保護(hù)和“無害化”作為數(shù)據(jù)信息處理的基本原則?！盁o害化”是歐盟《統(tǒng)一數(shù)據(jù)保護(hù)條例》（GDPR）所確立的大數(shù)據(jù)處理與自動決策算法的基本原則。2019年6月，我國新一代人工智能治理專業(yè)委員會印發(fā)了《新一代人工智能治理原則》，確立了公平公正、尊重隱私、安全可控的人工智能發(fā)展原則。對算法技術(shù)的規(guī)制，首先要保障其“無害化”，將其對人的影響控制在合理的范圍內(nèi)，在安全無害和平等保護(hù)的基礎(chǔ)上，作出客觀公正的歸納預(yù)測。（2）對數(shù)據(jù)信息進(jìn)行反歧視篩選與過濾，對“敏感數(shù)據(jù)信息”與“一般數(shù)據(jù)信息”進(jìn)行區(qū)分和區(qū)別保護(hù)。如按照是否具有普遍流動性的標(biāo)準(zhǔn)，將生物識別數(shù)據(jù)、遺傳數(shù)據(jù)、個人犯罪記錄等數(shù)據(jù)信息認(rèn)定為“敏感數(shù)據(jù)信息”，從而將這些可能產(chǎn)生歧視性后果的敏感數(shù)據(jù)信息進(jìn)行預(yù)先排除，并對關(guān)聯(lián)屬性的數(shù)據(jù)嚴(yán)格審查，以實現(xiàn)對數(shù)據(jù)信息的反歧視篩選與過濾，確保大數(shù)據(jù)所收集記錄的數(shù)據(jù)信息都是“負(fù)責(zé)任的”“非歧視的”，盡可能地降低因概率性的歸納預(yù)測而導(dǎo)致的算法歧視。（3）對個人信息的收集使用設(shè)置限制性條件，以維護(hù)和保障用戶個人權(quán)利。我國《網(wǎng)絡(luò)安全法》第41條即要求網(wǎng)絡(luò)運(yùn)營者在收集、使用個人信息時，應(yīng)當(dāng)遵循合法、正當(dāng)、必要的原則，不得收集與其所提供的服務(wù)無關(guān)的用戶信息，不得違反法律法規(guī)的相關(guān)規(guī)定和雙方的約定來收集、使用個人信息?！秱€人信息保護(hù)法》第28條第2款和第29條專門對敏感個人信息的處理規(guī)則作出規(guī)定，即對于敏感個人信息的處理，必須基于特定的目的和充分的必要性，采取嚴(yán)格保護(hù)措施，并應(yīng)當(dāng)取得個人的單獨(dú)同意。《在線旅游經(jīng)營服務(wù)管理暫行規(guī)定》第15條還對禁止濫用大數(shù)據(jù)分析作出規(guī)定：“在線旅游經(jīng)營者不得濫用大數(shù)據(jù)分析等技術(shù)手段，基于旅游者消費(fèi)記錄、旅游偏好等設(shè)置不公平的交易條件，侵犯旅游者合法權(quán)益”，從而起到對平臺收集和使用公民個人信息的限制作用。

第二，通過課以算法設(shè)計人員“解釋”的義務(wù)，規(guī)制“算法黑箱與算法非中立性引發(fā)的算法歧視”，保障算法的合法性與合倫理道德性。算法解釋既是一種權(quán)利，也是一種義務(wù)。對于用戶而言，算法解釋是一種權(quán)利，而對于算法設(shè)計人員而言則是一種義務(wù)。對于不同領(lǐng)域、不同主體還會有不同的解釋義務(wù)：（1）在公共決策領(lǐng)域要盡可能地向公眾公開算法決策的參考權(quán)重，并作出合理解釋，防止其利用算法輔助決策系統(tǒng)對特定公民造成侵害。（2）對于商業(yè)機(jī)構(gòu)來說，則需要在保障科技創(chuàng)新發(fā)展和競爭性商業(yè)機(jī)密的前提下，對算法設(shè)計過程及算法決策進(jìn)行有針對性地解釋。以此來實現(xiàn)對數(shù)據(jù)參數(shù)、算法模型以及算法設(shè)計人員的審查和追溯，保障大眾知情同意的數(shù)據(jù)權(quán)利，避免因算法黑箱或算法非中立性而引發(fā)算法歧視。此外，還要允許一些可以利用算法黑箱達(dá)到社會扶助目的的不公開情形。如為保護(hù)高校貧困生的自尊而利用算法黑箱進(jìn)行的扶貧助學(xué)，即是通過算法黑箱起到了規(guī)避歧視的作用。它通過后臺算法來監(jiān)測學(xué)生每月在食堂的消費(fèi)頻次、每頓在食堂的消費(fèi)金額來判定是否貧困，從而為其飯卡內(nèi)打入生活補(bǔ)助，避免傳統(tǒng)的公開評定與資助所帶給貧困生的心理傷害和歧視。

（三）通過建立算法的監(jiān)管制度，規(guī)制“決策性歧視”

對于因“數(shù)據(jù)動態(tài)交互”和“數(shù)據(jù)評估的導(dǎo)向性”所引發(fā)的算法歧視的法律規(guī)制，需要在充分明晰算法的應(yīng)用范疇與算法規(guī)則的基礎(chǔ)上，建立起對算法的監(jiān)管制度，加強(qiáng)對算法技術(shù)的法律規(guī)制，以法律價值來影響算法，以強(qiáng)制性的法律規(guī)范來確保技術(shù)規(guī)范的正確實施。重塑算法時代人與人、人與社會之間的和諧關(guān)系，讓算法技術(shù)的開發(fā)和利用更好地為社會服務(wù)、為人類服務(wù)，使每位公民都能夠在以算法為主導(dǎo)的智能社會法律秩序中享有充分的平等、自由、尊重和不受歧視的權(quán)利，從而在承認(rèn)人的價值、保障人的自由、尊嚴(yán)及利益的基礎(chǔ)上，保障公民權(quán)利的價值性質(zhì)量〔13〕。

對此可以針對不同的情形采取不同的監(jiān)管措施：對于因“冗余編碼”“信息繭房”等數(shù)據(jù)動態(tài)交互中所產(chǎn)生的算法歧視，可從以下三方面進(jìn)行規(guī)制：（1）建立算法歧視風(fēng)險監(jiān)測預(yù)警和周期復(fù)查制度。在嚴(yán)格準(zhǔn)確記錄算法所收集的必要的數(shù)據(jù)信息、算法應(yīng)用過程、算法策略等基礎(chǔ)上，進(jìn)行算法歧視風(fēng)險監(jiān)測和預(yù)警，并建立相應(yīng)的周期復(fù)查機(jī)制，對算法開展周期性的安全測試審查或安全評估，防止算法在運(yùn)行中將本應(yīng)受到保護(hù)的敏感性數(shù)據(jù)，與其他可合法獲得的數(shù)據(jù)進(jìn)行編碼與關(guān)聯(lián)性應(yīng)用，形成“冗余編碼”，進(jìn)而產(chǎn)生算法歧視。（2）建立算法的分級分類管理制度。我國《互聯(lián)網(wǎng)信息服務(wù)算法推薦管理規(guī)定》第23條提出了建立算法分級分類安全管理制度，即“根據(jù)算法推薦服務(wù)的輿論屬性或者社會動員能力、內(nèi)容類別、用戶規(guī)模、算法推薦技術(shù)處理的數(shù)據(jù)重要程度、對用戶行為的干預(yù)程度等對算法推薦服務(wù)提供者實施分級分類管理”，從而強(qiáng)化對算法推薦的監(jiān)管，規(guī)制“信息繭房”導(dǎo)致的算法歧視，同時也為后續(xù)的歸責(zé)奠定基礎(chǔ)。（3）建立健全問責(zé)機(jī)制，通過追究算法平臺或算法設(shè)計人員等有關(guān)主體的法律責(zé)任，規(guī)制“數(shù)據(jù)評估的導(dǎo)向性所引發(fā)的算法歧視”。問責(zé)機(jī)制是算法歧視的事后監(jiān)管方案。從算法歧視的損害結(jié)果出發(fā)，通過考察某行為是否直接或間接地侵害了特定群體的合法權(quán)益，是否產(chǎn)生了歧視的不利后果（差異性影響），進(jìn)而按照“誰設(shè)計誰負(fù)責(zé)”“誰主管誰負(fù)責(zé)”的標(biāo)準(zhǔn)，向算法平臺、算法設(shè)計人員等有關(guān)主體問責(zé)〔14〕。我國《互聯(lián)網(wǎng)信息服務(wù)算法推薦管理規(guī)定》第31-33條，即分別對算法推薦服務(wù)提供者的法律責(zé)任作出了規(guī)定，包括警告、通報批評、責(zé)令限期改正、責(zé)令暫停信息更新、罰款、給予治安管理處罰，以及追究刑事責(zé)任等。

綜上所述，歧視在人類思維意識中從未缺席過，并且會隨著文化的發(fā)展與時代的變遷而演化出新的歧視類型。作為數(shù)字社會的新歧視類型，算法歧視的發(fā)生有其內(nèi)在的必然性，其中既有人的因素，也有技術(shù)本身的因素，更有算法運(yùn)行決策的因素。算法歧視在實踐中通常是以隱蔽的形式取得合法的外衣，并使得受歧視群體難以獲得有效救濟(jì)，引發(fā)算法時代更深層次的歧視和不平等。正因為如此，我們迫切需要從倫理審計與公平性約束、數(shù)據(jù)信息的區(qū)別保護(hù)與算法解釋、建立算法的監(jiān)管制度這三方面入手，對算法進(jìn)行技術(shù)性糾偏和法律性規(guī)制，同時還要做到不濫用機(jī)器算法決策，在特定重大領(lǐng)域慎用算法決策系統(tǒng)，以此來維護(hù)算法時代的社會良序底線?？偟膩碚f，對算法歧視的法律規(guī)制，能夠通過規(guī)則和價值的塑造來影響算法技術(shù)，平衡各類價值與權(quán)利，從而進(jìn)一步打破歧視的惡性循環(huán)，塑造算法時代的法律秩序，確保數(shù)字社會中人類的安全和發(fā)展。

參考文獻(xiàn)：

〔1〕徐 琳.人工智能推算技術(shù)中的平等權(quán)問題之探討〔J〕.法學(xué)評論，2019（03）：152-161.

〔2〕石 穎.歧視的法律判斷標(biāo)準(zhǔn)〔J〕.河南大學(xué)學(xué)報（社會科學(xué)版），2022（01）：42-46+153.

〔3〕Laura Carmichael，Sophie Stalla，Steffen Staab.Data Mining and Automated Discrimination：A Mixed Legal/Technical Perspective〔J〕.IEEE Intelligent Systems，2016（06）：51-55.

〔4〕戈登·奧爾波特.偏見的本質(zhì)〔M〕.凌晨，譯.北京：九州出版社，2020.

〔5〕Paul R.Cohen，Edward A.Feigenbaum eds.The Handbook of Artificial Intelligence，Volume III〔M〕.Stanford，California：HeurisTech Press;Los Altos，California：William Kaufmann，Inc.，1982.

〔6〕Philippa Foot.The Problem of Abortion and the Doctrine of the Double Effect〔J〕.Oxford Review，1967（05）：5-15.

〔7〕鄭智航，徐昭曦.大數(shù)據(jù)時代算法歧視的法律規(guī)制與司法審查——以美國法律實踐為例〔J〕.比較法研究，2019（04）：111-122.

〔8〕Sam Corbett-Davies，Emma Pierson，Avi Feller and Sharad Goel.A computer program used for bail and sentencing decisions was labeled biased against blacks.It’s actually not that clear〔EB/OL〕.https：//www.washingtonpost.com/news/monkey-cage/wp/2016/10/17/can-an-algorithm-be-racist-ouranalysis-is-more-cautious-than-propublicas/.

〔9〕凱斯·桑斯坦.信息烏托邦：眾人如何生產(chǎn)知識〔M〕.畢競悅，譯.北京：法律出版社，2008.

〔10〕楊成越，羅先覺.算法歧視的綜合治理初探〔J〕.科學(xué)與社會，2018（04）：1-12+64.

〔11〕弗蘭克·帕斯奎爾.黑箱社會：控制金錢和信息的數(shù)據(jù)法則〔M〕.趙亞男，譯.北京：中信出版社，2015.

〔12〕約翰·羅爾斯.正義論〔M〕.何懷宏，何包鋼，廖申白，譯.北京：中國社會科學(xué)出版社，2009.

〔13〕任瑞興.公民權(quán)利質(zhì)量的意義之維〔J〕.河南大學(xué)學(xué)報（社會科學(xué)版），2019（02）：68-76.

〔14〕莫勇波.以人工智能破解政策執(zhí)行難題的幾點(diǎn)思索〔J〕.理論探索，2021（06）：58-67.

責(zé)任編輯 楊在平