李 超

(華東政法大學 法律學院，上海 200042)

一、概念：什么是算法歧視

隨著人工智能的不斷發(fā)展，不同領域內(nèi)日新月異的算法技術正在幫助政府機關、企業(yè)，甚至是個人作出各種決策。它們以大數(shù)據(jù)、云計算、AI等先進科技為載體，通過對海量數(shù)據(jù)進行篩選分析，從而實現(xiàn)對人的行為的精準預測[1]。

目前，算法正逐漸被廣泛應用到政府管理、市場經(jīng)濟運行之中，給人們的生產(chǎn)生活帶來了巨大影響。然而，科技是一把雙刃劍，算法技術在為人類提供便利的同時，也存在不同程度的算法歧視問題，有違人人平等的憲法精神。所謂歧視，是指針對特定主體實施的不合理的差別對待措施[2]。關于算法歧視的定義，有學者認為大數(shù)據(jù)時代的算法歧視具有較強的隱蔽性，很難直接對其進行定義[3]，也有學者認為可以將算法歧視拆分為“算法”與“歧視”的方式來進行理解，即它是一種應用抽象數(shù)學架構(gòu)而產(chǎn)生的不合理對待[4]。上述學者對算法歧視的定義都在一定程度上揭示了算法歧視的內(nèi)涵，但是仍然沒有較為全面系統(tǒng)地回答什么是算法歧視。結(jié)合人工智能發(fā)展的特征，筆者認為，算法歧視是指人工智能機器在決策時按照預先設定的算法邏輯對目標群體進行劃分，并實施的一種差別對待行為，這種差別對待并不具備合理性的基礎。

二、介入：算法歧視法律規(guī)制的必要性

算法作為一種計算程序，其運作遵循其本身的規(guī)律，但是，任何事物的發(fā)展并非漫無邊際，世界上也沒有絕對的自由，算法運行過程中產(chǎn)生的算法歧視問題具有潛在的嚴重的危害性，法律介入予以規(guī)制實屬必要。

(一)算法歧視妨礙市場經(jīng)濟有序運行

隨著算法的應用與推廣，算法歧視也逐漸深入市場交易之中，利用大數(shù)據(jù)“殺熟”是一種典型的表現(xiàn)。所謂大數(shù)據(jù)“殺熟”，是指生產(chǎn)經(jīng)營者通過大數(shù)據(jù)技術對消費者的消費愛好、偏向、財產(chǎn)收入、支付能力等因素進行分析，利用忠誠用戶的信息不對稱，就同一商品索取高于新用戶售價的行為[5]。商家通過算法進行精準分析，預測出買家心里的預期價格，從而實現(xiàn)自身利潤的最大化。大數(shù)據(jù)“殺熟”實際上就是一種披著新技術外衣的價格歧視行為，利用算法“殺熟”已經(jīng)不單純是針對熟客殺價的商業(yè)倫理問題，它導致了價格歧視這一法律問題的誕生[6]。在算法利用數(shù)據(jù)“殺熟”這一問題上，數(shù)據(jù)本身并無好壞之分，問題就在于如何利用搜集來的數(shù)據(jù)，使之避免淪為商家“殺熟”的工具，而解決這一問題的關鍵就在于運用法律手段進行規(guī)制，通過法律來防控算法歧視，促進市場主體之間的平等交易，保障市場經(jīng)濟的有序運行。

(二)算法歧視影響政府決策有效作出

科技先進性使得算法不僅存在于市場交易之中，在政府決策中亦能發(fā)現(xiàn)其身影，比較典型的就是公共安全算法在預測性警務中的適用。我國公安信息化建設過程中，公安大情報系統(tǒng)和警務地理系統(tǒng)建設是當前預測性警務發(fā)展的重要方向，該系統(tǒng)包含犯罪預測、可視化調(diào)度、情報分析等功能，推動了我國警務模式的創(chuàng)新發(fā)展[7]。北京市公安局懷柔分局借鑒美國警方犯罪預測的項目經(jīng)驗，開發(fā)了犯罪數(shù)據(jù)分析和犯罪趨勢預測系統(tǒng)[8]，蘇州公安部門也于2014年正式上線了“犯罪預測系統(tǒng)”[9]。這些犯罪預測系統(tǒng)通過海量的翔實數(shù)據(jù)，為精準預測犯罪提供了充分的條件。但是，在美國警方預測性警務算法中，突出強調(diào)郵政編碼的重要性，可能會將非裔美國人社區(qū)與犯罪社區(qū)相關聯(lián)，使得該社區(qū)成員成為具體的犯罪預測目標。(1)See Sandra G．Mayson,Bias in，Bias Out，128 Yale L.J．2218，2223(2019)．此外，公共安全算法決定某個人是否具有犯罪嫌疑，它的依據(jù)可能是其與某犯罪分子同名，前者可能會因此受到警方多次調(diào)查。綜上所述，由于算法歧視的存在，它在一定程度上會影響政府的決策，使政府在作出決策時有失公允，從而削弱政府決策的有效性。

(三)算法歧視損害司法公平公正

2019年7月22日，最高人民法院辦公廳發(fā)布了《關于做好2019年智慧法院建設的通知》(以下簡稱“《通知》”)。《通知》中明確要求要進一步推進智能化服務，完善現(xiàn)代訴訟服務體系，提高訴訟的智能化水平，促進智慧法院建設，這對推進司法信息化、防治司法腐敗、深化司法體制改革起到了巨大作用。但是，當我們看到人工智能系統(tǒng)在法院建設中的廣闊前景時，也應當注意到算法在適用過程中存在的隱患，畢竟司法是維護社會公平正義的最后一道防線。目前，我國智能司法輔助系統(tǒng)尚處于初級階段，美國許多法院已實現(xiàn)人工智能系統(tǒng)辦案[10]，其中也存在一些問題，比如部分法院使用的COMPASS這一犯罪預測系統(tǒng)被證實存在種族歧視。黑人被錯誤評估為犯罪分子的概率是白人的2倍，同等情況下黑人犯罪會被判處更重的刑罰[11]。即使智能司法輔助系統(tǒng)在審理案件時會克服法官判案時的主觀性而力求公正，但是建立在算法基礎上的智能司法系統(tǒng)也不可避免地存在歧視情形。如果縱容算法歧視在司法中的應用，無疑會對司法公平公正造成破壞，損害司法權威，因此，對其進行法律規(guī)制顯得尤為必要。

三、我國算法歧視法律規(guī)制的現(xiàn)狀

當前在算法歧視的問題上，我國并無專門的立法，但憲法法律中均有對平等權、個人信息、個性化推薦、數(shù)據(jù)流通等方面的規(guī)定。這些規(guī)定大多較為分散，尚未形成完整的體系鏈，然而仍可借助其來管窺我國算法歧視法律規(guī)制的全貌，這對于日后算法歧視規(guī)范體系的完善具有重要意義。

首先，我國《憲法》中的平等原則為規(guī)制算法歧視提供了憲法依據(jù)?！稇椃ā返?3條規(guī)定：“公民在法律面前一律平等?！边@是平等原則在憲法中的直接體現(xiàn)，平等原則要求相同情況相同對待，不同情況不同對待，在實施差別對待時，要具備合理性的基礎，禁止一切歧視行為。憲法作為根本大法，具有最高的效力，其他法律法規(guī)是憲法規(guī)定的細化。平等原則是憲法的基本內(nèi)涵，也為法律法規(guī)在算法歧視問題上的規(guī)定提供了合憲性依據(jù)。

其次，當前立法企圖通過規(guī)定數(shù)據(jù)主體的權利來規(guī)制算法歧視。一方面，《網(wǎng)絡安全法》第41條規(guī)定了網(wǎng)絡運營者的安全保護義務，明確了運營者在收集、利用個人信息上的行為準則。另一方面，《民法總則》中專門規(guī)定了自然人的個人信息權，從條款設置來看，第110條規(guī)定的是隱私權等一般人格權，第111條規(guī)定個人信息權。可以看出，立法者將個人信息權從隱私權中進行了剝離并試圖構(gòu)建以個人信息為核心的數(shù)據(jù)權利。數(shù)據(jù)的預先偏見是產(chǎn)生算法歧視的原因之一，因此，立法通過對數(shù)據(jù)收集、流通、利用的規(guī)定來盡最大可能避免算法歧視產(chǎn)生。

再次，2018年3月修訂通過的《電子商務法》第一次明確了個性化推薦規(guī)則。其中第18條規(guī)定電子商務經(jīng)營者者根據(jù)消費者興趣愛好、習慣等提供商品或服務的搜索結(jié)果時，要注意尊重和平等保護消費者的合法權益。需要注意的是，該法在起草過程中，第三次送審稿規(guī)范的個性化推薦是電子商務者的“推銷”行為，而在最終頒布的版本中，這一規(guī)定卻被刪除。“推銷”和提供“搜索結(jié)果”，雖然從營銷的角度來看，并無明顯區(qū)別，但是從交易角度來看，兩者存在較大區(qū)別。“推銷”機制是由電商經(jīng)營者觸發(fā)的，即消費者在不知情、不自愿的背景下接受廣告推薦，有學者稱其為不可抗拒的要約[12]。而“搜索結(jié)果”這一機制是由消費者觸發(fā)的，雖然這種信息經(jīng)過網(wǎng)絡服務平臺算法處理，但也是消費者根據(jù)其意愿主動獲取的信息?！峨娮由虅辗ā返?8條將“推銷”改為“搜索結(jié)果”，可以看出在這一問題上立法的價值取向：在平等保護消費者合法權益的基礎上，允許商業(yè)個性化推薦?！峨娮由虅辗ā穼€性化推薦的限制，一定程度上抑制了算法權力的擴張，將對算法歧視的規(guī)制納入法治框架。

四、緣起：算法歧視的成因

要解決算法歧視，只有對算法歧視的成因予以追溯，方能對癥下藥，而之所以產(chǎn)生算法歧視問題，既有算法本身的原因，也有來自數(shù)據(jù)的原因。

(一)算法公平性存疑

大數(shù)據(jù)時代，算法代替人類作出各種決策，從社會一般性認知而言，人類在決策時不可避免地會受到各類因素的影響，從而使得決策帶有主觀性的色彩。這種主觀性因素的存在削弱了決策的公平性，因此，人類寄希望于智能機器，力求決策的公平客觀。但是，在算法決策逐漸流行的今天，算法能夠保證絕對的公平嗎？筆者經(jīng)過研究發(fā)現(xiàn)，算法至少在以下四個方面的公平性存疑。一是公平作為一個帶有主觀價值判斷的詞語，其本身并不是明確具體的，通常需要結(jié)合具體的場景進行價值判斷，那么它能否被量化？能否被翻譯為具有可操作性的算法符號？二是如果公平是算法決策的目標，那么機器遵循算法進行決策時，又該考慮哪些因素，該怎樣考慮？我們知道，算法不是自動進行運算，需要人工的事先設置，既然有人為因素，那么該怎樣確保人行為時的公平性呢？三是公平若被量化為一個數(shù)學問題抑或是計算問題，它會不會存在一些潛在的風險呢？比如智能機器的僵化式運作可能存在忽略利益衡量的情況。四是如何讓機器在運算過程中具有公平意識，摒棄片面的機械化思維？并將這種公平意識自主地運用到數(shù)據(jù)分析之中？基于以上四個方面可知，新的時代背景下算法公平性受到很大挑戰(zhàn)。

(二)算法透明度欠缺

算法黑箱導致算法的透明度欠缺是算法歧視產(chǎn)生的另一個重要原因。黑箱是控制論中的一個概念，是指人們無法從外部窺探其內(nèi)部運作系統(tǒng)，智能機器的深度學習技術就是一個黑箱[13]。從法院裁判角度來說，法官在做出最終裁判時，會經(jīng)歷法庭調(diào)查、法庭辯論環(huán)節(jié)，并在充分的說理基礎之上做出裁判，整個環(huán)節(jié)都有當事人的參與，充分保證庭審的透明與公開。算法的運作則不同，它往往只輸出一個簡單的數(shù)字，比如犯罪系數(shù)、信用等級等，并不會給出判斷的理由與依據(jù)，受影響的當事人也不能參與其中。算法黑箱的形成，一定程度上削弱了算法決策的公平性。算法不透明性主要表現(xiàn)為三種形式：一是涉及商業(yè)秘密或個人隱私；二是由于非專業(yè)人員的技術認知障礙；三是算法適用測量中產(chǎn)生的不透明[14]。算法透明度的欠缺，一方面減少了當事人的參與，為算法運作的不公平性留有空間；另一方面算法運作不透明機制的存在，本身也是對算法決策公信力和效力的一種挑戰(zhàn)。這種不透明使得人們很難去了解算法的運作流程與決策機制，因此對算法運作的監(jiān)督就無從談起，這對于非計算機專業(yè)人士而言更為突出。

(三)算法監(jiān)管的乏力

互聯(lián)網(wǎng)技術日新月異，帶來了巨大的監(jiān)管難題。當前對于算法歧視問題，人們?nèi)找婷魑湮：π裕蟾鞣郊訌妼λ惴ㄆ缫暤谋O(jiān)管。然而，當前對算法這一新興事物的監(jiān)管力度存在明顯的不足。首先，當前算法監(jiān)管的條塊化不能滿足監(jiān)管需要。目前，多數(shù)互聯(lián)網(wǎng)公司是跨區(qū)域和跨行業(yè)運作的，而現(xiàn)有的監(jiān)管仍然止步于條塊分割的初始狀態(tài)，行業(yè)和地域化的監(jiān)管體制使得部門之間、區(qū)域之間在監(jiān)管上存在政策不一致、方式不協(xié)調(diào)等問題。其次，監(jiān)管的技術手段不能趕上算法的發(fā)展速度。傳統(tǒng)重審批輕監(jiān)管的模式已不能適應新時代科技的迅猛發(fā)展，算法高度的復雜性和隱蔽性也對監(jiān)管的技術手段提出了更高的要求。雖然網(wǎng)信辦發(fā)布了一系列政策來加強對互聯(lián)網(wǎng)行業(yè)的技術監(jiān)管，但是仍然存在一定的不匹配性。監(jiān)管的理念、方式和策略的不足，以及現(xiàn)代化信息監(jiān)管人才的缺乏，造成了算法歧視現(xiàn)象的日益加劇。最后，算法監(jiān)管的力度不足。大數(shù)據(jù)時代，政府與市場及個人之間的關系日趨復雜，各種利益縱橫交錯。我國目前缺乏對算法監(jiān)管強有力的措施，使得算法歧視野蠻生長，大數(shù)據(jù)“殺熟”、機器偏見、算法黑箱等問題懸而未決，這些都亟須監(jiān)管部門作出有力回應。

(四)數(shù)據(jù)的預先偏見

算法只是運算的一個步驟，它本身并不提供數(shù)據(jù)，而算法運算的前提就是數(shù)據(jù)的存在，如果預先存在的數(shù)據(jù)存在偏見，在導入算法后，便會產(chǎn)生算法歧視。也就是說，先前的數(shù)據(jù)偏見不僅會影響算法設計者選擇何種算法，而且還會通過嵌入的方式進入算法運算之中，即定義目標變量嵌入算法[15]。因此，在數(shù)據(jù)的分類與篩選中，分類標準的不同、數(shù)據(jù)抽樣的偏差，以及設置權重的不同也在一定程度上導致算法歧視。算法決策的客觀與準確，是建立在數(shù)據(jù)的客觀準確且完整彰顯所預測的個體之上的。然而，數(shù)據(jù)并不總是客觀準確的，往往裹挾著不公正的因素，例如大數(shù)據(jù)的“殺熟”行為，就是一種典型的數(shù)據(jù)偏見。此外，即使數(shù)據(jù)是客觀準確的，若未能完整彰顯所預測的個體，也就是所選的數(shù)據(jù)不具有代表性，也會帶來數(shù)據(jù)偏見，從而導致歧視的產(chǎn)生?？梢?，數(shù)據(jù)作為基礎，在算法的公平性上扮演了重要角色。想要規(guī)制算法歧視，必須對數(shù)據(jù)進行嚴格控制與科學管理，盡量排除預先偏見。

五、回應：算法歧視的法律規(guī)制路徑

在科技日新月異的今天，想要借助法律手段妥善解決算法歧視問題，必須把握好兩個方面。一是必須明確法律在對算法歧視規(guī)制時的基本原則，這對于解決算法歧視具有指引性作用。二是必須以創(chuàng)新的視角，結(jié)合算法運作的具體特征來提出解決方案，使規(guī)制的路徑更具有可行性。

(一)明確算法歧視法律規(guī)制的基本原則

無論算法技術怎樣發(fā)展，算法都是人的設計成果的表達，算法的出現(xiàn)無法脫胎于人類的智慧。法律無論是對算法進行規(guī)制還是對算法歧視問題予以管控，最終還是要落實到對人的行為進行規(guī)制。2019年實施的《電子商務法》第二章通過規(guī)定電子商務經(jīng)營者的權利義務來實現(xiàn)對算法運用行為的監(jiān)管。同樣，針對算法歧視，我們依然可以遵循“用規(guī)制人的思路來規(guī)制算法”這一原則。人類思維具有靈活性、復雜性與創(chuàng)造性，這種特性是當前任何智能機器都無法模仿和超越的，但是我們可以通過對人行為的規(guī)制從而實現(xiàn)對算法歧視的有效規(guī)制。由于智能機器的算法運行注重程序，因此，對算法進行法律規(guī)制時，只要使得算法運算的目標與法律規(guī)制的價值目標一致，算法決策的結(jié)果便會因符合法律的價值目標而具有正當性。此外，對算法歧視的法律規(guī)制還應當遵循“綜合治理，重點突破”的原則。由于算法在應用上涉及眾多領域，在每個領域制定具體細則來規(guī)制算法歧視難度較大，為此，可以通過制定一般性規(guī)則來對總體的算法歧視問題予以回應，解決各個領域普遍存在的歧視問題。針對關系政府決策、司法領域或者國民經(jīng)濟安全等重要領域，可以制定具體的實施細則來落實算法歧視的規(guī)制問題，實現(xiàn)各領域綜合治理，關鍵領域重點突破。最后，要建立事前審查、事中監(jiān)管和事后救濟原則。將算法歧視的法律規(guī)制落實到事前、事中、事后各個方面，改變傳統(tǒng)重審批輕監(jiān)管理念，對于算法規(guī)制具體機制的展開與建構(gòu)具有重要的指導意義。

(二)制度化治理確保算法公平

如前所述，產(chǎn)生算法歧視的原因之一在于算法并不是絕對公平的。算法決策的公平性受到很大程度的質(zhì)疑，要解決這一關鍵問題，必須通過制度治理的方式，將算法治理予以制度化。這樣方能為規(guī)制算法歧視提供強有力的支撐，具體包括三個方面的內(nèi)容。首先，應當明確在人工智能發(fā)展迅猛的今天，算法的核心價值是公平。算法在問世之初，被應用于科學技術產(chǎn)業(yè)，極大地帶動了經(jīng)濟發(fā)展，效力成為其核心價值。但是，隨著人工智能技術的不斷深入推進，人的主體地位不受侵犯的呼聲日益強烈，算法歧視的危害性也逐漸凸顯，各方均要求主管機關出臺相應政策予以規(guī)制。雖然不可否認算法的效率價值，但是公平作為算法核心價值已成為各界共識[16]。其次，必須堅持多元共治算法歧視。在各種利益復雜交錯的當今社會，將某領域內(nèi)的問題交由某一方治理已困難重重，也不符合治理體系和治理能力現(xiàn)代化的建設要求。針對算法歧視問題，也必須通過多方主體共同治理，方能達到規(guī)制的預期目標。在算法治理領域，可以由政府主導，發(fā)布算法歧視的規(guī)制政策，并聽取社會各界的意見，廣納民智，吸收群眾參與社會治理。此外，在行業(yè)自律方面，科技行業(yè)可以制定相關反歧視的規(guī)則，明確行業(yè)各方主體反算法歧視的責任。最后，要培養(yǎng)公民算法意識，提升算法素養(yǎng)，及時發(fā)現(xiàn)并識別存在的算法歧視問題，增強對算法的認知，促進算法公平。

(三)多途徑發(fā)力保證算法透明

增加算法透明度是杜絕算法黑箱的必然要求，在新的時代背景下，必須通過多種途徑，來保證算法運作之透明。首先，應當公開算法的運作流程，并向公眾披露設計此算法的目的與方式，以及設計此算法時的考量因素，將算法從設計、運作、決策的各個流程都予以公開，保證算法最大限度地透明。但是，考慮到部分算法在公開時可能會侵犯第三人隱私，可能涉及商業(yè)秘密和國家秘密，對這部分算法，可不予以公開，但必須充分地說明理由。其次，為了讓算法決策更易懂，增加技術操作上的透明度，必須堅持算法的事前和事后公開。所謂事前公開，是指在智能機器運轉(zhuǎn)之前，對算法決策的程序進行解釋。事后公開，是指事前不知決策程序，但通過事后對智能機器績效的檢測來知悉決策程序[17]。最后，為了進一步保證算法的透明度，必須對人工智能機器的整個運作過程予以記錄。比如，德國《自動駕駛法》中就要求智能汽車必須安裝類似于飛機“黑匣子”之類的裝置，來對汽車的駕駛情況進行如實的記錄，以便交通事故發(fā)生后，及時明確責任的承擔。同理可知，在規(guī)制算法歧視過程中，為了增加透明度要求，必須對整個運作過程予以記錄，確保運作程序的公正透明。

(四)存檔備查克服數(shù)據(jù)歧視

人工智能技術發(fā)展過程中，數(shù)據(jù)作為算法運作的基礎，其數(shù)量與質(zhì)量的優(yōu)劣在一定程度上決定了算法決策的優(yōu)劣。數(shù)據(jù)對于防范算法歧視的作用主要體現(xiàn)在兩個方面：一是在數(shù)據(jù)數(shù)量上，限制數(shù)據(jù)的數(shù)量能夠減少算法帶來的泄露公民隱私的風險；二是在數(shù)據(jù)質(zhì)量上，高質(zhì)量的數(shù)據(jù)能夠使算法規(guī)避歧視性數(shù)據(jù)從而避免算法歧視性決策。基于此，必須通過建立對數(shù)據(jù)的存檔備查機制來克服數(shù)據(jù)歧視，從源頭上力求數(shù)據(jù)的公平性。當數(shù)據(jù)具有傾向性時，便會增加算法歧視的風險，因此，對輸入數(shù)據(jù)的監(jiān)管應當是重中之重?？梢杂缮虡I(yè)主體將輸入算法的數(shù)據(jù)內(nèi)容與數(shù)據(jù)收集、數(shù)據(jù)篩選、歧視性數(shù)據(jù)剔除等活動都予以完整記錄并保存，建立數(shù)據(jù)庫檔案，以備審查。當政府主管部門審查是否存在數(shù)據(jù)歧視時，商業(yè)主體應及時配合調(diào)查，將存檔的數(shù)據(jù)予以提供，以證明己方在數(shù)據(jù)運用、算法運作過程中充分盡到了合理注意義務，從而排除在數(shù)據(jù)環(huán)節(jié)的過錯。

六、結(jié)語

隨著機器學習算法的深入，尤其是其中無監(jiān)督學習算法應用深度和廣度的推進，人類在享受科技帶來便捷的同時，人類自我的主體地位必然會受到?jīng)_擊和威脅，因此，對算法的法律規(guī)制就顯得尤為必要。鼓勵新技術發(fā)展無可厚非，但是需要對技術發(fā)展過程中出現(xiàn)的各類問題予以及時回應。誠然，當前人工智能技術的發(fā)展還遠未至成熟狀態(tài)，技術本身也充斥著諸多不確定因素，法律對其進行類型化界定與規(guī)制困難重重。因此，應當樹立適度監(jiān)管理念，創(chuàng)新監(jiān)管思路，豐富監(jiān)管手段，結(jié)合算法歧視出現(xiàn)的不同場景有針對性地破解疑難問題。