張莉莉 朱子升

摘? ? 要：算法內(nèi)置性編碼凝視、支撐算法運行的訓(xùn)練數(shù)據(jù)之偏差以及算法黑箱帶來的程序透明度缺失是導(dǎo)致算法歧視的技術(shù)性原因，進(jìn)而引致權(quán)利失衡，使權(quán)利成為缺損狀態(tài)。為保障權(quán)利行使，本文認(rèn)為應(yīng)當(dāng)確立算法公平理念，并明晰算法歧視法律規(guī)制的技術(shù)環(huán)節(jié)，建立以權(quán)利失衡的矯正為中心的法律規(guī)制模式作為算法歧視法律規(guī)制的路徑選擇，并從明確篩選訓(xùn)練數(shù)據(jù)的標(biāo)準(zhǔn)化制度、建立算法透明性和可解釋性的審查機(jī)制、完善算法問責(zé)機(jī)制三方面予以探究。

關(guān)鍵詞：算法歧視;權(quán)利失衡;路徑選擇;制度完善

中圖分類號：D 913? ? ? ? 文獻(xiàn)標(biāo)識碼：A? ? ? ? 文章編號：2096-9783（2021）02-0015-07

大數(shù)據(jù)時代，算法通過其程序以及運算規(guī)則作出決策。相對于傳統(tǒng)決策領(lǐng)域，其對人工干預(yù)的需求甚少，因而多被認(rèn)為能夠為人類社會提供公正的糾紛解決方式和決策論斷。幾乎可以肯定的是，在算法實際運用的過程中，智能算法因其特殊編碼所有的自主數(shù)據(jù)分析機(jī)制，會加速并放大現(xiàn)存的價值偏好、歧視認(rèn)知，使得數(shù)據(jù)在經(jīng)算法編碼程序分析后形成的決策附有“算法歧視”，導(dǎo)致不公現(xiàn)象產(chǎn)生，從而會對社會秩序造成沖擊[1]。在此背景下，本文擬就算法歧視法律規(guī)制的核心、路徑和制度完善予以探討。

一、算法歧視法律規(guī)制的動因：基于技術(shù)構(gòu)造的權(quán)利失衡的矯正

算法以其高度發(fā)達(dá)的信息系統(tǒng)融入人們的生活，現(xiàn)代社會在發(fā)展過程中也逐漸離不開算法對于計算便利性提升的幫助。正因為算法歧視面向?qū)ο笾畯V及其影響之深，需加以重視，其中法律系統(tǒng)對于算法歧視的回應(yīng)更應(yīng)給予高度重視。

（一）算法歧視的技術(shù)性原因

相較于人工在決策過程中占據(jù)主導(dǎo)地位的傳統(tǒng)決策路徑，人類在智能算法決策的過程中，能夠產(chǎn)生直接影響的范圍隨著信息技術(shù)的發(fā)展而逐漸縮小，決策更多地通過算法本身程式對于數(shù)據(jù)理解后的運算得出，而非人腦對數(shù)據(jù)的分析，這一自主決策系統(tǒng)使得算法歧視存在技術(shù)性原因。

首先，算法內(nèi)置性編碼凝視。所謂編碼凝視（coded gaze），即是外界固有偏見被嵌入到代碼系統(tǒng)中，成為算法天生所有的偏見。算法是以數(shù)學(xué)程式或者計算機(jī)代碼表達(dá)意見，其設(shè)計理念、數(shù)據(jù)使用規(guī)范、決策輸出標(biāo)準(zhǔn)等都是開發(fā)者的主觀選擇，算法開發(fā)者在代碼輸入的過程過也因此可能將自己原有的偏見嵌入算法系統(tǒng)之中，從而表現(xiàn)為一種故意為之的歧視。即便開發(fā)者想盡一切辦法規(guī)避自身原有價值觀對于算法設(shè)置的影響，但只要生活在這個社會，每個人都無法成為一座“孤島”。由此，內(nèi)置性編碼凝視有可能表現(xiàn)為無意識的偏見攝入，即由于群體觀念的裹挾而不可避免的存在自我偏見。在算法程式建立完成后，由于預(yù)設(shè)偏見的存在，數(shù)據(jù)在通過算法編碼后成為“污染數(shù)據(jù)”。由這類污染數(shù)據(jù)循之產(chǎn)生的污染結(jié)果會通過同一套算法不斷反復(fù)，使偏見數(shù)據(jù)的不良影響不斷擴(kuò)大，最終產(chǎn)生帶有偏見的智能算法結(jié)果?？梢?，開發(fā)者的素質(zhì)、價值水平的高低，以及算法本身編碼的特性，使算法內(nèi)置性編碼凝視成為算法在走向公正之路上不容忽視的環(huán)節(jié)。

其次，支撐算法運行的訓(xùn)練數(shù)據(jù)之偏差。除了上述外部性社會文化、個人主觀偏見的影響，一些具有歧視性意味的結(jié)論源于支撐算法運行的訓(xùn)練數(shù)據(jù)的缺陷帶來的偏差。第一，樣本數(shù)據(jù)中“少數(shù)族群”的存在。現(xiàn)實中的數(shù)據(jù)遠(yuǎn)不止幾類、幾十類的區(qū)分種類，面對多元、復(fù)雜、區(qū)分界限模糊的數(shù)據(jù)源，通常為了設(shè)計簡便、減少運行成本，智能算法會選擇“技術(shù)逃避”，不自覺地把一些特征不太明顯的少數(shù)數(shù)據(jù)，直接認(rèn)定為錯誤（或噪聲）數(shù)據(jù)，或是將全新的數(shù)據(jù)信息歸于大致類似的數(shù)據(jù)群中作為后續(xù)分析的基礎(chǔ)，一些稀有、缺失的現(xiàn)象（即涉及少數(shù)群體的數(shù)據(jù)）很難被選中，從而導(dǎo)致數(shù)據(jù)算法結(jié)果更青睞于在統(tǒng)計上的多數(shù)樣本群，形成馬太效益，資源跟隨算法不斷地向樣本更加豐富的數(shù)據(jù)群集聚，導(dǎo)致少量但是并非無用的數(shù)據(jù)在往后的算法決策之中消失不見，影響算法樣本數(shù)據(jù)多樣化的實現(xiàn)[2]。第二，樣本質(zhì)量可能存在問題。因算法的特殊性質(zhì)，數(shù)據(jù)是必不可少的輸入，其對于數(shù)據(jù)質(zhì)量的要求相較于其他的編程技術(shù)來說更加嚴(yán)格。但是因為算法的訓(xùn)練數(shù)據(jù)是通過不同的方式和渠道形成的集合，集合中缺失、重復(fù)、失效、造假的“臟數(shù)據(jù)”可能對數(shù)據(jù)樣本帶來污染，使算法出現(xiàn)誤解而導(dǎo)出歧視性結(jié)果。由于數(shù)據(jù)算法對數(shù)據(jù)依賴程度之高，訓(xùn)練數(shù)據(jù)的優(yōu)劣與否深刻影響著算法本身的公正性。

再次，算法黑箱引起的程式透明度的缺失。在信息技術(shù)領(lǐng)域，“黑箱”一詞指的是當(dāng)信息技術(shù)專業(yè)人員對計算系統(tǒng)進(jìn)行理解和測試時，并不知道也無法查看計算系統(tǒng)的內(nèi)部工作情況，因而無法在出現(xiàn)問題之后找出具體的環(huán)節(jié)或代碼鏈條[3]。相比傳統(tǒng)的機(jī)器學(xué)習(xí)通過特征提取、判定進(jìn)行推理得出結(jié)果的程式，算法深度學(xué)習(xí)是通過剖析事物原始特性并進(jìn)行歸納總結(jié)之后得出的結(jié)果，是一種更為高級的認(rèn)知方式。正是這一種從原始特征出發(fā)的認(rèn)識范式，存在著我們無法洞悉的隱層，即“算法黑箱”。這里的“黑箱”并不僅意味著不能觀察，還意味著即使計算機(jī)試圖向我們解釋，面對晦澀的代碼鏈條我們也無法理解。由于算法黑箱的存在，其運行過程變得愈加模糊，可能通過不成比例的數(shù)據(jù)聯(lián)結(jié)出相關(guān)性，帶來令人不安的隱形歧視。例如，將男性與機(jī)械、計算機(jī)技術(shù)相連，女性與文職、家政服務(wù)相連，對某些表面不敏感但存在某些敏感特性的數(shù)據(jù)中建立相關(guān)性，而這一活動的具體過程是我們所不知道的。即使是在開發(fā)者非常小心的情況下，他們?nèi)匀豢赡芡ㄟ^原有模型影響歧視性結(jié)果，而這些模型在無意中會為受保護(hù)的類別挑選代理變量，其創(chuàng)造的關(guān)聯(lián)性帶來進(jìn)一步的傷害。由于黑箱的不透明性在現(xiàn)代科技目前發(fā)展中還無法得到解決，算法輸出結(jié)果、決策中可能存在的隱形歧視將成為現(xiàn)代科技之暗傷。

（二）基于算法歧視技術(shù)構(gòu)造的權(quán)利失衡

數(shù)據(jù)時代除了對普通個體生活便利性提升帶來影響之外，還有另外一個深層影響，即個體的全面數(shù)據(jù)化[4]。且在不久的將來，數(shù)據(jù)將不僅僅涉及單個個體的狀態(tài)與活動，每個人的信息點將會通過交互系統(tǒng)匯成一條大河，用戶的數(shù)據(jù)將變得更加多元化、多樣化。在這種個體數(shù)據(jù)化、數(shù)據(jù)多元化的發(fā)展過程中，用戶數(shù)據(jù)背后的商業(yè)價值也變得越來越大，數(shù)據(jù)涉及的權(quán)利保護(hù)也會點面臨更大的挑戰(zhàn)。在力量懸殊巨大的互聯(lián)網(wǎng)與網(wǎng)民之間，權(quán)利的讓渡似乎成為一種必然。而在權(quán)利讓渡之后，由于算法歧視的存在，權(quán)利失衡就此產(chǎn)生，亦即，權(quán)利人基于理性而對自己利益的主張遭到?jīng)]有正當(dāng)理由的拒絕;其權(quán)利既得不到周圍人的承認(rèn)，也得不到政治國家的有效保障;權(quán)利人的利益遭受侵害后缺乏有效救濟(jì)，因而其權(quán)利處于缺損狀態(tài)的現(xiàn)象[5]。算法歧視引致的權(quán)利失衡，不僅是抽象層面平等權(quán)的失衡，還包括具象層面隱私權(quán)、選擇權(quán)的失衡。

內(nèi)置性編碼凝視以其前置存在的特點，使得算法用戶在使用的過程中不可避免地使自己的基礎(chǔ)信息、行為足跡等數(shù)據(jù)進(jìn)入海量的訓(xùn)練數(shù)據(jù)之中，并在算法設(shè)計者的編碼程序中進(jìn)行運轉(zhuǎn)。如此，算法開發(fā)者與算法用戶之間的地位懸殊極大，開發(fā)者以其擁有的解釋權(quán)和海量數(shù)據(jù)庫占據(jù)絕對優(yōu)勢地位，而用戶只能在其制定的規(guī)則之下活動，通過讓渡部分權(quán)利獲得使用權(quán)限的便利性，而導(dǎo)致二者之間的權(quán)利失衡。如果開發(fā)者利用與用戶之間極度的信息不對稱并不履行相應(yīng)義務(wù)，會進(jìn)一步加劇權(quán)利失衡。

同時，用戶在讓渡權(quán)利后，算法開發(fā)者應(yīng)遵循相應(yīng)行業(yè)自律守則，不越過法律、道德所允許的邊界。但由于原則、行業(yè)自律規(guī)則的不確定性和缺乏強(qiáng)制性規(guī)制，規(guī)制措施的缺乏與用戶對生活便利性的要求發(fā)生了強(qiáng)烈的沖突，特別是在用戶與那些掌握并利用甚至可能出賣他們的隱私數(shù)據(jù)的算法開發(fā)者之間，這樣的“交易”天然是不平等的。

此外，黑箱內(nèi)容的不確定性使得用戶的權(quán)利無法得到保障。由于計算機(jī)系統(tǒng)內(nèi)部工作情況，具有在專業(yè)人員進(jìn)行理解和測試的過程中無法知曉的特征，引起人們關(guān)于算法權(quán)利行使的擔(dān)憂。例如，一家名為“劍橋分析”的英國公司，在未經(jīng)用戶許可的情況下違規(guī)獲取Facebook上5 000萬名用戶個人信息數(shù)據(jù)。在曲折迂回的算法運行過程中，由于黑箱本身內(nèi)容的無法確定，為權(quán)利讓渡過程變得模糊不清。用戶在其權(quán)利受到侵害的時候也只能選擇在該應(yīng)用框架內(nèi)尋求解決辦法，這使得算法開發(fā)者一方在某種程度上獲得了裁定用戶使用資格、使用程度的特殊權(quán)力。例如，當(dāng)算法歧視、算法錯誤等情況發(fā)生時，開發(fā)者往往以技術(shù)錯誤或者用戶已知情等理由逃避承擔(dān)對用戶的損失賠償責(zé)任，使得用戶不得不自行承擔(dān)由于算法歧視、算法錯誤帶來的損失。

綜上所述，基于自主決策系統(tǒng)的技術(shù)特殊性，算法歧視的實質(zhì)在于主體權(quán)利的讓渡失衡。信息提供者（即算法用戶）以及技術(shù)提供者（即算法開發(fā)者）之間存在的“力量”懸殊，使得權(quán)利讓渡后的公正行使變得困難。因此，算法歧視的法律規(guī)制的動因就在于矯正權(quán)利失衡，賦予和保障算法用戶對算法提供選項內(nèi)容的選擇權(quán)、對算法決策生成過程的知情權(quán)、保障開發(fā)者和用戶之間平等權(quán)，等等。

二、算法歧視法律規(guī)制的路徑選擇

（一）確立算法公平理念

算法歧視引致的權(quán)利失衡實質(zhì)是算法公平的缺失。因此，對算法歧視予以法律規(guī)制，首先必須確立包括結(jié)果公平和程序公平在內(nèi)的算法公平理念。針對算法歧視問題，需要的不僅是消除算法歧視本身所有的偏見，更要求對公平作出更加準(zhǔn)確的定義，以使相關(guān)法律規(guī)制有跡可循[6]。公平作為法律所追求的基本價值之一，意味著其能夠在公正、無偏見的背景下對法律行為作出評價。將這一概念引申到算法領(lǐng)域，即是通過公正、公平的運算過程和透明的運算決策結(jié)果，來保證多方利益的平衡和權(quán)力的對等。

算法結(jié)果公平，即算法輸出結(jié)果的公平性可以從群體和個體角度進(jìn)行探討。算法中的群體公平，是指算法一般不做個性化的探討，以人數(shù)的多寡分配名額，在稀有與非稀有族群以人口比例作出相稱的決定。例如，某種職業(yè)的從業(yè)人員男女比例達(dá)到2：1，那么在進(jìn)行招聘時嚴(yán)格按照2：1進(jìn)行簡歷的收納和錄取。盡管這樣一種分配方式在大概率上不影響群組中標(biāo)幾率的變化，但是從個體的視角來看，以此可能導(dǎo)致特定少數(shù)族群中個體中標(biāo)概率顯著偏高或者偏低，而帶來另外一種意義上的不公。算法中的個體公平則是在相近的個體中分別對數(shù)據(jù)內(nèi)容作出判定，考慮個體化之間的差異。這種公平理論對個體之間的分類更為謹(jǐn)慎，通過行業(yè)要求的特定特征對個體進(jìn)行分類，而非單純依靠人口數(shù)量的正負(fù)相關(guān)性。比較而言，群體公平著重于群體之間概率上的公平，而個體公平更側(cè)重于在決策做出之后相關(guān)個體所可能受到的影響公平與否。算法作為一個根據(jù)數(shù)據(jù)特征作出決策的計算機(jī)程式，個體公平更加契合算法設(shè)計的初衷，即通過個性化定制獲取信息并向用戶提供便利。

但是，關(guān)注算法結(jié)果公平的同時，也要注重對決策過程本身的關(guān)注，即對于算法公平中程序公平的關(guān)注。程序公平，側(cè)重于程序的輸入前數(shù)據(jù)的篩選，輸入中數(shù)據(jù)運行的透明度以及輸入后決策作出的監(jiān)管，通過加大算法程式運算過程中的透明性、可解釋性，為算法決策的公信力背書。算法中的公平并非只是對單個群體或者個體權(quán)利義務(wù)的調(diào)整和救濟(jì)，算法面對的人群是龐大的，除了一部分實際使用者外，由于算法可能存在的間接影響，而不可避免的存在著大量的潛在用戶。盡管結(jié)果對于關(guān)涉主體的具體特征予以了考慮，但是對算法結(jié)果的過多關(guān)注，可能導(dǎo)致過程中各個環(huán)節(jié)對外界可能產(chǎn)生的影響被忽略，而產(chǎn)生另外一種微觀層面的不公。因此，通過人口統(tǒng)計或者群體特征篩選是遠(yuǎn)遠(yuǎn)滿足不了算法對于公平性要求的。公平存在于法律上的意義并非狹義的人人對等，法律中對于可理解性的要求也遠(yuǎn)高于可闡釋性，算法公平很大程度上取決于在算法決策做出后，能否為所產(chǎn)生的一系列權(quán)利義務(wù)關(guān)系的變動，提供可查證、可解釋、可救濟(jì)的具有公信力的記錄。而算法程序公平理論中所涉及的源頭篩選、程式中的可解釋性、決策后的可救濟(jì)性對算法公平的實現(xiàn)更具有可操作性，可以避免對單一個體結(jié)果的過多關(guān)注，實現(xiàn)整個程式內(nèi)容的可視化。因此，在算法歧視的法律規(guī)制的各個環(huán)節(jié)，貫徹算法程序公平的理念，是更合理并符合實際的。

（二）明晰算法歧視法律規(guī)制的技術(shù)環(huán)節(jié)

在大數(shù)據(jù)時代下，算法作為大數(shù)據(jù)技術(shù)發(fā)展下的重要引擎，力圖從海量的數(shù)據(jù)世界中，對有意義的數(shù)據(jù)進(jìn)行挖掘、加工，消除不確定性，重還世界一個新的“秩序”，這就是大數(shù)據(jù)技術(shù)的本質(zhì)所在[7]。然而算法歧視往往扭曲了算法的原本意義。如前文所述，算法歧視的產(chǎn)生與運行主要由三個問題引發(fā)，即算法內(nèi)置性編碼凝視、訓(xùn)練樣本數(shù)據(jù)偏差、算法計算領(lǐng)域的黑箱，或者由于其中一個問題的出現(xiàn)，或者多個問題同時出現(xiàn)導(dǎo)致算法歧視。由于其相對應(yīng)的三個環(huán)節(jié)為數(shù)據(jù)輸入、數(shù)據(jù)運行、數(shù)據(jù)監(jiān)管，可以從這三個環(huán)節(jié)入手，對算法運行過程中有可能出現(xiàn)的問題予以規(guī)避，以達(dá)到算法真正為人類服務(wù)的預(yù)期目的。

首先，數(shù)據(jù)輸入涉及算法訓(xùn)練數(shù)據(jù)的篩選。由于數(shù)據(jù)內(nèi)容的質(zhì)量和種類對算法程式樣本數(shù)據(jù)的完善與否有著直接的關(guān)系，算法種類過少直接可能導(dǎo)致算法輸出結(jié)果可信度的降低，算法質(zhì)量、內(nèi)容缺失帶來的數(shù)據(jù)污染則可能帶來算法計算結(jié)果的瑕疵。數(shù)據(jù)作為算法程式的立身之本，只有在樣本數(shù)據(jù)建立初期，通過對源頭數(shù)據(jù)大規(guī)模的篩選，保證樣本數(shù)據(jù)多樣化與數(shù)據(jù)內(nèi)容的非導(dǎo)向性，才能在算法程式運算源頭有效避免不公現(xiàn)象的產(chǎn)生。

其次，數(shù)據(jù)運行主要是關(guān)于算法透明性、算法黑箱可解釋性的規(guī)制。通過可被理解的方式解釋算法、提高算法的透明度，以使其運行更加公開公正。在數(shù)據(jù)出現(xiàn)紕漏或是算法權(quán)重設(shè)置有誤時，及時提供救濟(jì)。算法透明性的要求不僅僅針對于內(nèi)置性編碼凝視所帶來的隱形歧視，更因其內(nèi)部復(fù)雜以及商業(yè)機(jī)密的外衣而具有黑箱特性，使其成為必要，尤其是算法在信用體系中的應(yīng)用，關(guān)乎公眾在社會生活中的根本。正如學(xué)者所指出的，對消費者信用進(jìn)行評分作為涉及消費者切身權(quán)益的半公共產(chǎn)品，不僅要有足夠的預(yù)測準(zhǔn)確率，還要具有可解釋性[8]。為避免數(shù)據(jù)失真，歧視決策可能帶來的不利影響，以及分配責(zé)任模糊等問題，有關(guān)算法透明性、可解釋性需要得到法律的回應(yīng)。

最后，數(shù)據(jù)監(jiān)管則指向算法問責(zé)制的確立和完善。由于至今科學(xué)上都沒有完美解答算法黑箱歧視問題，因此除了在算法本身進(jìn)行規(guī)制之外，算法之外的規(guī)制也必不可少。但是，在算法責(zé)任歸屬中，由于算法責(zé)任難以測量，由于算法多個環(huán)節(jié)共同作用所造成的算法危害難以追蹤，算法設(shè)計的關(guān)涉人員“碎片化”使得人的責(zé)任難以分配，算法責(zé)任的分配與承擔(dān)出現(xiàn)困境。在此，只有創(chuàng)建并完善算法問責(zé)制，才能使公民在遭受算法歧視的時候，知道這一事實及救濟(jì)方式。所謂算法問責(zé)制，即必須有人處理算法所造成的危害，相關(guān)責(zé)任主體有解釋的義務(wù)和對算法決策負(fù)有責(zé)任，并應(yīng)當(dāng)由責(zé)任主體減輕任何負(fù)面的社會影響或者潛在危害，畢竟僅僅指出問題而不進(jìn)行改正只是做了無用功而已。在國際計算機(jī)協(xié)會（ACM）的算法透明度和問責(zé)性七原則中，也指出了算法運行必須有監(jiān)管機(jī)制，以糾正對個人造成的損害結(jié)果和在算法中發(fā)現(xiàn)的偏見?，F(xiàn)今算法監(jiān)管遠(yuǎn)遠(yuǎn)落后于算法編程技術(shù)的創(chuàng)新，對日益增長的數(shù)據(jù)流監(jiān)管不力，亟待實踐過程中法律予以回應(yīng)。

（三）建立以權(quán)利失衡的矯正為中心的法律規(guī)制模式

從國際立法來看，目前規(guī)制人工智能算法歧視的法律模式主要有兩種，即歐盟的以數(shù)據(jù)保護(hù)為中心的規(guī)制模式和美國的以算法責(zé)任為中心的規(guī)制模式。

早在1953年，《歐洲人權(quán)公約》中就對個人的數(shù)據(jù)保護(hù)予以了規(guī)定，其第8條提出各人都有權(quán)享有自己生活、通訊得到尊重的權(quán)利[9]。隨著互聯(lián)網(wǎng)技術(shù)的不斷發(fā)展，傳統(tǒng)的隱私權(quán)保護(hù)已經(jīng)不能夠滿足要求，于是2016年《通用數(shù)據(jù)保護(hù)條例》對個人數(shù)據(jù)的保護(hù)提供了支撐，其前言中提出算法控制者所需要承擔(dān)的避免包括有關(guān)于種族、性別、性取向、宗教信仰等敏感因素，所可能造成的歧視影響的責(zé)任[10]。正如前文所述，訓(xùn)練數(shù)據(jù)作為算法運行的支撐，對于算法的意義猶如水之于木，歐盟以數(shù)據(jù)保護(hù)為中心的規(guī)制模式更多的是從源頭開始對算法歧視所進(jìn)行的規(guī)制，通過規(guī)避敏感因素所可能造成的歧視影響而降低算法歧視出現(xiàn)的可能性。不過在對敏感信息進(jìn)行篩選的過程中，大量個人數(shù)據(jù)的篩出可能導(dǎo)致算法決策準(zhǔn)確性的降低。除此之外，剔除敏感社會信息后的算法訓(xùn)練樣本，算法在通過大量間接樣本對個人畫像進(jìn)行補(bǔ)足的過程也存在著一定的不確定性。面對這些問題，傳統(tǒng)的算法篩出也許并不能解決算法歧視問題，算法歧視有關(guān)規(guī)制或許更應(yīng)該依靠算法審查所具有的篩選功能[11]。

相對于歐洲大陸，美國是以算法責(zé)任為中心的規(guī)制模式。2014年白宮發(fā)表的《大數(shù)據(jù)：攥住機(jī)遇，守護(hù)價值》[12]中開始提出對于算法歧視的法律規(guī)制問題，希望政府解決這一問題所有可能帶來的社會危害。2016年1月，美國FTC（聯(lián)邦貿(mào)易委員會）發(fā)布《大數(shù)據(jù)：包容工具還是排斥工具？》[13]中通過對大數(shù)據(jù)所存在的利弊分析，以及相關(guān)消費者保護(hù)法律的運用法則，對大數(shù)據(jù)中間商和使用企業(yè)的實踐提出相關(guān)建議。2017年發(fā)布了有關(guān)算法透明性、可責(zé)性的聲明，提出了包括算法可問責(zé)、可解釋、可審計及驗證等為中心的七項原則。最后于2019年初部分國會議員提出了《算法責(zé)任法案》[14]，希望賦予聯(lián)邦貿(mào)易委員會有要求具有一定經(jīng)濟(jì)實力或者社會影響的企業(yè)，出具其自動化決策系統(tǒng)以及數(shù)據(jù)運行所帶來影響的評估的權(quán)力，這一評估包括對自動決策可能帶來的風(fēng)險，以及數(shù)據(jù)運行可能帶來的歧視性影響等文件。以這種自查方式規(guī)避有可能的算法歧視，并置以高額的違規(guī)懲罰。盡管這一法案尚未通過，但對于理解美國算法規(guī)制模式和算法規(guī)制啟示有借鑒作用。

在我國，尚未出臺的《個人信息保護(hù)法》《數(shù)據(jù)安全管理辦法》 1和2019年《電子商務(wù)法》可以說是從數(shù)據(jù)和算法兩個方向規(guī)制算法歧視的努力，但目前算法歧視法律規(guī)制仍處于草創(chuàng)階段。筆者認(rèn)為，對于算法歧視的法律規(guī)制可以選擇以矯正權(quán)利失衡為中心的模式，在借鑒域外相關(guān)制度的基礎(chǔ)上，建構(gòu)我國算法歧視法律規(guī)制制度體系。這一模式具體包括三個部分，即權(quán)利確認(rèn)、權(quán)利保護(hù)、權(quán)利救濟(jì)。首先，權(quán)利確認(rèn)通過保護(hù)數(shù)據(jù)提供者的平等權(quán)，保證各個群組，各種類型的信息毋論大小、多寡經(jīng)過公正篩選之后，都能夠充分的參與到算法樣本數(shù)據(jù)中來，在算法決策中得以體現(xiàn)。其次，通過實現(xiàn)權(quán)利主體的知情權(quán)和選擇權(quán)來實現(xiàn)權(quán)利保護(hù)的內(nèi)容。由于算法程式的特殊性，權(quán)利主體的知情、選擇權(quán)往往由于技術(shù)或者其他因素的限制怠于實現(xiàn)，通過法律系統(tǒng)的積極回應(yīng)，實現(xiàn)算法程式、內(nèi)容以及輸出結(jié)果的透明化和可解釋性以保障主體權(quán)利的實現(xiàn)。再次，權(quán)利救濟(jì)是對算法疏于監(jiān)管的現(xiàn)狀作出的積極調(diào)整，通過算法問責(zé)制的構(gòu)建給予權(quán)利主體可靠的救濟(jì)途徑而促使算法程式的不斷完善。

三、算法歧視法律規(guī)制的制度完善

相較于歐美法律系統(tǒng)內(nèi)簡單的事前事后規(guī)制，權(quán)力失衡的矯正程序通過各個環(huán)節(jié)的聯(lián)動合作，構(gòu)建有關(guān)算法歧視的法律規(guī)制。

（一）明確篩選訓(xùn)練數(shù)據(jù)的標(biāo)準(zhǔn)化制度

這一環(huán)節(jié)是確認(rèn)主體平等權(quán)，對各種信息篩選標(biāo)準(zhǔn)進(jìn)行完善，即權(quán)利確認(rèn)的內(nèi)容。如前文算法歧視的技術(shù)構(gòu)造得知，算法歧視產(chǎn)生的一部分原因就是因為算法訓(xùn)練數(shù)據(jù)存在偏差，由此導(dǎo)致的數(shù)據(jù)污染隨著算法因為原始數(shù)據(jù)本身的盲區(qū)而越來越大。算法數(shù)據(jù)的樣本如果一直輕視小樣本、稀有樣本的聲音，為了追求效率而忽略掉少數(shù)族群的“吶喊”，帶來的社會效應(yīng)將會極其糟糕，部分人的聲音不再是人們所能聽到的聲音。面對訓(xùn)練數(shù)據(jù)的質(zhì)量以及面向族群的缺陷，在訓(xùn)練數(shù)據(jù)篩選的過程中應(yīng)盡可能的納入多樣性為篩選標(biāo)準(zhǔn)。由此，算法多樣性并非單稱網(wǎng)絡(luò)數(shù)據(jù)的多樣性，在篩選標(biāo)準(zhǔn)、族群、性別、內(nèi)容偏向方面也應(yīng)當(dāng)具有多樣性，只有在多方力量維持多樣平衡的同時，算法上的公正才能得到保證。

就具體內(nèi)容而言，首先，篩選標(biāo)準(zhǔn)上，除了對主流數(shù)據(jù)進(jìn)行篩選之外，面對容易被識別為“噪音數(shù)據(jù)”的少數(shù)數(shù)據(jù)應(yīng)當(dāng)設(shè)計更加精細(xì)的標(biāo)準(zhǔn)，不能讓少部分人的聲音因為微弱而被忽略。其次，在設(shè)計人員的組成上，盡可能吸納不同年齡、性別，甚至種族的設(shè)計人員，對設(shè)計人員的組成和監(jiān)督人員的設(shè)置投入多樣性評分機(jī)制，通過不同性別、種族之間的差異平衡因為單一設(shè)計人員可能帶來訓(xùn)練數(shù)據(jù)準(zhǔn)入標(biāo)準(zhǔn)的偏見[15]。再次，在訓(xùn)練數(shù)據(jù)的內(nèi)容偏向性上，除了對與需要得到的算法結(jié)果正相關(guān)的數(shù)據(jù)之外，部分關(guān)聯(lián)數(shù)據(jù)也應(yīng)當(dāng)考慮進(jìn)來，在大數(shù)據(jù)時代信息與信息之間相互鏈接，信息的攝入單純考慮到正相關(guān)的訓(xùn)練數(shù)據(jù)不足以反應(yīng)真實的社會聲音。綜上所述，在算法設(shè)計前期，法律應(yīng)當(dāng)對算法前期主要的數(shù)據(jù)構(gòu)成和設(shè)計程式進(jìn)行規(guī)制，提出多樣性的要求，最大程度的規(guī)避“偏見數(shù)據(jù)”進(jìn)入算法程式之中。

（二）建立算法透明性和可解釋性的審查機(jī)制

這是以算法透明性、可解釋性為切入點保護(hù)主體知情權(quán)和選擇權(quán)，即權(quán)利保護(hù)的內(nèi)容。近年來，國際電子協(xié)會以及歐美國家有關(guān)立法機(jī)關(guān)都開始著手對算法透明性和可解釋進(jìn)行規(guī)制。為了平衡公平與便利的矛盾，我國需要對算法透明及其可解釋性作出規(guī)定，不能僅僅依靠行業(yè)自律對算法市場進(jìn)行規(guī)范。算法解釋要求算法決策系統(tǒng)的使用者對算法遵循的程序和特定結(jié)果進(jìn)行解釋。隨著科學(xué)技術(shù)的發(fā)展和專業(yè)人才的增加，公布和監(jiān)管算法內(nèi)容和結(jié)果并非完全不可能的事情，但需要注意的是，由于算法運營者有時通過其算法系統(tǒng)進(jìn)行商業(yè)運作，算法公平的要求與保護(hù)商業(yè)秘密、個人隱私以及防止第三方機(jī)構(gòu)欺詐等存在沖突。此外，算法代碼通常多而復(fù)雜，對其進(jìn)行全面測試的成本也很高，隨著數(shù)據(jù)時代的到來，或大或小的算法程式只會越來越多，對每一條算法進(jìn)行監(jiān)管是不現(xiàn)實的。

對算法內(nèi)容、輸出結(jié)果進(jìn)行審查和公開對于算法公平雖是必不可少，但是不能簡單的要求一律公開，應(yīng)當(dāng)建立標(biāo)準(zhǔn)完善的審查機(jī)制。在我國的具體實踐中，也有對智能投顧領(lǐng)域的算法透明性的規(guī)定，有學(xué)者將其概括為算法的穿透式監(jiān)管，但是這種監(jiān)管手段的發(fā)起方和實施方都是公權(quán)力主體，第三方介入的方式幾乎微乎其微[16]。在當(dāng)前背景下，第三方機(jī)構(gòu)對于算法運行機(jī)制的熟悉程度往往是高于公權(quán)力主體的。應(yīng)當(dāng)適當(dāng)準(zhǔn)入第三方機(jī)構(gòu)對算法內(nèi)容、輸出結(jié)果中的技術(shù)性內(nèi)容進(jìn)行審查，通過設(shè)置相關(guān)的技術(shù)性機(jī)制對算法訓(xùn)練樣本、內(nèi)置性編碼凝視等問題進(jìn)行篩選和解釋，并由公權(quán)力主體進(jìn)行主導(dǎo)和監(jiān)督，即通過技術(shù)手段，對算法運行機(jī)制中的篩選標(biāo)準(zhǔn)和最終結(jié)果進(jìn)行解釋，以此最大程度地推進(jìn)算法公平在三方之間的實現(xiàn)。

（三）完善算法問責(zé)機(jī)制

建立算法問責(zé)機(jī)制，對算法決策所帶來的不利影響進(jìn)行追責(zé)，這是權(quán)利救濟(jì)的內(nèi)容。為盡可能避免算法歧視，除了對算法進(jìn)行訓(xùn)練樣本的篩選和運行過程中的監(jiān)督之外，算法的問責(zé)機(jī)制也同樣重要。算法問責(zé)要求算法使用者對算法產(chǎn)生的結(jié)果負(fù)責(zé)，而不論是否能夠詳細(xì)解釋該結(jié)果為何產(chǎn)生，并要求在設(shè)計算法時就遵循法律、政策的要求，使算法對法律的目標(biāo)負(fù)責(zé)。建立算法問責(zé)機(jī)制需要明確算法歧視的責(zé)任主體、歸責(zé)原則、法律責(zé)任三個部分。

首先，明確算法歧視的責(zé)任主體。為算法歧視承擔(dān)法律責(zé)任的，主要是那些注入歧視因子或有義務(wù)卻未能及時排除歧視因子的主體，在算法歧視形成的過程中，有關(guān)開發(fā)者、運營主體在將具有偏見的歧視因子納入算法結(jié)果生成過程中，但是卻任由之影響算法結(jié)果的生成沒有及時排除不利影響，則需要承擔(dān)責(zé)任。

其次，確定算法歧視的歸責(zé)原則。算法歧視會給被歧視者造成精神或物質(zhì)層面的損害，理應(yīng)受到侵權(quán)法的規(guī)制。由于算法設(shè)計準(zhǔn)則與算法用戶之間存在著天然技術(shù)壁壘以及前文所提到的權(quán)利不對等的現(xiàn)象，因此，在算法責(zé)任適用的過程中，無過錯責(zé)任原則能夠最大限度的保護(hù)使用者的權(quán)利，以此保持平衡。在歸責(zé)原則得到確認(rèn)的前提下，算法歧視的因果關(guān)系認(rèn)定規(guī)則以及在算法開發(fā)者內(nèi)部的責(zé)任劃分也是亟待解決的問題。第一，在無過錯責(zé)任原則這一歸責(zé)背景下，仍有兩種情形，一種是在當(dāng)事人都沒有過錯的情況下根據(jù)實際情況分擔(dān)過錯，承擔(dān)賠償責(zé)任;另一種是在諸如產(chǎn)品責(zé)任、環(huán)境污染、飼養(yǎng)動物等特殊情況造成損傷的情形下，致害人即使無過錯仍承擔(dān)民事責(zé)任。正如前文所述，在算法開發(fā)者與算法用戶之間存在著數(shù)據(jù)、技術(shù)鴻溝，雙方權(quán)利地位處于極度失衡的狀態(tài)，因此對于算法責(zé)任的因果關(guān)系認(rèn)定應(yīng)當(dāng)類比產(chǎn)品責(zé)任的認(rèn)定，算法用戶在證明算法歧視給相同背景下的算法用戶進(jìn)行了區(qū)別對待，并這一區(qū)別對待損害用戶的利益即視為因果關(guān)系成立。第二，在算法歧視的責(zé)任人內(nèi)部，算法開發(fā)者可以分為對算法程式熟練掌握的算法設(shè)計者、將算法技術(shù)納入公司運營用以謀求利益的算法運營者兩類，自此責(zé)任劃分也應(yīng)當(dāng)分為幾種情況。首先，若算法設(shè)計者在設(shè)計程式時，已經(jīng)竭盡當(dāng)下技術(shù)水平所能及排除歧視因子對于算法用戶權(quán)利的侵害，而算法運營者在運營的過程中納入歧視因子。應(yīng)由算法運營者承擔(dān)主要責(zé)任，算法設(shè)計者承擔(dān)補(bǔ)充責(zé)任。其次，若設(shè)計者和運營者在歧視因子的排除過程中都起到了消極作用，則兩者應(yīng)對損害結(jié)果承擔(dān)連帶責(zé)任。最后，若設(shè)計者未將歧視因子篩出即予算法運營者使用，在這一情形下由于算法運營者對算法程式掌握程度遠(yuǎn)不如設(shè)計者，應(yīng)由算法設(shè)計者承擔(dān)主要責(zé)任，算法運營者承擔(dān)疏于篩查的補(bǔ)充責(zé)任。

再次，確立數(shù)據(jù)算法的法律責(zé)任，數(shù)據(jù)算法的法律責(zé)任包括事前責(zé)任和事后責(zé)任兩個方面。事前責(zé)任即為算法訓(xùn)練數(shù)據(jù)、算法編碼的內(nèi)置編碼凝視以及運算過程中出現(xiàn)的算法歧視現(xiàn)象，通過設(shè)置警示、懲罰機(jī)制，通過定期整改、罰款、停用等規(guī)制措施，對具有紕漏的算法進(jìn)行規(guī)制。事后責(zé)任即為在發(fā)生算法歧視所導(dǎo)致的不良結(jié)果之后，對于相關(guān)責(zé)任人的追責(zé)原則。在事后責(zé)任方面可以引入“純粹經(jīng)濟(jì)損失”原則，歧視結(jié)果可能帶來的各種間接、直接的經(jīng)濟(jì)損失相較于現(xiàn)實世界中的沖突更加難以把握。正如前文所言，由于開發(fā)者、運營者與用戶地位的天然級差，通過“純粹經(jīng)濟(jì)損失”可以最大程度的拉長損害賠償?shù)囊蚬P(guān)系鏈條，最大程度的避免用戶權(quán)利、利益受到侵害后的投告無門[17]。

參考文獻(xiàn)：

[1] 楊學(xué)科.論智能互聯(lián)網(wǎng)時代的算法歧視治理與算法公正[J].山東科技大學(xué)學(xué)報（社會科學(xué)版），2019，21（4）：33-58.

[2] 張玉宏，秦志光，肖樂.大數(shù)據(jù)算法的歧視本質(zhì)[J].自然辯證法研究，2017，33（5）：81-86.

[3] 高學(xué)強(qiáng).人工智能時代的算法裁判及其規(guī)制[J].陜西師范大學(xué)學(xué)報（哲學(xué)社會科學(xué)版），2019，48（3）：161-168.

[4] 彭蘭.假象、算法囚徒與權(quán)利讓渡：數(shù)據(jù)與算法時代的新風(fēng)險[J].西北師大學(xué)報（社會科學(xué)版），2018，55（5）：20-29.

[5] 馮衛(wèi)國. 權(quán)利失衡視野下的農(nóng)民工犯罪[C]. 中國犯罪學(xué)學(xué)會.中國犯罪學(xué)學(xué)會第十七屆學(xué)術(shù)研討會論文集.中國犯罪學(xué)學(xué)會：中國犯罪學(xué)學(xué)會，2008：132-133.

[6] Solon Barocas， Andrew D.Selbs. Big Data's Disparate Impact'[J].California Law Review，2016，104（3）： 671-732.

[7] 季潔.算法歧視下的金融風(fēng)險防控[J].上海金融，2018（10）：60-64.

[8] 劉新海，陳道富，孟祥鋒.擔(dān)保圈風(fēng)險的大數(shù)據(jù)實證分析[J].清華金融評論，2016（10）：71-72.

[9] 項焱，陳曦.大數(shù)據(jù)時代歐盟個人數(shù)據(jù)保護(hù)權(quán)初探[J].華東理工大學(xué)學(xué)報（社會科學(xué)版），2019，34（2）：81-91.

[10] 胡嘉妮，葛明瑜.歐盟《一般數(shù)據(jù)保護(hù)條例》[J].互聯(lián)網(wǎng)金融法律評論，2017（1）：28-120.

[11] 汪慶華.人工智能的法律規(guī)制路徑：一個框架性討論[J].現(xiàn)代法學(xué)，2019，41（2）：54-63.

[12] “Big Data：Seizing Opportunities，Preserving Values”， https：//obamawhitehouse.archives.gov/sites/default/files/docs/big_data_privacy_report_may_1_2014.pdf，2019.

[13] “Big Data：A Tool for Inclusion or Exclusion？”FTC Report，January 2016，retrieved from https：//www.ftc.gov/system/files/documents/reports/big-data-tool-inclusion-or-exclusion-understanding-issues/160106big-data-rpt.pdf，2019-08-05.

[14] H.R. 2231-Algorithmic Accountability Act of 2019，introduced04/10/2019，retrieved from https：//www.Congress.gov/bill/116th-congress/house-bill/2231/text，2019-08-05.

[15] 鐘書平，劉慶振，牛媛媛，陳疆猛.智能媒體語境中的信息囚徒、算法悖論及其突圍路徑[J].教育傳媒研究，2019（3）：16-21.

[16] 周仲飛，李敬偉.金融科技背景下金融監(jiān)管范式的轉(zhuǎn)變[J].法學(xué)研究，2018，40（5）：3-19.

[17] 王夙.人工智能發(fā)展中的“算法公開”能否解決“算法歧視”？[J].機(jī)器人產(chǎn)業(yè)，2019（3）：17-22.

Legal Regulation of Algorithmic Discrimination： Motivation， Path and System Improvement

Zhang Lili，Zhu Zisheng

（School of Law， Hohai University， Nanjing 211100， China）

Abstract：The built-in coded gaze of the algorithm， the deviation of the training data that supports the operation of the algorithm， and the lack of program transparency caused by the algorithm black box are the technical reasons that lead to algorithm discrimination， which in turn leads to an imbalance of rights and makes rights a state of deficiency. In order to ensure the exercise of rights， this article proposed that the concept of algorithmic fairness should be established， and the technical aspects of legal regulation on algorithmic discrimination should be clarified. A legal regulation model centered on the correction of rights imbalances should be established as the path choice for algorithmic discrimination legal regulation. The system will be improved in three aspects： clarification of the selection standardization of the training data， establishment of a review mechanism for algorithm transparency and interpretability， and improvement of algorithm accountability mechanism.

Key words：algorithmic discrimination; right imbalance; path selection; system improvement