陳飏 裴亞楠

摘 要：伴隨算法決策在行政、司法和商業(yè)等領(lǐng)域的深度應(yīng)用，隱私泄露、算法歧視與人類自主性受損已成為三大主要風(fēng)險。為防范該類風(fēng)險，首要的是須重申、確立并加強人的主體地位意識，以此反向定位算法決策的工具屬性。在此前提條件下，亦應(yīng)借力他山之石雕琢己玉，積極借鏡以美國、歐盟和德國為代表的域外經(jīng)驗，研習(xí)其有關(guān)算法決策的制度構(gòu)建與規(guī)則設(shè)計，尤其要關(guān)注法律制度、規(guī)則設(shè)計的針對性與專業(yè)性。當然，更需立足我國國情，切實把脈時代發(fā)展，在適時運用比例原則以加強算法決策風(fēng)險評估機制的同時，科學(xué)合理界定責(zé)任主體，明確制定該類風(fēng)險責(zé)任承擔的相關(guān)法律法規(guī)，以最大化降低因法律模糊性而遭致數(shù)據(jù)主體的二度傷害。

關(guān)鍵詞：算法決策;算法決策風(fēng)險;風(fēng)險評估;責(zé)任規(guī)定

中圖分類號：D920.4

文獻標識碼：A

文章編號：1673-8268（2021）03-0072-10

一、問題的提出

大數(shù)據(jù)時代，以海量數(shù)據(jù)收集和機器自主學(xué)習(xí)為基礎(chǔ)的算法決策技術(shù)日臻發(fā)展，正逐漸取代傳統(tǒng)意義上的人為決策，廣泛且深入地改變著我們的生活方式與社會發(fā)展。如在應(yīng)聘與招聘、購物與旅游、租房與賣房等社會生活方式中，算法決策已成為諸等商業(yè)網(wǎng)站為達成利益目標而首選的智能技術(shù)。此外，算法決策也更多地運用于司法、行政等公權(quán)力領(lǐng)域，如刑事審判中，美國以算法決策技術(shù)構(gòu)建再犯風(fēng)險評估內(nèi)容（COMPAS），并以此作為重要量刑依據(jù)[1]74，其部分州還采用公共安全評估（PSA）和服務(wù)級別目錄修訂版（LSI-R）等罪犯風(fēng)險性評估軟件[2]。在國內(nèi)，上海高院于2017年采用“上海刑事案件智能輔助辦案系統(tǒng)”（又名“206”系統(tǒng)），即以算法決策進行刑事案件智能審判[3]。在民事審判中，北京法院應(yīng)用以算法決策為核心技術(shù)的“睿法官”人工智能，對婚姻等家事類案件進行要件事實的提取與固定，快速協(xié)助法官理清事實與爭點;江蘇無錫中院推出的“智慧執(zhí)行系統(tǒng)”更是有效緩解了“執(zhí)行難”的問題[4]。在行政領(lǐng)域，算法決策早已成為行政審批或行政執(zhí)法、社會治安、市政建設(shè)等行政決策之重要輔助工具，2020年突發(fā)疫情下的健康碼即是“算法行政”的典型應(yīng)用。

信息化、大數(shù)據(jù)時代，算法決策之地位舉足輕重。然而，時代發(fā)展變化中的每一種事物好像都包含有自己的反面折射[5]，算法決策也是如此。因其自身的技術(shù)性、不透明性與不確定性，算法決策的應(yīng)用風(fēng)險頻頻發(fā)生，隱私泄露與算法歧視現(xiàn)象屢見不鮮，更因使用者對算法決策技術(shù)的過度依賴而模糊人的主體地位與算法技術(shù)的工具屬性之界定，甚至因無條件信任算法決策結(jié)果而喪失獨有的判斷力，以致最終損益人的自主性地位。為緩和乃至消解算法決策應(yīng)用風(fēng)險，推動人與技術(shù)的和諧發(fā)展，世界各國和地區(qū)都在積極制定對策，本文擇取比較法的視角，通過域外的制度考察與經(jīng)驗借鏡，以期建構(gòu)適應(yīng)中國國情的算法決策風(fēng)險防范路徑，助益并推動算法決策技術(shù)的合法應(yīng)用與合理發(fā)展。

二、算法決策及其風(fēng)險表現(xiàn)形式

算法是由一系列步驟分明的清晰指令組成的計算機程序[6]128。人工智能時代，算法超越了以計算機程序為主的形式，在海量數(shù)據(jù)收集和機器自主學(xué)習(xí)的基礎(chǔ)上，配置以更強大的數(shù)據(jù)處理能力。算法具備越來越強的決策功能，深刻影響著人們的信息接收方式、容量、內(nèi)容及其最終的選擇或決定等，但風(fēng)險也應(yīng)運而生。

（一）隱私泄露風(fēng)險

美國學(xué)者洛麗·安德魯斯曾發(fā)出大數(shù)據(jù)時代下個人“隱私死亡”之警告，因記錄個人生活數(shù)據(jù)的收集點越多，他人可輕易獲得的隱私信息就越多[7]。隨著機器自主學(xué)習(xí)和算法決策的進一步發(fā)展，隱私泄露不僅發(fā)生在數(shù)據(jù)的收集階段，而且還會發(fā)生在算法的預(yù)測階段。并且，為最大限度開發(fā)智能技術(shù)治理能力，算法決策使用者都竭力深度挖掘個人數(shù)據(jù)。這就意味著，在數(shù)據(jù)的收集階段從未向網(wǎng)絡(luò)平臺披露的個人信息，極有可能被深度學(xué)習(xí)算法推斷出來。Facebook案例就是例證：根據(jù)該網(wǎng)站58 000名志愿者用戶提供的諸如種族、智力、宗教及政治觀點、性格特征、幸福指數(shù)、父母離異、年齡性別等信息進行數(shù)學(xué)建模，自動化算法在未獲取志愿者其他信息或個性特征的情況下，居然精準預(yù)測出該用戶是否為同性戀者的結(jié)論[8]。

同樣，在食品安全、環(huán)境污染或交通治安等公共領(lǐng)域，越來越普遍的公共視頻監(jiān)控也正強烈沖擊著公民的隱私權(quán)保護。如在美國紐約全城，早已被一個由9 000個“智能”攝像機組成的綜合網(wǎng)絡(luò)智能監(jiān)控覆蓋，該智能監(jiān)控不僅判定著主體行為的合法或違法，甚至有望替代人為判斷，全面執(zhí)行法律規(guī)定，直接作出最終決定[9]。傳統(tǒng)理論認為，隱私應(yīng)止于屋門之前，即當人們步入公共空間，便不再享有合理的隱私權(quán)期待[10]86。然而，司法行政機關(guān)在應(yīng)用智能監(jiān)控算法決策系統(tǒng)時，囿于算法自身存有的安全漏洞、數(shù)據(jù)采集或違法使用以及數(shù)據(jù)存儲的不安全等原因，使數(shù)據(jù)主體的隱私正遭遇赤裸裸的侵犯與泄露的風(fēng)險。公共視頻監(jiān)控的過度收集和數(shù)據(jù)共享，不僅令數(shù)據(jù)主體時刻面臨被監(jiān)控的風(fēng)險，而且更是時刻面臨數(shù)據(jù)泄露、隱私泄露、敏感信息被識別、數(shù)據(jù)泄露風(fēng)險提高等倫理危機[11]。

置身于信息時代的我們，智能手機等電子設(shè)備不可或缺，一旦數(shù)字設(shè)備連接網(wǎng)絡(luò)，互聯(lián)網(wǎng)服務(wù)供應(yīng)商、移動運營商、電子郵件賬號供應(yīng)商等自然負有保護用戶在線對話、發(fā)布圖片等使用痕跡的隱私信息的責(zé)任。但是，一旦警方或其他政府機構(gòu)要求調(diào)取信息時，根據(jù)電子前沿基金會的報告，大多數(shù)服務(wù)供應(yīng)商（如雅虎、微軟、臉書和谷歌）均在未通知用戶的前提下全盤提交[12]。顯然，很多服務(wù)供應(yīng)商即使盡全力保護用戶的隱私，但面對公權(quán)力的要求，也不得不向其披露借助算法決策得到的用戶信息。

（二）算法歧視風(fēng)險

算法決策能被普遍接受的重要原因，即是借力機器決策能在一定程度上克服人為的主觀障礙。但因使用者本身的目的性、算法決策過程的不透明、算法自主學(xué)習(xí)的偏見性以及決策者與被決策者之間信息嚴重不對稱等因素，隱蔽了算法決策的復(fù)雜性與歧視性風(fēng)險。

算法收集的每一份數(shù)據(jù)都具有重大的經(jīng)濟價值。所以，算法決策使用者為實現(xiàn)利益最大化，往往借由機器優(yōu)勢大肆分析海量數(shù)據(jù)以獲得更深層級的數(shù)據(jù)，從而達到商業(yè)監(jiān)視等經(jīng)濟目的。如以“大數(shù)據(jù)殺熟”為原理的價格歧視就使數(shù)據(jù)主體遭受不公平待遇——會員票價反而比非會員票價高，高檔手機付費更多，商品搜索頻次越多越貴等，均是該類歧視的典型表現(xiàn)[13]113。另外，算法使用者還藉由“用戶畫像”，即通過數(shù)據(jù)分析描述用戶的行為信息和性格特點，對不同群體進行分類與身份建構(gòu)，從而進行特定推送，助力交易目的達成[14]。理論上而言，算法決策是一種“偏見進，則偏見出”的運作模式[13]112。因此，算法決策的前提，即數(shù)據(jù)的選擇和收集對決策結(jié)果的非歧視性具有決定性影響。對此，盡管已引發(fā)技術(shù)層的重視，并選擇相應(yīng)的替代變量取代敏感性信息，如郵政編碼、信用評分等，但這些替代變量是否符合算法決策目的特定原則，又是否會帶來其他“副作用”，仍存質(zhì)疑算法決策目的特定原則，是指要求所收集的數(shù)據(jù)屬于支持該決策的相關(guān)因素，且應(yīng)該在數(shù)據(jù)收集之前明確。。因為算法參數(shù)可能是某些偏見數(shù)據(jù)通過計算后的間接結(jié)果，只是表面看來屬良性屬性[6]135-136。

可以說，算法決策總是蘊含著價值判斷，總是與特定的價值立場相關(guān)，甚至于背后隱藏著利益集團的操控[15]。美國小城雷丁利用大數(shù)據(jù)分析初創(chuàng)公司PredPol生產(chǎn)的犯罪預(yù)測軟件，協(xié)助警方進行巡邏與犯罪預(yù)防。該軟件將地理位置作為基礎(chǔ)數(shù)據(jù)，且重點關(guān)注每一次犯罪的類型、時間與地點，表面看似客觀、合理，但是其最終仍依賴于警方對犯罪類型的選擇。如果該地警方選擇的犯罪類型包含流浪、酗酒以及侵犯型乞討等在美國貧困地區(qū)十分常見的犯罪，那么，該軟件在囊括這類輕微犯罪數(shù)據(jù)的基礎(chǔ)上，會得出“貧困地區(qū)更有可能發(fā)生犯罪”的輕率結(jié)論。如此，更多警力將被派駐于貧困地區(qū)[16]，進而記錄到更多犯罪數(shù)據(jù)。此種數(shù)據(jù)選擇失誤引起的算法歧視，將會產(chǎn)生持續(xù)性的惡性循環(huán)，嚴重影響社會治安管理秩序。

（三）人類自主性受損風(fēng)險

算法決策在人類社會扮演著日益重要的角色，甚至逐漸超越工具屬性而成為信息配置的基本規(guī)則，開始獨立擁有巨大的資源配置權(quán)，削弱、取代人的主體地位[17]。算法決策精確、高效、便捷等自身優(yōu)勢，利導(dǎo)著人類大量應(yīng)用而對其產(chǎn)生過度依賴，極度降低了人類的自主性特質(zhì)。

此類風(fēng)險于司法、行政等公權(quán)力領(lǐng)域的表現(xiàn)尤甚明顯。于前者，在仰賴法官自由心證、自由裁量的民事審判實踐中，算法決策難以涵蓋法官長期積累的審判經(jīng)驗，更無法替代法官的自由裁量權(quán)。因此，依賴算法決策技術(shù)的審判活動，必然會造成削弱法官主體中心的潛在風(fēng)險。馬爾庫塞說，因科學(xué)技術(shù)具有明顯的工具性和奴役性，甚至具有統(tǒng)治人和奴役人的社會功能，從形式上看，技術(shù)運用可能在短期內(nèi)似乎強化了法官能力，但從長遠而論，則會形成一種對法官的隱形操縱，從而使得司法決策由“以法官為中心”逐漸轉(zhuǎn)向“以數(shù)據(jù)為中心”[18]106。前述之再犯風(fēng)險評估和量刑評估等軟件，就是該類風(fēng)險在司法領(lǐng)域的競相表現(xiàn)。

同樣，在行政管理活動中，如果任由算法決策在行政領(lǐng)域的肆意、泛化應(yīng)用，勢必削弱甚至吞噬行政裁量的能動性。以行政處罰為例，在傳統(tǒng)行政模式下，行政機關(guān)可在法定的處罰種類和處罰幅度內(nèi)進行合理的選擇，但在自動化行政中，借助算法決策輔助行政處罰，根本無從及時、有效地發(fā)揮行政主體享有的行政裁量權(quán)的功能與作用。自然，若行政機關(guān)主體長期完全依賴算法決策結(jié)果，勢必侵蝕行政主體的自主判斷能力，甚至無法及時檢測出錯誤的決策結(jié)果。

三、域外算法決策風(fēng)險防范的經(jīng)驗借鏡

算法決策技術(shù)帶來隱私泄露、算法歧視以及人類自主性受損等風(fēng)險。為此，美國、歐盟、德國等國家或地區(qū)都提出了針對性舉措，為中國構(gòu)建算法決策風(fēng)險防范路徑提供了有益資鑒。

（一）美國：健全的算法決策法律規(guī)制體系

擇以自動化行政中算法決策應(yīng)用的治理政策論，美國業(yè)已形成政府與非政府組織之間雙向協(xié)同規(guī)制模式，即政府主導(dǎo)，建構(gòu)自上而下、建制完備的算法決策之相關(guān)制度與規(guī)范規(guī)則。同時，其非政府組織也積極作為，且以更新、更快、更強的針對性舉措，積極規(guī)避、防范行業(yè)內(nèi)部的算法決策風(fēng)險。

在算法決策法律制定與設(shè)計層面，美國聯(lián)邦政府正愈加積極表現(xiàn)，各種舉措不僅規(guī)制聯(lián)邦行政機關(guān)的行為，同時規(guī)制私人企業(yè)等非政府組織的行為。早在1970年和1974年，美國聯(lián)邦貿(mào)易委員會（FTC）就分別頒布《公平信用報告法》（FCRA）和《平等信用機會法》（ECOA），其內(nèi)容就已涉及信用評分領(lǐng)域的自動化決策[19]。顯然，美國對算法自動化決策早有足夠的關(guān)注與重視，并且在信用評分這一特定領(lǐng)域?qū)嵤┝酸槍π砸?guī)制。其后，2000年生效的《兒童在線隱私保護法》專門對13歲以下兒童的個人隱私設(shè)定特別的保護要求;2016年，聯(lián)邦政府更是相繼發(fā)布《人工智能報告》《人工智能戰(zhàn)略計劃》以及《人工智能應(yīng)用監(jiān)管指南》[20]14-18。上述一系列聯(lián)邦相關(guān)立法、戰(zhàn)略性計劃均是人工智能領(lǐng)域的專門性法律文件，立足重點性、針對性監(jiān)管的要求，促進以算法決策為核心的智能技術(shù)的開發(fā)與運用，也盡可能保證智能技術(shù)系統(tǒng)的安全。

同時，美國聯(lián)邦貿(mào)易委員會（FTC）也一直密切關(guān)注并監(jiān)管侵犯隱私規(guī)則問題。為此，F(xiàn)TC多次專門舉辦聽證會，探討算法、人工智能和預(yù)測分析的競爭以及消費者保護等重大問題，其重點關(guān)注算法、人工智能和預(yù)測分析的背景、技術(shù)應(yīng)用、應(yīng)用原則以及消費者保護[21]。另外，美國各州和地方政府亦以立法形式直接規(guī)范各種場景下的算法決策應(yīng)用——現(xiàn)已有40個州通過法律或行政命令實施對自動駕駛汽車的規(guī)制。2017年，紐約市議會成為首家通過算法透明法案的地方立法機構(gòu);佐治亞州和佛羅里達州及時更新社會服務(wù)相關(guān)立法，明確算法決策系統(tǒng)所涉及的政府資源等社會服務(wù)的優(yōu)先次序和分配問題[20]22。可見，美國聯(lián)邦政府對于算法決策等人工智能新型技術(shù)的規(guī)制正趨向全領(lǐng)域的應(yīng)用與監(jiān)管。

必須指出的是，美國非政府組織對算法決策風(fēng)險治理也發(fā)揮著重要作用。諸如人工智能伙伴關(guān)系、消費者報告組織、民主與技術(shù)中心等社會性組織，在技術(shù)政策、公民權(quán)利、自律性規(guī)制等領(lǐng)域協(xié)助政府開展工作，已經(jīng)成為指導(dǎo)未來算法政策和原則的重要力量。此外，為加強算法歧視的自律性規(guī)制，美國計算機協(xié)會還專門發(fā)布了關(guān)于算法透明度及可審查性的七項基本原則，即算法透明原則、算法救濟原則、算法負責(zé)原則、算法解釋原則、算法數(shù)據(jù)可靠性原則、算法可審查原則和算法驗證原則[22]117。實踐中，旨在為算法決策系統(tǒng)的合理運行提供規(guī)范性標準之七項基本原則的協(xié)同配合，設(shè)計階段就須加強、完成算法決策系統(tǒng)的合理性與公平性檢測。

質(zhì)言之，在政府與非政府雙向協(xié)同規(guī)制模式下，美國已逐步形成健全的算法決策法律規(guī)制體系，奠定其算法決策的規(guī)范支持，指導(dǎo)或指示算法決策于各種場景中的高效應(yīng)用。這樣，不但緩釋使用者與決策對象之間的權(quán)益摩擦，而且也積極促進、保障以算法決策為核心的人工智能新型技術(shù)的科學(xué)發(fā)展。

（二）歐盟：數(shù)據(jù)主體的反自動化決策權(quán)

2018年5月，歐盟正式實施《通用數(shù)據(jù)保護條例》（GDPR），在其成員國內(nèi)部全面生效。作為數(shù)據(jù)保護的典范性法律規(guī)范，GDPR關(guān)于算法決策應(yīng)用風(fēng)險的防范與規(guī)避在世界范圍內(nèi)都具有顯著的示范性作用。

GDPR第22條確立數(shù)據(jù)主體享有不受自動化決策影響的重要權(quán)利，亦即學(xué)者謂之“反自動化決策權(quán)”。GDPR針對算法決策風(fēng)險防范中最為突出的措施就是賦予數(shù)據(jù)主體這一新權(quán)利——“反自動化決策權(quán)”，以此反向強化數(shù)據(jù)控制者責(zé)任[22]506。

其實，歐盟早在1995年的《數(shù)據(jù)保護指令》（DPID）中就已作出“數(shù)據(jù)主體有權(quán)反對自動化決策的影響”的規(guī)定。其第15條第1款規(guī)定，成員國應(yīng)賦予每個人一種權(quán)利，一種不受完全基于數(shù)據(jù)自動化處理而對自身產(chǎn)生顯著法律影響的權(quán)利。這也是第一個立足數(shù)據(jù)保護背景的規(guī)范完全基于機器決策結(jié)果的歐盟立法[23]?，F(xiàn)行GDPR第22條即是DPID第15條的延續(xù)和發(fā)展，其具體內(nèi)容如下參見歐盟《通用數(shù)據(jù)保護條例》（GDPR）。。

第一，數(shù)據(jù)主體有權(quán)反對此類決策：完全依靠自動化處理（包括用戶畫像）對數(shù)據(jù)主體做出的具有法律影響或類似嚴重影響的決策。

第二，當決策存在如下情形時，第1款不適用：（a）當決策對于數(shù)據(jù)主體與數(shù)據(jù)控制者的合同簽訂或合同履行是必要的;（b）當決策是歐盟或成員國的法律所授權(quán)的，控制者是決策的主體，并且已經(jīng)制定了恰當?shù)拇胧┍ＷC數(shù)據(jù)主體的權(quán)利、自由與正當利益;（c）當決策建立在數(shù)據(jù)主體明確同意的基礎(chǔ)之上。

第三，在第2款所規(guī)定的（a）和（c）中，數(shù)據(jù)控制者應(yīng)當采取適當措施保障數(shù)據(jù)主體的權(quán)利、自由、正當利益，以及數(shù)據(jù)主體可以對控制者進行人工干涉，以便表達其觀點和對決策進行異議的基本權(quán)利。

第四，第2款所規(guī)定的決策的基礎(chǔ)不適用于第9條第1款所規(guī)定的特定類型的個人數(shù)據(jù)，除非符合第9條第2款（a）或（g）的規(guī)定，并且已經(jīng)采取了保護數(shù)據(jù)主體權(quán)利、自由與正當利益的措施《通用數(shù)據(jù)保護條例》（GDPR）第9條（對特殊類型個人數(shù)據(jù)的處理）第1款規(guī)定：對于那些顯示種族或民族背景、政治觀念、宗教或哲學(xué)信仰或工會成員的個人數(shù)據(jù)、基因數(shù)據(jù)、為了特定識別自然人的生物性識別數(shù)據(jù)以及和自然人健康、個人性生活或性取向相關(guān)的數(shù)據(jù)，應(yīng)當禁止處理;第2款（a）規(guī)定：數(shù)據(jù)主體明確同意基于一個或多個特定目的而授權(quán)處理其個人數(shù)據(jù)，但依照歐盟或成員國的法律規(guī)定，數(shù)據(jù)主體無權(quán)解除第1段中所規(guī)定的禁令的除外;第2款（g）規(guī)定：處理對實現(xiàn)實質(zhì)性的公共利益必要的、建立在歐盟或成員國的法律基準之上、對實現(xiàn)目標是相稱的、尊重數(shù)據(jù)保護權(quán)的核心要素，并且為數(shù)據(jù)主體的基本權(quán)利和利益提供合適和特定的保護措施。。

GDPR第22條第1款直接確立數(shù)據(jù)當事人有權(quán)不受僅基于自動化處理的、包括對其產(chǎn)生法律影響或?qū)ζ洚a(chǎn)生類似重大影響的決定的權(quán)利;第2款是第1款的豁免條款，列明不適用的具體情形，反向界定數(shù)據(jù)主體不受自動化決策影響的明確范圍;第3款又是第2款豁免條款的條件限制，指出當數(shù)據(jù)控制者以合同簽訂或履行為必要、或以數(shù)據(jù)主體明確知情同意為理由而認為數(shù)據(jù)主體不享有反對自動化決策影響的權(quán)利時，應(yīng)采取適當措施保障數(shù)據(jù)主體的權(quán)利、自由和正當利益，并允許數(shù)據(jù)主體對數(shù)據(jù)控制者進行人工干涉，表明其異議立場或自生觀點的基本權(quán)利;第4款重在強調(diào)對個人敏感性數(shù)據(jù)的高度關(guān)注。

相較于DPID第15條，GDPR第22條完善并著重強調(diào)數(shù)據(jù)主體的基本權(quán)益，為數(shù)據(jù)主體夯實更全面、更有力的法律保護基礎(chǔ)。其序言第71條明確強調(diào)，數(shù)據(jù)主體有權(quán)反對基于自動化處理并對其產(chǎn)生法律影響或者其他顯著影響的決策結(jié)果，且數(shù)據(jù)主體有權(quán)要求進行人工干預(yù)這里的自動化處理并對其產(chǎn)生顯著影響的決策結(jié)果是指：任何形式的自動化處理個人數(shù)據(jù)，以此評估數(shù)據(jù)主體的身體素質(zhì)、工作情況、經(jīng)濟狀況、個人喜好、地理位置等相關(guān)方面，評估結(jié)果對數(shù)據(jù)主體產(chǎn)生重大影響。。同時，為進一步強化算法決策控制者的責(zé)任、保障數(shù)據(jù)主體的權(quán)利，GDPR明確將透明度與問責(zé)原則列為數(shù)據(jù)處理的核心原則，并通過設(shè)立歐盟層面的數(shù)據(jù)保護委員會和成員國層面獨立的數(shù)據(jù)保護監(jiān)管機構(gòu)，形成相當完備的行政監(jiān)管體系[24]。

為應(yīng)對算法決策帶來的隱私泄露、算法歧視等風(fēng)險，歐盟已然開創(chuàng)“反自動化決策權(quán)”（國內(nèi)有學(xué)者譯成“算法解釋權(quán)”）之先河，意旨尊重數(shù)據(jù)主體的個人基本權(quán)益和人格尊嚴，降低甚至杜絕算法決策應(yīng)用風(fēng)險給數(shù)據(jù)主體帶來的權(quán)益損害與不利后果。

（三）德國：苛嚴的算法決策應(yīng)用規(guī)制

面對高精尖性的算法決策技術(shù)，德國提出了更高、更嚴的要求。其在遵守GDPR的基礎(chǔ)上，積極制定符合本國發(fā)展形態(tài)的專屬制度規(guī)范，以防范、規(guī)避算法決策的應(yīng)用風(fēng)險。其中，算法決策于行政領(lǐng)域應(yīng)用的專門規(guī)制是最重墨之筆。

2017年6月，德國聯(lián)邦議院通過《歐盟數(shù)據(jù)保護適應(yīng)和實施法案》，就此開啟歐盟GDPR基本規(guī)定的適用[25]。針對行政管理活動領(lǐng)域中的算法決策應(yīng)用，也為促進科技自由發(fā)展與數(shù)據(jù)主體權(quán)利保護的平衡，順應(yīng)行政現(xiàn)代化、智能化的發(fā)展，加速稅收和社會法領(lǐng)域的程序現(xiàn)代化建設(shè)，德國專門在《稅收條例》和《社會法典（第十卷）》引入全自動作出的具體行政行為條款，并于2017年擴展至一般《行政程序法》，即在《行政程序法》中引入“全自動作出的具體行政行為”概念，并匹配若干法條的修改以彌補自動化行政中法律依據(jù)存在的瑕疵，以此規(guī)范算法決策在自動化行政中應(yīng)用的具體行為[26]170。

同時，德國已開始嘗試直接規(guī)制算法設(shè)計本身，試圖促令法律和倫理規(guī)范徑直進入算法。德國交通部部長任命的倫理委員會就有專門報告，要求算法編寫者遵守一系列倫理法則，并提出具體的20條倫理指導(dǎo)意見，其核心即要求把人的生命放在首位[1]73。另外，第36屆信息官員自由會議也通過“算法在公共管理中的透明度”文件，其中規(guī)定德國政府部門使用算法必須要予以公布的具體內(nèi)容[27]：（1）有關(guān)程序輸入、輸出數(shù)據(jù)的類別信息;（2）算法所涉邏輯，包括計算公式、輸入數(shù)據(jù)的權(quán)重、基本的專業(yè)知識以及用戶部署的個人配置;（3）最終決策的范圍以及程序可能產(chǎn)生的后果。顯然，德國主流觀點認為，重視法律與倫理規(guī)范、明確算法透明度問題，是保障算法決策結(jié)果準確、公平、有效的重要因素。

綜合前述，各國為防范或規(guī)避算法決策于各種領(lǐng)域應(yīng)用的實然風(fēng)險，都有因應(yīng)本國特點的自主制度或規(guī)則設(shè)計。美國基于政府與非政府組織的協(xié)同規(guī)制，形成一種健全的法律規(guī)制體系;歐盟GDPR第22條特別強調(diào)數(shù)據(jù)主體享有的反對自動化決策影響的權(quán)利，在保護自然人基本權(quán)利與自由的同時，更彰顯算法決策風(fēng)險防范的事后規(guī)制措施的示范性作用;德國在遵守GDPR的基礎(chǔ)上，積極制定符合國家發(fā)展形態(tài)的專屬制度規(guī)范，重點是算法決策在行政領(lǐng)域應(yīng)用的特殊規(guī)制，以此促進科技自由發(fā)展與數(shù)據(jù)主體權(quán)利保護達致平衡。

四、算法決策風(fēng)險防范路徑的中國展望

隨著算法決策技術(shù)廣度、深度的進一步拓展與深入，不僅會加重上述三大主要風(fēng)險的危害性，而且未來還可能產(chǎn)生不可測之風(fēng)險類型。為積極應(yīng)對已有風(fēng)險，有效防范將來風(fēng)險，我們必須制定并完善算法決策的相關(guān)制度規(guī)定、加強算法決策風(fēng)險評估機制、明確算法決策風(fēng)險責(zé)任規(guī)定等，以盡可能實現(xiàn)算法決策風(fēng)險的事先預(yù)防與事后救濟。

（一）重申、確立并加強人的主體地位

馬長山指出，當下的人工智能仍定性為人類所創(chuàng)造的高度自動化、智能化的工具，雖然該工具發(fā)展到一定階段能夠模仿人類動作與感受，但終究非屬人類。換言之，人工智能并無自主意志，僅是技術(shù)產(chǎn)出品，根本上就只能定性其為工具屬性[28]。同樣，為有效防范、規(guī)避算法決策的應(yīng)用風(fēng)險，確定數(shù)據(jù)主體事后救濟的問責(zé)對象，必須加強算法決策使用者的主體地位意識并明確算法決策的工具屬性。

以民事審判為例，算法決策作為司法機關(guān)在司法實踐中采用的一種治理手段或工具，即是輔助司法機關(guān)進行決策。即便未來算法決策技術(shù)向高精尖飛速發(fā)展，甚至直接取代人工決策而作出最終判定，也無從改變其輔助性的工具屬性。簡言之，無論是輔助人工決策還是取代人工決策，算法決策都僅被限定以輔助地位、協(xié)助司法機關(guān)完成審判工作。此外，在不同場景應(yīng)用中，算法決策控制者或使用者應(yīng)當牢牢掌握算法決策技術(shù)的主導(dǎo)權(quán)，不可全仰賴決策系統(tǒng)，必須嚴防或杜絕算法決策技術(shù)在深入發(fā)展和滲透后完全取代人為決策的可能，甚至凌駕于人為決策之上。

無論算法決策應(yīng)用是在司法審判、行政管理活動還是商業(yè)領(lǐng)域，都不能改變算法決策的工具屬性。所以，必須厘清算法決策使用者與算法決策技術(shù)本身的主次關(guān)系，以規(guī)范算法決策技術(shù)的發(fā)展方向，使其不偏離自身的工具屬性定位。

（二）完善算法決策的相關(guān)制度規(guī)定

大數(shù)據(jù)時代，算法決策技術(shù)帶來諸多不確定性，雖然制度的出臺總是滯后于技術(shù)的發(fā)展，但是以制度的方式規(guī)制已知的事物是非常有效的[29]?；谇笆鰧γ绹?、歐盟、德國的比較考察與經(jīng)驗借鏡，立足本國國情，及時制定完善相關(guān)法律法規(guī)與具體規(guī)則已勢成必然。

2016年，我國頒布了《中華人民共和國網(wǎng)絡(luò)安全法》，旨在保障我國網(wǎng)絡(luò)運行安全和信息安全，維護網(wǎng)絡(luò)空間主權(quán)和國家安全以及社會公共利益，保護公民、法人和社會其他組織的合法權(quán)益，促進經(jīng)濟社會信息化的健康發(fā)展[30]。依據(jù)該法第四章之網(wǎng)絡(luò)信息安全的規(guī)定，以列舉方式明確指出網(wǎng)絡(luò)運營者收集、使用個人信息，應(yīng)當遵循合法、正當、必要的原則，明示收集、使用目的，并須經(jīng)被收集者同意;網(wǎng)絡(luò)運營者應(yīng)當確保其收集個人信息的安全《中華人民共和國網(wǎng)絡(luò)安全法》第41條規(guī)定：“網(wǎng)絡(luò)運營者收集、使用個人信息，應(yīng)當遵循合法、正當、必要的原則，公開收集、使用規(guī)則，明示收集、使用信息的目的、方式和范圍，并經(jīng)被收集者同意。網(wǎng)絡(luò)運營者不得收集與其提供的服務(wù)無關(guān)的個人信息，不得違反法律、行政法規(guī)的規(guī)定和雙方的約定收集、使用個人信息，并應(yīng)當依照法律、行政法規(guī)的規(guī)定和與用戶的約定，處理其保存的個人信息?！钡?2條規(guī)定：“網(wǎng)絡(luò)運營者不得泄露、篡改、毀損其收集的個人信息;未經(jīng)被收集者同意，不得向他人提供個人信息。但是，經(jīng)過處理無法識別特定個人且不能復(fù)原的除外。網(wǎng)絡(luò)運營者應(yīng)當采取技術(shù)措施和其他必要措施，確保其收集的個人信息安全，防止信息泄露、毀損、丟失。在發(fā)生或者可能發(fā)生個人信息泄露、毀損、丟失的情況時，應(yīng)當立即采取補救措施，按照規(guī)定及時告知用戶并向有關(guān)主管部門報告?！?。另外，在《中華人民共和國個人信息保護法（草案）》中也明確規(guī)定了個人信息處理的基本原則、協(xié)調(diào)個人信息保護與促進信息自由流動的關(guān)系，以及有關(guān)敏感個人信息問題等諸多內(nèi)容[31]。

顯然，數(shù)據(jù)安全是一切問題的首要出發(fā)點。為規(guī)范算法決策于數(shù)據(jù)收集與使用階段的嚴謹性，切實防范算法決策隱私泄露風(fēng)險，我國在制定算法決策相關(guān)制度時，自然必須重視數(shù)據(jù)安全問題。如明示算法決策使用者應(yīng)當遵循合法、必要、正當?shù)脑瓌t;明示數(shù)據(jù)收集和使用的目的，積極保障數(shù)據(jù)主體的知情同意權(quán)益;遭遇算法決策使用者未經(jīng)數(shù)據(jù)主體同意而擅自采集或者不合目的使用數(shù)據(jù)時，數(shù)據(jù)主體有權(quán)提出異議等。特別需要指出的是，就此數(shù)據(jù)主體的異議權(quán)可借鑒GDPR第22條規(guī)定，即在公權(quán)力應(yīng)用算法決策場景下，對數(shù)據(jù)主體做出具有法律影響或類似嚴重影響的決策結(jié)果時，數(shù)據(jù)主體有權(quán)對該結(jié)果提出反對意見。具體應(yīng)用：在算法決策輔助自動化行政過程中，行政相對人之數(shù)據(jù)主體有權(quán)要求人工介入;對此情狀，行政主體必須聽取相對人的陳述，如果要求合理，則必須即時中斷自動程序而轉(zhuǎn)入普通程序。此外，行政主體還負有于法定情形下須履行主動中斷自動程序的義務(wù)，如根據(jù)德國《稅務(wù)條例》和《行政程序法》的規(guī)定，可要求行政機關(guān)對個案相對人在自動程序外的重要情況進行調(diào)查，若符合中斷條件，行政機關(guān)必須主動恢復(fù)普通程序[26]177。

此外，相應(yīng)制度規(guī)定還應(yīng)滿足算法決策于不同領(lǐng)域的具體應(yīng)用場景。僅類化于行政管理、司法審判及民商業(yè)等領(lǐng)域，算法決策也并非能適用其各自領(lǐng)域下的所有場景。當外部環(huán)境阻礙機器決策、或有造成決策結(jié)果錯誤風(fēng)險之虞，該類場景就只能采用人為決策。對此，德國行政程序法就專門針對算法決策于自動化行政領(lǐng)域的應(yīng)用限定兩個條件：（1）法律保留，即僅當法律法規(guī)允許時方可適用;（2）僅限行政機關(guān)無裁量或無判斷余地時方有適用空間[10]89?！皟蓚€限定條件”可為我國明確算法決策的具體應(yīng)用場景提供有效資鑒。對于法律保留論，還須提供原則性指引，而非面面俱到地實施干預(yù)，如在授益行為、不涉及當事人重大利益事項上，法律可以對算法決策于行政管理活動的應(yīng)用賦予概括性授權(quán)以釋放創(chuàng)新空間。當然，在情況較為復(fù)雜、尤其關(guān)乎人身權(quán)益等決策不可逆的場景下，算法決策應(yīng)用必須審慎以待。

（三）加強算法決策的風(fēng)險評估機制

以算法決策為核心技術(shù)的一系列人工智能新型技術(shù)的應(yīng)用已成必然。因此，為促進算法決策技術(shù)的良性發(fā)展，同時保障數(shù)據(jù)主體的合法權(quán)益，維護社會秩序的穩(wěn)定性，必須有側(cè)重、分步驟地有效運行算法決策風(fēng)險的評估機制。

算法決策的運行基礎(chǔ)是數(shù)據(jù)，數(shù)據(jù)質(zhì)量即是其風(fēng)險評估的基礎(chǔ)性要件。為驗證數(shù)據(jù)質(zhì)量是否存在瑕疵，以及該瑕疵對決策結(jié)果產(chǎn)生的消極影響又是否超過其為決策結(jié)果帶來的積極影響，同時還需研判算法決策于具體場景適用的可行性。所以，事先必須用比例原則對算法決策系統(tǒng)進行風(fēng)險評估。具體操作可依據(jù)以下“三個判斷”進行[18]112：（1）適應(yīng)性判斷。判斷算法決策系統(tǒng)的設(shè)計是否合理、合法，且決策系統(tǒng)對數(shù)據(jù)的收集、選擇和處理又是否能最大限度降低數(shù)據(jù)質(zhì)量瑕疵（如隱私信息、敏感性信息），以達到使用者預(yù)期目的。（2）均衡性判斷。比照算法決策系統(tǒng)運行可能產(chǎn)生的積極影響與消極影響，只有確認前者明顯高于后者時才可通過評估。（3）必要性判斷。使用者應(yīng)采用對數(shù)據(jù)主體消極影響最小的算法決策系統(tǒng)，以最大限度降低技術(shù)的不確定性和數(shù)據(jù)質(zhì)量瑕疵，否則，決策結(jié)果可靠性無以保障。即僅限于同時滿足“三個判斷”評估模式的算法決策系統(tǒng)才可通過事前檢測并被投入實踐應(yīng)用。

風(fēng)險評估的先行者莫過于德國。20世紀70年代，德國《聯(lián)邦數(shù)據(jù)保護法》就作出規(guī)定，自動收集、處理和使用個人數(shù)據(jù)的公共機構(gòu)和私法主體，或以其他方法處理個人數(shù)據(jù)并且至少擁有20人長期雇員的，或因市場研究目的而自動處理數(shù)據(jù)的私主體，都必須書面任命常設(shè)的個人數(shù)據(jù)保護顧問，否則將承擔相應(yīng)的法律責(zé)任[32]48-49。同時，為賦予個人數(shù)據(jù)保護顧問以更強的權(quán)力支撐，在企業(yè)外部還設(shè)立數(shù)據(jù)保護監(jiān)管局。當個人數(shù)據(jù)保護顧問面臨來自企業(yè)的壓力時，還可向數(shù)據(jù)保護監(jiān)管局尋求援助[32]49。但需明確的是，該顧問在企業(yè)算法治理、數(shù)據(jù)活動的監(jiān)管中始終占據(jù)主體地位，而數(shù)據(jù)保護監(jiān)管局反倒成了輔助角色?？梢哉f，德國踐行的是以行業(yè)自律加政府監(jiān)管之雙重風(fēng)險評估機制——不僅自主督進企業(yè)內(nèi)部的算法決策風(fēng)險防范，也同步提升政府監(jiān)管的力度。當然，在某種程度上，也正因企業(yè)外部數(shù)據(jù)保護監(jiān)管局的存在能有效防止個人數(shù)據(jù)保護顧問淪為擺設(shè)，更有利于促進個人數(shù)據(jù)保護顧問職權(quán)的有效行使。

基于此，我國在這一相關(guān)制度或機構(gòu)的設(shè)定方面，就應(yīng)明示個人數(shù)據(jù)保護顧問的相關(guān)規(guī)定。首先，企業(yè)內(nèi)部的個人數(shù)據(jù)保護顧問應(yīng)熟悉該企業(yè)的基礎(chǔ)業(yè)務(wù)，同時還須掌握算法決策與數(shù)據(jù)保護的基本知識，因為算法決策的強技術(shù)性與隱蔽性不可能促令企業(yè)員工都具備檢測本企業(yè)算法風(fēng)險的技能。但是，對于個人數(shù)據(jù)保護顧問而言，具備專業(yè)技能和隨時可檢測算法決策風(fēng)險的能力是其必備條件。其次，個人數(shù)據(jù)保護顧問還應(yīng)具有相當?shù)呢?zé)任意識，積極履行自身風(fēng)險評估職責(zé)，適時提出異議。若企業(yè)施以高壓，該顧問應(yīng)當及時請求數(shù)據(jù)保護監(jiān)管局的適時介入與調(diào)查。數(shù)據(jù)保護監(jiān)管局亦須具備評估算法決策風(fēng)險的專業(yè)技術(shù)與能力，以認真監(jiān)督該顧問履職情況，并定期接受關(guān)于算法決策應(yīng)用的情況匯報。

（四）明確算法決策風(fēng)險的責(zé)任規(guī)定

劃定算法責(zé)任歸屬，不僅是為了明確算法決策風(fēng)險引起的責(zé)任承擔，而且也是為使算法決策技術(shù)能以一種更負責(zé)任的方式良性運行。無論于各種應(yīng)用場景，都應(yīng)當有因應(yīng)的責(zé)任界定與劃分。

尤其關(guān)涉公權(quán)力領(lǐng)域的應(yīng)用，更需有責(zé)任主體的明確規(guī)定。無論行政管理或司法裁判，公權(quán)力機關(guān)都是通過與私人技術(shù)主體的公私合作方式進行應(yīng)用算法決策。因此，算法決策過程的實際主體至少有公權(quán)力機關(guān)、數(shù)據(jù)主體以及私人技術(shù)主體三類。然而，不管是人為決策行為還是算法決策行為，其法律意義上的主體仍是公權(quán)力機關(guān)，私人技術(shù)主體只是公權(quán)力機關(guān)實現(xiàn)其行為目的的輔助與載體。所以，于數(shù)據(jù)主體而論，無須關(guān)心到底哪些主體介入行政或司法程序，只需針對法律規(guī)定的行使公權(quán)力的權(quán)力主體尋求救濟即可[33]。即一旦算法決策風(fēng)險造成數(shù)據(jù)主體權(quán)益受損，公權(quán)力機關(guān)即成責(zé)任主體，數(shù)據(jù)主體應(yīng)當向公權(quán)力機關(guān)問責(zé)。至于私人技術(shù)主體承擔的責(zé)任，主要關(guān)涉其與公權(quán)力主體之間的合作協(xié)議，如果私人技術(shù)主體存在過錯，按協(xié)議約定承擔相應(yīng)的責(zé)任即可[33]。因此，對于公權(quán)力領(lǐng)域下三重主體共同參與的算法決策過程，責(zé)任主體的認定并無根本性變化，僅需藉由算法決策相關(guān)制度進行細節(jié)的調(diào)整和明確即可。

對于商業(yè)領(lǐng)域的應(yīng)用，則須加強算法決策設(shè)計者、使用者的責(zé)任規(guī)制。2018年，我國通過《中華人民共和國電子商務(wù)法》，首次明確網(wǎng)絡(luò)平臺不合法設(shè)計、部署和應(yīng)用的部分算法責(zé)任，包括搜索算法（競價排名）的明示義務(wù)、推薦算法的消費者保護義務(wù)等，體現(xiàn)立法者對算法地位和作用的合理認知[34]。同時，落實有效調(diào)整算法決策風(fēng)險的責(zé)任規(guī)定：（1）優(yōu)化系統(tǒng)本身，加強算法決策系統(tǒng)設(shè)計者的風(fēng)險責(zé)任意識，促令其于設(shè)計之初須充分考量算法風(fēng)險防范與可問責(zé)性問題[35];（2）明確算法決策設(shè)計者、使用者應(yīng)當遵守的基本原則，以強化責(zé)任意識，形成高效的自律性規(guī)制。一如前述美國行業(yè)內(nèi)部的自律性規(guī)制范式，該國計算機協(xié)會通過發(fā)布有關(guān)算法透明度及可審查性的七項基本原則，以此規(guī)范算法決策使用者的行為，降低算法決策風(fēng)險發(fā)生的概率。我國可以此為資鑒，適時調(diào)整、完善算法決策風(fēng)險責(zé)任的相關(guān)規(guī)定，有效防范算法決策風(fēng)險的發(fā)生，并最大化降低因法律模糊性而遭致數(shù)據(jù)主體的二度傷害。

五、結(jié) 語

實踐證明，協(xié)調(diào)算法決策等科學(xué)技術(shù)的發(fā)展與數(shù)據(jù)主體合法權(quán)益的保障二者之關(guān)系，已然成為大數(shù)據(jù)時代人們的共同關(guān)注焦點。藉由他山之石路徑考察與經(jīng)驗借鏡，中國于算法決策風(fēng)險防范的法制路徑構(gòu)建，首先，必須立足本國國情的切實考量，重申、確立并加強人的主體地位意識，更須對算法決策之工具輔助屬性進行明確定位。在此前提下，及時、有效地制定相關(guān)法律法規(guī)及其配套制度與具體規(guī)則，以此秉持、恪守規(guī)范算法決策于數(shù)據(jù)收集與使用階段的嚴謹性，清晰界定算法決策于行政、司法或商業(yè)領(lǐng)域中的具體應(yīng)用場景。其次，還須以比例原則加強算法決策風(fēng)險評估機制，并嘗試在企業(yè)內(nèi)部增設(shè)個人數(shù)據(jù)保護顧問，以實現(xiàn)風(fēng)險評估的專人負責(zé)制。最后，還須明確算法決策風(fēng)險的責(zé)任規(guī)定，明示責(zé)任主體，強化算法決策設(shè)計者、使用者的風(fēng)險責(zé)任意識。誠然，無論于行政、司法等公權(quán)力領(lǐng)域，抑或商業(yè)等其他領(lǐng)域，算法決策風(fēng)險都無法一一避及。今后，伴隨算法決策技術(shù)的深度發(fā)展、人工智能自主學(xué)習(xí)能力的突破性進展，定會產(chǎn)生更多不可預(yù)估之風(fēng)險。因此，我們必須不斷審視算法決策技術(shù)，增強自身風(fēng)險防范能力，以促進算法決策技術(shù)的良性發(fā)展，盡可能最大化地保障數(shù)據(jù)主體的合法權(quán)益不受侵害。

參考文獻：

[1] 鄭戈.算法的法律與法律的算法[J].中國法律評論，2018（2）.

[2] 杜宴林，楊學(xué)科.論人工智能時代的算法司法與算法司法正義[J].湖湘論壇，2019（5）：65.

[3] 全國首次！上海法院運用“206系統(tǒng)”輔助庭審防范冤假錯案[EB/OL].（2019-01-26）[2020-09-04].https：//www.sohu.com/a/291606945_100114073.

[4] 王海如.論司法人工智能在民事審判中的應(yīng)用[D].南昌：南昌大學(xué)，2020：5-18.

[5] 譚九生，楊建武.智能時代技術(shù)治理的價值悖論及其消解[J].電子政務(wù)，2020（9）：34.

[6] TENE O， POLONETSKY J. Taming the Golem：Challenges of Ethical Algorithmic Decision-Making[J]. North Carolina Journal of Law & Technology，2017（1）.

[7] 張恩典.大數(shù)據(jù)時代的算法解釋權(quán)：背景、邏輯與構(gòu)造[J].法學(xué)論壇，2019（4）：154.

[8] 孫建麗.算法自動化決策風(fēng)險的法律規(guī)制研究[J].法治研究，2019（4）：109.

[9] RADEMACHER T. Of New Technologies and Old Laws： Do We Need a Right to Violate the Law？[J]. European Journal for Security Research，2020（5）：4.

[10]馬顏昕.自動化行政的分級與法律控制變革[J].行政法學(xué)研究，2019（1）.

[11]趙敏.公共視頻監(jiān)控的大數(shù)據(jù)倫理問題——以個人信息安全為中心[J].中國人民公安大學(xué)學(xué)報（社會科學(xué)版），2020（1）：98.

[12]特蕾莎·M·佩頓，西奧多·克萊普爾.大數(shù)據(jù)時代的隱私[M].鄭淑紅，譯.上海：上海科學(xué)技術(shù)出版社，2017：46.

[13]鄭智航，徐昭曦.大數(shù)據(jù)時代算法歧視的法律規(guī)制與司法審查——以美國法律實踐為例[J].比較法研究，2019（4）.

[14]張凌寒.算法權(quán)力的興起、異化及法律規(guī)制[J].法商研究，2019（4）：67.

[15]丁曉東.算法與歧視：從美國教育平權(quán)案看算法倫理與法律解釋[J].中外法學(xué)，2017（6）：1622.

[16]凱西·奧尼爾.算法霸權(quán)——數(shù)學(xué)殺傷性武器的威脅[M].馬青玲，譯.北京：中信出版集團，2018：91-94.

[17]張凌寒.風(fēng)險防范下算法的監(jiān)管路徑研究[J].交大法學(xué)，2018（4）：54.

[18]王祿生.司法大數(shù)據(jù)與人工智能技術(shù)應(yīng)用的風(fēng)險及倫理規(guī)制[J].法商研究，2019（2）.

[19]KEATS D， PASQUALE C F. The Scored Society： Due Process for Automated Predictions[J]. Washington Law Review，2014（1）：16.

[20]陸凱.美國算法治理政策與實施進路[J].環(huán)球法律評論，2020（3）.

[21]算法、人工智能和預(yù)測分析的競爭和消費者保護問題[EB/OL].[2020-07-09].https：//www.ftc.gov/news-events/events-calendar/ftc-hearing-7-competition-consumer-protection-21st-century.

[22]KEDZIOR M. GDPR and beyond—a year of changes in the data protection landscape of the European Union[J]. ERA Forum，2019（19）.

[23]MENDOZA I， BYGRAVE L A. The Right Not to be Subject to Automated Decisions Based on Profiling[M]//EU Internet Law. Cham： Springer，2017：78-79.

[24]程瑩.元規(guī)制模式下的數(shù)據(jù)保護與算法規(guī)制——以歐盟《通用數(shù)據(jù)保護條例》為研究樣本[J].法律科學(xué)（西北政法大學(xué)學(xué)報），2019（4）：49-50.

[25]MOLNáR-GáBOR F. Germany： a fair balance between scientific freedom and data subjects rights？[J]. Human Genetics，2018（8）：619.

[26]查云飛.人工智能時代全自動具體行政行為研究[J].比較法研究，2018（5）.

[27]張凌寒.算法自動化決策與行政正當程序制度的沖突與調(diào)和[J].東方法學(xué)，2020（6）：12.

[28]馬長山.人工智能的社會風(fēng)險及其法律規(guī)制[J].法律科學(xué)（西北政法大學(xué)學(xué)報），2018（6）：48.

[29]杜婧，張凌寒.以數(shù)據(jù)化的隱私權(quán)為代價——Google搜索引擎并不“免費”[J].長春理工大學(xué)學(xué)報（社會科學(xué)版），2017（1）：35.

[30]中華人民共和國網(wǎng)絡(luò)安全法[EB/OL].（2020-04-24）[2020-06-05]. https：//www.fjcpc.edu.cn/jgdzz/2020/0424/c2231a65107/page.htm.

[31]中華人民共和國個人信息保護法（草案）[EB/OL].（2020-10-22）[2020-10-25].http：//fzzfyjy.cupl.edu.cn/info/1077/12335.htm.

[32]林洹民.自動決策算法的法律規(guī)制：以數(shù)據(jù)活動顧問為核心的二元監(jiān)管路徑[J].法律科學(xué)（西北政法大學(xué)學(xué)報），2019（3）.

[33]馬顏昕.自動化行政方式下的行政處罰：挑戰(zhàn)與回應(yīng)[J].政治與法律，2020（4）：147.

[34]張凌寒.《電子商務(wù)法》中的算法責(zé)任及其完善[J].北京航空航天大學(xué)學(xué)報（社會科學(xué)版），2018（6）：16-17.

[35]約叔華·A·克魯爾，喬安娜·休伊，索倫·巴洛卡斯，等.可問責(zé)的算法[J].沈偉偉，薛迪，譯.地方立法研究，2019（4）：106.

Research on the Legal Path of Algorithmic Decision Risk Prevention

CHEN Yang， PEI Yanan

（School of Cyber Security and Information Law， Chongqing University of

Posts and Telecommunications， Chongqing 400065， China）

Abstract：

With the in-depth application of algorithmic decision-making in administrative， judicial， and commercial fields， privacy leakage， algorithmic discrimination， and damage to human autonomy have become the three major risks. To prevent these risks， the first thing to do is to reiterate， establish， and strengthen the awareness of human subjectivity， and to reversely locate the tool attributes of algorithmic decision-making. Under the guarantee of this premise， we should actively learn from the extraterritorial experience of the United States， the European Union and Germany， study the system construction and rule design of algorithmic decision-making in these countries or regions， and pay special attention to the pertinence and professionalism of their legal systems and rule design. Of course， it is necessary to base on the specific national conditions of our country， effectively grasp the pulse of the development of the era， and use the principle of proportionality to strengthen algorithmic decision-making risk assessment mechanism， scientifically and reasonably define the responsible party， and clearly formulate relevant laws and regulations for the responsibility of these risks， so as to minimize the second degree of harm to the data subject due to legal ambiguity.

Keywords：

algorithmic decision-making; algorithmic decision-making risk; risk assessment; responsibility regulation

（編輯：劉仲秋）