[美]羅伯特·布勞尼斯（Robert Brauneis），埃倫·P.古德曼（Ellen P.Goodman）著

王延川 譯

引 言

政府越來(lái)越頻繁地使用計(jì)算機(jī)算法來(lái)處理公共事務(wù)。這種現(xiàn)象在市、縣和州層面上尤其如此，因?yàn)檫@些政府旨在提供基礎(chǔ)服務(wù)和部署強(qiáng)制性警力。席卷全球的“智能城市”運(yùn)動(dòng)向地方政府強(qiáng)調(diào)了更有效地收集和部署數(shù)據(jù)的重要性。①See Rob Kitchin,“The Real-Time City? Big Data and Smart Urbanism”,79 GeoJournal 1 (2014).其中一個(gè)目標(biāo)是在大數(shù)據(jù)集中找到一種模式——例如，犯罪最有可能在何地和何時(shí)發(fā)生——以及生成預(yù)測(cè)模型去指導(dǎo)公共服務(wù)的分配——例如，以何種方式并在何地布置警力。②See Andrew Guthrie Ferguson,The Rise of Big Data Policing: Surveillance, Race, and the Future of Law Enforcement,NYU Press,2017;Andrew Guthrie Ferguson,“Policing Predictive Policing”,94 Wash.U.L.Rev.1115 (2017);Elizabeth E.Joh,“The New Surveillance Discretion:Automated Suspicion,Big Data,and Policing”,10 Harv.L.&Pol’y Rev.15,38 (2016).大多數(shù)地方政府缺乏自己部署數(shù)據(jù)分析的專業(yè)技能和資金，如果它們想要“智能化”，就需要與公司、大學(xué)和非營(yíng)利組織簽訂合同來(lái)實(shí)施私人開(kāi)發(fā)的算法過(guò)程。其結(jié)果是，私人開(kāi)發(fā)的預(yù)測(cè)算法塑造著地方政府在刑事司法、食品安全、社會(huì)服務(wù)和交通等領(lǐng)域的行為。①關(guān)于智能城市的概括介紹，參見(jiàn)下文“一、（一）算法治理和智慧城市部分”；關(guān)于我們提交的公開(kāi)記錄請(qǐng)求的算法，參見(jiàn)下文“三、（二）結(jié)果部分”。

由于設(shè)計(jì)實(shí)體通常不會(huì)透露他們的預(yù)測(cè)模型或算法，因此越來(lái)越多的文獻(xiàn)批評(píng)這些流程的“黑箱式”不透明。②See Rob Kitchin,The Data Revolution: Big Data, Open Data, Data Infrastructures and Their Consequences,SAGE Publications Ltd.,2014;Cathy O’ Neil,Weapons of Math Destruction: How Big Data Increases Inequality and Threatens Democracy,Crown,2016;Frank Pasquale,The Black Box Society: The Secret Algorithms That Control Money and Information,Harvard University Press,2015;Michael Ananny,“Toward an Ethics of Algorithms: Convening,Observation,Probability,and Timeliness”,41 Sci.Tech.&Hum.Values 93 (2015);David Beer,“The Social Power of Algorithms”,20 J.Info.Comm.&Soc.1 (2016);Taina Bucher,“ ‘Want to Be on the Top?’ Algorithmic Power and the Threat of Invisibility on Facebook”,14 New Media & Soc’ Y 1164 (2014);Jenna Burrell,“How the Machine ‘Thinks’: Understanding Opacity in Machine Learning Algorithms”,3 Big Data & Soc’ Y 1 (2016);Danielle Citron & Frank Pasquale,“The Scored Society: Due Process for Automated Predictions”,89 Wash.L.Rev.1 (2014);Kate Crawford,“Can an Algorithm be Agonistic? Ten Scenes from Life in Calculated Publics”,41 Sci.Tech.&Hum.Values 77 (2016);Nicholas Diakopoulos,“Algorithmic Accountability: Journalistic Investigation of Computational Power Structures”,3 Digital Journalism 398 (2015);Tarleton Gillespie,“The Relevance of Algorithms”,in Tarleton Gillespie et al.ed.,Media Technologies: Essays on Communication, Materiality, and Society,2014,p.167;Rob Kitchin,“Thinking Critically About and Researching Algorithms”,20 Info.Comm.&Soc’ Y 14 (2016);Christian Sandvig,“Seeing the Sort: The Aesthetic and Industrial Defense of ‘The Algorithm’ ”,12 J.New Media Caucus 1 (2015);Christian Sandvig et al.,“Auditing Algorithms: Research Methods for Detecting Discrimination on Internet Platforms”,paper presented to “Data and Discrimination: Converting Critical Concerns into Productive Inquiry”,a preconference at the 64th Annual Meeting of the International Communication Association,May 22,2014,Seattle,WA,USA;Zynep Tufekci,“Algorithmic Harms Beyond Facebook and Google: Emergent Challenges of Computational Agency”,13 J.On Telecom.&High Tech.L.203 (2015);Malte Ziewitz,“Governing Algorithms: Myth,Mess and Methods”,41 Sci.Tech.&Hum.Values 3 (2015).這些黑箱對(duì)于質(zhì)疑無(wú)動(dòng)于衷，許多人擔(dān)心它們可能是歧視性的③參見(jiàn) Fed.Trade Comm’N,“Big Data: A Tool for Inclusion or Exclusion? Understanding the Issues” (Jan.2016),http://www.ftc.gov/reports/bigdata-tool-inclusion-or-exclusion-understanding-issues-ftc-report;Solon Barocas & Andrew D.Selbst,“Big Data’s Disparate Impact”,104 Cal.L.Rev.671 (2016);Julia Angwin et al.,“Machine Bias”,May 23,2016,PROPUBLICA,http://www.propublica.org/article/ machine-bias-risk-assessments-incriminal-sentencing (評(píng)價(jià)佛羅里達(dá)州勞德代爾堡市法官用來(lái)確定保釋金數(shù)量的算法風(fēng)險(xiǎn)評(píng)估)?；蛞族e(cuò)的，或存在很大問(wèn)題④總結(jié)廣泛運(yùn)用算法的風(fēng)險(xiǎn)的例子，參見(jiàn) Lee Rainie & Janna Anderson,“Code-Dependent: Pros and Cons of the Algorithm Age”,Feb.9，2017，PEW REP.，http://www.pewinternet.org/2017/02/08/code-dependent-pros-and-cons-of-the-algorithm-age/。。記者和學(xué)者們已經(jīng)開(kāi)始從公共實(shí)體中尋找有關(guān)這些算法的細(xì)節(jié)，但通常因?yàn)槠湫畔⒆杂烧?qǐng)求權(quán)被拒絕或未被回答而失望。⑤參見(jiàn) Nicholas Diakopoulos,“We Need to Know the Algorithms the Government Uses to Make Important Decisions about Us”,May 23,2016,CONVERSATION,http://theconversation.com/we-need-to-know-the-algorithms-the-government-uses-to-make-important-decisions-about-us-57869（報(bào)告有關(guān)向50 個(gè)州提出的關(guān)于它們?cè)谛淌滤痉ㄋ惴ㄟ\(yùn)用的公開(kāi)記錄請(qǐng)求，其中9 個(gè)“刑事司法算法細(xì)節(jié)披露被拒絕，原因是信息事實(shí)上歸屬于公司”）；Tonia Hill,“Jamie Kalven Joins Other Chicago Journalists in Lawsuit Against CPD”,June 7,2017,HYDE PARK HERALD,http://hpherald.com/2017/06/07/jamie-kalven-joinschicago-journalists-lawsuit-cpd/（描述記者起訴芝加哥警察局，因該警察局拒絕給予生成名為“熱度列表[heat list]”的戰(zhàn)略主題列表算法的信息，該列表被用來(lái)預(yù)測(cè)據(jù)說(shuō)可能卷入槍支暴力的人們）。

評(píng)論員們也在呼吁提高所有人工智能實(shí)施的透明度。⑥參見(jiàn)“23 Principles for Beneficial Artificial Intelligence”,Jan.17,2017,FUTURE LIFE INST,http://futureoflife.org/ai-principles/（指出超過(guò)1 600 名簽字人，包括Steven Hawking、Elon Musk 和人工智能研發(fā)人員都在呼吁“透明度失敗”，顯示人工智能系統(tǒng)為何已經(jīng)造成損害，以及“司法透明度”提供了一個(gè)任何作出司法判決的具有競(jìng)爭(zhēng)力的人類權(quán)威可審計(jì)的令人滿意的解釋）。這一點(diǎn)被特別關(guān)注，即當(dāng)市政府和其他政府使用預(yù)測(cè)算法時(shí)，公眾和政府自身對(duì)這些算法的開(kāi)發(fā)和實(shí)施均難以真正理解。通過(guò)開(kāi)發(fā)和銷售甚至免費(fèi)贈(zèng)送這些系統(tǒng)給政府，私人實(shí)體在公共管理中發(fā)揮著重要作用。智能城市的智能之處在于私人供應(yīng)商難以觸摸的大腦，而獨(dú)自對(duì)公眾負(fù)責(zé)的政府是被掏空、失聲和一抹黑的。風(fēng)險(xiǎn)在于算法的不透明使得企業(yè)能夠獲取公共權(quán)力。當(dāng)政府機(jī)構(gòu)實(shí)施它不理解且無(wú)法解釋的算法推薦時(shí)，政府失去了民主問(wèn)責(zé)，公眾無(wú)法評(píng)估政府流程的功效和公平，政府機(jī)構(gòu)也失去了以任何一種批判方式進(jìn)行公共工作的能力。

通過(guò)確定政府部門中一些最常見(jiàn)的大數(shù)據(jù)預(yù)測(cè)運(yùn)用，我們著手測(cè)試不透明的地方政府預(yù)測(cè)算法如何發(fā)揮作用。我們確定了由基金會(huì)、私營(yíng)公司和政府實(shí)體開(kāi)發(fā)的算法以及刑事司法和民事適用中使用的算法。然后，我們組建了一個(gè)針對(duì)各種用途和轄區(qū)的公開(kāi)記錄請(qǐng)求“文件夾”。通過(guò)使用MuckRock，即一個(gè)用于提交公開(kāi)記錄請(qǐng)求的非營(yíng)利性協(xié)作平臺(tái)①在有關(guān)“阿勒格尼縣兒童和家庭服務(wù)”的案例中，我們并沒(méi)有使用平臺(tái)，而是分開(kāi)提交了請(qǐng)求。See About Us,MUCKROCK,http://www.muckrock.com/about/.，我們針對(duì)與6 種預(yù)測(cè)算法有關(guān)的記錄在23 個(gè)州提交了42 個(gè)請(qǐng)求。②“Our Project Page on MuckRock can be Found at Uncovering Algorithms”,MUCKROCK,http://www.muckrock.com/project/uncoveringalgorithms-84/.與我們請(qǐng)求相關(guān)的頁(yè)面和絕大多數(shù)回應(yīng)我們請(qǐng)求的文件（一些政府提供與他們服務(wù)器相關(guān)的文件，而不是上傳文件到MuckRock），我們的一些請(qǐng)求最初發(fā)送到了錯(cuò)誤的機(jī)構(gòu)；我們沒(méi)有在文本中計(jì)算我們提供的數(shù)量，但是它們被MuckRock 計(jì)劃頁(yè)面所包含。聯(lián)邦政府和所有50 個(gè)州（以及華盛頓特區(qū)）都有公開(kāi)記錄法案，要求對(duì)涉及公共使用算法給予不同數(shù)量的披露。無(wú)論大多數(shù)公開(kāi)記錄法案如何書(shū)寫(xiě)，與供應(yīng)商的合同和相關(guān)通信幾乎總是屬于必須被公開(kāi)的“公共記錄”。③參見(jiàn) FLA.STAT.§ 119.011(12) (2017)（規(guī)定“公共記錄”為檢查而公開(kāi)“意味著所有的文件、論文、信件、地圖、書(shū)籍、磁帶、照片、電影、聲音記錄、數(shù)據(jù)處理軟件、其它材料，無(wú)論其物理形式、特征或傳輸方式，均應(yīng)該按照法律、條例或有關(guān)由任何機(jī)構(gòu)從事的公務(wù)交易而制作或接收”）。根據(jù)《聯(lián)邦信息自由法案（FOIA）》，軟件是可被披露的“記錄”④參見(jiàn) Katherine Fink,“Opening the Government’s Black Boxes: Freedom of Information and Algorithmic Accountability”,21 Info.Comm.&Soc’Y 1453 (2018)（討論關(guān)于聯(lián)邦機(jī)構(gòu)對(duì)FOIA 源代碼請(qǐng)求回應(yīng)的研究）。，雖然并非全部，許多州法律也是如此規(guī)定。⑤參見(jiàn)Compare ARK.CODE ANN.§ 25-19-103(5)(B)（規(guī)定“公共記錄”概念不包括“通過(guò)購(gòu)買、租借和授權(quán)而得來(lái)的軟件”）,with FLA.STAT.§ 119.011(1)（規(guī)定“數(shù)據(jù)處理軟件”被包括在“公共記錄”概念中) ；N.J.STAT.ANN.§ 47:1A-1.1 (West 2015) ；cf.FLA.STAT.§119.011(12) (2017) (規(guī)定州公開(kāi)記錄法案覆蓋的例子)。我們尋找包括通信、合同、軟件、培訓(xùn)材料、現(xiàn)有的和計(jì)劃的驗(yàn)證研究以及其他文件記錄。雖然我們的重點(diǎn)是地方和州政府，但我們懷疑自己的發(fā)現(xiàn)是否對(duì)其他與私人供應(yīng)商合作的政府實(shí)體同樣適用。

我們從這些請(qǐng)求和相關(guān)調(diào)查結(jié)果中得出結(jié)論，政府在使用大數(shù)據(jù)預(yù)測(cè)的透明度方面有三個(gè)主要障礙：（1）圍繞算法過(guò)程缺乏適當(dāng)?shù)挠涗浬蓪?shí)踐；（2）政府沒(méi)有充分堅(jiān)持適當(dāng)?shù)呐秾?shí)踐；（3）政府承包商對(duì)商業(yè)秘密或其他保密特許的主張。 在本文中，我們將調(diào)查每個(gè)障礙，并提出降低這些障礙的政策和做法。如果這些問(wèn)題得到了解決，我們還懷疑在某些情況下真正的透明度會(huì)存在另一個(gè)障礙：高度動(dòng)態(tài)或使用建模算法的運(yùn)用使得即使記錄被披露后也難以解釋。我們將這個(gè)問(wèn)題留到下次討論。

在本文的第一部分，我們介紹了臨床判斷、精算判斷和預(yù)測(cè)算法等基本概念，追蹤智能城市算法治理的發(fā)展，調(diào)查算法治理的承諾和風(fēng)險(xiǎn)。在第二部分，我們提出了關(guān)于預(yù)測(cè)算法的“有意義的透明度”的概念。這涉及調(diào)查公眾需要了解被植入這些項(xiàng)目的政治內(nèi)容，以及它們的效用性、公平性和對(duì)政府能力的影響。第三部分描述了我們向各個(gè)管轄區(qū)提交的有關(guān)其預(yù)測(cè)算法部署的公開(kāi)記錄請(qǐng)求，以及我們收到的回應(yīng)。第四部分確定了在算法過(guò)程中提高透明度的障礙。第五部分提出了算法透明度最大化的緩解技術(shù)，并提出了八種主要類型的信息，這些信息涉及公開(kāi)實(shí)現(xiàn)的算法應(yīng)該包含的內(nèi)容。 第六部分是結(jié)論。

一、算法治理的承諾和危險(xiǎn)

（一）從臨床預(yù)測(cè)到智能城市算法治理

巨量增加的計(jì)算能力和網(wǎng)絡(luò)能夠?qū)Υ罅繑?shù)據(jù)進(jìn)行收集、存儲(chǔ)和分析，這讓算法治理成為可能。城市尋求利用數(shù)據(jù)對(duì)諸如衛(wèi)生服務(wù)、公共安全、刑事司法、教育、交通和能源的公共服務(wù)與基礎(chǔ)設(shè)施實(shí)現(xiàn)合理化和自動(dòng)化。①參見(jiàn) Hafedh Chourabi et al.,“Understanding Smart Cities: An Integrative Framework”,in PROC.2012 45th Hawaii International Conference on System Sciences (HICSS 2012),http://dx.doi.org/10.1109/HICSS.2012.615（描述和綜合了各種智能城市的概念）；Lilian Edwards,“Privacy,Security and Data Protection in Smart Cities: A Critical EU Law Perspective”,2 Eur.Data Protection L.Rev.28,(2016)；Nils Walravens & Pieter Ballon,“Platform Business Models for Smart Cities: From Control and Value to Governance and Public Value”,51 IEEE Comm.Mag.72 (2013)（討論 解 決 城區(qū)問(wèn) 題 時(shí) 手機(jī)技 術(shù) 的 角色）；Ellen P.Goodman,“ ‘Smart Cities’ Meet ‘Anchor Institutions’: The Case for Broadband and the Public Library”,41 Fordham Urb.L.J.1665 (2015)。當(dāng)?shù)卣木窒扌允顾饺顺邪坛蔀檫@一流程的核心，引發(fā)因?yàn)檎咄獍a(chǎn)生的問(wèn)責(zé)制問(wèn)題。從公共需求到私人技術(shù)支持的這場(chǎng)運(yùn)動(dòng)起源于對(duì)“精算”預(yù)測(cè)的偏好多于“臨床”預(yù)測(cè)。

1.臨床VS 精算預(yù)測(cè)和判斷

分配公共資源和部署強(qiáng)制性警力的政府官員經(jīng)常使用所謂的“臨床預(yù)測(cè)”來(lái)作出決定。②See Paul E.Meehl,Clinical Versus Statistical Prediction: A Theoretical Analysis and A Review of the Evidence,University of Minnesota Press,1954;Theodore R.Sarbin,“A Contribution to the Study of Actuarial and Individual Methods of Prediction”,48 Am.J.Soc.593 (1943).從培訓(xùn)、實(shí)習(xí)和體驗(yàn)來(lái)看，這些官員培養(yǎng)了識(shí)別人們的行為方式以及行政決策可能產(chǎn)生后果方面的知識(shí)。老練的個(gè)案工作者可以了解孩子是否可能在家中受到虐待。法官預(yù)測(cè)囚犯被假釋后是否會(huì)犯下其他罪行。公立大學(xué)招生職員可以大致預(yù)測(cè)何種獎(jiǎng)學(xué)金提供方式會(huì)促使已被錄取的學(xué)生報(bào)名注冊(cè)。臨床預(yù)測(cè)或臨床判斷不能完全正式化或被明確表達(dá)，因?yàn)樗腔趯€(gè)人積累的智慧應(yīng)用于特定情形，并通過(guò)對(duì)相關(guān)情況的開(kāi)放式調(diào)查而被告知。

臨床預(yù)測(cè)與精算預(yù)測(cè)相反，后者也被稱為機(jī)械、統(tǒng)計(jì)或算法預(yù)測(cè)或判斷。③See William M.Grove et al.,“Clinical Versus Mechanical Prediction: A Meta-Analysis”,12 Psychol.Assessment 19 (2000);Jack Sawyer,“Measurement and Prediction,Clinical and Statistical”,66 Psychol.Bull.178 (1966).精算方法分析關(guān)于對(duì)象的數(shù)據(jù)，從而發(fā)現(xiàn)特點(diǎn)或特征與結(jié)果之間的相關(guān)性，但它絕對(duì)不是開(kāi)放式的。④關(guān)于臨床判斷與個(gè)案主義以及精算判斷與歸納之間的相關(guān)性，參見(jiàn) Frederick Schauer, Profiles, Probabilities, and Stereotypes,Harvard University Press,2003,pp.19-22。例如，對(duì)假釋者數(shù)據(jù)的分析可以假設(shè)性地顯示，年齡在20 歲到30 歲之間的人在假釋期間被逮捕的次數(shù)是50 歲到60歲之間的兩倍。與臨床預(yù)測(cè)不同，數(shù)據(jù)定義、分析方法和精算預(yù)測(cè)的相關(guān)性可以被正式化和明確表達(dá)。然而，由此產(chǎn)生的預(yù)測(cè)或判斷從來(lái)不會(huì)基于特定情景的所有情況，因?yàn)榫惴治隹偸峭ㄟ^(guò)有限領(lǐng)域的數(shù)據(jù)而運(yùn)行。例如，雖然可以考慮刑事被告的年齡、性別和犯罪歷史，但他的家庭關(guān)系和社區(qū)關(guān)聯(lián)的品質(zhì)可能并不會(huì)被考慮。

精算判斷已經(jīng)存在很長(zhǎng)時(shí)間了。1762 年，第一家基于精算表保險(xiǎn)單銷售的人壽保險(xiǎn)公司在倫敦成立。①See Maurice Edward Ogborn,Equitable Assurances: The Story of Life Assurance in the Experience of the Equitable Life Assurance Society 1762-1962,Routledge,2006,p.39.90 年前，即1928 年，歐內(nèi)斯特·伯吉斯（Ernest Burgess）根據(jù)對(duì)21 個(gè)因素的統(tǒng)計(jì)分析創(chuàng)建了一個(gè)預(yù)測(cè)假釋者再犯的公式②參見(jiàn) Ernest W.Burgess,“Factors Determining Success or Failure on Parole”,in Andrew A.Bruce et al., The Workings of the Indeterminate Sentence Law and the Parole System in Illinois,Springfield,1928,p.205；Bernard E.Harcourt,Against Prediction: Profiling, Policing and Punishing in an Actuarial Age,University of Chicago Press,2007,pp.47-76（討論伯吉斯的工作及其意義）；Karl F.Schuessler,“Parole Prediction: Its History and Status”,45 J.Crim.L.&Criminology 425 (1955)（討論與假釋決策相關(guān)的統(tǒng)計(jì)預(yù)測(cè)的歷史，包括伯吉斯的工作）。——后來(lái)的評(píng)論確定該公式比監(jiān)獄精神科醫(yī)生的臨床預(yù)測(cè)更加準(zhǔn)確。③See Daniel Glaser,“A Reconsideration of Some Parole Prediction Factors”,19 Am.Soc.Rev.335 (1954).60 多年前，精算預(yù)測(cè)的運(yùn)用已經(jīng)足夠廣泛，以至于保羅·彌爾（Paul Meehl）出版了一本有名的對(duì)比臨床和統(tǒng)計(jì)預(yù)測(cè)的著作。④See Paul E.Meehl,Clinical Versus Statistical Prediction: A Theoretical Analysis and a Review of the Evidence,University of Minnesota Press,1954.當(dāng)然，政府長(zhǎng)期以來(lái)一直在應(yīng)用更正式的統(tǒng)計(jì)方法及非正式的臨床判斷，至少通過(guò)零散的形式來(lái)考慮某些事項(xiàng)，例如，某些安全提升可能會(huì)減少交通死亡的程度，或未來(lái)某個(gè)時(shí)期社區(qū)對(duì)電力需求的可能變化。然而，精算判斷在政府（以及商業(yè)）中的應(yīng)用最近獲得了巨大的動(dòng)力，這要?dú)w功于為了分析而積累的大型數(shù)據(jù)集以及計(jì)算能力和機(jī)器學(xué)習(xí)理論的進(jìn)步，這些理論可以對(duì)這些數(shù)據(jù)集進(jìn)行更為復(fù)雜的分析。

2.預(yù)測(cè)算法和機(jī)器學(xué)習(xí)

在大數(shù)據(jù)時(shí)代，精算判斷通過(guò)創(chuàng)建和使用預(yù)測(cè)算法得以實(shí)施。通過(guò)分析大型數(shù)據(jù)集來(lái)構(gòu)建預(yù)測(cè)算法，以揭示各種（人、環(huán)境或活動(dòng)的）特點(diǎn)與期望或目標(biāo)與結(jié)果之間的相關(guān)性。⑤參見(jiàn) Exec.Office of the President,“Big Data: A Report on Algorithmic Systems,Opportunity,and Civil Rights”,p.8 (May 2016)（將機(jī)器學(xué)習(xí)描述成為“讓計(jì)算機(jī)無(wú)須明確程序化而行為的學(xué)科”）(quoting Andrew Ng,Coursera Machine Learning Course,STAN.U.2016)。通常，該分析是在機(jī)器學(xué)習(xí)程序的幫助下進(jìn)行的，在該程序中，計(jì)算機(jī)可以測(cè)試數(shù)千或百萬(wàn)的復(fù)雜相關(guān)性，以查驗(yàn)?zāi)姆N情況最適合數(shù)據(jù)。機(jī)器學(xué)習(xí)過(guò)程的強(qiáng)大在于——它們梳理了大量的可能性——并且相對(duì)客觀——計(jì)算機(jī)不知道某個(gè)特定變量是否代表一個(gè)人可能認(rèn)為不相關(guān)的特點(diǎn)，比如鞋子的尺碼，或者像種族這樣的敏感事物，而僅僅測(cè)試該變量與表示結(jié)果的變量之間的任何相關(guān)性的強(qiáng)度。當(dāng)給定相關(guān)事實(shí)（輸入）時(shí)，具有最佳匹配的相關(guān)集將成為評(píng)估未來(lái)行為或事件（輸出）可能性的模型。⑥Robin K.Hill,“What an Algorithm Is”,29 Phil.&Tech.35 (2015).因此，算法過(guò)程通常涉及：（1）基于對(duì)收集的歷史數(shù)據(jù)的分析，構(gòu)建模型以實(shí)現(xiàn)一些目標(biāo)；（2）對(duì)實(shí)施該模型的算法進(jìn)行編碼；（3）收集有關(guān)對(duì)象的數(shù)據(jù)，為算法提供輸入；（4）對(duì)輸入數(shù)據(jù)應(yīng)用規(guī)定的算法運(yùn)算；（5）基于數(shù)據(jù)分析鏈以預(yù)測(cè)或建議的形式進(jìn)行產(chǎn)出。⑦See Tal Zarsky,“Transparent Predictions”,2013 U.Ill.L.Rev.1503,1517-20;Joshua A.Kroll et al.,“Accountable Algorithms”,165 U.Pa.L.Rev.633,640 n.14 (2017).

3.算法治理和智能城市

大數(shù)據(jù)使用和預(yù)測(cè)算法是一種治理形式——即當(dāng)局管理個(gè)人行為和分配資源的一種方式。⑧參見(jiàn) Marijn Janssen & George Kuk,“The Challenges and Limits of Big Data Algorithms in Technocratic Governance”,33 Gov’T Info.Q.371(2016)（討論算法和大數(shù)據(jù)如何成為治理形式，通常不受詢問(wèn)和解釋的影響）。在地方一級(jí)實(shí)施算法是更廣泛的數(shù)據(jù)驅(qū)動(dòng)決策運(yùn)動(dòng)的一部分，其必須在“智能城市”議程的背景下進(jìn)行理解。在21 世紀(jì)，市和縣日漸轉(zhuǎn)向“數(shù)字硬件和軟件，以產(chǎn)生關(guān)于城區(qū)處理的超大量數(shù)據(jù)”①Alan Wiig & Elvin Wyly,“Introduction: Thinking Through the Politics of the Smart City”,37 Urb.Geography 485,488 (2016);see also Rob Kitchin,“The Real-Time City? Big Data and Smart Urbanism”,79 GeoJournal 1 (2014).。首先，將數(shù)字技術(shù)整合入治理涉及基本的電子政務(wù)計(jì)劃和數(shù)字化的政府資源。②參見(jiàn) Stephen Goldsmith & Susan Crawford,The Responsive City: Engaging Communities Through Data-Smart Governance,Jossey-Bass,2014（追蹤數(shù)字技術(shù)整合進(jìn)入治理的階段）。在過(guò)去的5 年中，地方政府已經(jīng)部署了更廣泛分析并開(kāi)始開(kāi)發(fā)傳感器網(wǎng)絡(luò)、無(wú)處不在的通信和計(jì)算。③See generally Anthony M.Townsend,Smart Cities: Big Data, Civic Hackers, and the Quest for a New Utopia,W.W.Norton & Company,Inc.,2013.所有這些工作——數(shù)據(jù)的收集、分析和使用——需要大多數(shù)政府所缺乏的技術(shù)性專有技術(shù)和基礎(chǔ)設(shè)施。當(dāng)城市轉(zhuǎn)向基于數(shù)據(jù)的治理時(shí)，其被要求以更少的資源處理更多的事務(wù)。私營(yíng)科技公司提供城市管理者難以評(píng)估的“解決方案”。

地方政府依靠公私合作（Public-Private Partnerships）開(kāi)發(fā)“智能”城區(qū)系統(tǒng)所必需的分析。④參見(jiàn) Alberto Vanolo,“Smartmentality: The Smart City as Disciplinary Strategy”,51 Urb.Stud.883 (2013)（描述智能城市愿景和實(shí)施的公私合作核心）。有爭(zhēng)議的是，私人實(shí)體一直處于整個(gè)智能城市運(yùn)動(dòng)的前沿。⑤參見(jiàn) Janine S.Hiller & Jordan M.Blanke,“Smart Cities,Big Data,and the Resilience of Privacy”,68 Hastings L.J.309 (2017)（描述智能城市的公司化塑造）。的確，IBM 將“智能城市”這一詞組注冊(cè)為商標(biāo)，該商標(biāo)作為其技術(shù)驅(qū)動(dòng)城區(qū)管理市場(chǎng)化運(yùn)動(dòng)的一部分。⑥參 見(jiàn) SMARTER CITIES,Registration No.4,033,245；Ola S?derstr?m et al.,“Smart Cities as Corporate Storytelling”,18 CITY 307 (2014)；Alan Wiig,“IBM's Smart City as Techno-Utopian Policy Mobility”,19 CITY 158 (2015)（探索烏托邦修辭學(xué)和早期 IBM 智能城市計(jì)劃的過(guò)度承諾）；Alan Wiig,“The Empty Rhetoric of the Smart City: From Digital Inclusion to Economic Promotion in Philadelphia”,37 Urb.Geography 535,540 (2016)（解釋“IBM 智能城市挑戰(zhàn)”用公司顧問(wèn)和技術(shù)專家作為城市伙伴，“這些顧問(wèn)和技術(shù)專家將幫助自治區(qū)當(dāng)局分析和優(yōu)化它們的需求，復(fù)查力量和不足，從別的城市運(yùn)用的成功戰(zhàn)略中進(jìn)行學(xué)習(xí)”）。思科（Cisco）也一直活躍。⑦Gordon Falconer & Shane Mitchell,Smart City Framework: A Systematic Process of Enabling Smart + Connected Communities,CISCO (2012),http://www.cisco.com/c/dam/en_us/about/ac79/docs/ps/motm/Smart-City-Framework.pdf.（擁有谷歌的）Alphabet，其子公司人行道實(shí)驗(yàn)室（Sidewalk Labs）正在重建多倫多海濱。⑧“Innovation and Funding Partner Framework Agreement: Summary of Key Terms for Public Disclosure”,SIDEWALK TORONTO (Nov.1,2017),http://sidewalktoronto.ca/wp-content/uploads/2017/10/Waterfront-Toronto-Agreement-Summary.pdf.這個(gè)智能海濱區(qū)的治理將在人行道實(shí)驗(yàn)室、政府機(jī)構(gòu)和多倫多海濱之間均等劃分。⑨Id.

（二）承諾和危險(xiǎn)

智能城市對(duì)私營(yíng)技術(shù)公司的依賴，以及更一般性地通過(guò)算法過(guò)程部署政府的精算判斷，有好有壞。從好的方面來(lái)說(shuō)，通過(guò)算法告知決策可以提高政府服務(wù)提供中承諾的效率和公平。正如醫(yī)學(xué)中已經(jīng)證明的那樣，精算預(yù)測(cè)有時(shí)明顯優(yōu)于臨床預(yù)測(cè)：數(shù)據(jù)集的形式化分析比多年來(lái)在實(shí)踐中體驗(yàn)的非正式職業(yè)預(yù)感（Hunches）能更好地評(píng)估風(fēng)險(xiǎn)。⑩See William M.Grove et al.,“Clinical Versus Mechanical Prediction: A Meta-Analysis”,12 Psychol.Assessment 19 (2000).數(shù)據(jù)分析可以表現(xiàn)出之前沒(méi)有被關(guān)注或沒(méi)有精確量化的模式。例如，對(duì)Yelp 餐廳評(píng)論進(jìn)行系統(tǒng)跟蹤，可以向城市衛(wèi)生檢查員通報(bào)其轄區(qū)內(nèi)餐館出現(xiàn)的食源性疾病。?See Edward L.Glaeser et al.,“Big Data and Big Cities: The Promises and Limitations of Improved Measures of Urban Life” (Harv.Bus.Sch.NOM Unit,Working Paper No.16-065,2015),http://dash.harvard.edu/bitstream/handle/1/24009688/16-065.pdf?sequence=1.整合孤立的管理域（如教育和人道服務(wù)）中的數(shù)據(jù)，然后使用該數(shù)據(jù)對(duì)需要政府幫助的家庭進(jìn)行優(yōu)先排序，可以提高所提供的社會(huì)服務(wù)。①參見(jiàn) Erika M.Kitzmiller,“IDS Case Study: Allegheny County”,ACTIONABLE INTELLIGENCE FOR SOC.POL’Y (May 2014)（分析賓夕法尼亞州阿勒格尼縣使用分析提升人類服務(wù)機(jī)構(gòu)的反應(yīng)性）。

通過(guò)算法告知決策還可以幫助政府官員避免其明顯或隱含的偏見(jiàn)，這些偏見(jiàn)可能會(huì)蔓延到不那么正式的、以“預(yù)感”為基礎(chǔ)的決策中。②See Daniel Castro,“Data Detractors Are Wrong: The Rise of Algorithms is a Cause for Hope and Optimism”,CTR.FOR DATA INNOVATION(2016),http://www.datainnovation.org/2016/10/data-detractors-are-wrong-the-rise-of-algorithms-is-a-cause-for-hope-and-optimism/.例如，僅僅會(huì)見(jiàn)囚犯即作出假釋決定的假釋委員會(huì)成員可能過(guò)分關(guān)注罪行的嚴(yán)重程度、囚犯的悔罪表現(xiàn)或文化或種族歸納。相比之下，數(shù)據(jù)分析的系統(tǒng)運(yùn)用可以識(shí)別與再犯具有顯著相關(guān)性的特征，并單獨(dú)或組合以評(píng)估這些相關(guān)性的強(qiáng)度，然后將這些相關(guān)性編碼成一種算法，用來(lái)在輸入關(guān)于囚犯信息時(shí)評(píng)估再犯的風(fēng)險(xiǎn)。③有關(guān)阿諾德基金會(huì)的PSA-Court 算法，就我們提交的公開(kāi)記錄請(qǐng)求而言，參見(jiàn)下文“三、（二）1.公共安全評(píng)估—審理前釋放”部分。構(gòu)建算法時(shí)，政府官員可以從考量中明確地排除種族、民族或宗教等敏感屬性，以及作為這些敏感屬性代替物的數(shù)據(jù)類別，假如他們認(rèn)為對(duì)這些屬性的考量不公平的話。與此同時(shí)，預(yù)測(cè)算法不太可靠且會(huì)構(gòu)成特殊風(fēng)險(xiǎn)，尤其在私人合作者實(shí)質(zhì)控制的情況下。如果不適當(dāng)?shù)乇婚_(kāi)發(fā)或?qū)嵤?，預(yù)測(cè)算法可能會(huì)比政府官員臨床判斷的準(zhǔn)確性更差，它們會(huì)拘泥于形式，并對(duì)被嵌入作為訓(xùn)練自己的數(shù)據(jù)中的偏見(jiàn)進(jìn)行掩蓋。此外，正如我們將在下面討論的那樣，算法可能會(huì)制定與選民或被選舉代表的偏好不同的政策判斷。

私人供應(yīng)商參與算法設(shè)計(jì)會(huì)導(dǎo)致其他一系列危險(xiǎn)，包括不透明、公共權(quán)力被剝奪和問(wèn)責(zé)制的丟失。已經(jīng)將預(yù)測(cè)算法開(kāi)發(fā)工作讓給私人供應(yīng)商的公共官員可能不參與，并且可能不知道被納入這些算法的政策決策。使用預(yù)測(cè)算法輸出以得知決策的公共雇員可能不理解算法的設(shè)計(jì)和局限性，可能無(wú)法確定它是否考慮了他們認(rèn)為相關(guān)的事實(shí)。即使他們能夠查詢算法，也可能會(huì)被供應(yīng)商起草的合同叫停，這些合同由供應(yīng)商控制或擁有數(shù)據(jù)和分析。④參見(jiàn)Memorandum of Understanding Between the Laura and John Arnold Foundation and the Superior Court of California,County of San Francisco 3(Aug.4,2015),http://www.muckrock.com/foi/san-francisco-city-and-county-3061/san-francisco-public-safety-assessment-court-30096/#file-113830 ;see also Julia Angwin et al.,“Machine Bias”,May 23,2016,PROPUBLICA,http://www.propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing (描述 COMPAS 合同)。

通過(guò)算法治理使私人參與公共行政引發(fā)了某種擔(dān)憂，即數(shù)據(jù)將被用來(lái)傷害公民并削弱公共權(quán)力。“警務(wù)、監(jiān)視、群體控制、緊急響應(yīng)，在歷史上均系國(guó)家職能，公民期望其中所涉及的非常敏感的數(shù)據(jù)由國(guó)家持有。然而，可能的情況是，在一個(gè)……（建立在公私合作基礎(chǔ)上的）城市，其數(shù)據(jù)被發(fā)現(xiàn)……在私人控制下?！雹軱ilian Edwards,“Privacy,Security and Data Protection in Smart Cities: A Critical EU Law Perspective”,2 Eur.Data Protection L.Rev.28,33(2016).據(jù)巴塞羅那的數(shù)字化負(fù)責(zé)人，一個(gè)智能城市技術(shù)的引領(lǐng)者所說(shuō)，城市“最終會(huì)成為一個(gè)黑箱操作系統(tǒng)，城市自身會(huì)失去對(duì)關(guān)鍵信息和數(shù)據(jù)的控制權(quán)，這些信息和數(shù)據(jù)本可以用來(lái)進(jìn)行更好的決策”。⑥D(zhuǎn)avid Meyer,“How One European Smart City is Giving Back Power to its Citizens”,July 10,2017,ALPHR,http://www.alphr.com/technology/1006261/how-one-european-smart-city-is-giving-power-back-to-its-citizens（引用Francesca Bria,巴塞羅那的數(shù)字化負(fù)責(zé)人）。另一個(gè)問(wèn)題是“經(jīng)濟(jì)模型正在產(chǎn)生對(duì)很少一些提供者的依賴”。Id.將城市服務(wù)鎖定在特定的私人供應(yīng)商會(huì)“擴(kuò)展至整個(gè)城市城區(qū)基礎(chǔ)設(shè)施。我們談?wù)摻煌?、處理廢物管理，甚至水、資源、分配綠色基礎(chǔ)設(shè)施。它是公共行政的一個(gè)大問(wèn)題，失去了基礎(chǔ)設(shè)施管理的控制”。 Id.風(fēng)險(xiǎn)在于控制數(shù)據(jù)和分析公司占據(jù)了城區(qū)治理的指揮中心，而無(wú)法控制數(shù)據(jù)的民主問(wèn)責(zé)官員則被邊緣化。①參見(jiàn)Christine Richter & Linnet Taylor,“Big Data and Urban Governance”,in Joyeeta Gupta et al.eds.,Geographies of Urban Governance,Springer,2015,pp.175,180（“公司對(duì)智能城市環(huán)境不斷增長(zhǎng)的潛在影響將公司放在了民主城區(qū)進(jìn)程的中心位置”）；Rob Kitchin,“Thinking Critically about and Researching Algorithms”,20 Info.Comm.&Soc’ Y 14 (2016)。

一個(gè)相關(guān)的問(wèn)題是，通過(guò)這些合作，私人供應(yīng)商會(huì)將政府鎖定在專有系統(tǒng)中。一些聰明的城市評(píng)論員警告，“智能”項(xiàng)目只是銷售由供應(yīng)商擁有和管理的市政綜合數(shù)據(jù)管理系統(tǒng)的工具。②參見(jiàn) Adam Greenfield,Against the Smart City,Do Projects,2013；Donald McNeill,“Global Firms and Smart Technologies: IBM and the Reduction of Cities”,40 Transactions Inst.Brit.Geographers 562 (2015)；Alan Wiig,“IBM’s Smart City as Techno-Utopian Policy Mobility”,19 CITY 158,535 (2015)（“作為數(shù)據(jù)驅(qū)動(dòng)邏輯城區(qū)的智能城市行為在城市及其居民的普遍利益被提議的地方發(fā)生變化，掩蓋這些政策的效用以促進(jìn)企業(yè)經(jīng)濟(jì)發(fā)展戰(zhàn)略”）。服務(wù)合同使得政府依賴技術(shù)提供商進(jìn)行升級(jí)和持續(xù)開(kāi)發(fā)，將政府鎖定在專有技術(shù)中，而它們卻無(wú)法控制成本和創(chuàng)新步伐。鎖定可能會(huì)將技術(shù)系統(tǒng)延伸至它們所嵌入的物理基礎(chǔ)設(shè)施。例如，Alphabet 子公司人行道實(shí)驗(yàn)室與多倫多海濱合作，計(jì)劃“整體”建造一個(gè)800 英畝的迷你城市，作為“一個(gè)由數(shù)字技術(shù)和數(shù)據(jù)增強(qiáng)的地方”。③Darrell Etherington,“Alphabet’s Sidewalk Labs to Turn Toronto into a Model Smart City”,Oct.17,2017,TechCrunch,http://techcrunch.com/2017/10/17/alphabets-sidewalk-labs-to-turn-toronto-area-into-a-model-smart-city/.人行道實(shí)驗(yàn)室很可能會(huì)收集數(shù)據(jù)并利用城市數(shù)據(jù)對(duì)預(yù)期的海濱活動(dòng)進(jìn)行算法預(yù)測(cè)。④參見(jiàn) Laura Bliss,“When a Tech Giant Plays Waterfront Developer”,Jan.9,2018,CITYLAB,http://www.citylab.com/design/2018/01/when-a-techgiant-plays-waterfront-developer/549590/（提議一個(gè)“數(shù)字層”，其將連接并處理物質(zhì)基礎(chǔ)設(shè)施以及基礎(chǔ)設(shè)施、智能服務(wù)和人之間的互動(dòng)）；SIDEWALK LABS,Project Vision (Oct.17,2017),http://sidewalktoronto.ca/wp-content/uploads/2017/10/Sidewalk-Labs-Vision-Sections-of-RFPSubmission.pdf。尚不清楚公眾對(duì)數(shù)據(jù)或相關(guān)分析的所有權(quán)或訪問(wèn)權(quán)限，物質(zhì)性基礎(chǔ)設(shè)施將如何管理，或公共實(shí)體是否能夠如它們所希望的那樣，結(jié)束與私營(yíng)公司的關(guān)系后控制信息和物質(zhì)性資產(chǎn)。

二、界定有意義的透明度：公眾需要知道什么

隨著人工智能和算法預(yù)測(cè)迅速滲透到地方治理中，公眾最想知道算法所反映的政策判斷以及在實(shí)現(xiàn)為其設(shè)定的目標(biāo)方面的表現(xiàn)。本部分根據(jù)算法的運(yùn)作方式確定有意義透明度的組成部分。第五部分通過(guò)我們推薦用于公共預(yù)測(cè)算法的具體披露做法，實(shí)現(xiàn)了有意義的透明度。

（一）什么是算法政務(wù)？

算法治理具有政治性。在所有階段，判斷都被編碼在算法過(guò)程中⑤參見(jiàn)Brent D.Mittelstadt et al.,“The Ethics of Algorithms: Mapping the Debate”,July-Dec.2016 Big Data & Soc’ Y 1,1（“為了追求想要的結(jié)果，即一些價(jià)值和利益優(yōu)于另一些價(jià)值和利益，操作因素被開(kāi)發(fā)人員具體化并被用戶設(shè)定”）。，這些判斷在某種程度上是公眾應(yīng)該知道和可以談?wù)摰?。然而，僅僅作為科學(xué)真理手段的算法可以掩蓋嵌入底層模型的價(jià)值。⑥參見(jiàn) Rob Kitchin,“Reframing,Reimagining and Remaking Smart Cities: The Programmable City”,Open Sci.Framework,Working Paper No20,p.4(2016)（總結(jié)對(duì)智能城市的評(píng)論）。此外，當(dāng)私人供應(yīng)商控制算法治理時(shí)，算法政務(wù)后退至私人“樹(shù)籬”之后。算法是一門遠(yuǎn)離政治的科學(xué)，這種想法可以掩蓋其私人控制的利害關(guān)系，而在學(xué)校和監(jiān)獄等其他私有化領(lǐng)域，這種利害關(guān)系更為明顯。

正如哈里·色登（Harry Surden）指出的那樣，預(yù)測(cè)算法推薦“實(shí)際上掩蓋了由系統(tǒng)設(shè)計(jì)者所作出的關(guān)于使用、包含或排除哪些數(shù)據(jù)，如何對(duì)數(shù)據(jù)進(jìn)行加權(quán)以及強(qiáng)調(diào)或不應(yīng)強(qiáng)調(diào)哪些信息的一系列的主觀判斷”。①Harry Surden,“Values Embedded in Legal Artificial Intelligence”,Univ.Colo.Law Legal Studies,Research Paper No.17-17,p.5 (Oct.18,2017),http://ssrn.com/abstract=2932333.在實(shí)施任何政策目標(biāo)時(shí)都會(huì)存在權(quán)衡取舍。例如，即使在實(shí)施減少交通等待時(shí)間這樣無(wú)爭(zhēng)議的目標(biāo)時(shí)，政策制定者也必須考慮在交通流量服務(wù)中被允許的行人安全風(fēng)險(xiǎn)，以及考慮如何減少尾氣排放的因素。減少等待時(shí)間的一般指令并未規(guī)定這些權(quán)衡應(yīng)該是什么。實(shí)際上，政策制定者甚至可能沒(méi)有作出某些選擇，但只有在工程師設(shè)計(jì)算法并決定解決權(quán)衡時(shí)選擇才會(huì)顯現(xiàn)。

不斷增長(zhǎng)的文獻(xiàn)確定了算法的社會(huì)、政治和道德維度。②參 見(jiàn) Nicholas Diakopoulos,“Algorithmic Accountability: Journalistic Investigation of Computational Power Structures”,3 Digital Journalism 398,400 (2015)（討論植入數(shù)據(jù)優(yōu)先次序、分類、聯(lián)合和過(guò)濾的價(jià)值選擇）;Exec.Office of the President Nat’ L Sci.&Tech.Council Comm.On Tech.,Preparing for the Future of Artificial Intelligence,2016,http://obamawhitehouse.archives.gov/sites/default/ files/whitehouse_files/microsites/ostp/NSTC/preparing_for_the_future_of_ai.pdf ;Bryce Good-man & Seth Flaxman,“EU Regulations on Algorithmic Decision-Making and a ‘Right to Explanation’ ”,ARXIV (2016),http://arxiv.org/pdf/1606.08813.pdf ;Felicitas Kraemer et al.,“Is There an Ethics of Algorithms?”,13 Ethics & Info.Tech.251 (2011)。我們?cè)诘谌糠种薪鉀Q了特定的語(yǔ)境化問(wèn)題。就目前而言，通過(guò)舉例說(shuō)明算法政務(wù)的一個(gè)特別重要的表現(xiàn)形式就足夠了：分類算法如何處理假陽(yáng)性（False Positives）和假陰性（False Negatives）。來(lái)看一種算法，其將火車站中的物體分為可疑或不可疑，程序員必須在錯(cuò)誤警報(bào)風(fēng)險(xiǎn)和錯(cuò)過(guò)危險(xiǎn)物體的風(fēng)險(xiǎn)之間取得平衡。在統(tǒng)計(jì)學(xué)中，假陽(yáng)性通常被稱為“類型I 錯(cuò)誤”，假陰性被稱為“類型II 錯(cuò)誤”。程序員必須“調(diào)整”算法以支持一種錯(cuò)誤而不是另一種，或者將它們同等看待。③參 見(jiàn) Daniel Neyland & Norma Mollers,“Algorithmic IF…THEN Rules and the Conditions and Consequences of Power”,20 Info.Comm.&Soc’ Y 45 (2016)（討論進(jìn)行這種分類的算法）。尼克·蒂亞克普洛斯（Nick Diakopoulos）觀察到算法調(diào)整“可以在決策中為不同的利益相關(guān)者提供特許，這意味著算法設(shè)計(jì)師根據(jù)假陽(yáng)性和假陰性錯(cuò)誤被平衡的方式對(duì)這種算法進(jìn)行基本的價(jià)值判斷”。④參 見(jiàn) Nicholas Diakopoulos,“Algorithmic Accountability: Journalistic Investigation of Computational Power Structures”,3 Digital Journalism 398,401 (2015);Matthias Spielkamp,“Inspecting Algorithms for Bias”,June 12,2017,MIT Technology Review,http://www.technologyreview.com/s/607955/inspecting-algorithms-for-bias/（討論一種量刑算法在關(guān)于真陽(yáng)性 [ 再犯 ] 方面可以公平對(duì)待不同的人群，在關(guān)于假陰性 [ 被預(yù)測(cè)不會(huì)發(fā)生的再犯 ]方面不能公平對(duì)待）。

費(fèi)城成人緩刑和假釋部門的緩刑犯暴力再犯風(fēng)險(xiǎn)預(yù)測(cè)算法是少數(shù)幾個(gè)進(jìn)行了這種調(diào)整的算法之一。該工具預(yù)測(cè)緩刑犯在釋放后2 年內(nèi)犯下暴力犯罪的可能性，并將測(cè)試者分為高、中、低風(fēng)險(xiǎn)三個(gè)層次。該算法是通過(guò)將歷史假陰性視為假陽(yáng)性成本的2.6 倍而構(gòu)建的。⑤See Nancy Ritter,Predicting Recidivism Risk: New Tool in Philadelphia Shows Great Promise,271 Nat’ L Inst.Just.4 (2013),http://www.nij.gov/journals/271/pages/predicting-recidivism.aspx.犯罪學(xué)家和統(tǒng)計(jì)學(xué)家理查德·伯克（Richard Berk）被咨詢?cè)撚?jì)劃時(shí)評(píng)估到，29%到38%的預(yù)測(cè)最終都是錯(cuò)誤的——錯(cuò)誤率被一項(xiàng)政策合理化，即“釋放Darth Vader 比監(jiān)禁Luke Skywalker 危險(xiǎn)得多”⑥Joshua Brustein,“This Guy Trains Computers to Find Future Criminals”,July 18,2016,Bloomberg Law News,http://www.bloomberg.com/features/2016-richard-berk-future-crime/.參見(jiàn) Richard A.Berk,Statistical Learning from a Regression Perspective,Springer,2008,pp.13,139-45（討論在機(jī)器學(xué)習(xí)算法中不同疏漏的得分）。。然而，事實(shí)證明，將緩刑犯過(guò)度分類為高風(fēng)險(xiǎn)是有問(wèn)題的，因?yàn)樗麄優(yōu)榱讼匦逻M(jìn)入而要付出更昂貴的服務(wù)費(fèi)用。這個(gè)城市回頭找到伯克，并要求他重新校準(zhǔn)算法，以減少高風(fēng)險(xiǎn)類別的規(guī)模。根據(jù)另一個(gè)項(xiàng)目參與者的說(shuō)法，該模型被故意制作得不太準(zhǔn)確，“以確保它在運(yùn)行時(shí)產(chǎn)生正確的錯(cuò)誤”。⑦Id.

一種類型的錯(cuò)誤優(yōu)先于另一種錯(cuò)誤的選擇是數(shù)十個(gè)或數(shù)百個(gè)決策中的一個(gè)，這些決策將告知預(yù)測(cè)算法架構(gòu)。 其中一些是微不足道的，另外一些則具有后續(xù)效果。有些會(huì)實(shí)施公開(kāi)聲明的政策目標(biāo)，而其他則留待沒(méi)有政策方向的程序員決定?？ɡ铩た聘窭锇矁?nèi)斯（Cary Coglianese）和大衛(wèi)·萊爾（David Lehr）承認(rèn)：“不習(xí)慣通過(guò)任何正式程序進(jìn)行道德評(píng)價(jià)的機(jī)構(gòu)來(lái)說(shuō)，機(jī)器學(xué)習(xí)算法將有必要解決組織和民主決策的問(wèn)題，更不用說(shuō)為它們分配數(shù)字了?！雹貱ary Coglianese & David Lehr,“Regulating by Robot: Administrative Decision Making in the Machine-Learning Era”,105 Geo.L.J.1147,1218 (2017).

（二）算法在執(zhí)行嗎？

無(wú)論由算法編碼的隱藏政策選擇什么，政府都可能為預(yù)測(cè)算法設(shè)定一個(gè)高級(jí)別明確政策目標(biāo)——無(wú)論是減少交通等待時(shí)間還是假釋者再犯的最小化。公眾應(yīng)該能夠評(píng)估實(shí)現(xiàn)既定目標(biāo)的算法性能。 這是一個(gè)相對(duì)簡(jiǎn)單的效用問(wèn)題，通過(guò)與預(yù)期結(jié)果數(shù)據(jù)匹配的統(tǒng)計(jì)性能來(lái)評(píng)估。

當(dāng)然，即使在這里，也有各種各樣的性能衡量標(biāo)準(zhǔn)，重要的是了解每項(xiàng)衡量標(biāo)準(zhǔn)代表了什么。例如，被用于預(yù)測(cè)算法的一種流行衡量標(biāo)準(zhǔn)是接收器操作特性（ROC）曲線下的面積。在0.5 和1 之間的單個(gè)數(shù)字中，它提供了一種評(píng)估，在同時(shí)避免假陽(yáng)性和假陰性的案例中，算法為何比隨機(jī)分配更好。然而，它有一些局限性——它只能在算法的輸出是一個(gè)得分時(shí)應(yīng)用，該得分將目標(biāo)從最少到最可能與某些結(jié)果相關(guān)聯(lián)進(jìn)行排列——并且它僅提供關(guān)于算法相對(duì)成功的一個(gè)視角。其他衡量標(biāo)準(zhǔn)可能側(cè)重于性能的其他方面。例如，“擬合優(yōu)度（Goodness of Fit）”測(cè)試會(huì)顯示，雖然模型在預(yù)測(cè)結(jié)果風(fēng)險(xiǎn)方面總體上相當(dāng)不錯(cuò)，但是目標(biāo)屬于風(fēng)險(xiǎn)最高的10%的預(yù)測(cè)，其準(zhǔn)確性明顯低于目標(biāo)屬于風(fēng)險(xiǎn)最低的10%的預(yù)測(cè)。②See Alberto Maydeu-Olivares & C.Garcia-Forero,“Goodness-of-Fit Testing”,in Penelope Peterson et al.eds.,International Encyclopedia of Education,p.190 (3d ed.2010).換句話說(shuō)，當(dāng)更多情況出現(xiàn)時(shí)，有許多方法可以衡量準(zhǔn)確性。③See Dean Abbott,Applied Predictive Analytics: Principles and Techniques for the Professional Data Analyst,John Wiley & Sons,2014,pp.283-304;Ewout W.Steyerberg et al.,“Assessing the Performance of Prediction Models: A Framework for Some Traditional and Novel Measures”,21 EPIDEMIOLOGY 128 (2010);Mauno Vihinen,“How to Evaluate Performance of Prediction Methods? Measures and Their Interpretation in Variation Effect Analysis”,13 BMC GENOMICS S2 (2012),http://doi.org/10.1186/1471-2164-13-S4-S2;Scott Fortmann-Roe,Accurately Measuring Model Prediction Error (May 2012),http://scott.fortmann-roe.com/docs/MeasuringError.html .在不知道績(jī)效如何被衡量的情況下，人們無(wú)法理解關(guān)于績(jī)效的要求。

算法低效的原因有很多。④參見(jiàn) Exec.Officeof the President,“Big Data: A Report On Algorithmic Systems,Opportunity,and Civil Rights”,p.8 (May 2016)（討論選擇不當(dāng)數(shù)據(jù)，不完全、不正確和過(guò)時(shí)數(shù)據(jù)，選擇偏見(jiàn)，以及無(wú)意識(shí)歷史偏見(jiàn)的持續(xù)和促進(jìn)）。它可能在不良數(shù)據(jù)輸入（垃圾輸入、垃圾輸出）基礎(chǔ)上進(jìn)行培養(yǎng)。⑤參見(jiàn)Garbage In,Garbage Out,WIKIPEDIA,http://en.wikipedia.org/wiki/Garbage_in,_ garbage_out（解釋表達(dá)計(jì)算機(jī)輸出質(zhì)量近乎計(jì)算機(jī)輸入質(zhì)量這個(gè)非正式規(guī)則的計(jì)算機(jī)科學(xué)詞匯）。疏漏也可能由錯(cuò)誤的歸納推理、數(shù)據(jù)選擇和因素加權(quán)而產(chǎn)生。⑥參見(jiàn) Amended Summary Judgment Op.,Hous.Fed’n of Teachers v.Hous.Indep.Sch.Dist.,Civil Action No.H-14-1189,at *13 (S.D.Tex.May 4,2017)（注意到算法得分“會(huì)因?yàn)閺臄?shù)據(jù)輸入錯(cuò)誤到計(jì)算機(jī)代碼小過(guò)失等許多原因而被錯(cuò)誤計(jì)算。算法由人類創(chuàng)建，易于產(chǎn)生像其他人類嘗試的疏漏”）。另一個(gè)更廣泛的算法過(guò)程中的故障點(diǎn)可能處于實(shí)施階段。除非算法預(yù)測(cè)是自我執(zhí)行的，否則人類必須理解預(yù)測(cè)，以便選擇在決策過(guò)程中給予多少權(quán)重。在市政環(huán)境中，政府工作人員通常也負(fù)責(zé)選擇和輸入數(shù)據(jù)。雖然驗(yàn)證研究有助于確保算法達(dá)到預(yù)期目標(biāo)，資金緊張的政府可能不需要在實(shí)施之前或之后進(jìn)行驗(yàn)證研究，或者它們可能無(wú)法正確執(zhí)行。驗(yàn)證研究的結(jié)果以及有關(guān)其設(shè)計(jì)的信息都應(yīng)受到公眾監(jiān)督，以便進(jìn)行恰當(dāng)?shù)脑u(píng)估。

（三）算法公平嗎？

算法在實(shí)現(xiàn)期望結(jié)果方面運(yùn)行良好，但在公平衡量方面表現(xiàn)不佳。公眾在確保預(yù)測(cè)算法正確設(shè)計(jì)和執(zhí)行上抱有強(qiáng)烈的興趣，特別是當(dāng)其對(duì)個(gè)人造成影響時(shí)。相比算法的公平而言，開(kāi)發(fā)商更關(guān)注算法的性能，并且算法的公平根本不在工程師的職責(zé)范圍之內(nèi)。①參見(jiàn) Nick Seaver,“Knowing Algorithms”,p.2 (Feb.2014)（未發(fā)表手稿）,http://nickseaver.net/s/seaverMiT8.pdf（認(rèn)為對(duì)算法開(kāi)發(fā)者而言，算法的政策影響“完全不在考慮范圍之內(nèi)”）；Michael Feldman et al.,“Certifying and Removing Disparate Impact”,in PROC.21st ACM Sigkdd Int’ L Conf. Discovery & Data Mining,2015,p.259（提出算法運(yùn)行中不同影響的檢測(cè)和使數(shù)據(jù)不偏不倚的方法）；Sorelle A.Friedler et al.,“On the (Im)possibility of Fairness” (Sept.23,2016)（未發(fā)表手稿）,http://arxiv.org/pdf/1609.07236.pdf 。

政府使用預(yù)測(cè)算法對(duì)傳統(tǒng)的公平概念提出了內(nèi)在的挑戰(zhàn)。②公平本身有不同的含義，被選擇的含義將影響算法公平的評(píng)估。參見(jiàn) Sorelle A.Friedler et al.,“On the (Im)possibility of Fairness” (Sept.23,2016)（未發(fā)表手稿）,http://arxiv.org/pdf/1609.07236.pdf（建議計(jì)算機(jī)科學(xué)家更明確地說(shuō)明他們?cè)噲D在算法中體現(xiàn)的公平概念）。就其本質(zhì)而言，預(yù)測(cè)模型是簡(jiǎn)化的，并不會(huì)考慮有關(guān)主題所有可能的相關(guān)因素，因此必然將人視為群體的成員，而非個(gè)人。③See Cathy O’ Neil,Weapons of Math Destruction: How Big Data Increases Inequality and Threatens Democracy,Crown,2016,pp.20-23;Mittelstadt et al.,“The Ethics of Algorithms: Mapping the Debate”,July-Dec.2016 Big Data & Soc’ Y 1,p.8.將不相似的個(gè)案視為相似的概括特點(diǎn)是這一過(guò)程所固有的。 對(duì)于敏感性決策，尤其在個(gè)人自由受到威脅的情況下，法官和社會(huì)工作者等決策者應(yīng)該在算法預(yù)測(cè)之上進(jìn)行人為判斷，以便可以捕捉錯(cuò)誤的預(yù)測(cè)。從理論上而言，算法告知僅供參考。從實(shí)踐上而言，決策者過(guò)度依賴這些數(shù)字增加了公平性的風(fēng)險(xiǎn)。④參見(jiàn) John Danaher,“The Threat of Algocracy: Reality,Resistance and Accommodation”,29 Phil.&Tech.245 (2016)（引發(fā)關(guān)于不能明白算法如何工作的人類決策者對(duì)算法輸出遵守的關(guān)注）。

最常被討論的算法公平問(wèn)題是預(yù)測(cè)算法是否會(huì)引入或保持基于種族、性別或其他受保護(hù)特征的不良歧視。⑤See Cathy O’ Neil,Weapons of Math Destruction: How Big Data Increases Inequality and Threatens Democracy,Crown,2016;Solon Barocas&Andrew D.Selbst,“Big Data’s Disparate Impact”,104 Cal.L.Rev.671 (2016);Pauline T.Kim,“Data-Driven Discrimination at Work”,58 Wm.&Mary L.Rev.857 (2017);Andrew D.Selbst,“Disparate Impact in Big Data Policing”,52 Ga.L.Rev.109 (2017).其他形式的歧視受到關(guān)注，比如，算法是否偶然不利于（ 從而抑制）特定的行為。 例如，如果使用會(huì)使兒童受到危害風(fēng)險(xiǎn)增加相關(guān)的精神健康系統(tǒng)，那么算法可能會(huì)將精神健康系統(tǒng)使用作為其風(fēng)險(xiǎn)評(píng)估的一個(gè)因素。精神健康系統(tǒng)的使用可能與受保護(hù)群體的成員資格相關(guān)。但是，一種對(duì)尋求心理健康治療的人進(jìn)行懲罰的算法會(huì)引發(fā)公平關(guān)注，如果那些在心理健康治療方面會(huì)得到幫助的人選擇不追求該治療以避免兒童福利干預(yù)，那么就會(huì)引起更大的福利關(guān)注。

公平和性能有時(shí)是相關(guān)的。⑥參見(jiàn) Tal Z.Zarsky,“Understanding Discrimination in the Scored Society”,89 Wash.L.Rev.1375,1383 (2014)（“在許多情況下，歧視并無(wú)效率，因此不能產(chǎn)生持續(xù)的商業(yè)和社會(huì)實(shí)踐”）。一個(gè)典型的例子是面部識(shí)別算法，該算法是在構(gòu)建它的工程師所熟悉的面孔上進(jìn)行訓(xùn)練的，這些工程師大多是白人。⑦參 見(jiàn) Tess Townsend,“Most Engineers Are White—And So Are the Faces They Use To Train Software”,Jan.18,2017,RECODE,http://www.recode.net/2017/1/18/14304964/data-facial-recognition-trouble-recognizing-black-white-faces-diversity.參見(jiàn) Clare Garvie & Jonathan Frankle,“Facial-Recognition Software Might Have a Racial Bias Problem”,Apr.7 2016,ATLANTIC,http://www.theatlantic.com/technology/archive/2016/04/the-underlyingbias-of-facial-recognition-systems/476991/（描述面部識(shí)別算法的種族偏見(jiàn)）。因此，程序更有可能無(wú)法識(shí)別或錯(cuò)誤識(shí)別黑皮膚的人臉，這可能會(huì)使無(wú)辜的黑皮膚的人更容易被誤認(rèn)為是犯罪嫌疑人。⑧See Clare Garvie & Jonathan Frankle,“Facial-Recognition Software Might Have a Racial Bias Problem”,Apr.7 2016,ATLANTIC,http://www.theatlantic.com/technology/archive/2016/04/the-underlying-bias-of-facial-recognition-systems/476991/.使用所有膚色的人臉重新訓(xùn)練算法會(huì)使整體表現(xiàn)更好，同時(shí)減少淺膚色和深膚色的人臉之間在精確度上的差異。讓算法更公平實(shí)際上會(huì)增加其效用時(shí)，我們可以預(yù)期對(duì)性能的嚴(yán)格分析也將導(dǎo)致更大的公平。

但在某些情況下，公平與效能之間要有所權(quán)衡。如果觀察到的相關(guān)性與數(shù)據(jù)中的其他相關(guān)性不是簡(jiǎn)單的重復(fù)，那么加入個(gè)人的群體成員身份可能會(huì)提高算法的實(shí)用性。通過(guò)對(duì)比某些郵政編碼內(nèi)被定罪的重罪犯和更高再犯率可以發(fā)現(xiàn)一些數(shù)據(jù)分析的相關(guān)性。①參見(jiàn)Julia Angwin et al.,“Machine Bias”,May 23,2016,PROPUBLICA,http://www.propublica.org/article/machine-bias-risk-assessments-in-criminalsentencing.But see William Dieterich et al.,“COMPAS Risk Scales: Demonstrating Accuracy Equity and Predictive Parity”,July 8,2016,NORTHPOINTE INC.RES.DEP’ T,http://go.volarisgroup.com/rs/430-MBX-989/images/ProPublica_Commentary_Final_ 070616.pdf；Anthony W.Flores et al.,“False Positives,False Negatives,and False Analyses: A Rejoinder to ‘Machine Bias: There’s Software Used Across the Country to Predict Future Criminals.And it’s Biased Against Blacks’ ”,80 Fed.Probat.38 (2016)；Rhema Vaithianathan et al.,“Developing Predictive Models to Support Child Maltreatment Hotline Screening Decisions: Allegheny County Methodology and Implementation”,CTR.FOR SOC.DYNAMICS (Sept.2016)（討論郵政編碼和其他種族代表）。如果算法也使用就業(yè)歷史作為一個(gè)因素，那種相關(guān)性可能不會(huì)增加算法的預(yù)測(cè)能力。郵政編碼和就業(yè)歷史可能幾乎是共同變體（Covariants），但就業(yè)歷史是更好的預(yù)測(cè)因素。可能的情況是，基于失業(yè)在地理上的集中，郵政編碼僅僅作為未來(lái)就業(yè)的微弱信號(hào)，因此沒(méi)有改善直接考慮就業(yè)歷史的預(yù)測(cè)。但相反的是，納入郵政編碼的信息可能會(huì)明顯增加算法的預(yù)測(cè)能力，并指出一些未被任何其他包含的變量或特征所涵蓋的相關(guān)性。

然而，由于住宅隔離，郵政編碼通常是種族的代表。了解到這一點(diǎn)，機(jī)構(gòu)可能會(huì)選擇將郵政編碼排除在預(yù)測(cè)算法的輸入之外，即使它們能提高算法的預(yù)測(cè)能力。它們可能得出結(jié)論，膚色與期望或非期望的結(jié)果之間沒(méi)有因果關(guān)系，因此，預(yù)測(cè)能力必須植根于其他一些共同變體。使用種族或其代替物作為實(shí)際上可能存在某種因果關(guān)系的捷徑，將保持基于“僅由出生機(jī)遇決定的不可改變的特征”②Frontiero v. Richardson,411 U.S.677,686 (1973).的“有目的的不平等對(duì)待的歷史”。③San Antonio Ind. Sch. Dist. v. Rodriguez,411 U.S.1,28 (1973).換句話說(shuō)，對(duì)受保護(hù)階級(jí)而言，如果準(zhǔn)確性略微提高，幾乎肯定伴隨著不公平性的增加，公共機(jī)構(gòu)可能會(huì)選擇公平性而非準(zhǔn)確性。

當(dāng)然，在某些情況下，考慮種族可能只會(huì)加強(qiáng)歷史偏見(jiàn)模式。 歷史上受到更嚴(yán)密監(jiān)管的少數(shù)種族社區(qū)將有更高的被逮捕率和再被逮捕率，然后通過(guò)算法推薦更多的警力，等等。④See Cathy O’ Neil,Weapons of Math Destruction: How Big Data Increases Inequality and Threatens Democracy,Crown,2016,pp.97-98.因此，歧視待遇的歷史模式將導(dǎo)致郵政編碼內(nèi)更高的可觀察犯罪率，算法預(yù)測(cè)為犯罪活動(dòng)產(chǎn)生了更高的風(fēng)險(xiǎn)。

管轄區(qū)用不同方式處理這種公平問(wèn)題。 奧克蘭警察局決定不使用預(yù)測(cè)算法（PredPol），得出的結(jié)論是“將官員部署到大多數(shù)收入較低的少數(shù)種族社區(qū)，這些社區(qū)先前曾記錄過(guò)毒品犯罪”。⑤Emily Thomas,“Why Oakland Police Turned Down Predictive Policing”,Dec.28,2016,VICE,http://motherboard.vice.com/read/minorityretort-why-oakland-police-turned-down-predictive-policing.相比之下，像費(fèi)城和芝加哥這樣的城市正在使用預(yù)測(cè)警務(wù)程序，但它們的供應(yīng)商（Azavea，Inc，即HunchLab 的開(kāi)發(fā)商）決定，在制定警務(wù)模型時(shí)淡化一些被捕數(shù)據(jù)，特別是關(guān)于與毒品相關(guān)和滋擾犯罪的數(shù)據(jù)，以避免可能的系統(tǒng)性偏見(jiàn)。⑥See HUNCHLAB,“A Citizen’s Guide to HunchLab”,July 11,2017,p.26,http://robertbrauneis.net/algorithms/HunchLabACitizensGuide.pdf.Azavea 也推薦給算法中引入很小級(jí)別的隨機(jī)性，以進(jìn)行“位置的蓋然性選擇”，對(duì)于巡邏而言，部分地反對(duì)偏見(jiàn)。See id.pp.10-11.最終，除非預(yù)測(cè)算法足夠透明，否則我們將無(wú)法知道自動(dòng)決策和風(fēng)險(xiǎn)預(yù)測(cè)是否符合我們對(duì)公平的實(shí)質(zhì)承諾。⑦參見(jiàn) Joanna Bryson,“Three Very Different Sources of Bias in AI,and How to Fix Them”,July 13,2017,ADVENTURES IN NI,http://joannabryson.blogspot.co.uk/2017/07/three-very-different-sources-of-bias-in.html（“處理偏見(jiàn)的方法是按照正常的程序堅(jiān)持解釋的權(quán)利，所有影響人們生活的算法都應(yīng)該進(jìn)行審計(jì)”）。

（四）算法增強(qiáng)或減弱了政府的能力嗎？

進(jìn)一步的危險(xiǎn)是，算法治理不受批判性評(píng)估的影響，同時(shí)也取代了人類的決策，從而掏空了公務(wù)員的決策能力。起作用的因素可能包括對(duì)算法無(wú)根據(jù)的遵守、對(duì)算法過(guò)程理解不足以及運(yùn)用人類判斷的能力衰退。

政府官員會(huì)遵守算法輸出，即使其存在疏漏、歧視，或就種類而言，其框架過(guò)于粗略或結(jié)果過(guò)于狹窄。當(dāng)“機(jī)器這么說(shuō)”時(shí)，匆忙和過(guò)度擴(kuò)展的人類決策者很難抵制這項(xiàng)指令。正如哈里·色登指出的那樣，鑒于圍繞計(jì)算機(jī)生成的基于分析的以及分析的機(jī)械客觀性的光環(huán)，法官可能“更加遵守基于計(jì)算機(jī)的建議，如果與可比較的基于人類的評(píng)估相比的話”。①參見(jiàn) Harry Surden,“Values Embedded in Legal Artificial Intelligence”,Univ.Colo.Law Legal Studies,Research Paper No 17-17,p.5 (Oct.18,2017),http://ssrn.com/abstract=2 932333;see also Danah Boyd & Kate Crawford,“Critical Questions for Big Data”,15 Info.Comm.Soc’ Y 662 (2012)（將客觀事實(shí)中的錯(cuò)誤信條確認(rèn)為大數(shù)據(jù)分析依賴的陷阱之一）。按照邁克爾·安安妮（Michael Ananny）的觀點(diǎn)，“算法類型…… 發(fā)出信號(hào)確定性，阻止替代探索，并在不同對(duì)象之間建立連貫性”，使得算法模型選擇具體化。②Michael Ananny,“Toward an Ethics of Algorithms: Convening,Observation,Probability,and Timeliness”,41 Sci.Tech.&Hum.Values 93,103(2015);see also Solon Barocas & Andrew D.Selbst,“Big Data’s Disparate Impact”,104 Cal.L.Rev.671 (2016).當(dāng)算法輸出無(wú)法解釋——當(dāng)決策路徑無(wú)法解釋——政府官員沒(méi)有辦法知道他們所面對(duì)的因素是否以及如何與產(chǎn)生算法建議的因素一致。假設(shè)算法正在評(píng)分的刑事被告失眠或有孩子，這些事實(shí)是否可以作為偏離算法風(fēng)險(xiǎn)預(yù)測(cè)的理由，或者它們會(huì)被考慮在內(nèi)嗎？如果算法不透明，政府官員就不知道如何將算法推理與自己的推理相結(jié)合，必須要么不去考慮它，要么盲目地遵守它。因此，正如克里斯托弗·徹奇（Christopher Church）和阿曼達(dá)·費(fèi)爾奇德（Amanda Fairchild）所說(shuō)：“算法預(yù)測(cè)背后的推理至關(guān)重要。該算法不僅必須能夠準(zhǔn)確識(shí)別高風(fēng)險(xiǎn)情況…… 而且也必須能夠?yàn)槟承┣闆r被標(biāo)記的原因提供背景推理?！雹跜hristopher E.Church & Amanda J.Fairchild,“In Search of a Silver Bullet: Child Welfare’s Embrace of Predictive Analytics”,68 Juv.&Fam.Ct.J.67,78 (2017).

隨著時(shí)間的推移，對(duì)算法的遵守可能會(huì)削弱政府官員的決策能力以及他們的參與感和責(zé)任感。人類通過(guò)自動(dòng)化“去技能（De-skilling）”已經(jīng)成為一種被廣泛研究的現(xiàn)象④See Nicholas Carr, The Glass Cage: How Our Computers Are Changing Us,W.W.Norton & Company,2014,pp.106-112.，這種趨勢(shì)無(wú)疑將擴(kuò)散到公共行政部門。倫理學(xué)家還研究了計(jì)算機(jī)系統(tǒng)如何破壞一個(gè)人對(duì)自己道德責(zé)任（Moral Agency）的認(rèn)識(shí)。 當(dāng)“人類用戶在精神和肉體的很大程度上處于機(jī)械角色時(shí)”，并且“對(duì)他們行動(dòng)的更大目的或意義幾乎一無(wú)所知時(shí)……人的尊嚴(yán)受到侵蝕，個(gè)人可能認(rèn)為自己對(duì)其使用計(jì)算機(jī)的后果基本上不負(fù)責(zé)任”。⑤Batya Friedman & Peter H.Kahn,Jr.,“Human Agency and Responsible Computing: Implications for Computer System Design”,17 J.Systems Software 9 (1992);see Helen Nissenbaum,“Accountability in a Computerized Society”,2 Sci.&Engineering Ethics 25 (1996).同樣的情形可以用來(lái)更具體地說(shuō)明預(yù)測(cè)算法和使用它們的政府官員。例如，被算法準(zhǔn)確地指示在何處以及如何巡邏的警務(wù)人員可能會(huì)失去對(duì)犯罪風(fēng)險(xiǎn)的認(rèn)識(shí)，并且無(wú)法有鑒別地偏離算法的指示。⑥關(guān)于因計(jì)算機(jī)化風(fēng)險(xiǎn)分析所導(dǎo)致的“去技能”，參見(jiàn) Richard V.Ericson & Kevin D.Haggerty,Policing The Risk Society,University of Toronto Press,1997,p.447；關(guān)于來(lái)自緩刑決策者使用算法產(chǎn)生的“去技能、職業(yè)判斷力銷蝕、以及……去職業(yè)化流程” 危險(xiǎn)，參見(jiàn) Gwen Robinson,“Implementing OASys: Lessons from Research into LSI-R and ACE”,50 Probation J.30,33 (2003)；Diana Wendy M.Fitzgibbon,“Risk Analysis and the New Practitioner: Myth or Reality?”,9 Punishment & Soc’ Y 87,90 (2007)。因此，理論上應(yīng)該向負(fù)責(zé)實(shí)施任務(wù)的政府官員披露算法程序用以生成推薦的決策路徑。這種披露將有助于政府官員對(duì)他們所作的決策進(jìn)行負(fù)責(zé)，并培養(yǎng)適合其在所在領(lǐng)域進(jìn)行決策的技能。公眾應(yīng)該能夠了解政府官員是否接受過(guò)他們使用的算法在邏輯和局限性方面的培訓(xùn)，以便公民可以評(píng)估該算法是否在侵蝕公職人員的技能、力量和問(wèn)責(zé)。

（五）有意義的透明度

只有在預(yù)測(cè)算法的動(dòng)作方式非常透明的情況下，才有可能對(duì)其政治性、性能、公平性以及與治理的關(guān)系進(jìn)行評(píng)估。算法的不透明性是一個(gè)被廣泛承認(rèn)和具有不同概念的問(wèn)題。①有關(guān)各種算法不透明的探索和分類，參見(jiàn) Andrew D.Selbst & Salon Barocas,“Regulating Inscrutable Systems” (Mar.20,2017)（未發(fā)表手稿）,http://www.werobot2017.com/wp-content/uploads/2017/03/Selbst-and-Barocas-Regulating-Inscrutable-Systems-1.pdf。作為一般問(wèn)題②參見(jiàn) Frank Pasquale,“Restoring Transparency to Automated Authority”,9 J.Telecomm.&High Tech.L.235 (2011)；Julie Brill,Comm’r,Fed.Trade Comm.,“Scalable Approaches to Transparency and Accountability in Decisionmaking Algorithms: Remarks at the NYU Conference on Algorithms and Accountability” (Feb.28,2015),http://www.ftc.gov/system/files/documents/public_statements/629681/150228nyualgorithms.pdf；Nicholas Diakopoulos,“Revealing Algorithms”,ELECTRONIC PRIVACY INFO.CTR.,http://epic.org/algorithmic-transparency/；Ed Felten,“Accountable Algorithms”,Sept.12,2012,FREEDOM TO TINKER,http://freedom-to-tinker.com/2012/09/12/accountable-algorithms/；But see Mike Ananny & Kate Crawford,“Seeing Without Knowing: Limitations of the Transparency Ideal and its Application to Algorithmic Accountability”,New Media & Soc’Y (Dec.13,2016),http://journals.sagepub.com/doi/abs/10.1177/1461444816676645（討論一些算法過(guò)程可能內(nèi)在不透明，因此應(yīng)該在其他方面給予問(wèn)責(zé)）。和涉及公共機(jī)構(gòu)的應(yīng)用，評(píng)論家認(rèn)識(shí)到在預(yù)測(cè)算法的實(shí)施中需要更多的透明度。③參見(jiàn) Lee P.Breckenridge,“Water Management for Smart Cities: Implications of Advances in Real-Time Sensing,Information Processing,and Algorithmic Controls”,7 Geo.Wash.J.Energy & Envtl.L.153,162 (2016)（在智能城市管理背景下確認(rèn)“對(duì)復(fù)雜信息感覺(jué)、分析和回應(yīng)的自動(dòng)處理”危險(xiǎn)，“除非采用這些系統(tǒng)的行政程序自身可訪問(wèn)、透明以及遵守不間斷和有意義的復(fù)審”）。法院也在案件中提出了關(guān)于受算法判斷影響的個(gè)人正當(dāng)程序權(quán)利的第一印象，以了解機(jī)器“如此說(shuō)”的原因。④參見(jiàn) Amended Summary Judgment Op.,Hous.Fed’n of Teachers v.Hous.Indep.Sch.Dist.,Civil Action No.H-14-1189 (S.D.Tex.May 4,2017)（為了實(shí)施不受調(diào)查影響的教師評(píng)價(jià)算法，允許教師進(jìn)行正當(dāng)程序訴訟以反對(duì)公共學(xué)校區(qū)劃）。

可以肯定的是，一直存在政府機(jī)構(gòu)無(wú)效決策或偏見(jiàn)決策的風(fēng)險(xiǎn)。我們無(wú)法知道決定審前“跑路”風(fēng)險(xiǎn)（Pre-trial Flight Risk）的法官是否正確考慮了風(fēng)險(xiǎn)因素。為什么要向我們披露自動(dòng)化推理，而不披露人類推理呢？首先，在決定使用政府力量、剝奪公民自由或分配公共資源時(shí)，透明度高比透明度低更好。在算法中，預(yù)測(cè)的形式化可以讓我們有機(jī)會(huì)看到人類潛意識(shí)中不可知的決策過(guò)程，并檢測(cè)這些預(yù)測(cè)是否不準(zhǔn)確和不公平。正確的認(rèn)識(shí)是，這是算法承諾的一部分。其次，預(yù)測(cè)算法即使能夠改善整體決策，也會(huì)帶來(lái)不公平和疏漏的新風(fēng)險(xiǎn)。這是因?yàn)閱?wèn)題存在時(shí)，它會(huì)更糟，也更持久。預(yù)測(cè)算法通常用于指導(dǎo)整個(gè)政府單位的決策——在管轄區(qū)的所有刑事法官，例如——甚至跨越許多地方和州政府的所有刑事法官。⑤例如，阿諾德基金會(huì)公共安全評(píng)估在 3 個(gè)州——亞利桑那州、肯塔基州及新澤西州和大約其他 35 個(gè)管轄區(qū)得到應(yīng)用。See “Public Safety Assessment”,LAURA & JOHN ARNOLD FOUND.,http://www.arnoldfoundation.org/initiative/criminal-justice/crime-prevention/public-safetyassessment/.這是凱西·奧尼爾（Cathy O’Neil）認(rèn)為的算法可擴(kuò)展性問(wèn)題。⑥See Cathy O’ Neil,Weapons of Math Destruction: How Big Data Increases Inequality and Threatens Democracy,Crown,2016,pp.29-31.這些算法過(guò)程能夠進(jìn)行擴(kuò)展，從而統(tǒng)一和全面影響決策，放大了它們所包含的任何疏漏或偏見(jiàn)，并增加了讓它們變得透明的重要性。面臨的挑戰(zhàn)是，確定一個(gè)對(duì)公眾有意義且對(duì)開(kāi)發(fā)商和政府來(lái)說(shuō)實(shí)用的透明度級(jí)別和形式。下面的第五部分確定了應(yīng)公布的有關(guān)公共部署算法的信息類型。在這里，我們解析幾層透明度，并突出透明度對(duì)公開(kāi)記錄法的重要性。

算法過(guò)程可能是不透明的，并且以不同的方式抗拒被認(rèn)識(shí)。在弗蘭克·帕斯奎爾（Frank Pasquale）之后，評(píng)論員們專注于算法公式、輸入和程序規(guī)則在“黑箱”中的隱藏。①參見(jiàn) Frank Pasquale,The Black Box Society: The Secret Algorithms That Control Money and Information,Harvard University Press,2015,pp.1-18；Cathy O’ Neil,Weapons of Math Destruction: How Big Data Increases Inequality and Threatens Democracy,Crown,2016,pp.28-31（展示預(yù)測(cè)算法的創(chuàng)建者隱瞞它們機(jī)制的方法）；Andrew D.Selbst & Salon Barocas,“Regulating Inscrutable Systems” (Mar.20,2017),at 9（概述解釋預(yù)測(cè)算法難以令人滿意的“什么—怎么樣 —為什么”模型）。披露算法的公式要素可能會(huì)揭示算法本身的錯(cuò)誤——例如，它可能會(huì)揭示算法有時(shí)會(huì)生成超出其應(yīng)該被限制的范圍之外的結(jié)果，或者相反，它的生成結(jié)果總是比它應(yīng)該生成的范圍更加有限。

算法應(yīng)該能夠在數(shù)學(xué)和邏輯符號(hào)以及自然語(yǔ)言的某種組合中進(jìn)行形式公開(kāi)。②參見(jiàn) Marie Vannostrand & Gina Keebler,“Pretrial Risk Assessment In the Federal Court”,73 Fed.Probat.48 (Apr.14,2009),http://tiny.cc/r3qrmy（用數(shù)學(xué)觀念披露預(yù)測(cè)不能出庭風(fēng)險(xiǎn)和審前釋放犯罪風(fēng)險(xiǎn)的公式，用自然語(yǔ)言描述每個(gè)被應(yīng)用的因素）。要由計(jì)算機(jī)實(shí)施，它們必須通過(guò)程序語(yǔ)言編碼。如果擔(dān)心計(jì)算機(jī)實(shí)施不正確，則計(jì)算機(jī)代碼披露可能是適當(dāng)?shù)摹＂蹍⒁?jiàn) Danielle Keats Citron,“Technological Due Process”,85 Wash.U.L.Rev.1249,1268-69 (2008)（聲明從 2004 年 9 月至 2007 年 4 月，代碼編寫(xiě)者將超過(guò) 900 多次的錯(cuò)誤規(guī)則植入科羅拉多州公益系統(tǒng)，導(dǎo)致這段時(shí)期醫(yī)療補(bǔ)助和食物券發(fā)放時(shí)出現(xiàn)幾十萬(wàn)錯(cuò)誤的資格決定和利益計(jì)算）；id.at 1270（聲明代碼編寫(xiě)者未能正確將政策轉(zhuǎn)換到加利福尼亞州自動(dòng)公益系統(tǒng)中，導(dǎo)致支付超出或不足以及公益的不適當(dāng)終止）。計(jì)算機(jī)程序通常比數(shù)學(xué)、邏輯符號(hào)或自然語(yǔ)言更難以閱讀和理解，因此對(duì)于更容易的解釋方法而言，計(jì)算機(jī)代碼的公開(kāi)并非很有用的替代方案。

即使揭示了算法的公式要素，算法過(guò)程仍有可能無(wú)法進(jìn)行評(píng)估。算法的有效性聲明不限于對(duì)算法自身規(guī)則的遵守。該聲明依賴于底層數(shù)據(jù)集中事實(shí)與結(jié)果之間的相關(guān)性。在不了解培養(yǎng)數(shù)據(jù)的情況下，我們無(wú)法詢問(wèn)此聲明。如何選擇數(shù)據(jù)，為什么選擇特定的操作規(guī)則而拒絕其他操作規(guī)則，以及采取哪些步驟來(lái)驗(yàn)證這些選擇？④在第五巡回法院審理的第一起案件中，休斯頓教師要求獲得學(xué)校區(qū)域使用的私人創(chuàng)建的評(píng)價(jià)算法中的“方程式、計(jì)算機(jī)源代碼、決策規(guī)則和假設(shè)”。See Amended Summary Judgment Op.,Hous. Fed’n of Teachers v. Hous. Indep. Sch. Dist.,Civil Action No.H-14-1189,at *17 (S.D.Tex.May 4,2017).訪問(wèn)底層數(shù)據(jù)或至少對(duì)其進(jìn)行描述將有助于我們了解聲稱相關(guān)性實(shí)際上有多強(qiáng)，樣本大小是什么，以及影響統(tǒng)計(jì)有效性的其他事項(xiàng)。

現(xiàn)在通常被隱藏的其他類型的信息包括開(kāi)發(fā)算法的公共目的、管理數(shù)據(jù)所有權(quán)和訪問(wèn)的合同條款，以及驗(yàn)證和后續(xù)計(jì)劃。有時(shí)，此信息也將明確或隱含地解決算法所必需的一些策略權(quán)衡。所有這些對(duì)于評(píng)估算法是否有效、公平以及在政治上能否接受都至關(guān)重要。

我們承認(rèn)，即使上面確認(rèn)的所有信息都被披露出來(lái)，仍然無(wú)法理解算法過(guò)程的結(jié)果。這是因?yàn)橥该鞫炔灰欢ㄗ屗惴ā翱山忉尅薄＂莓?dāng)然，人們有時(shí)提供給我們他們推理過(guò)程的解釋，然而，我們不能保證這些解釋確實(shí)與他們?nèi)绾巫鞒鰶Q策的方式相符。參見(jiàn) Zachary C.Lipton,The Mythos of Model Interpretability (June 16,2016)（未發(fā)表手稿unpublished manuscript）（manuscript at 98）,http://arxiv.org/abs/1606.03490v2（指出這點(diǎn)，模型能力概念在作為“事后可解釋性”事實(shí)而被解釋）。如果算法在單個(gè)輸入可能出現(xiàn)在多個(gè)接合點(diǎn)的復(fù)雜決策樹(shù)中使用數(shù)百個(gè)未加權(quán)的輸入，我們不一定能夠確定哪個(gè)輸入在特定情況下起決定作用。⑥如果一個(gè)模型試圖通過(guò)分配權(quán)重給很少一些諸如之前暴力傷害和年齡等因素來(lái)預(yù)測(cè)假釋犯再犯，我們能理解和解釋它如何運(yùn)作。然而，設(shè)想這個(gè)模型使用超過(guò)1 000 個(gè)因素去預(yù)測(cè)假釋犯再犯，其中一些因素（比如身高）看起來(lái)似乎與再犯沒(méi)有任何直接的因果關(guān)系。再設(shè)想，這個(gè)模型運(yùn)用一個(gè)復(fù)雜的決策樹(shù)多次描寫(xiě)許多因素的特征。它將難以理解每個(gè)因素在一個(gè)案例或一組案例中的影響，或者計(jì)算模型的因果理論（如果有的話）。這讓該算法是否與我們的公平感相關(guān)特別難以理解，并且使得政府官員難以根據(jù)他們?cè)谇榫持械母杏X(jué)評(píng)估算法輸出，要求他們要么忽略該輸出要么無(wú)視自己的判斷，也許最終會(huì)失去判斷力。

最后，算法過(guò)程可能是動(dòng)態(tài)的，它們的規(guī)則不斷變化以適應(yīng)數(shù)據(jù)中的新模式。結(jié)果，在時(shí)間1發(fā)布給公眾的代碼和數(shù)據(jù)集——即使在孤立中“可解釋”——可能與在時(shí)間2 進(jìn)行的過(guò)程幾乎沒(méi)有相似之處。正如羅伯·基欽（Rob Kitchin）所說(shuō)， 動(dòng)態(tài)算法“本質(zhì)上是個(gè)體發(fā)育的（Ontogenetic in Nature）”，需要進(jìn)行“編輯、修改、刪除和重啟”。①Rob Kitchin,“Thinking Critically About and Researching Algorithms”,20 Info.Comm.&Soc’ Y 14 (2016),at 18.這種動(dòng)態(tài)會(huì)給透明度帶來(lái)障礙，因?yàn)樗惴ū旧碜兊貌荒敲慈菀桌斫狻＂趨⒁?jiàn) Exec.Office of the President,“Big Data: A Report on Algorithmic Systems,Opportunity,and Civil Rights”,p.8 (May 2016)（指出隨著機(jī)器學(xué)習(xí)方法的進(jìn)步，“它會(huì)更難解釋或者說(shuō)明機(jī)器通過(guò)這種過(guò)程作出的決策，除非機(jī)制被植入設(shè)計(jì)中以確保問(wèn)責(zé)性”）。在很大程度上我們不會(huì)解決這種動(dòng)態(tài)問(wèn)題，因?yàn)槲覀冄芯康牡胤胶椭菡袆?dòng)者尚未使用這些不斷調(diào)整的預(yù)測(cè)算法。

正如透明度不一定支持可解釋性，透明度也不會(huì)與問(wèn)責(zé)制共同延伸③See Joshua A.Kroll et al.,“Accountable Algorithms”,165 U.Pa.L.Rev.633,640 n.14 (2017),pp.657-60;Michael Ananny,“Toward an Ethics of Algorithms: Convening,Observation,Probability,and Timeliness”,41 Sci.Tech.&Hum.Values 93 (2015),pp.109.，它只是一種手段。當(dāng)算法過(guò)程的利益相關(guān)者擁有有意義的透明度，可以通過(guò)干預(yù)以影響算法、算法使用、算法實(shí)施中的變化時(shí)，算法過(guò)程是可追責(zé)的。④See Joshua A.Kroll et al.,“Accountable Algorithms”,165 U.Pa.L.Rev.633,640 n.14 (2017),pp.657-60;Andrew D.Selbst & Salon Barocas,“Regulating Inscrutable Systems” (Mar.20,2017)（unpublished manuscript）,http://www.werobot2017.com/wp-content/uploads/2017/03/Selbst-and-Barocas-Regulating-Inscrutable-Systems-1.pdf.在公共領(lǐng)域，政府實(shí)際上對(duì)由它部署的算法而被投票公眾追責(zé)成為必要。這種問(wèn)責(zé)制不要求完美的透明度——算法的操作規(guī)則以及創(chuàng)建和驗(yàn)證過(guò)程的完全知識(shí)——而是有意義的透明度的較低標(biāo)準(zhǔn)——足以贊成或不贊成算法實(shí)施的知識(shí)。缺少底層計(jì)算機(jī)代碼的記錄可能足以提供必要的輸入。當(dāng)然，實(shí)踐中的問(wèn)責(zé)制很可能要求超出我們這里所能解決范圍之內(nèi)的公共教育和政治程序，但有意義的透明度將是必要的第一步。

三、公開(kāi)記錄法案項(xiàng)目：獲取算法文檔

開(kāi)放數(shù)據(jù)實(shí)踐可能是生成政府使用算法透明特性的最佳方法⑤See Joshua Tauberer,The Principles and Practices of Open Government Data,2014,p.10.，即政府應(yīng)從一開(kāi)始就自愿揭示算法的相關(guān)結(jié)構(gòu)、邏輯和策略。 2016 年《聯(lián)邦信息自由法修正案》將這種對(duì)政府透明度“推動(dòng)”方法的偏好編成了法令，減少了公眾對(duì)政府記錄的“推動(dòng)”請(qǐng)求的負(fù)擔(dān)。⑥參見(jiàn)The FOIA Improvement Act of 2016 amended 44 U.S.C.§ 3102 (目前要求機(jī)構(gòu)必須建立“確認(rèn)普通利益記錄的程序或?qū)m合公眾披露和用公眾可使用的電子公式方式記錄這樣記錄的公眾應(yīng)用”)。然而，政府并沒(méi)有推出有關(guān)它們使用算法的信息。政府算法過(guò)程的重要性與對(duì)這些算法的公共訪問(wèn)之間有著很大的鴻溝。⑦參見(jiàn) Nicholas Diakopoulos,“Algorithmic Accountability Reporting: On the Investigation of Black Boxes”,TOW CTR.FOR DIGITAL JOURNALISM,2014,p.2,http://academiccommons.columbia.edu/catalog/ac:2ngf1vhhn4（“作為公眾,我們?nèi)狈Φ氖顷P(guān)于算法如何對(duì)我們行使權(quán)力的精確性”）。在缺乏推動(dòng)透明度的情況下，公開(kāi)記錄請(qǐng)求是縮小差距并證明公眾有興趣理解應(yīng)用于他們及其同胞的算法的下一個(gè)最佳方式。我們測(cè)試了政府如何響應(yīng)有關(guān)預(yù)測(cè)算法和相關(guān)數(shù)據(jù)分析的信息請(qǐng)求。我們首先討論自己的項(xiàng)目設(shè)計(jì)，介紹公開(kāi)記錄法律，并解釋我們?nèi)绾芜x擇目標(biāo)以及如何制定公開(kāi)記錄請(qǐng)求，然后我們討論自己的結(jié)果。

（一）項(xiàng)目設(shè)計(jì)和實(shí)現(xiàn)

1.公開(kāi)記錄法案

我們?cè)趯で笥嘘P(guān)算法過(guò)程的信息時(shí)所依賴的州信息自由法具有相同的核心目的：向人們揭示政府的運(yùn)作方式。①“人民了解政府決策過(guò)程和審查產(chǎn)生決策的文件和統(tǒng)計(jì)對(duì)我們社會(huì)而言至關(guān)重要。訪問(wèn)這樣的信息不能因?yàn)楦采w了秘密和機(jī)密外衣而阻礙。立法因此而宣告政府是公共事務(wù)，公眾、無(wú)論作為個(gè)人和集體還是自由出版的代表有訪問(wèn)政府記錄的權(quán)利?！盨ee New York Freedom of Information Law,N.Y.PUB.OFF.L.§ 86(4) (McKinney 2003).信息自由法的主要目標(biāo)是構(gòu)建負(fù)責(zé)任的政府。在1964 年簽署最初的《聯(lián)邦信息自由法（FOIA）》時(shí)，總統(tǒng)約翰遜（Johnson）表達(dá)了“深深的自豪感，即美國(guó)是一個(gè)開(kāi)放的社會(huì)，人民的知情權(quán)得到了珍視和保護(hù)”。②林登·約翰遜于 1966 年 7 月 4 日關(guān)于簽署法令的聲明，參見(jiàn) Attorney General’s Memorandum on the Public Information Section of the Administrative Procedure Act (1967),http://www.justice.gov/oip/67agmemo.htm。通過(guò)FOIA 修正案，10 年后確定了政府機(jī)構(gòu)回應(yīng)的最后期限，國(guó)會(huì)慶祝“開(kāi)放政府……作為政府為公共利益行事的最佳保證”。③S.REP.NO.93-854,at 1 (1974).當(dāng)國(guó)會(huì)在1996 年確認(rèn)FOIA 的核心透明度授權(quán)適用于電子記錄時(shí)，參議院委員會(huì)報(bào)告解釋說(shuō)，政府透明度“通過(guò)讓公民們知道他們的政府在做什么以促進(jìn)他們的利益，這與我們政府的民主形式一致”。④S.REP.NO.104-272,at 5 (1996).See generally Michael Schudson,Rise of the Right to Know,Harvard University Press,2015 (chronicling the history of FOIA).法院一貫認(rèn)為，F(xiàn)OIA體現(xiàn)了“機(jī)構(gòu)全面披露的一般理念”。⑤Dep’t of the Air Force v. Rose,425 U.S.352,360 (1976).受相同的透明度原則激勵(lì)，所有50 個(gè)州和哥倫比亞特區(qū)的公開(kāi)記錄法案為個(gè)人提供了訪問(wèn)政府記錄的權(quán)利，可享受各種豁免，包括保護(hù)個(gè)人隱私、刑事調(diào)查材料和機(jī)構(gòu)審議程序的豁免。⑥至于 FOIA，高等法院“一再重申這些披露豁免必須進(jìn)行狹義解釋，用這個(gè)方法可以提供最大訪問(wèn)”。See 5 U.S.C.§§ 552(b)(1)-(9)(2012); Vaughn v. Rosen,484 F.2d 820,823 (D.C.Cir.1973).幾乎所有法律也豁免商業(yè)秘密，這個(gè)我們將在下面討論。

FOIA 僅適用于“機(jī)構(gòu)記錄”——法規(guī)中未定義的術(shù)語(yǔ)。⑦5 U.S.C.§ 552(a)(4)(B).最高法院理解的“機(jī)構(gòu)記錄”包括：（1）創(chuàng)建或獲得的任何記錄；（2）在FOIA 請(qǐng)求時(shí)具有控制權(quán)的任何記錄。⑧See Forsham v. Harris,445 U.S.169,182 (1980).雖然州法通常使用“政府記錄”這一術(shù)語(yǔ)，但覆蓋范圍相似。⑨See ARIZ.REV.STAT.§ 41-151.18;CAL.GOV’T CODE § 6252.FOIA 涵蓋數(shù)字記錄，包括軟件和數(shù)據(jù)庫(kù)。⑩參見(jiàn) 5 U.S.C.§(f)(2)(A)（規(guī)定“記錄”和這一節(jié)里使用的和信息有關(guān)的任何其他詞匯包括任何信息，其當(dāng)被機(jī)構(gòu)以任何格式保留時(shí)，屬于符合這一節(jié)要求的機(jī)構(gòu)記錄，包括電子格式）。一些州公開(kāi)記錄排除軟件種類。參見(jiàn)CAL GOV’T CODE §§ 6254.9(a)-(b)（排除“由州或者地方機(jī)構(gòu)開(kāi)發(fā)”的計(jì)算機(jī)軟件 ……“包括計(jì)算機(jī)地圖系統(tǒng)、計(jì)算機(jī)程序和計(jì)算機(jī)圖表系統(tǒng)”）。一些州法律明確將軟件作為公共記錄。?See generally Cristina Abello,Reporters Committee for Freedom of the Press, Access to Electronic Communications,Reporters Committee For Freedom Press,2009,http://www.rcfp.org/rcfp/orders/docs/ELECCOMM.pdf ;Andrea G.Nadel,Annotation,What Are “Records” of Agency Which Must Be Made Available under State Freedom of Information Act,27 A.L.R.4th 680 (Supp.2014);Marjorie A.Shields,Annotation,Disclosure of Electronic Data under State Public Records and Freedom of Information Acts,54 A.L.R.6th 653 (Supp.2014).例如，根據(jù)新澤西州的公開(kāi)記錄法規(guī)，“政府記錄”包括任何“數(shù)據(jù)或圖像處理文件”和“以電子方式存儲(chǔ)或維護(hù)的信息”，如果它是由國(guó)家官員或雇員在其政務(wù)過(guò)程中制作、維護(hù)或接收的。?參見(jiàn)N.J.STAT.ANN.§ 47:1A-1.1 (West 2015)；FLA.STAT.§ 119.011(12) (2017)（界定“公共記錄”，包括“數(shù)據(jù)處理軟件”）；5 ILL.COMP.STAT.140/2(c) (2016)（界定“記錄”包括“電子數(shù)據(jù)處理記錄”）；N.Y.PUB.OFF.L.§ 86 (4) (McKinney 2003)（界定“記錄”為“通過(guò)機(jī)構(gòu)或州立法，以任何物質(zhì)形式被保存、持有、歸檔、生產(chǎn)、再生產(chǎn)的信息”）。其他州法規(guī)明確將軟件排除在公共記錄之外。?參見(jiàn) ALASKA STAT.§ 40.25.220(3) (2010)（規(guī)定“公共記錄”的概念中不包括“專有軟件程序”）。還有一些州并沒(méi)有解決這個(gè)問(wèn)題。?參見(jiàn) ALA.CODE § 36-12-40 (2004)（規(guī)定沒(méi)有說(shuō)明“書(shū)面文本”意義的情況下，“每個(gè)市民有權(quán)檢查和復(fù)制任何該州的公共文本，除非法律明確規(guī)定”）?？紤]到可以通過(guò)其他種類的記錄獲得有意義的透明度，公眾能否有權(quán)堅(jiān)持根據(jù)州開(kāi)放記錄法案要求提供軟件，很少成為算法透明度最重要的問(wèn)題。

披露的最大障礙是記錄的所有權(quán)。大多數(shù)公開(kāi)記錄法僅涵蓋政府記錄。只要私人承包商擁有對(duì)記錄的獨(dú)家控制權(quán)，則這些記錄可能超出透明度法律的范圍。信息自由法規(guī)定，當(dāng)記錄是“由政府合同下的實(shí)體為某機(jī)構(gòu)維護(hù)時(shí)，為了記錄管理的目的”，其仍然是“機(jī)構(gòu)記錄”，受FOIA 披露的限制，包括機(jī)構(gòu)與私人供應(yīng)商簽訂合同以維護(hù)記錄的情況，例如警用攝像機(jī)視頻。①參見(jiàn) Alexandra Mateescu,et al.,“Police Body-Worn Cameras 9”,Data & Soc’y Research Institute,Working Paper,Feb.2,2015,http://www.datasociety.net/pubs/dcr/PoliceBodyWornCameras.pdf（討論警察局在第三方云處理器中的警察人體攝像機(jī)連續(xù)鏡頭存儲(chǔ)）。這些記錄是機(jī)構(gòu)記錄，即使它們留駐在私人服務(wù)器上。然而，如果私人方為其自身目的生成記錄并且從未將其存放在機(jī)構(gòu)中，則此類記錄不受FOIA 和州公開(kāi)記錄法規(guī)的規(guī)范。②政府如何對(duì)待私人實(shí)體持有記錄是復(fù)雜和多變的。關(guān)于其回顧，參見(jiàn) Alexa Capeloto,“Transparency on Trial: A Legal Review of Public Information Access in the Face of Privatization”,13 Conn.Pub.Int’l L.J.19,27 (2013)。關(guān)于算法，這些可能包括構(gòu)建和驗(yàn)證算法過(guò)程的培訓(xùn)數(shù)據(jù)和文檔。如下所述，公眾對(duì)這些記錄的訪問(wèn)權(quán)將取決于政府機(jī)構(gòu)對(duì)數(shù)據(jù)所有權(quán)和/或記錄占有的堅(jiān)持。

2.算法、機(jī)構(gòu)和請(qǐng)求規(guī)劃

雖然我們的公開(kāi)記錄項(xiàng)目是“經(jīng)驗(yàn)性的”，在我們向世界發(fā)出請(qǐng)求以了解政府將如何回應(yīng)這個(gè)意義上，它不是也不可能是定量或統(tǒng)計(jì)的。政府沒(méi)有使用中央算法注冊(cè)表，算法并不像摩天大樓或橋梁那樣自然可見(jiàn)。因此，我們無(wú)法知道當(dāng)前使用了多少算法，誰(shuí)開(kāi)發(fā)了這些算法，或者哪些政府正在使用它們。如果沒(méi)有這方面的知識(shí)，我們就無(wú)法以任何方式開(kāi)發(fā)任何采樣算法的方法，以使我們從自己的研究發(fā)現(xiàn)中進(jìn)行歸納。

我們所做的不那么正式。我們調(diào)查了公共信息，以確定當(dāng)?shù)卣畬?duì)預(yù)測(cè)算法的使用。然后，我們選擇了六個(gè)項(xiàng)目來(lái)混合不同的主題（警務(wù)、刑事司法、兒童福利和教育），不同的開(kāi)發(fā)商（基金會(huì)、私營(yíng)公司和政府實(shí)體）和不同的管轄區(qū)（23 個(gè)州的42 個(gè)不同的機(jī)構(gòu)）。六個(gè)項(xiàng)目分別是公共安全評(píng)估、Eckerd 快速安全反饋、阿勒格尼家庭篩查工具、PredPol、HunchLab 和紐約市的增值措施。我們起草了一個(gè)公開(kāi)記錄請(qǐng)求，其設(shè)計(jì)非常通用且具有包容性，試圖覆蓋與所要討論算法相關(guān)的任何記錄。③關(guān)于我們的標(biāo)準(zhǔn)起始請(qǐng)求語(yǔ)言的例子，參見(jiàn)我們向內(nèi)布拉斯加州林肯市警察局提交的關(guān)于 HunchLab 使用的請(qǐng)求，邁克爾·莫利斯（Michael Morisy）給林肯市警察局的信件（2016 年11 月15 日）,http://www.muckrock.com/foi/lincoln-4033/lincoln-police-department-hunchlabdocuments-30110/。當(dāng)一個(gè)機(jī)構(gòu)回應(yīng)說(shuō)請(qǐng)求范圍廣而導(dǎo)致延期時(shí)，我們發(fā)送了修改后的請(qǐng)求。④參見(jiàn)我們與可可市（佛羅里達(dá)州）警察局通信，邁克爾·莫利斯給可可市警察局的信件（2016 年11 月16 日）,http://www.muckrock.com/foi/cocoa-10491/cocoa-police-department-predpol-documents-30104/。由于受時(shí)間和資源所限，我們沒(méi)有質(zhì)疑法院的最終否認(rèn)或持續(xù)不回應(yīng)，當(dāng)一個(gè)機(jī)構(gòu)被要求回應(yīng)我們的請(qǐng)求時(shí)，我們也沒(méi)有支付可觀的費(fèi)用。⑤參 見(jiàn) Letter from Okla.Dep’t of Human Servs.to Muck Rock [sic] (Nov.3,2016),http://www.muckrock.com/foi/oklahoma-248/oklahoma-department-of-human-services-eckerd-rapid-safety-feedback-28151/#file-108045（回應(yīng)我們的請(qǐng)求工作開(kāi)始之前要求支付2 472 美元）。我們遇到的障礙是對(duì)有關(guān)算法信息公共訪問(wèn)的重大限制，縱然其中一些可基于更多時(shí)間和金錢而加以克服。在某些情況下，我們還能夠與算法開(kāi)發(fā)商進(jìn)行直接溝通，以嘗試獲取更多信息。

（二）結(jié)果

總的來(lái)說(shuō)，我們發(fā)現(xiàn)了廣泛變量，即：管轄區(qū)是否回應(yīng)了我們的要求；它們是否主張公開(kāi)記錄豁免；如果沒(méi)有，它們提供了什么信息。然而，只有其中一個(gè)管轄區(qū)——阿勒格尼縣能夠提供它所使用的實(shí)際預(yù)測(cè)算法（包括完整的因子列表和每個(gè)因素給出的權(quán)重），以及關(guān)于它們?nèi)绾伪婚_(kāi)發(fā)的大量細(xì)節(jié)。一些開(kāi)發(fā)商也會(huì)比其他開(kāi)發(fā)商更樂(lè)于合作。公共安全評(píng)估的開(kāi)發(fā)商阿諾德基金會(huì)向公眾披露了其相對(duì)簡(jiǎn)單的算法，但沒(méi)有為我們提供開(kāi)發(fā)過(guò)程，而HunchLab 的開(kāi)發(fā)商Azavea，Inc.披露的更多。這些結(jié)果表明，透明度是管轄區(qū)及其供應(yīng)商所做出的選擇——該選擇與公開(kāi)文化相關(guān)性較多，而與一成不變的商業(yè)秘密或保密問(wèn)題相關(guān)性較少。我們接著就這六種算法的詳細(xì)說(shuō)明得到如下回應(yīng)。

1.公共安全評(píng)估——審理前釋放

公共安全評(píng)估（PSA）是勞拉和約翰阿諾德基金會(huì)（Laura and John Arnold Foundation）開(kāi)發(fā)的一款預(yù)審風(fēng)險(xiǎn)評(píng)估工具，被設(shè)計(jì)用來(lái)幫助法官?zèng)Q定在審判前是否拘留或釋放被告。①Public Safety Assessment,LAURA & JOHN ARNOLD FOUND.,http://www.arnoldfoundation.org/initiative/criminal-justice/crime-prevention/public-safety-assessment/.截至本文撰寫(xiě)時(shí)，它在38 個(gè)管轄區(qū)被使用，其中包括整個(gè)亞利桑那州、新澤西州和肯塔基州。②See id.PSA 包括三種不同的風(fēng)險(xiǎn)評(píng)估算法，旨在評(píng)估被釋放的被告分別在未能出庭、釋放時(shí)犯罪或釋放時(shí)從事暴力犯罪的風(fēng)險(xiǎn)。這三種算法的運(yùn)行方式是根據(jù)有關(guān)被告犯罪歷史的9 個(gè)事實(shí)來(lái)分配分?jǐn)?shù)。一些事實(shí)僅用于一種或兩種算法，而其他事實(shí)用于所有三種算法。 對(duì)于出庭失敗和犯罪實(shí)施的評(píng)估，原始得分被轉(zhuǎn)換為六分制，其中一分表示最低風(fēng)險(xiǎn)，六分表示最高風(fēng)險(xiǎn)。對(duì)于暴力犯罪實(shí)施的評(píng)估，原始分?jǐn)?shù)被轉(zhuǎn)換為二進(jìn)制的是/否答案，所犯罪行可能是暴力的，也可能并非暴力的。③所有三種算法的描述，包括因素、原始點(diǎn)分配和從原始分?jǐn)?shù)到最后輸出的轉(zhuǎn)變，參見(jiàn) Public Safety Assessment: Risk Factors and Formula,LAURA & JOHN ARNOLD FOUND.(2013-16),http://www.arnoldfoundation.org/wp-content/uploads/PSA-Risk-Factors-and-Formula.pdf。

與其他一些算法不同，PSA 相對(duì)簡(jiǎn)單——它可以在沒(méi)有計(jì)算機(jī)的情況下通過(guò)為各種因素結(jié)算分?jǐn)?shù)來(lái)實(shí)施，然后應(yīng)用轉(zhuǎn)換公式來(lái)獲得最終的風(fēng)險(xiǎn)評(píng)估。與其他許多算法不同，PSA 算法已完全公開(kāi)。但是，阿諾德基金會(huì)尚未透露它如何生成算法，或者它是否執(zhí)行了實(shí)施前或?qū)嵤┖蟮尿?yàn)證測(cè)試，如果是，那么結(jié)果是什么。同時(shí)，它還沒(méi)有以數(shù)量或百分比的形式披露“低風(fēng)險(xiǎn)”和“高風(fēng)險(xiǎn)”的含義：“低風(fēng)險(xiǎn)”被告無(wú)法出現(xiàn)的幾率是1/10 或1/500 嗎？ “高風(fēng)險(xiǎn)”被告無(wú)法出現(xiàn)的幾率是低風(fēng)險(xiǎn)被告的2 倍或50 倍嗎？

為了了解使用PSA 的法院是否有這些或類似問(wèn)題的答案，我們向16 個(gè)不同的法院發(fā)送了有關(guān)PSA 計(jì)劃的公開(kāi)記錄請(qǐng)求。我們發(fā)送了大量請(qǐng)求——是我們選擇研究的任何算法的最大請(qǐng)求——部分原因是我們知道許多公開(kāi)記錄法將法院從絕大多數(shù)的披露中加以豁免。在通過(guò)提供一些文件作出回應(yīng)的5 個(gè)法院中，①4 個(gè)法院沒(méi)有回應(yīng)，其中1 個(gè)承認(rèn)收到請(qǐng)求，但沒(méi)有進(jìn)一步回應(yīng)。4 個(gè)法院回應(yīng)說(shuō)它們沒(méi)有相關(guān)文件，2 個(gè)法院拒絕我們的請(qǐng)求，結(jié)論是相關(guān)的公開(kāi)記錄法沒(méi)有要求它們提供我們要求的材料。例如，新澤西州高等法院拒絕我們的請(qǐng)求，回應(yīng)說(shuō)它的規(guī)則豁免披露“有關(guān)審前服務(wù)項(xiàng)目的記錄”和“審判員、法官和司法工作人員在他或她的公務(wù)期間為或被其使用的以任何形式保存的筆記、備忘錄或其他工作論文”。See Letter from Michelle M.Smith,Clerk of the Superior Court,to Michael Morisy (Dec.22,2016),http://www.muckrock.com/foi/new-jersey-229/new-jersey-superior-court-public-safety-assessment-court-28835/#file-114392 .阿勒格尼縣法院也拒絕了我們的請(qǐng)求，原因是賓夕法尼亞州知情權(quán)法只有和財(cái)務(wù)記錄有關(guān)時(shí)才能適用于司法，我們的請(qǐng)求并非為了財(cái)務(wù)記錄。See E-mail from Christopher H.Connors,Chief Deputy Court Adm’r,to Michael Morisy (Oct.6,2016),http://www.muckrock.com/foi/allegheny-county-306/allegheny-county-public-safety-assessment-court-28150/.其中4 個(gè)——亞利桑那州的梅薩市法院、皮馬和納瓦霍縣法院系統(tǒng)，以及加利福尼亞州的舊金山高等法院系統(tǒng)——表示它們無(wú)法提供有關(guān)PSA 的信息，因?yàn)檫@些信息由阿諾德基金會(huì)擁有和控制。②See Letter from Ann E.Donlan,Commc’ns Dir.,Superior Court of Cal.,Cty.of San Francisco,to Michael Morisy (Dec.16,2016),http://www.muckrock.com/foi/san-francisco-city-and-county-3061/san-francisco-public-safety-assessment-court-30096/#file- 113829;Letter from Ronald G.Overholt,Court Adm’r,Ariz.Superior Court,Pima Cty.,to Michael Morisy (Jan 18,2017),http://www.muckrock.com/foi/pima-county-183/pimacounty-superior-court-public-safety-assessment-30130/#file-116730 ;E-mail from Marla Randall,Court Adm’r,Navajo Cty.Courts,to Michael Morisy(Dec.20,2016),http://www.muckrock.com/foi/navajo-county-9526/navajo-county-superior-court-public-safety-assessment-30129/;E-mail from Paul Thomas,Court Adm’r,Mesa Mun.Court,to Michael Morisy (Nov.17,2016),http://www.muckrock.com/foi/mesa-4736/mesa-municipal-court-publicsafety-assessment-30126/.3/4 的縣（皮馬縣、納瓦霍縣和舊金山）向我們發(fā)送了與阿諾德基金會(huì)的諒解備忘錄副本，其中包含禁止法院披露任何有關(guān)PSA 計(jì)劃信息內(nèi)容的相同語(yǔ)言。③參見(jiàn)Memorandum of Understanding Between the Laura and John Arnold Foundation and the Supe-rior Court of California,County of San Francisco 3 (Aug.4,2015),http://www.muckrock.com/foi/san-francisco-city-and-county-3061/san-francisco-public-safety-assessment-court-30096/#file-113830（“沒(méi)有競(jìng)爭(zhēng)管轄權(quán)法院的法院庭諭登記，法院同意不允許向任何未經(jīng)基金會(huì)提前同意的第三方披露任何關(guān)于工具的信息，包括有關(guān)工具發(fā)展、運(yùn)行和報(bào)告的信息”）。

除了諒解備忘錄之外，我們收到所有有關(guān)PSA 文件的一個(gè)法院系統(tǒng)是佛羅里達(dá)州第七司法巡回法庭，代表該巡回法庭所服務(wù)的其中一個(gè)縣Volusia 的預(yù)審服務(wù)計(jì)劃。 這可能是因?yàn)榉鹆_里達(dá)州法要求私人方明確指定商業(yè)秘密或放棄保密——這個(gè)法律特點(diǎn)反映在阿諾德基金會(huì)與第七司法巡回法之間的備忘錄里，我們也收到了這個(gè)備忘錄。④See id.

第七司法巡回法庭制作的文件提供了一些有趣的補(bǔ)充信息。例如，一份文件通過(guò)風(fēng)險(xiǎn)評(píng)分，披露了未能出庭、從事新犯罪或新暴力犯罪的被告實(shí)際百分比。在那些顯然是阿諾德用于創(chuàng)建算法的原始訓(xùn)練數(shù)據(jù)中，通過(guò)風(fēng)險(xiǎn)評(píng)分，被釋放并且未能出庭的被告的百分比是1（10%）、2（15%）、3（20%）、4 （31%）、5（35%）和6（40%）。⑤See Zach Dal Pra,LJAF Public Safety Assessment—PSA,JUST.SYS.PARTNERS 31,http://cdn.muckrock.com/foia_files/2016/12/15/Volusia_Stakeholder_Training_10162015.pdf.這個(gè)材料由第七巡回法庭提交給我們，僅僅包括一個(gè)研究的簡(jiǎn)短總結(jié)，細(xì)節(jié)很少。因?yàn)樗鼪](méi)有包括對(duì)任何發(fā)表材料的引用，我們推測(cè)這個(gè)研究由基金會(huì)單獨(dú)進(jìn)行，而且沒(méi)有發(fā)表。因此，被設(shè)定為產(chǎn)生未能出庭最高風(fēng)險(xiǎn)評(píng)分風(fēng)險(xiǎn)是最低評(píng)分風(fēng)險(xiǎn)的4 倍。然而，一旦PSA 算法被開(kāi)始使用，阿諾德基金會(huì)發(fā)現(xiàn)它產(chǎn)生了更窄的結(jié)果帶，即1（12%）、2（16%）、3（18%）、4（23%）、5（27） %）和6（30%）。⑥Id.這些數(shù)字的發(fā)現(xiàn)基于跟蹤肯塔基州和肯塔基州外三個(gè)不知名的城市的100 000 個(gè)PSA 應(yīng)用案例。相比訓(xùn)練數(shù)據(jù)中得分為4 而言，得分為6 表示出庭失敗的風(fēng)險(xiǎn)更低。不幸的是，唯一的驗(yàn)證研究結(jié)果是三個(gè)摘要圖表。因此，我們無(wú)法知道，例如，在審判前每個(gè)風(fēng)險(xiǎn)類別中被告被扣押而非被釋放的比例是多少，因此未能出現(xiàn)于驗(yàn)證研究中。

第七司法巡回法庭制作的兩份文件也提供了有關(guān)阿諾德基金會(huì)本身未廣泛宣傳的另一項(xiàng)倡議的一些信息。①參見(jiàn) See Zach Dal Pra,LJAF Public Safety Assessment—PSA,JUST.SYS.PARTNERS 31,http://cdn.muckrock.com/foia_files/2016/12/15/Volusia_Stakeholder_Training_10162015.pdf（描 述 決 策 框 架）；Zach Dal Pra,Volusia County Case Review,JUST.SYS.PARTNERS 3 (2016),http://cdn.muckrock.com/foia_files/2016/12/15Volusia_County_Case_Review_ Redacted.pdf（指出“審前工作人員堅(jiān)持將決策框架作為指南，從而作出基于調(diào)整當(dāng)前指控性質(zhì)的被告風(fēng)險(xiǎn)級(jí)別的建議”）?；饡?huì)建議法院使用“決策框架”，將被告的PSA 風(fēng)險(xiǎn)評(píng)分和當(dāng)前待定費(fèi)用作為輸入，并作為輸出生成具體的預(yù)審處理建議，覆蓋從無(wú)保釋金釋放到拘留。②參見(jiàn) See Zach Dal Pra,LJAF Public Safety Assessment—PSA,JUST.SYS.PARTNERS 31,http://cdn.muckrock.com/foia_files/2016/12/15/Volusia_Stakeholder_Training_10162015.pdf（解釋決策框架如何被用于“決定初步建議釋放種類和相應(yīng)的條件級(jí)別”）。決策框架是第二種算法，產(chǎn)生處理的具體建議（而不是風(fēng)險(xiǎn)評(píng)分）?；饡?huì)指出，決策框架由管轄區(qū)內(nèi)與專門在特定法院系統(tǒng)實(shí)施PSA 計(jì)劃的承包商合作的代表們?yōu)槊恳粋€(gè)管轄區(qū)創(chuàng)建。③參見(jiàn) Email from Leila Walsh,Vice President of Commc’n,Laura & John Arnold Found.,to Robert Brauneis,Professor of Law,George Washington Univ.5 (Mar.2,2017),http://www.robertbrauneis.net/algorithms/ArnoldFoundationEMail.pdf（“在實(shí)施PSA 之前，當(dāng)?shù)氐睦﹃P(guān)系人——例如法院、法律執(zhí)行機(jī)構(gòu)、區(qū)域檢察辦公室和公共辯護(hù)人辦公室——合作為他們管轄區(qū)開(kāi)發(fā)決策框架”）。但是，第七司法巡回法文件沒(méi)有提供有關(guān)為法院的決策框架如何創(chuàng)建的信息，或者其是否已經(jīng)過(guò)任何測(cè)試。

最后，我們直接與阿諾德基金會(huì)接洽，并通過(guò)一系列電子郵件和電話交談，專門索要基金會(huì)可能擁有的技術(shù)報(bào)告、驗(yàn)證研究和其他文件，這些文件將提供有關(guān)PSA 算法創(chuàng)建和測(cè)試的更多詳細(xì)信息。該基金會(huì)回復(fù)了一份簡(jiǎn)短的三頁(yè)聲明，該聲明主要內(nèi)容都可以在基金會(huì)網(wǎng)站得到。④Id.

從基金會(huì)的網(wǎng)站、第七司法巡回法庭提供的文件以及基金會(huì)為我們制作的聲明，我們知道基金會(huì)通過(guò)分析大約750 000 個(gè)案例中的數(shù)據(jù)來(lái)創(chuàng)建PSA 算法。我們對(duì)它如何分析數(shù)據(jù)，何種替代方案被嘗試，或者這些替代方案與最終被采用的PSA 算法的比較均一無(wú)所知。

我們特別詢問(wèn)為什么阿諾德基金會(huì)堅(jiān)持要求諒解備忘錄禁止法院披露有關(guān)PSA 的任何信息?；饡?huì)回應(yīng)：在發(fā)布算法之前，與早期接受管轄區(qū)之間的保密協(xié)議使PSA 的使用受限，同時(shí)我們開(kāi)發(fā)了本地?cái)?shù)據(jù)基礎(chǔ)設(shè)施來(lái)衡量結(jié)果，等待和研究實(shí)施后的預(yù)審結(jié)果，并啟動(dòng)了額外的研究。這些保密協(xié)議還有助于防止?fàn)I利性公司利用PSA 的要素開(kāi)發(fā)不合標(biāo)準(zhǔn)的風(fēng)險(xiǎn)工具，從而向管轄區(qū)進(jìn)行推銷。⑤Id.然而，據(jù)我們所知，保密條款不僅限于“早期接受的管轄區(qū)”，而且所有條款都規(guī)定它們需要永久保密。

2.Eckerd 快速安全反饋——兒童福利評(píng)估

Eckerd 快速安全反饋（RSF）是一種風(fēng)險(xiǎn)評(píng)估程序，旨在識(shí)別嚴(yán)重的兒童傷害或死亡可能性很高的兒童福利案例。⑥Summary and Replication Information,ECKERD RAPID SAFETY FEEDBACK,http://static.eckerd.org/wp-content/uploads/Eckerd-Rapid-Safety-Feedback-Final.pdf.RSF 由非營(yíng)利性家庭和兒童服務(wù)組織Eckerd Kids（Eckerd）與營(yíng)利性軟件公司Mindshare Technology 共同開(kāi)發(fā)。通過(guò)審查一大批兒童福利案例，包括兒童受傷或死亡的案例，Eckerd 確定了造成兒童傷害或死亡的最大風(fēng)險(xiǎn)因素，即“三歲以下的兒童、家庭里的情人關(guān)系、藥物濫用、家庭暴力史，以及父母之前曾被寄養(yǎng)”⑦Id.;see also Bryan Lindert,“Eckerd Rapid Safety Feedback: Bringing Business Intelligence to Child Welfare”,2014 Pol’ Y & Prac.25,http://static.eckerd.org/wp-content/uploads/Eckerd.pdf.Eckerd 還發(fā)現(xiàn)可采取的最關(guān)鍵的用來(lái)阻止有關(guān)質(zhì)量安全計(jì)劃、質(zhì)量監(jiān)督回訪和家訪的數(shù)量和頻率的兒童受傷或死亡的步驟。Id.尚不清楚 Eckerd 是否通過(guò)機(jī)器學(xué)習(xí)、人類評(píng)估或兩者結(jié)合來(lái)實(shí)施這些分析。。Eckerd 與Mindshare Technology 合作開(kāi)發(fā)軟件，分析存在于兒童福利報(bào)告系統(tǒng)中的數(shù)據(jù)，并用這些因素標(biāo)記對(duì)高風(fēng)險(xiǎn)案例的干預(yù)。①See Summary and Replication Information,ECKERD RAPID SAFETY FEEDBACK,http://static.eckerd.org/wp-content/uploads/Eckerd-Rapid-Safety-Feedback-Final.pdf.

我們向Eckerd 所報(bào)告的使用RSF 系統(tǒng)的5 個(gè)州，即阿拉斯加州、康涅狄格州、伊利諾伊州、緬因州和俄克拉荷馬州的兒童福利機(jī)構(gòu)發(fā)送了有關(guān)使用Eckerd RSF 算法信息的公開(kāi)記錄請(qǐng)求。我們從阿拉斯加、康涅狄格州和伊利諾伊州收到了幾份文件。俄克拉荷馬州回應(yīng)說(shuō)，它需要得到大約2 500美元的支付來(lái)回應(yīng)我們的請(qǐng)求，這顯然包括向我們提供它發(fā)送給Eckerd 的兒童福利案例數(shù)據(jù)的支出，以及刪除個(gè)人識(shí)別信息的支出。②參見(jiàn) Invoice,Open Record Request,OKLA.DEP’ T HUMAN SERVICES (Nov.3,2016),http://cdn.muckrock.com/foia_files/2016/11/09/11-3-16_MR28151_FEE_2472.pdf（要求支付2 472 美元以回應(yīng)公開(kāi)記錄請(qǐng)求）。緬因州認(rèn)可我們的請(qǐng)求，但是到目前為止還沒(méi)有出示任何文件。③See Letter from Kevin C.Wells,General Counsel,Me.Dep’t of Health and Human Servs.to Michael Morisy,MUCKROCK (Nov.21,2016),http://cdn.muckrock.com/foia_files/2016/12/06/1249s5dayletterEckerdRapid_S afetySoftware11.21.16.pdf.

阿拉斯加健康和社會(huì)服務(wù)部向我們發(fā)送了一些文件，包括其兒童服務(wù)辦公室（“OCS”）與Eckerd 之間關(guān)于Eckerd 向OCS 提供兒童福利案例RSF 評(píng)估的諒解備忘錄。從備忘錄中可以清楚地看出，Eckerd 保留了對(duì)處理OCS 兒童福利案例信息并生成風(fēng)險(xiǎn)評(píng)估的軟件的控制權(quán)。兒童福利案例信息被傳送到Eckerd 或Mindshare，并且有關(guān)這些網(wǎng)站上可得案例所產(chǎn)生的風(fēng)險(xiǎn)評(píng)估由Eckerd 維護(hù)，OCS 人員可以訪問(wèn)它。④參見(jiàn)Memorandum of Understanding of February 20,2015 between Eckerd Youth Alternatives,Inc.and the Alaska Department of Health and Social Services 2,http://cdn.muckrock.com/foia_files/2017/03/02/MOU_Eckerd_and_OCS_Febru ary_2015_signed.docx.pdf（規(guī)定Eckerd 將“管理、維持和支持該門戶網(wǎng)站，目標(biāo)是為機(jī)構(gòu)提供24 小時(shí)技術(shù)支持和訪問(wèn)該門戶網(wǎng)站及其生成的報(bào)告”）；id.at 1 (界定“Portal”為“被設(shè)計(jì)用來(lái)讀[關(guān)于兒童福利案例電子信息]、從事自動(dòng)分析、生成用于實(shí)施和支持 Eckerd 快速安全反饋的報(bào)告的網(wǎng)址和相關(guān)技術(shù)”）。

公共機(jī)構(gòu)OCS 無(wú)法訪問(wèn)生成風(fēng)險(xiǎn)評(píng)估的算法，也無(wú)法訪問(wèn)生成和調(diào)整算法的過(guò)程。此外，在OCS 了解算法任何內(nèi)容的情況下，它同意不公開(kāi)它。Eckerd-Alaska OCS 諒解備忘錄規(guī)定，所有“Eckerd IP”，包括由Eckerd 及其相關(guān)軟件維護(hù)的網(wǎng)站，Eckerd 生成的報(bào)告以及所有相關(guān)發(fā)明、過(guò)程、改進(jìn)和算法，均被視為“機(jī)密”信息，OCS 同意不去披露。⑤See id. at 1,4,5.

康涅狄格州兒童和家庭部提供了許多關(guān)于Eckerd RSF 的文件，包括小冊(cè)子、情況說(shuō)明書(shū)、幻燈片演示和流程圖，確認(rèn)公共機(jī)構(gòu)向Eckerd 提供有關(guān)兒童福利案例的信息，然后由Eckerd 處理該信息，并生成該機(jī)構(gòu)可以查看的風(fēng)險(xiǎn)評(píng)估。⑥例如，一個(gè)命名為“CT Eckerd 快速安全反饋程序流”的圖表分配給Mindshare 以“生成復(fù)查列表的Mindshare 工具/預(yù)測(cè)分析”的步驟。CT,Eckerd Rapid Safety Feedback Process Flow,ECKERD,http://cdn.muckrock.com/foia_files/ 2016/11/13/CT_ERSF_Process_Flowchart9-12.pdf.

伊利諾伊州兒童和家庭服務(wù)部門提供了與Eckerd 2016 和2017 財(cái)政年度的合同。合同顯示伊利諾伊州估算它將為Eckerd 支付的服務(wù)金額——2016 和2017 財(cái)政年度分別為107 000 美元和171 000 美元。⑦See Contract # 5445089016 between Eckerd Youth Alternatives,Inc.and State of Illinois,Department of Children and Family Services 7 (Sept.15,2015),http://www.robertbrauneis.net/algorithms/ILERSFFY16.pdf [hereinafter Illinois FY16 Contract];Contract # 5445089027 between Eckerd Youth Alternatives,Inc.and State of Illinois,Department of Children and Family Services 7 (July 1,2016),http://www.robertbrauneis.net/algorithms/ILERSFFY17.pdf [hereinafter Illinois FY17 Contract].這些合同還包含了似乎是標(biāo)準(zhǔn)的州合同條款，這些條款比阿拉斯加諒解備忘錄更有利于信息披露和公共所有，其中列舉了“根據(jù)聯(lián)邦法律、州法律或適用的FOIA 豁免而不被禁止或免于披露的信息是公開(kāi)信息”①See Contract # 5445089016 between Eckerd Youth Alternatives,Inc.and State of Illinois,Department of Children and Family Services 7 (Sept.15,2015),http://www.robertbrauneis.net/algorithms/ILERSFFY16.pdf [hereinafter Illinois FY16 Contract];Contract # 5445089027 between Eckerd Youth Alternatives,Inc.and State of Illinois,Department of Children and Family Services 7 (July 1,2016),http://www.robertbrauneis.net/algorithms/ILERSFFY17.pdf [hereinafter Illinois FY17 Contract],at 140.。合同還規(guī)定，州擁有根據(jù)合同生成的所有信息，包括所有知識(shí)產(chǎn)權(quán)和任何合同產(chǎn)品。②See id.伊利諾伊州的合同中有一些語(yǔ)言表明Eckerd 會(huì)根據(jù)對(duì)伊利諾伊州數(shù)據(jù)的分析產(chǎn)生一種新的預(yù)測(cè)算法；“第一階段：模型的發(fā)展”中的一項(xiàng)行動(dòng)是“開(kāi)發(fā)預(yù)測(cè)模型，用于確認(rèn)即將到來(lái)的對(duì)嚴(yán)重受傷或死亡的最高概率的調(diào)查”。③See id.然而，目前尚不清楚這是否真的會(huì)涉及全新的數(shù)據(jù)分析，或現(xiàn)有算法的某些擬合。

3.阿勒格尼家庭篩查工具——兒童福利評(píng)估

與Eckerd RSF 一樣，阿勒格尼家庭篩查工具（AFST）的開(kāi)發(fā)是為了促進(jìn)對(duì)兒童福利案例的分流。AFST 由奧克蘭理工大學(xué)數(shù)據(jù)分析中心（“奧克蘭大學(xué)聯(lián)盟”）領(lǐng)導(dǎo)的大學(xué)聯(lián)盟與阿勒格尼縣人類服務(wù)部合作開(kāi)發(fā)。 阿勒格尼國(guó)土安全部門發(fā)布了關(guān)于利用阿勒格尼縣數(shù)據(jù)庫(kù)的項(xiàng)目提案請(qǐng)求，奧克蘭大學(xué)聯(lián)盟提交了一份成功的提案。雖然Eckerd RSF 明顯是在監(jiān)控兒童福利系統(tǒng)內(nèi)案例的不間斷基礎(chǔ)上得以使用，但AFST 應(yīng)用于報(bào)告虐待兒童被初次呼叫時(shí)的情形，它有助于確定報(bào)告是否需要進(jìn)行正式調(diào)查。目前，阿勒格尼FST 僅用于阿勒格尼縣。

在我們向阿勒格尼縣提交有關(guān)AFST 的公開(kāi)記錄請(qǐng)求后，縣官員與我們聯(lián)系，向我們提供了奧克蘭大學(xué)聯(lián)盟編寫(xiě)的關(guān)于算法開(kāi)發(fā)的報(bào)告④See Rhema Vaithianathan et al.,Developing Predictive Models to Support Child Maltreatment Hotline Screening Decisions: Allegheny County Methodology and Implementation,CTR.FOR SOC.DYNAMICS (Sept.2016).，并表示他們很高興與我們討論算法及其開(kāi)發(fā)。該報(bào)告在許多方面是我們?cè)谒惴ㄩ_(kāi)發(fā)中看到的最全面的報(bào)告。它詳細(xì)介紹了許多開(kāi)發(fā)過(guò)程中所作出的選擇、這些選擇背后的原因以及被使用的數(shù)據(jù)和方法。最終創(chuàng)建了兩種算法：一種用于預(yù)測(cè)一項(xiàng)指控（如果未經(jīng)過(guò)正式調(diào)查）將在未來(lái)2 年內(nèi)導(dǎo)致涉及針對(duì)同一兒童的另一項(xiàng)指控的可能性；另一種用于預(yù)測(cè)一項(xiàng)指控（如果被正式調(diào)查）將在2 年內(nèi)導(dǎo)致孩子被寄養(yǎng)的可能性。⑤See id.at 10.算法的訓(xùn)練數(shù)據(jù)來(lái)自該縣于2008 年創(chuàng)建的綜合數(shù)據(jù)管理系統(tǒng)；開(kāi)發(fā)人員決定，對(duì)于數(shù)據(jù)集中的每起濫用指控，希望得到在指控之前18 個(gè)月和指控后2 年的數(shù)據(jù)。⑥See id.at 11.數(shù)據(jù)集包括800 多個(gè)變量。⑦See id.at 12.開(kāi)發(fā)人員使用非線性回歸作為他們的主要分析方法，這在很大程度上是因?yàn)樗a(chǎn)生了與其他方法一樣好的結(jié)果，并具有可解釋性的優(yōu)勢(shì)。⑧See id.at 13-14.換句話說(shuō)，它是為了實(shí)現(xiàn)透明度和問(wèn)責(zé)制目標(biāo)。開(kāi)發(fā)人員使用訓(xùn)練數(shù)據(jù)預(yù)留部分的內(nèi)部驗(yàn)證研究，以及使用住院和“重大事件”（嚴(yán)重傷害或死亡）記錄的外部驗(yàn)證研究。⑨See Rhema Vaithianathan et al.,Developing Predictive Models to Support Child Maltreatment Hotline Screening Decisions: Allegheny County Methodology and Implementation,CTR.FOR SOC.DYNAMICS (Sept.2016). at 15-17,19-23.該算法實(shí)施后研究使用的時(shí)間并不長(zhǎng)。

該報(bào)告在附錄112 中公開(kāi)了最終使用的變量——71 用于預(yù)測(cè)寄養(yǎng)家庭安置的模型，59 用于預(yù)測(cè)再次指控的模型——以及分配給每個(gè)變量的權(quán)重，其可應(yīng)阿勒格尼DHS 的請(qǐng)求予以提供。①See Rhema Vaithianathan et al.,Developing Predictive Models to Support Child Maltreatment Hotline Screening Decisions: Allegheny County Methodology and Implementation,CTR.FOR SOC.DYNAMICS (Sept.2016),at 37-43.我們提交這樣的請(qǐng)求并被提供權(quán)重。這些算法的輸出表現(xiàn)為兩個(gè)風(fēng)險(xiǎn)分值——一個(gè)用于再次指控或“重新轉(zhuǎn)診”；一個(gè)用于寄養(yǎng)家庭安置——按從1 到20 的等級(jí)，每個(gè)數(shù)字代表被考慮的所有兒童5%的檔次。②See id.at 27.因此，得分“10”意味著孩子重新轉(zhuǎn)診或安置風(fēng)險(xiǎn)在所有兒童的50%-55%范圍內(nèi)，得分“15”將在75%-80%的范圍內(nèi)。開(kāi)發(fā)人員還決定創(chuàng)建一個(gè)閾值分值，該分值可能會(huì)導(dǎo)致強(qiáng)制性調(diào)查，但主管可能會(huì)放棄該結(jié)果；報(bào)告沒(méi)有透露閾值。③See id.at 28.

阿勒格尼縣最終決定不使用有色兒童或監(jiān)護(hù)人作為變量，因?yàn)樗鼪](méi)有顯著提高預(yù)測(cè)能力，而且在其他方面存在問(wèn)題。④See id.at 15,30.該報(bào)告在一定程度上討論了假陰性和假陽(yáng)性的危險(xiǎn)，但沒(méi)有透露是否最終進(jìn)行平等或不平等加權(quán)。⑤See id.at 10.雖然奧克蘭大學(xué)聯(lián)盟保留了用于實(shí)施該算法的代碼的版權(quán)，但與阿勒格尼縣的合同準(zhǔn)許其有授權(quán)其他管轄區(qū)使用該代碼而無(wú)需進(jìn)一步支付的權(quán)力，縣官員表示他們有興趣這樣做。因此，雖然這個(gè)項(xiàng)目不完全是一個(gè)開(kāi)源項(xiàng)目，但它比我們研究的其他5 個(gè)算法更接近開(kāi)源項(xiàng)目。

4.PredPol——預(yù)測(cè)性警務(wù)

PredPol 是一種軟件，可以預(yù)測(cè)各種類型的犯罪可能發(fā)生的地點(diǎn)和時(shí)間，從而協(xié)助警察策劃巡邏以遏制這些犯罪。它最初由加州大學(xué)洛杉磯分校和圣克拉拉大學(xué)的數(shù)學(xué)家和行為科學(xué)家以及洛杉磯和圣克魯斯警察局的犯罪分析師和官員合作開(kāi)發(fā)⑥PredPol Is Predictive Policing,PREDPOL,http://www.predpol.com/about/.，但現(xiàn)在由營(yíng)利性公司PredPol 公司管理，PredPol的創(chuàng)建者確定用于預(yù)測(cè)犯罪的三種最重要的信息類型或“數(shù)據(jù)點(diǎn)”是犯罪類型、犯罪地點(diǎn)與犯罪日期和時(shí)間。⑦Id.PredPol將有關(guān)過(guò)去犯罪活動(dòng)模式的數(shù)據(jù)提供給一種預(yù)測(cè)新犯罪將在何時(shí)何地實(shí)施的算法。⑧Id.據(jù)一位消息人士透露，PredPol 在保持其算法秘密上以“壁壘森嚴(yán)”而聞名。⑨See Elizabeth E.Joh,The Undue Influence of Surveillance Technology Companies on Policing,92 N.Y.U.L.REV.ONLINE 101,119 (2017).引用Ali Winston，亞利桑那州比爾沃德基金預(yù)測(cè)警務(wù)技術(shù)，REVEAL (Mar.25,2015),http://www.revealnews.org/article/arizona-bill-would-fundpredictivepolicing-technology/。

我們向11 個(gè)警察局發(fā)送了有關(guān)PredPol 的記錄請(qǐng)求，其中包括阿拉巴馬州牛津市、阿肯色州小石城市、加利福尼亞州的洛杉磯市、莫德斯托市、奧蘭治縣、圣克魯斯市、佛羅里達(dá)州可可市、佐治亞州亞特蘭大市、馬里蘭州黑格斯敦市、賓夕法尼亞州雷丁市、華盛頓特區(qū)塔科馬市。這11 個(gè)警察局中有8 個(gè)或沒(méi)有回應(yīng)，或收到我們的請(qǐng)求沒(méi)有出示文件，或要求更多時(shí)間作出答復(fù)但尚未作出答復(fù)，或回復(fù)稱他們沒(méi)有任何相關(guān)文件。提供文件的是塔科馬、可可和圣克魯斯的警察局。

華盛頓州塔科馬市是我們針對(duì)任何算法發(fā)送記錄請(qǐng)求的管轄區(qū)中最積極的一個(gè)，它提供了塔科馬警察局和PredPol 人員200 封關(guān)于實(shí)施PredPol 的各種問(wèn)題進(jìn)行通信的電子郵件。它還提供了就PredPol 和預(yù)測(cè)性警務(wù)的工作方式所做的10 次發(fā)言。這些文件對(duì)于PredPol 報(bào)告是什么樣的，以及PredPoly 用什么算法作為輸入的數(shù)據(jù)等感興趣的人非常有幫助。然而，這些文件都沒(méi)有揭示PredPol用于從過(guò)去的犯罪數(shù)據(jù)生成預(yù)測(cè)的算法，也沒(méi)有揭示PredPol 用于創(chuàng)建該算法的過(guò)程。

可可市向我們發(fā)送了一些文件，這些文件都與購(gòu)買PredPol 服務(wù)有關(guān)。也許最有說(shuō)服力的是在購(gòu)買PredPol 服務(wù)處于市議會(huì)議程時(shí)已提交給市議會(huì)成員的背景文件。該文件沒(méi)有提供有關(guān)PredPol 的任何細(xì)節(jié)，但聲明：“市檢察官已經(jīng)建議，根據(jù)佛羅里達(dá)州法規(guī)s119.071（2）（d），披露監(jiān)視技術(shù)、程序或人員的信息可免于公開(kāi)查詢?！雹訇P(guān)于立法細(xì)節(jié)（有文本），參見(jiàn) File # 15-361,City of Cocoa 1 (July 30,2015),http://cdn.muckrock.com/foia_files2017/01/13/15-361_City_Council Agenda Item 8-25-15.pdf?？煽墒泻芸赡芤揽窟@一建議拒絕提供任何有關(guān)PredPol 本身的文件，盡管該城市很可能隱藏監(jiān)視技術(shù)，但是關(guān)于算法的價(jià)值和實(shí)現(xiàn)仍然更加透明。

加利福尼亞州圣克魯斯市發(fā)送了PredPol 軟件的幾個(gè)截圖。一個(gè)屏幕要求用戶輸入關(guān)于最近犯罪的地點(diǎn)（緯度和經(jīng)度）、時(shí)間和類型（車輛或住宅）的數(shù)據(jù)，并指出在接下來(lái)的24 小時(shí)內(nèi)對(duì)犯罪地點(diǎn)的預(yù)測(cè)將會(huì)出現(xiàn)在地圖上；另一個(gè)屏幕是城市的地圖，彩色區(qū)域代表犯罪可能發(fā)生的地方。這些屏幕截圖提供了有關(guān)數(shù)據(jù)輸入類型和輸出格式的信息，除此之外幾乎沒(méi)有別的。圣克魯斯市使用的PredPol 版本似乎不如塔科馬使用的版本復(fù)雜。

5.HunchLab——預(yù)測(cè)性警務(wù)

與PredPol 一樣，HunchLab 是預(yù)測(cè)犯罪發(fā)生地點(diǎn)和時(shí)間的軟件，具有制圖輸出以表明在特定時(shí)間段內(nèi)特定類型的犯罪風(fēng)險(xiǎn)高發(fā)區(qū)域。 HunchLab 由Azavea，Inc.，一個(gè)具有認(rèn)證B 的營(yíng)利公司開(kāi)發(fā)和維護(hù)。②B 公司的盈利性由非盈利鑒定公司B 實(shí)驗(yàn)室鑒定，以滿足社會(huì)和環(huán)境性能、問(wèn)責(zé)性和透明度標(biāo)準(zhǔn)。See What are B Corps?,B CORPS,http://www.bcorporation.net/what-are-b-corps .HunchLab 使用廣泛的輸入來(lái)預(yù)測(cè)犯罪風(fēng)險(xiǎn)，并允許個(gè)別警察局優(yōu)先考慮選定的犯罪。③“HunchLab 決定什么數(shù)據(jù)對(duì)于每一種犯罪預(yù)測(cè)最有用。在一些情況下，地理——先前犯罪的地點(diǎn)和特定地標(biāo)——是最重要的因素。在另一些情況下，時(shí)間——一周的某一天，一年的某一月——優(yōu)先?！眳⒁?jiàn)Maurice Chammah,Policing the Future,MARSHALL PROJECT (Feb.3,2016),http://www.themarshallproject.org/2016/02/03/policing-the-future#.vVL53xF4m（報(bào)告圣路易斯市 HunchLab 系統(tǒng)的部署）。

我們向4 個(gè)警察局發(fā)送了有關(guān)HunchLab 的公開(kāi)記錄請(qǐng)求，它們是佛羅里達(dá)州邁阿密市、密蘇里州圣路易斯縣、內(nèi)布拉斯加州林肯市和賓夕法尼亞州費(fèi)城市的警察局。

邁阿密市最終回復(fù)稱它沒(méi)有相應(yīng)文件。④See Miami PD HunchLab Documents,MUCKROCK,http://www.muckrock.com/foi/miami-103/miami-pd-hunchlab-documents-30109/.圣路易斯縣表示在出示任何文件之前要求我們支付400美元，并重申如果沒(méi)有400 美元的付款就不會(huì)采取行動(dòng)。當(dāng)詢問(wèn)是否可以縮小請(qǐng)求范圍從而減少費(fèi)用后，我們得到了相同的答復(fù)。⑤See St.Louis County PD HunchLab Documents,MUCKROCK,http://www.muckrock.com/foi/st-louis-county-8838/st-louis-county-pdhunchlab-documents-30113/.費(fèi)城市出示了采購(gòu)HunchLab 服務(wù)的訂單⑥Purchase Order,CITY OF PHILADELPHIA PROCUREMENT DEP’T.(2015) http://cdn.muckrock.com/foia_files/2017/02/06/POXX16106457_Redacted.pdf .，但是以我們沒(méi)有要求提供具體文件而拒絕了我們的請(qǐng)求。⑦See Email from Robert Kieffer,Assistant City Solicitor to Michael Morisy (Feb.6 2017),http://cdn.muckrock.com/foia_files/2017/02/06/Final_Response_Morisy_CP_2016-1710.pdf.內(nèi)布拉斯加州林肯市提供了幾份文件，包括一本介紹HunchLab員工的手冊(cè)以及市公共安全總監(jiān)在HunchLab 上發(fā)表的博客文章。也許最有幫助的是，林肯市為我們提供了一套HunchLab 的輸入數(shù)據(jù)樣本，經(jīng)確認(rèn)它包括了30 天的警方事件報(bào)告滾動(dòng)窗口。①See Email from Tonya Peters,Police Legal Advisor,Lincoln Police Dep’t to Michael Morisy (Nov.30 2016),http://cdn.muckrock.com/foia_files/2016/11/30/PRR_Response.pdf.在此期間，林肯市記錄了3057 起警方事件報(bào)告；每份報(bào)告都包含如下細(xì)節(jié)：有關(guān)犯罪街道地址、緯度和經(jīng)度的詳細(xì)信息，犯罪類型，以及犯罪和報(bào)告的日期和時(shí)間。②Police Incident Reports,http://cdn.muckrock.com/foia_files/2016/11/30/ Archive.zip.

Azavea 的HunchLab 項(xiàng)目經(jīng)理和高級(jí)數(shù)據(jù)科學(xué)家杰里米·海夫納（Jeremy Heffner）在得知我們對(duì)內(nèi)布拉斯加州林肯市的公開(kāi)記錄請(qǐng)求后找到了我們。我們與他進(jìn)行了電子郵件交流和電話交談，他最終創(chuàng)建并向我們發(fā)送了一份題為“HunchLab 公民指南”的草案文件，其中提供了有關(guān)HunchLab算法及其創(chuàng)建和驗(yàn)證的信息。從該文件來(lái)看，HunchLab 算法比其他許多算法解釋得更少。它們使用“梯度增強(qiáng)決策樹(shù)”技術(shù)構(gòu)建，其中連續(xù)的決策樹(shù)被嘗試和測(cè)試；開(kāi)發(fā)商整合數(shù)據(jù)，不僅包括報(bào)告的犯罪及其發(fā)生的地點(diǎn)和時(shí)間，還包括已知違法者的位置，已知和可能的犯罪目標(biāo)的位置、天氣，每日、周和季節(jié)周期，社會(huì)經(jīng)濟(jì)指標(biāo)等數(shù)據(jù)。③See “A Citizen’s Guide to HunchLab”,HUNCHLAB,p.26 (July 11,2017),http://robertbrauneis.net/algorithms/HunchLabACitizensGuide.pdf.警官不知道如何依照他或她自己的知識(shí)和判斷進(jìn)行算法決策。 HunchLab 算法也是我們研究的算法中最具動(dòng)態(tài)性的算法。對(duì)于每個(gè)客戶，HunchLab 每隔幾周進(jìn)行一次新的“建模運(yùn)行”以重新校準(zhǔn)模型，并且每個(gè)建模運(yùn)行都會(huì)創(chuàng)建一個(gè)新的預(yù)測(cè)算法。④Id.at 19.

HunchLab 還公開(kāi)討論了在輸入時(shí)的潛在偏見(jiàn)問(wèn)題及其對(duì)該問(wèn)題的判斷。一種偏見(jiàn)是“報(bào)告偏見(jiàn)（Reporting Bias）”——某些社區(qū)可能報(bào)告的犯罪比例高于其他社區(qū)。HunchLab 采取的立場(chǎng)是將大部分偏見(jiàn)納入警方活動(dòng)中。它指出：“我們認(rèn)為警察活動(dòng)應(yīng)該反映社區(qū)報(bào)告的問(wèn)題…… 如果報(bào)告偏見(jiàn)是由于對(duì)警方的不信任，那么我們認(rèn)為在數(shù)據(jù)中存在偏見(jiàn)是恰當(dāng)?shù)?。”⑤Id.at 2.它指出，如果不去報(bào)告是由于恐懼或羞恥，情況可能并非如此，但它并不清楚如何解決這個(gè)問(wèn)題。 HunchLab 還評(píng)論了“執(zhí)法偏見(jiàn)（Enforcement Bias）” ——即使犯罪程度相同，警方最終可能會(huì)在某些社區(qū)中進(jìn)行更多的逮捕并參與更多的執(zhí)法活動(dòng)。它表達(dá)了一個(gè)信念：在重大犯罪如殺人、搶劫或侵害罪中，這種偏見(jiàn)出現(xiàn)較少；對(duì)于其他與毒品有關(guān)的和妨害性的犯罪，它表示其試圖使用反映社區(qū)呼吁服務(wù)投訴的數(shù)據(jù)，而不是反映警察執(zhí)法活動(dòng)的數(shù)據(jù)。⑥Id. at 26.

HunchLab 程序還有其他三個(gè)有趣的功能。首先，該算法允許每個(gè)社區(qū)為每種類型犯罪的相對(duì)嚴(yán)重性設(shè)置權(quán)重——阻止謀殺比阻止入室盜竊到底有多重要。它還允許為巡邏功效調(diào)整權(quán)重——室內(nèi)犯罪不太可能由于出警的增加而被阻止。⑦Id.at 9-10.其次，HunchLab 建議該算法包含隨機(jī)性，以確保警察不會(huì)每天被分配到相同的路線，以便克服工作單調(diào)，并減少警察不斷在一個(gè)地區(qū)出現(xiàn)的負(fù)面影響。⑧Id.at 10-11.第三，HunchLab 現(xiàn)已將其范圍擴(kuò)大到巡邏戰(zhàn)術(shù)，在巡邏區(qū)推薦某些類型的警察活動(dòng)，例如汽車巡邏、步行巡邏、汽車?？康?，并隨著時(shí)間推移監(jiān)測(cè)被使用戰(zhàn)術(shù)的有效性。①See “A Citizen’s Guide to HunchLab”,HUNCHLAB,p.26 (July 11,2017),http://robertbrauneis.net/algorithms/HunchLabACitizensGuide.pdf,at 11-14.

6.紐約市和紐約州增值模式——教師評(píng)估

紐約市和紐約州是采用增值模型（VAM）方法評(píng)估教師的管轄區(qū)。②紐約最高法院認(rèn)為，紐約市發(fā)展測(cè)量針對(duì)申訴的教師而言是任性和多變的。參見(jiàn) Matter of Lederman v. King,47 N.Y.S.3d 838 (N.Y.Sup.Ct.2016)；Valerie Strauss,“Judge Calls Evaluation of N.Y.Teacher ‘Arbitrary’ and ‘Capricious’ in Case Against New U.S.Secretary of Education”,May 10,2016,WASH.POST（關(guān)于教師以不當(dāng)解聘為由對(duì)市政府提起訴訟的報(bào)道）,http://www.washingtonpost.com/news/answer-sheet/wp/2016/05/10/judge-calls-evaluation-of-n-y-teacher-arbitrary-and-capricious-in-case-against-new-u-s-secretary-of-education/。一般來(lái)說(shuō)，增值模型算法通過(guò)比較學(xué)生在給定時(shí)間段開(kāi)始和結(jié)束時(shí)的考試分?jǐn)?shù)，以衡量這些學(xué)生的進(jìn)步，然后對(duì)這些結(jié)果進(jìn)行調(diào)整，以試圖考慮教師效率以外的因素，例如社會(huì)經(jīng)濟(jì)狀況，這可能是學(xué)生進(jìn)步或缺乏的原因。然后，根據(jù)調(diào)整后的某位教師教授學(xué)生的成績(jī)對(duì)該教師的教學(xué)效果進(jìn)行評(píng)估。

我們向紐約市和紐約州提交了有關(guān)其VAM 計(jì)劃文件的公開(kāi)記錄請(qǐng)求。③我們所做的并非初次嘗試，凱西·歐尼爾也嘗試獲得紐約市 VAM 記錄，但失敗了。See Cathy O’Neill,“An Attempt to FOIL Request the Source Code of the Value-Added Model”,Mar.7,2014,MATHBABE,http://mathbabe.org/2014/03/07/an-attempt-to-foil-request-the-source-code-ofthe-value-added-model/.迄今為止，紐約市已向我們發(fā)送了5 封信，通知我們其需要更多時(shí)間來(lái)制作記錄，但是卻沒(méi)有向我們發(fā)送任何記錄。④See “New York State or New York City Value Added Measures for Teachers”,Nov.9,2016,MUCKROCK,http://www.muckrock.com/ foi/newyork-city-17/new-york-state-or-new-york-city-value-added-measures-for-teachers-29739/.紐約州教育部制作了一些文件，包括與其供應(yīng)商，即美國(guó)研究院的原始合同，這些合同用來(lái)實(shí)施紐約州的VAM 計(jì)劃，還有兩份續(xù)約合同和各種作者發(fā)表的概括性評(píng)估增值模型有效性的5 篇文章，其中沒(méi)有一篇關(guān)注紐約州VAM 實(shí)施，以及VAM 算法的樣本輸出——50 名學(xué)生和50 名教師輸出，其中刪除了他們的姓名和其他身份。

樣本輸出確實(shí)提供了有關(guān)VAM 算法產(chǎn)生格式的一些信息，并且它們提供了瞥見(jiàn)算法如何工作的機(jī)會(huì)，因?yàn)樗鼈儗?shí)際上包含一些輸入——例如學(xué)生考試分?jǐn)?shù)——以及輸出。然而，50 個(gè)樣本輸出數(shù)量太少，無(wú)法開(kāi)始還原算法工程，教育部和美國(guó)研究院之間的合同規(guī)定了“合同履行時(shí)的方法或措施是承包商的財(cái)產(chǎn)”，是“專有信息”，教育部門僅被允許“將其完全用于教育目的”。⑤See Contract No.C010834 between the People of the State of New York and Am.Insts.for Research (Sept.19,2011),app.D,http://robertbrauneis.net/algorithms/AIR_CONTRACT_2011_Redacted_FOIL _final.pdf.因此，算法或這些算法不能被公開(kāi)獲得，并且它們的構(gòu)建過(guò)程尚未公開(kāi)。

（三）結(jié)論

我們通過(guò)公開(kāi)記錄請(qǐng)求了解預(yù)測(cè)算法的努力在很多方面令人沮喪。許多政府沒(méi)有作出回應(yīng)，其中許多政府通常要么聲稱免于公開(kāi)記錄行為（例如法院），要么無(wú)法配合請(qǐng)求，因?yàn)樗鼈兂兄Z對(duì)信息進(jìn)行保密。雖然許多管轄區(qū)提供了與供應(yīng)商的合同，從而讓我們能夠了解一些合同條款，但我們對(duì)算法的開(kāi)發(fā)知之甚少，可能是因?yàn)檎畯奈磽碛邪撔畔⒌挠涗洝?阿勒格尼縣的預(yù)測(cè)算法開(kāi)發(fā)剛開(kāi)始便由一個(gè)大學(xué)研究人員聯(lián)盟提供，它是最大的例外，因?yàn)樗胁碛性敿?xì)說(shuō)明其算法開(kāi)發(fā)與算法本身公布的報(bào)告。

四、透明度的主要障礙

我們已經(jīng)詳細(xì)說(shuō)明了通過(guò)對(duì)州和地方政府部署預(yù)測(cè)算法的公開(kāi)記錄請(qǐng)求以獲取有用信息的努力，現(xiàn)在我們轉(zhuǎn)向遇到的障礙。其中主要是未能產(chǎn)生重要記錄或?qū)⑦@些記錄交給政府并主張商業(yè)保密。我們也討論公開(kāi)記錄法中的執(zhí)法和審議過(guò)程豁免，這些法律很可能被濫用，因?yàn)檎畵?dān)心算法的透明度。

（一）文件缺乏

政府不能披露比它們擁有的信息更多的信息。大多數(shù)公開(kāi)記錄法只允許請(qǐng)求者獲取已經(jīng)存在的“記錄”或“信息”。在面對(duì)公開(kāi)記錄請(qǐng)求時(shí)，通常不得要求機(jī)構(gòu)生成新記錄。①參見(jiàn) “A Pocket Guide to the California Public Records Act”,Mar.4,2011,FIRST AMEND.PROJECT SOC’ Y PROF.JOURNALISTS,http://www.thefirstamendment.org/ publicrecordsact.pdf（“PRA 僅僅涵蓋已經(jīng)存在的記錄，不得要求機(jī)構(gòu)創(chuàng)建記錄、列表和匯編”）。我們的研究表明政府根本沒(méi)有很多關(guān)于算法創(chuàng)建和實(shí)施的記錄，要么是因?yàn)檫@些記錄從未生成過(guò)，要么是因?yàn)樗鼈兪怯沙邪躺桑瑥奈刺峁┙o政府客戶，其中包括有關(guān)模型設(shè)計(jì)選擇、數(shù)據(jù)選擇、事實(shí)權(quán)重和驗(yàn)證設(shè)計(jì)的記錄。在更基本的層面上，大多數(shù)政府都沒(méi)有任何有關(guān)模型應(yīng)該解決問(wèn)題以及成功的指標(biāo)是什么的記錄。

大數(shù)據(jù)應(yīng)用程序中許多最重要的決策都是在模型設(shè)計(jì)的“批發(fā)”層級(jí)進(jìn)行的，而不是針對(duì)特定情況的“零售”層級(jí)。在模擬世界中，非立法的批發(fā)政策決策很可能通過(guò)行政規(guī)則制定來(lái)進(jìn)行，包括擬議政策的宣布、評(píng)論該提案的機(jī)會(huì)、最終政策的最后披露、采納的原因，以及如何實(shí)施的解釋。這些規(guī)范和法律不適用于算法策略的創(chuàng)建。大數(shù)據(jù)預(yù)測(cè)模型通常是在沒(méi)有明確化、合理化或被記錄的關(guān)鍵政策決策的情況下建立和使用。在最好的情況下，將會(huì)有一個(gè)公共請(qǐng)求，建議私人供應(yīng)商向政府提供預(yù)測(cè)算法。②See Request for Proposal to Design and Implement Decision Support Tools and Predictive Analytics in Human Services,ALLEGHENY COUNTY DEP’T HUM.SERV.(2014),http://www.county.allegheny.pa.us/Human-Services/Resources/Doing-Business/Solicitations/2014/Decision-Support-Tools-and-Predictive-Analytics-in-Human-Services-RFP.aspx.但更普遍的是，政府只會(huì)與私人供應(yīng)商簽訂一份表格協(xié)議，而這些協(xié)議并未明確已嵌入算法的政治選擇。

（二）過(guò)度的商業(yè)秘密和保密要求

考慮到私人供應(yīng)商聲稱這些信息是保密的，即使政府擁有關(guān)鍵的解釋性記錄，他們也可能會(huì)拒絕透露這些信息。專有算法的所有者通常會(huì)要求與公共機(jī)構(gòu)客戶簽訂保密協(xié)議③參見(jiàn) Elizabeth E.Joh,“The Undue Influence of Surveillance Technology Companies on Policing”,92 N.Y.U.L.Rev.Online 101,119 (2017)（討論警察局與哈里斯公司為了使用 Stingray 警察監(jiān)督技術(shù)而簽訂的保密協(xié)議）。，并對(duì)算法及相關(guān)的開(kāi)發(fā)和部署過(guò)程主張商業(yè)秘密保護(hù)。④參見(jiàn)Amended Summary Judgment Op.,Hous.Fed’n of Teachers v.Hous.Indep.Sch.Dist.,Civil Action No.H-14-1189,at *1 (S.D.Tex.May 4,2017)（“[ 教師評(píng)估 ] 得分由復(fù)雜的算法生成，運(yùn)用復(fù)雜軟件和許多計(jì)算層…… [ 供應(yīng)商 ] 將這些算法和軟件視為商業(yè)秘密，拒絕將其泄漏給[市區(qū)] 或教師自己”）；Rob Kitchin,“Thinking Critically About and Researching Algorithms”,20 Info.Comm.&Soc’ Y 14,20 (2016)（“它經(jīng)常是帶給公司以競(jìng)爭(zhēng)優(yōu)勢(shì)的公司算法，這些算法甚至在沒(méi)有保密協(xié)議的情況下也不愿意揭示它們的知識(shí)產(chǎn)權(quán)”）。政府隨后將使用這些聲明來(lái)豁免對(duì)供應(yīng)商材料的泄露，通常的理由是違反公開(kāi)記錄法相對(duì)狹窄的商業(yè)秘密豁免。

在刑事司法環(huán)境中，個(gè)人自由受到威脅，商業(yè)秘密的算法透明度障礙尤其成問(wèn)題。由于涉嫌商業(yè)秘密保護(hù)，記者不能通過(guò)公開(kāi)記錄請(qǐng)求獲取有關(guān)NorthPointe 的COMPAS（替代制裁的矯正罪犯管理剖析）判決算法的信息。①參見(jiàn) Julia Angwin et al.,“Machine Bias”,May 23,2016,PROPUBLICA,http://www.propublica.org/article/machine-bias-risk-assessments-incriminal-sentencing；Nicholas Diakopoulos,“We Need to Know the Algorithms the Government Uses to Make Important Decisions about Us”,May 23,2016,CONVERSATION,http://theconversation.com/we-need-to-know-the-algorithms-the-government-uses-to-make-important-decisions-aboutus-57869（討論披露的商業(yè)秘密障礙）。在與算法相關(guān)的訴訟中，威斯康星州最高法院維持對(duì)被告人使用COMPAS，并駁回被告的正當(dāng)程序主張，但承認(rèn)透明度問(wèn)題，并要求判決報(bào)告告知法官“已經(jīng)調(diào)用（算法）的專有性質(zhì)，以防止披露有關(guān)因素如何衡量或風(fēng)險(xiǎn)分?jǐn)?shù)如何確定的信息”。②State v. Loomis,881 N.W.2d 749,763-64 (Wis.2016).它還要求披露尚未完成的驗(yàn)證研究和必須被不斷監(jiān)測(cè)與重新規(guī)范的工具。Id.at 769.

如上所述，我們遇到了將商業(yè)秘密和機(jī)密作為理由而拒絕透露其預(yù)測(cè)模型的管轄區(qū)。例如，亞利桑那州的梅薩市法院、皮馬以及納瓦霍縣法院系統(tǒng)、加利福尼亞州的舊金山高等法院系統(tǒng)都是如此，他們正在使用阿諾德基金會(huì)的PSA-Court。阿拉斯加也是如此，它使用針對(duì)兒童的Eckerd 快速安全反饋風(fēng)險(xiǎn)評(píng)估。③See Contract # 5445089016 between Eckerd Youth Alternatives,Inc.and State of Illinois,Department of Children and Family Services 7 (Sept.15,2015),http://www.robertbrauneis.net/algorithms/ILERSFFY16.pdf[hereinafter Illinois FY16 Contract];Contract # 5445089027 between Eckerd Youth Alternatives,Inc.and State of Illinois,Department of Children and Family Services 7 (July 1,2016),http://www.robertbrauneis.net/algorithms/ILERSFFY17.pdf [hereinafter Illinois FY17 Con-tract].亞利桑那州④Arizona Public Records Law,ARIZ.REV.STAT.ANN.§ 39-121 (2017).、加利福尼亞州⑤California Public Records Act,CAL.GOVT.CODE §§ 6250-6276.48 (West 2017).和阿拉斯加州⑥Alaska Public Records Disclosures,ALASKA STAT.§§ 40.25.100-350 (West 2017).的公開(kāi)記錄法都免除了商業(yè)秘密和機(jī)密信息，并且沒(méi)有人能夠公開(kāi)訪問(wèn)政府沒(méi)有的記錄。這將需要大量的額外調(diào)查或訴訟，以確定政府機(jī)構(gòu)是否依法行事。但我們可以說(shuō)明的是，這些機(jī)構(gòu)有代理機(jī)構(gòu)。它們本可以僅僅通過(guò)減少保密范圍和確保政府擁有解釋算法所必需的記錄來(lái)使更多記錄得到披露。⑦如上所述，佛羅里達(dá)州第七司法區(qū)域朝著正確的方向跨出一步，但是它本可以做得更多。

針對(duì)公開(kāi)記錄請(qǐng)求過(guò)于寬泛的保密聲明在該領(lǐng)域中很常見(jiàn)。例如，在研究加利福尼亞州警察局如何使用Shotspotter 技術(shù)來(lái)反映其轄區(qū)內(nèi)開(kāi)火的槍聲時(shí)，福布斯記者M(jìn)att Drange 針對(duì)Shotspotter 生成的槍擊報(bào)告，提交了十幾份國(guó)家信息自由法案請(qǐng)求。⑧Matt Drange,“We’re Spending Millions on This High-Tech System Designed to Reduce Gun Violence.Is It Making a Difference?”,Nov.17,2016,FORBES,http://www.forbes.com/sites/mattdrange/2016/11/17/shotspotter-struggles-to-prove-impact-as-silicon-valley-answer-to-gunviolence/#27e6920c9dbf.盡管事實(shí)是這些請(qǐng)求沒(méi)有要求潛在的傳感器技術(shù)，這些管轄區(qū)最初報(bào)告稱它們無(wú)法披露數(shù)據(jù)，因?yàn)樗鼈兣cShotspotter 之間存在保密協(xié)議。⑨公司于 2015 年 7 月已經(jīng)給用戶發(fā)出一個(gè)全國(guó)范圍內(nèi)的備忘錄，敦促城市發(fā)布針對(duì)記錄請(qǐng)求的毯式否認(rèn)，或者大量披露編譯信息，“以一種將不會(huì)傷害 SST 營(yíng)業(yè)并允許客戶從公共親善的觀點(diǎn)出發(fā)的方式”。參見(jiàn) “Customer Success Training Bulletin”,2015,SST,http://www.documentcloud.org/documents/3221020-ShotSpotter-nationwide-memo-July-2015.html；Jason Tashea,“Should the Public Have Access to Data Police Acquire Through Private Companies?”,Dec.1,2016,ABA Journal,http://www.abajournal.com/magazine/article/public_access_police_data_privat e_company（報(bào)告市政當(dāng)局對(duì)于 Shotspotter 在管轄區(qū)收集到的開(kāi)火槍聲數(shù)據(jù)所有權(quán)主張的不安）。即使數(shù)據(jù)不是商業(yè)秘密或機(jī)密，厭惡風(fēng)險(xiǎn)的市政當(dāng)局認(rèn)為它們無(wú)法分享其轄區(qū)內(nèi)檢測(cè)到的槍擊信息。

政府代表其供應(yīng)商對(duì)商業(yè)秘密保護(hù)的聲明有時(shí)可能是合理的。政府代理人在披露商業(yè)秘密和/或違反不得披露協(xié)議時(shí)承擔(dān)一般責(zé)任，除非受到某種形式的豁免保護(hù)。①參見(jiàn)WASH.REV.CODE § 42.56.060 (2017)（“沒(méi)有公共機(jī)構(gòu)、公共官員、公共雇員和保管者將為任何基于公共記錄公開(kāi)的損失負(fù)責(zé)，只要公共機(jī)構(gòu)、公共官員、公共雇員和保管者遵守這一章的規(guī)定善意行事”）；accord Levine v. City of Bothell,2015 W.L.2567095 at *3 (W.D.Wash.2012)（承認(rèn)“公共機(jī)構(gòu)和它的雇員對(duì)于公共記錄公開(kāi)可以免于責(zé)任，只要他們善意行事并試圖遵守”華盛頓州公開(kāi)記錄法案）；Peter S.Menell,“Tailoring a Public Policy Exception to Trade Secret Protection”,105 Cal.L.Rev.1,30-31 (2017)（討論私人方為了公共利益披露商業(yè)秘密的優(yōu)先權(quán)）。大多數(shù)州都采用《統(tǒng)一商業(yè)秘密法》（Uniform Trade Secret Act）②關(guān)于采納法案的管轄區(qū)目錄，參見(jiàn) UNIF.TRADE SECRETS ACT (UNIF.LAW COMM’ N 1985) (West 2016)。，保護(hù)商業(yè)秘密不被“盜用” ，其被定義為：“未經(jīng)明示或默示同意而披露或使用他人的商業(yè)秘密……在披露或使用時(shí)，知道或有理由知道他對(duì)商業(yè)秘密的了解……基于有義務(wù)保密或限制其使用的情況下獲得?！雹跧d.§ (1)(2)(ii).政府是“人”，因此可能承擔(dān)責(zé)任。④Id.§ (1)(3).此外，聯(lián)邦法律特別禁止商業(yè)秘密披露。18 U.S.C.§ 1905（對(duì)任何在公務(wù)期間“發(fā)表、泄露、披露或用非經(jīng)法律授權(quán)的任何方式或任何程度讓任何信息被知曉的”美國(guó)政府雇員課以刑事責(zé)任……和工作的商業(yè)秘密、過(guò)程、操作、風(fēng)格，或儀器、身份、機(jī)密統(tǒng)計(jì)數(shù)據(jù)、數(shù)量，或任何工資、利益、損失來(lái)源，或任何人的開(kāi)支有關(guān)的信息）。因此，供應(yīng)商通過(guò)主張保護(hù)或要求政府官員簽署保密協(xié)議來(lái)創(chuàng)建保密措施。由于下面討論的原因，政府機(jī)構(gòu)自身的保密利益強(qiáng)化了這種措施。

公開(kāi)記錄行為不會(huì)像本來(lái)那樣盡可能多地對(duì)透明度施加反作用力，因?yàn)樗鼈兺ǔ；砻馍虡I(yè)機(jī)密。⑤參見(jiàn) CONN.GEN.STAT.§ 1-210(b)(5) (2017)（豁免“商業(yè)秘密”披露，界定為 : (A)“信息，包括公式、模式、編輯、程序、工具、方法、技術(shù)、流程、圖畫(huà)、消費(fèi)數(shù)據(jù)或消費(fèi)者列表，(i) 通過(guò)適當(dāng)?shù)姆绞揭约澳軌驈纳虡I(yè)秘密披露使用中獲得經(jīng)濟(jì)價(jià)值的其他人那里得到的獨(dú)立的經(jīng)濟(jì)價(jià)值，無(wú)論該價(jià)值是事實(shí)或潛在地非普遍可知以及未能現(xiàn)實(shí)確定的，以及 (ii) 在當(dāng)時(shí)情況下為保密而作出的合理努力”；(B) “暗中而非通過(guò)合法方式獲得的商業(yè)或財(cái)務(wù)信息”）；DEL.CODE ANN.29 § 10002(g)(2) (2017)（不會(huì)被視為“從一個(gè)具有特權(quán)或機(jī)密性質(zhì)之人處獲得的商業(yè)秘密和商業(yè)或財(cái)務(wù)信息”）；Pennsylvania Right-to-Know Law,65 PA.STAT.AND CONS.STAT ANN.§ 67.708 (b)(11)（豁免披露“構(gòu)成和泄露商業(yè)秘密或機(jī)密專有信息的記錄”）。在其他州，法院在更普遍的豁免下承認(rèn)商業(yè)秘密。參見(jiàn) Phx. Newspapers, Inc. v. Keegan,35 P.3d 105,112 (Ariz.Ct.App.2001)（承認(rèn)商業(yè)秘密在亞利桑那州公開(kāi)記錄法案里“受到機(jī)密披露例外的保護(hù)”）；Linda B.Samuels,“Protecting Confidential Business Information Supplied to State Governments: Exempting Trade Secrets from State Open Records Laws”,27 Am.Bus.L.J.467,468-69 (1989)（討論豁免公開(kāi)記錄法的州商業(yè)秘密范圍）；Open Government Guide,REPORTERS COMMITTEE FOR FREEDOM PRESS,http://www.rcfp.org/ogg/index.php（鏈接到所有 50 個(gè)州的公開(kāi)記錄法案）。FOIA 的豁免4 與州公開(kāi)記錄法案豁免有許多相似之處。它從披露中排除“從（具有）被特許或機(jī)密的人那里獲得的商業(yè)秘密和商業(yè)或財(cái)務(wù)信息”。⑥5 U.S.C.§ 552(b)(4) (2016).因此，豁免涵蓋兩大類：（1）商業(yè)秘密；（2）（a）商業(yè)或財(cái)務(wù)，（b）從某人獲得的信息，以及（c）被特許或機(jī)密信息。在審查中，這些商業(yè)秘密豁免比公司所聲稱的要窄。在受到挑戰(zhàn)時(shí)，過(guò)度慷慨的機(jī)構(gòu)保護(hù)措施已被打破。D.C. 巡回法庭——FOIA 判例法的主要來(lái)源——將“商業(yè)秘密”一詞解釋為較《統(tǒng)一商業(yè)秘密法案》⑦參見(jiàn)UNIF.TRADE SECRETS ACT § 1.4（將商業(yè)秘密界定為：“(i) 包括公式、模式、編輯、程序、工具、方法、技術(shù)或流程的信息，(ii)通過(guò)適當(dāng)?shù)姆绞揭约澳軌驈纳虡I(yè)秘密披露使用中獲得經(jīng)濟(jì)價(jià)值的其他人那里得到的獨(dú)立的經(jīng)濟(jì)價(jià)值，無(wú)論該價(jià)值是事實(shí)或潛在地非普遍可知以及未能現(xiàn)實(shí)確定的，以及(iii)在維持秘密性情況下合理性努力的主題”）。以及2016 年的聯(lián)邦《保護(hù)商業(yè)秘密法》（Defend Trade Secrets Act）的含義更為有限。⑧參見(jiàn)18 U.S.C.§ 1839(3) (2016)（包括“所有形式和類型的財(cái)務(wù)、企業(yè)、科學(xué)、技術(shù)、經(jīng)濟(jì)或機(jī)械信息，包括模式、計(jì)劃、匯編、程序工具、公式、設(shè)計(jì)、原型、方法、技術(shù)、流程、程序、項(xiàng)目或代碼，無(wú)論可視或不可視，無(wú)論或如何儲(chǔ)存、編輯，或物理、電子、圖表、圖像或書(shū)面記憶”）。

根據(jù)豁免4，政府僅可以為了“用于和貿(mào)易商品相關(guān)聯(lián)的以及可以說(shuō)是創(chuàng)新或?qū)嵸|(zhì)性努力的最終產(chǎn)品的秘密、具商業(yè)價(jià)值的計(jì)劃、公式、流程或設(shè)備”而保留記錄。⑨參見(jiàn) Pub. Citizen Health Research Grp. v. U.S. Food & Drug Admin.,704 F.2d 1280,1288-89 n.25 (D.C.Cir.1983)（“重述方法，它的重點(diǎn)在過(guò)失和挪用，未能裝備精良去實(shí)現(xiàn)被管制工業(yè)的競(jìng)爭(zhēng)利益和一般公眾之間適當(dāng)?shù)钠胶狻保籄nderson v. Dep’t of Health & Human Servs.,907 F.2d 936,944 (10th Cir.1990)（采用相同概念）。必須存在“有爭(zhēng)議的信息與生產(chǎn)過(guò)程之間的直接關(guān)系”，而不僅僅是“附屬的商業(yè)機(jī)密”。①Pub.Citizen,704 F.2d at 1287-88.換句話說(shuō)，隱藏的信息必須是商業(yè)產(chǎn)品的核心，而不僅僅是輔助性副產(chǎn)品……鑒于此限制，并非所有供應(yīng)商可能認(rèn)為，商業(yè)領(lǐng)域商業(yè)秘密的算法過(guò)程都應(yīng)被視為為了公開(kāi)記錄豁免目的的商業(yè)秘密?；砻? 的第二方面允許對(duì)某些類型的財(cái)務(wù)或商業(yè)信息保密。②參見(jiàn) Guide to the Freedom Of Information Act,May 2004,U.S.DEP’T JUSTICE,http://www.justice.gov/oip/foia-guide-2004-edition-exemption-4（聲明提交人“具有商業(yè)利益在其中”，記錄則具有商業(yè)性）。這部分豁免也是有限的。信息必須是“特許或保密的”。③參見(jiàn) Harry A.Hammitt Et Al.,Litigation Under The Federal Open Government Law 119 (25th ed.2010)（詞匯“機(jī)密的”是“豁免 4 案例法的主要詞匯”）。D.C. 巡回法庭認(rèn)為，僅僅承諾對(duì)信息來(lái)源保密是不夠的。相反，政府必須在強(qiáng)制記錄中證明披露可能會(huì)（1）“損害政府未來(lái)獲取必要信息的能力”，或（2）“對(duì)信息來(lái)源的競(jìng)爭(zhēng)地位造成重大損害”。④Nat’ l Parks & Conservation Ass'n v. Morton,498 F.2d 765,770 (D.C.Cir.1974).關(guān)于自愿披露的記錄，如果消息來(lái)源沒(méi)有習(xí)慣性向公眾發(fā)布此類信息，商業(yè)和財(cái)務(wù)信息則是“機(jī)密的”。⑤Critical Mass Energy Project v. Nuclear Regulatory Comm’n,975 F.2d 871,872-74 (D.C.Cir.1992).總而言之，F(xiàn)OIA 商業(yè)秘密豁免僅適用于“賭公司（Bet the Company）”商業(yè)秘密的狹窄范圍以及財(cái)務(wù)或商業(yè)信息的子集，披露的推定仍然存在。鑒于政府承擔(dān)的負(fù)擔(dān)，有些州要求州政府機(jī)構(gòu)對(duì)私人實(shí)體為了商業(yè)秘密或機(jī)密信息的請(qǐng)求進(jìn)行通知，并獲得私人部門對(duì)其指定的辯護(hù)。⑥參見(jiàn) Pennsylvania Right-to-Know Law,65 PA.STAT.AND CONS.STAT ANN.§ 67.707（規(guī)定州機(jī)構(gòu)必須在5 個(gè)工作日通知公司披露商業(yè)秘密和機(jī)密信息的要求，然后公司有5 個(gè)工作日向州機(jī)構(gòu)提供其有關(guān)信息披露的立場(chǎng)。在通知公司的10 日內(nèi)，州機(jī)構(gòu)必須決定公布或不予公布信息)。

在解釋商業(yè)秘密豁免時(shí)，政府官員應(yīng)該注意目的隔離。 FOIA 豁免4 的目的是保持政府從受監(jiān)管實(shí)體收集信息的能力⑦按照美國(guó)司法部豁免 4，“向那些被要求向政府提供商業(yè)或財(cái)務(wù)信息的傳播者提供保護(hù)，這些信息保護(hù)它們免受源于披露而產(chǎn)生的競(jìng)爭(zhēng)不利”。Guide to the Freedom of Information Act,May 2004,U.S.DEP’T JUSTICE,http://www.justice.gov/oip/foia-guide-2004-edition-exemption-4.，或用另一種表述，“鼓勵(lì)個(gè)人向政府提供某些機(jī)密信息”⑧Soucie v. David,448 F.2d 1067,1078 (D.C.Cir.1971).。同樣，州公開(kāi)記錄法保護(hù)商業(yè)秘密和機(jī)密信息是為了推進(jìn)公共目標(biāo)。⑨參見(jiàn) Verizon N.Y., Inc. v. N.Y. State Pub. Serv. Comm’n,23 N.Y.S.3d 446 (N.Y.App.Div.2016)（“公共公務(wù)員法 § 87(2)(d) 背后的政策僅僅保護(hù)企業(yè)免受披露機(jī)密商業(yè)信息的損害后果，相當(dāng)于增進(jìn)紐約州的州經(jīng)濟(jì)發(fā)展努力和企業(yè)吸引力”）。由于公開(kāi)記錄法規(guī)定了開(kāi)放性的假設(shè)，并且由于各州追隨FOIA 法院狹隘地解釋商業(yè)秘密和機(jī)密材料，因此公開(kāi)記錄商業(yè)秘密豁免的范圍比私人供應(yīng)商可能想要的（范圍）更窄。當(dāng)政府作為客戶而不是監(jiān)管者時(shí)尤其如此，因?yàn)楸Ｃ懿粫?huì)煽動(dòng)政府的監(jiān)管權(quán)力。目前紐約正在進(jìn)行的訴訟提出了這樣一個(gè)問(wèn)題，即當(dāng)政府以其企業(yè)能力行事時(shí)，受保護(hù)的商業(yè)秘密索賠范圍到底有多大。引用商業(yè)秘密保護(hù)⑩參見(jiàn) N.Y.PUB.OFF.L.§ 87(2)(d)（豁免的披露記錄是“商業(yè)秘密，或由一個(gè)商業(yè)企業(yè)傳播給機(jī)構(gòu)，或從一個(gè)商業(yè)企業(yè)得到的信息中獲得，如果披露將給主題企業(yè)的競(jìng)爭(zhēng)地位產(chǎn)生實(shí)際損害”）。，紐約市拒絕了布倫南司法中心的信息自由法的請(qǐng)求，該請(qǐng)求是為了獲取名為Palantir Gotham 的量刑算法相關(guān)的記錄。?Memorandum of Law in Support of Verified Petition,Brennan Center for Justice at New York University School of Law v.New York City Police Department,Case No.0160541/2016 (N.Y.Sup.Ct.2016) (Doc.No.8),http://www.brennancenter.org/sites/default/files/8%20-%20Memorandum%20of%20Law%20in%20Support%20of%20Verified%20Petition.pdf.

我們提出的所有請(qǐng)求均已提交給以企業(yè)身份行事的管轄區(qū)。我們可以確信，與算法相關(guān)的所有材料的商業(yè)秘密斷言都過(guò)于寬泛。即使假設(shè)源代碼和模型的某些細(xì)節(jié)符合商業(yè)秘密或機(jī)密信息，我們也會(huì)尋找培訓(xùn)材料、現(xiàn)有和計(jì)劃的驗(yàn)證研究，以及有關(guān)反映在算法中的目標(biāo)和設(shè)計(jì)選擇的其他文檔，很難想象這些材料中的大部分（如果有的話）都有資格獲得豁免。幾乎可以肯定的是，作為商業(yè)秘密保護(hù)的算法有時(shí)會(huì)激勵(lì)公司為公共應(yīng)用創(chuàng)建預(yù)測(cè)模型。①參 見(jiàn) Joshua A.Kroll et al.,“Accountable Algorithms”,165 U.Pa.L.Rev.633,640 n.14 (2017)；David S.Levine,“Secrecy and Unaccountability: Trade Secrets in Our Public Infrastructure”,59 Fla.L.Rev.135,180-81 (2007)（以投票機(jī)為例，其中州法律如何強(qiáng)迫進(jìn)行源代碼披露，該披露阻止公司與為了公共服務(wù)的州之間簽訂合同）。同時(shí)，據(jù)稱受商業(yè)秘密法保護(hù)的信息可能處于基本公共職能的核心，并構(gòu)成對(duì)政治判斷的長(zhǎng)期公開(kāi)審查。正如大衛(wèi)·萊文（David Levine）所認(rèn)為的那樣，“商業(yè)秘密與透明和負(fù)責(zé)任的民主政府之間的沖突最終是管理理論和價(jià)值的交鋒”。②參見(jiàn) David S.Levine,“Secrecy and Unaccountability: Trade Secrets in Our Public Infrastructure”,59 Fla.L.Rev.135,180-81 (2007)；Mark Fenster,“The Opacity of Transparency”,91 Iowa L.Rev.885,918-19 (2006)（留意到一個(gè)“計(jì)劃覆蓋政府機(jī)構(gòu)的法律和那些機(jī)構(gòu)對(duì)私人公司逐步依賴之間的基本沖突”，并關(guān)注州法院和立法機(jī)構(gòu)已經(jīng)“無(wú)法就公開(kāi)政府法達(dá)成共識(shí)或清晰規(guī)定”以解決該沖突）。這種沖突可以在法院和立法機(jī)構(gòu)限制商業(yè)秘密豁免公開(kāi)記錄法的范圍與政府機(jī)構(gòu)在簽訂算法合同時(shí)堅(jiān)持透明度時(shí)得到緩解。

（三）其他政府關(guān)注和公開(kāi)記錄法案豁免

即使政府機(jī)構(gòu)產(chǎn)生或獲得足夠的記錄并確保這些記錄不受商業(yè)保密主張的約束，它們也可能有其他理由抵制算法透明度：博弈或規(guī)避，審議中喪失坦率，以及不正當(dāng)?shù)墓姞?zhēng)議。政府官員可能會(huì)擔(dān)心公開(kāi)披露的算法會(huì)被用于博弈或規(guī)避，使得預(yù)測(cè)不那么可靠并阻礙他們的目的。③在機(jī)器學(xué)習(xí)文獻(xiàn)中，博弈問(wèn)題更普遍地被稱為“對(duì)抗性學(xué)習(xí)”——問(wèn)題在于模型開(kāi)發(fā)從一開(kāi)始就預(yù)期對(duì)手將試圖打敗它們。See Daniel Lowd & Christopher Meek,“Adversarial Learning”,in Robert Grossman et al.eds.,Proceedings of The Eleventh ACM SIGKDD International Conference on Knowledge Discovery and Data Mining (KDD),2005,p.641;Pavel Liskov & Richard Lippmann,“Machine Learning in Adversarial Environments”,81 Machine Learning 115 (2010).如果刑事被告知道她所作出的陳述將導(dǎo)致其得到更高的再犯風(fēng)險(xiǎn)評(píng)分，她可能會(huì)撒謊。④例如，COMPAS，一個(gè)評(píng)估刑事被告再犯可能性的工具，部分將它們的預(yù)測(cè)建立在包含這樣聲明的同意或不同意的基礎(chǔ)之上，如“一個(gè)饑餓的人有權(quán)利盜竊”和“你可以用你自己的方式解決問(wèn)題”。See Brittney Via et al.,“Exploring How to Measure Criminogenic Needs: Five Instruments and No Real Answers”,in Faye S.Taxman ed.,Handbook on Risk and Need Assessment: Theory and Practice,Routledge,2016.如果恐怖分子知道其姓名如何被安置在恐怖分子篩查數(shù)據(jù)庫(kù)中并與簽證申請(qǐng)上的姓名相匹配，他可能會(huì)試圖避免這種安置和匹配。⑤參見(jiàn) Jerome P.Bjelopera,Bart Elias & Aaron Siskin,Cong.Research Serv.,R44678,The Terrorist Screening Database And Preventing Terrorist Travel 12 (2016)（檢查護(hù)照應(yīng)用中姓名搜索算法用途的記錄）。對(duì)執(zhí)行和阻止之間的模糊性的開(kāi)發(fā)，參見(jiàn) Cary Coglianese & David Lehr,“Regulating by Robot: Administrative Decision Making in the Machine-Learning Era”,105 Geo.L.J.1147,1218 (2017)（注意到算法規(guī)則制定程序會(huì)模仿被管制實(shí)體合規(guī)性選擇，該種情形類似于因果執(zhí)行算法，并且在法律上系披露豁免）。

這些問(wèn)題是可以理解的，但不能稱為對(duì)公開(kāi)記錄請(qǐng)求無(wú)響應(yīng)的借口。公開(kāi)記錄法確實(shí)可以解決執(zhí)法調(diào)查和調(diào)查技術(shù)背景下的潛在博弈問(wèn)題。⑥參見(jiàn) 5 U.S.C.§ 552(b)(7)(E)（豁免“為法律執(zhí)行目的而編輯的記錄或信息”，其披露“將合理地被期望存在法律規(guī)避的風(fēng)險(xiǎn)”）；5 ILL.COMP.STAT.140/7(d)(v)（豁免法律執(zhí)行記錄，其“披露獨(dú)特或特定的調(diào)查技術(shù)，而非一般被使用的技術(shù)”）；§15.243(1)(b)(v)（豁免將“披露法律執(zhí)行MICH.COMP.LAWS 調(diào)查性技術(shù)或程序”的記錄）?！缎畔⒆杂煞ā返幕砻?（E）明確要求是否披露調(diào)查技術(shù)“存在規(guī)避法律的風(fēng)險(xiǎn)”。⑦5 U.S.C.§ 552(b)(7)(E).然而，其核心是，“調(diào)查”涉及查明肇事者并收集已經(jīng)犯下罪行的證據(jù)。在特殊情況下，有些法院一直愿意將“調(diào)查”擴(kuò)張以涵蓋一些預(yù)防性措施。⑧參見(jiàn) Coastal Delivery Corp. v. U.S. Customs Serv.,272 F.Supp.2d 958 (C.D.Cal.2003)（判決按照豁免 7(E) 美國(guó)海關(guān)總署不給予進(jìn)入各種港口的商品檢查數(shù)量記錄，因?yàn)樗鼈兺ㄟ^(guò)告知進(jìn)口者何地以及何時(shí)檢查將很少出現(xiàn)，進(jìn)而幫助不合法的商品進(jìn)口）；U.S. News & World Report v.Dept. of the Treasury,1986 U.S.Dist LEXIS 27634 (D.D.C.)（判決按照豁免 7(E)，不得公開(kāi)總統(tǒng)豪華轎車的建造細(xì)節(jié)，并對(duì)“調(diào)查”作了廣義的解釋，包括防止對(duì)總統(tǒng)造成潛在的傷害）；Living Rivers, Inc. v. U.S. Bureau of Reclamation,272 F.Supp.2d 1313,1320-22 (D.Utah 2003)（判決如果水庫(kù)被破壞，則可能被淹沒(méi)的水庫(kù)下的地形圖按照豁免 7(E) 不能不給予，因?yàn)榈貓D不能披露調(diào)查實(shí)踐）。我們的一項(xiàng)公開(kāi)記錄要求顯示一個(gè)管轄區(qū)豁免提供與警察監(jiān)視技術(shù)有關(guān)的數(shù)據(jù)，可以說(shuō)與預(yù)防類似。①佛羅里達(dá)州可可市發(fā)送我們一份文件，聲明關(guān)于PredPol 的細(xì)節(jié)不能以公共文件形式提供，因?yàn)椤芭侗O(jiān)視技術(shù)、程序或人員的信息”按照佛羅里達(dá)州公開(kāi)記錄法案豁免披露。參見(jiàn)FLA.STAT.§ 119.071(2)(d) (2017)（“任何披露監(jiān)視技術(shù)、程序、人員的信息均豁免于州公開(kāi)記錄法案119.07(1) and s.和24(a),以及州憲法第1 條”）。即使在特定時(shí)間和區(qū)域部署警務(wù)人員的系統(tǒng)是監(jiān)視技術(shù)或程序，對(duì)監(jiān)視的一個(gè)特定豁免在公開(kāi)記錄法案中并不常見(jiàn)。然而，像PredPol 和HunchLab 這樣的預(yù)測(cè)性警務(wù)程序，其重點(diǎn)是威懾而非調(diào)查，處于豁免邊緣或者之外。對(duì)于再犯和未能出庭刑事被告的風(fēng)險(xiǎn)評(píng)估似乎與“調(diào)查”的關(guān)聯(lián)性更低。此外，對(duì)于其他非刑事司法博弈問(wèn)題，不存在公開(kāi)記錄法的豁免。像Eckerd 快速安全反饋和阿勒格尼家庭篩查工具這樣的兒童福利計(jì)劃主要與執(zhí)法無(wú)關(guān)。②如我們上文關(guān)注到的，政府官員也擔(dān)心傳播算法的偶然發(fā)生和不利行為效果，例如，逃避由知道受到這樣治療是兒童福利風(fēng)險(xiǎn)評(píng)估因素之人必需的心理健康治療，就像博弈一樣，在與透明度的緊張關(guān)系上具有合法的相關(guān)性，沒(méi)有解決該問(wèn)題的公開(kāi)記錄豁免。

通過(guò)采用相對(duì)不受操縱影響的算法，政府機(jī)構(gòu)可以最好地處理對(duì)博弈的擔(dān)憂。例如，阿諾德基金會(huì)聲稱，PSA-Court 僅依賴關(guān)于被告歷史的客觀、可證實(shí)的事實(shí)，產(chǎn)生的風(fēng)險(xiǎn)評(píng)估與依賴于被告主觀陳述的算法幾乎一樣準(zhǔn)確。③參見(jiàn) Developing a National Model for Pretrial Risk Assessment,LAURA & JOHN ARNOLD FOUND.(Nov.2013),http://www.arnoldfoundation.org/wp-content/uploads/2014/02/LJAF-research-summary_PSA-Court_4_1.pdf（關(guān)注其他風(fēng)險(xiǎn)評(píng)估工具“依賴通過(guò)會(huì)見(jiàn)被告而收集到的數(shù)據(jù)”和PSA-Court 僅僅使用“從被告犯罪歷史中得到”的數(shù)據(jù)）。Azavea 已將隨機(jī)性引入它的HunchLab 預(yù)測(cè)警務(wù)算法，其除了別的因素之外，甚至?xí)蚬_(kāi)算法而挫敗推導(dǎo)巡邏計(jì)劃的努力。④See “A Citizen’s Guide to HunchLab”,July 11,2017,p.26,HUNCHLAB,http://robertbrauneis.net/algorithms/HunchLabACitizensGuide.pdf.

官員們可能會(huì)擔(dān)心的另一個(gè)問(wèn)題是，他們不想暴露他們對(duì)預(yù)測(cè)算法的嘗試性思考。FOIA 和許多州的公開(kāi)記錄法案均包括豁免以保護(hù)行政執(zhí)法部門的審議程序。⑤參見(jiàn) 5 U.S.C.§ 552(b)(5)（豁免“按照法律不能由一方獲得的機(jī)構(gòu)間或機(jī)構(gòu)內(nèi)備忘錄或信件，除非機(jī)構(gòu)之間處于訴訟狀態(tài)”）；5 ILL.COMP.STAT.140/7(f)（豁免“表達(dá)觀點(diǎn)的原始草稿、筆記、建議、備忘錄和其他記錄，或者被規(guī)劃的政策和行動(dòng)”）；N.Y.PUB.OFF.L.87(2)(g)（豁免絕大多數(shù)“機(jī)構(gòu)間或機(jī)構(gòu)內(nèi)材料”）。我們的公開(kāi)記錄請(qǐng)求均未在行政執(zhí)法部門審議程序豁免下被拒絕，因此將此類豁免應(yīng)用于算法程序依然是勉強(qiáng)的。審議程序特許假定機(jī)構(gòu)已經(jīng)宣布了規(guī)則并解釋了其基本原理。豁免審議程序的目的是“通過(guò)傳播文件來(lái)防止混淆問(wèn)題和誤導(dǎo)公眾，這些文件表明行動(dòng)過(guò)程的理由和原理，而這實(shí)際上并非該機(jī)構(gòu)采取行動(dòng)的最終原因”。⑥Coastal States Gas Corp. v. Dep’t of Energy,617 F.2d 854,866 (D.C.Cir.1980).如果政府從來(lái)沒(méi)有解釋算法“規(guī)則”或?yàn)槭裁床捎盟?，那么就沒(méi)有權(quán)威性表達(dá)可以防止任意猜測(cè)。實(shí)際上，在算法的制定過(guò)程中創(chuàng)建的記錄將是進(jìn)入支持算法過(guò)程的規(guī)則和基本原理的唯一窗口。

司法部門通?；砻庥诠_(kāi)記錄法。⑦參見(jiàn)5 U.S.C.§ 552(f)(1)（界定“機(jī)構(gòu)”以排除法院）；65 PA.STAT.&CONS.STAT.ANN.§ 67.304 (West 2017)（要求“司法機(jī)構(gòu)”只能提供對(duì)財(cái)務(wù)記錄的訪問(wèn)）。我們的一些公開(kāi)記錄法案請(qǐng)求被駁回，理由是法院不適合接受請(qǐng)求。我們不能說(shuō)在每種情況下這都是錯(cuò)誤的，但它應(yīng)該是錯(cuò)誤的。法院系統(tǒng)內(nèi)算法的制定和采用與個(gè)案中的司法決策（通常由公眾解釋來(lái)說(shuō)明）幾乎沒(méi)有相似之處。它更類似于起草和采用適用于大量案件的證據(jù)規(guī)則。與行政規(guī)則制定一樣，司法規(guī)則制定通常是當(dāng)眾進(jìn)行的。聯(lián)邦法律要求由最高法院以外的任何聯(lián)邦法院頒布的規(guī)則“只有在給予適當(dāng)?shù)墓哺嬷驮u(píng)論機(jī)會(huì)后才能規(guī)定”⑧28 U.S.C.§ 2071(b).，并且最高法院還根據(jù)由司法會(huì)議發(fā)布的程序來(lái)使用通知和評(píng)論規(guī)則制定。①See ADMIN.OFFICE OF THE U.S.COURTS,PROCEDURES FOR COMMITTEES ON RULES OF PRACTICE AND PROCEDURE §440.20.40,http://www.uscourts.gov/rules-policies/about-rulemaking-process/laws-and-procedures-governing-work-rules-committees-0 .州法院有類似的公共程序。②參見(jiàn)ILL.S.CT.R.3(a)(1) (2017)（提供具有如“所有公共記錄之一……提議的規(guī)則和提議的補(bǔ)充”和“由公眾、法院和律師提供的評(píng)論和建議機(jī)會(huì)”這樣要素的規(guī)則制定過(guò)程）。在沒(méi)有公開(kāi)記錄授權(quán)以提供算法被制定和采用的過(guò)程記錄時(shí)，法院應(yīng)考慮類似于它們過(guò)去常用的采納和修改規(guī)則的某種形式的公共程序。

最后，政府可能擔(dān)心某些選民對(duì)算法的部署感到不安，要么辨明其中沒(méi)有歧視或不公平，要么過(guò)分地為算法建議辯駁。為了避免他們認(rèn)為基于扭曲或不科學(xué)結(jié)論或錯(cuò)誤而產(chǎn)生的無(wú)根據(jù)爭(zhēng)議，政府可能不愿意發(fā)布算法模型。我們知道沒(méi)有公開(kāi)記錄法案豁免可以防止有爭(zhēng)議的事項(xiàng)被披露，雖然政府官員可能有理由擔(dān)心歪曲和不科學(xué)的結(jié)論，但民主進(jìn)程中的爭(zhēng)議是不可避免的。這往往是其核心。

五、措 施

政府如何提高預(yù)測(cè)算法使用的透明度？立法機(jī)構(gòu)不太可能撤銷對(duì)商業(yè)秘密和其他機(jī)密信息的保護(hù)。③討論商業(yè)秘密不應(yīng)該被用來(lái)阻止將預(yù)測(cè)算法信息給予刑事被告，參見(jiàn) Rebecca Wexler,“Life,Liberty and Trade Secrets: Intellectual Property in the Criminal Justice System”,70 Stan.L.Rev.1343（2018）。即使這種情況發(fā)生，取消商業(yè)秘密保護(hù)本身也不能解決文件不足和私人擁有記錄的問(wèn)題。一個(gè)更富有成效的過(guò)程是政府利用其合同權(quán)利堅(jiān)持創(chuàng)造、規(guī)定和披露適當(dāng)?shù)挠涗?。④?見(jiàn) Joel R.Reidenberg,“Lex Informatica: The Formulation of Information Policy Rules Through Technology”,76 Tex.L.Rev.553,589-90(1998)（討論為了追求政策目標(biāo)而使用公共采購(gòu)標(biāo)準(zhǔn)）。我們將首先考慮規(guī)定和披露要求，然后轉(zhuǎn)向有關(guān)記錄創(chuàng)建的最佳做法。

（一）要求條款和記錄允許披露的合同語(yǔ)言

我們通過(guò)公開(kāi)記錄請(qǐng)求獲得公共機(jī)構(gòu)和承包商之間的協(xié)議表明，政府不會(huì)也不需要統(tǒng)一同意承包商對(duì)保密和數(shù)據(jù)所有權(quán)的意愿。例如，似乎當(dāng)阿諾德基金會(huì)為其PSA 計(jì)劃起草了一份標(biāo)準(zhǔn)的諒解備忘錄時(shí)，它包含了有關(guān)保密的強(qiáng)有力和廣泛語(yǔ)言，沒(méi)有要求改變?cè)撜Z(yǔ)言的法院承諾保留它們對(duì)PSA 的所有信息的保密要求。然而，佛羅里達(dá)州的第七司法巡回法庭顯然要求提供明顯較窄的保密義務(wù)的語(yǔ)言。它給阿諾德基金會(huì)課加了標(biāo)明商業(yè)秘密、編輯未受保護(hù)的材料以及向政府交付標(biāo)記副本的負(fù)擔(dān)。⑤See Memorandum of Understanding Between the Laura and John Arnold Foundation and the Seventh Judicial Circuit of the State of Florida 3(2015),http://cdn.muckrock.com/foia_files/2016/12/15/Memorandum_of_Understandi ng.pdf.這種方法—— 給予承包商以責(zé)任，以識(shí)別和標(biāo)記文件中的特定段落作為商業(yè)秘密——需要漫長(zhǎng)的道路以避免過(guò)度主張商業(yè)秘密，并迫使承包商確切地考慮特定信息披露是為何以及怎樣削弱其競(jìng)爭(zhēng)地位。⑥同樣，紐約州教育局和美國(guó)研究協(xié)會(huì)為增值測(cè)量項(xiàng)目而簽約，其中規(guī)定：“承包商應(yīng)該明確確認(rèn) ……專有信息[考慮到方法或措施在締約時(shí)屬于承包商的財(cái)產(chǎn)……被執(zhí)行]與給予…… NYSED 以授權(quán)為了NYSED 的教育目的繼續(xù)獨(dú)家使用這樣的專有信息，這種使用從合同終止后持續(xù)10 年時(shí)間?！盨ee Contract No.C010834 between the People of the State of New York and Am.Insts.for Research (Sept.19,2011),app.D,http://robertbrauneis.net/algorithms/AIR_CONTRACT_2011_Redacted_FOIL _final.pdf.這種語(yǔ)言與公開(kāi)記錄法案中適當(dāng)狹窄的商業(yè)秘密豁免構(gòu)建相吻合。⑦參見(jiàn)上文“四、（二）過(guò)度的商業(yè)秘密和保密要求”部分（討論公開(kāi)記錄法案里商業(yè)秘密豁免適當(dāng)?shù)莫M義架構(gòu)）。

重要的是要認(rèn)識(shí)到，對(duì)更為狹隘的保密語(yǔ)言的要求并未導(dǎo)致阿諾德基金會(huì)拒絕與第七司法巡回法庭簽訂合同?；饡?huì)加入了不太有利的語(yǔ)言，即使它免費(fèi)提供PSA，第七司法巡回法庭也沒(méi)有扣款的議價(jià)優(yōu)勢(shì)。就像營(yíng)利性公司一樣，非營(yíng)利組織和基金會(huì)需要客戶——它們需要向捐贈(zèng)者展示其提供的服務(wù)正在發(fā)揮作用并影響政府的運(yùn)作方式。因此，政府必須明白，即使它們沒(méi)有為服務(wù)付費(fèi)照樣具有優(yōu)勢(shì)。①更難處理的情形是，政府機(jī)構(gòu)向承包商承諾保密，這樣它就有理由保持自己決策過(guò)程的秘密性，但是，在適合的情形下，可以提起訴訟以挑戰(zhàn)這種與政府機(jī)構(gòu)公開(kāi)政府義務(wù)不相符的行為。

如果政府為服務(wù)付費(fèi)，它們就可以在保密和所有權(quán)問(wèn)題上具有額外優(yōu)勢(shì)。例如，伊利諾伊州向Eckerd Kids 快速安全反饋服務(wù)合同進(jìn)行支付時(shí)顯然使用了標(biāo)準(zhǔn)的公共合同語(yǔ)言，其中包含有利于州的披露和所有權(quán)條款。關(guān)于披露，合同規(guī)定，默認(rèn)假設(shè)Eckerd 提供的所有信息都是公開(kāi)的②See Contract # 5445089016 between Eckerd Youth Alternatives,Inc.and State of Illinois,Department of Children and Family Services 7 (Sept.15,2015),http://www.robertbrauneis.net/algorithms/ILERSFFY16.pdf [hereinafter Illinois FY16 Con-tract].——盡管它可以更進(jìn)一步，正如阿諾德基金會(huì)與第七司法巡回法庭達(dá)成的協(xié)議所規(guī)定的那樣，課加承包商以負(fù)擔(dān)去制定具體的、加標(biāo)記的商業(yè)秘密主張或喪失反對(duì)披露的權(quán)利。關(guān)于所有權(quán)，合同規(guī)定伊利諾伊州擁有合同規(guī)定的所有東西，包括這些產(chǎn)品的所有知識(shí)產(chǎn)權(quán)。③See id.at 11-12.相比之下，阿拉斯加州健康和社會(huì)服務(wù)局簽署了一份Eckerd Kids 同意無(wú)償提供RSF 服務(wù)的諒解備忘錄，阿拉斯加州承諾將所有Eckerd產(chǎn)品和產(chǎn)品視為機(jī)密信息，并同意Eckerd 擁有與快速安全反饋計(jì)劃相關(guān)的所有內(nèi)容，包括所有軟件和軟件生成的所有報(bào)告。④Memorandum of Understanding of February 20,2015 between Eckerd Youth Alternatives,Inc.and the Alaska Department of Health and Social Services 2,http://cdn.muckrock.com/foia_files/2017/03/02/MOU Eckerd and OCS Febru ary 2015 signed.docx.pdf .

已經(jīng)開(kāi)發(fā)了針對(duì)多個(gè)管轄區(qū)而無(wú)需修改算法的承包商不希望將實(shí)施該算法的源代碼的所有權(quán)轉(zhuǎn)移到一個(gè)管轄區(qū)。但是，如果承包商為某個(gè)管轄區(qū)提供定制算法，那么該管轄區(qū)可能適當(dāng)?shù)貓?jiān)持所有權(quán)，或者至少堅(jiān)持為自己使用或其他管轄區(qū)使用的許可。例如，阿勒格尼縣與奧克蘭財(cái)團(tuán)簽訂的合同授予州和聯(lián)邦政府非獨(dú)家許可，以使用根據(jù)合同生產(chǎn)的軟件并授權(quán)其他人使用該軟件，并授予該縣根據(jù)受任何知識(shí)產(chǎn)權(quán)保護(hù)的合同而使用和分發(fā)任何產(chǎn)品的權(quán)利。⑤See AUT Enterprises Ltd.Contract 9-1-14 to 6-30-15,at 37-39,45-46 (2014) http://robertbrauneis.net/algorithms/AlleghenyAUTContract.pdf.在所有情況下，政府機(jī)構(gòu)應(yīng)對(duì)根據(jù)特定管轄區(qū)提供的數(shù)據(jù)對(duì)該管轄區(qū)內(nèi)評(píng)估風(fēng)險(xiǎn)的報(bào)告主張所有權(quán)。伊利諾伊州的合同提出了這樣的主張⑥See Illinois FY16 Contract,§ 4.8 S b.，而阿拉斯加州的協(xié)議則將所有報(bào)告的所有權(quán)歸于Eckerd。⑦M(jìn)emorandum of Understanding of February 20,2015 between Eckerd Youth Alternatives,Inc.and the Alaska Department of Health and Social Services 2,http://cdn.muckrock.com/foia_files/2017/03/02/MOU_Eckerd_and_OCS_Febru ary_2015_signed.docx.pdf.

然而，即使用非常有利的語(yǔ)言規(guī)定所有權(quán)和披露，如果沒(méi)有創(chuàng)建文件，或者從未向政府客戶提供過(guò)文件，也是無(wú)效的。由于與阿諾德基金會(huì)締結(jié)的第七條司法巡回協(xié)議中的披露條款，該法院能夠向我們提供有關(guān)PSA 風(fēng)險(xiǎn)等級(jí)的信息——在原始培訓(xùn)中，未按風(fēng)險(xiǎn)評(píng)分出現(xiàn)的預(yù)審人員百分比設(shè)置和驗(yàn)證研究——沒(méi)有其與法院或阿諾德基金會(huì)本身提供。然而，它只能提供這些信息，因?yàn)樗『帽患{入阿諾德基金會(huì)助理向法院提交的幻燈片演示中，因此完全取決于阿諾德基金會(huì)確定披露政策。負(fù)責(zé)任的政府應(yīng)該做出這些決定，并將披露規(guī)定與向政府提供記錄的要求聯(lián)系起來(lái)，如果這些記錄尚未存在，則可以創(chuàng)建。

（二）創(chuàng)建問(wèn)責(zé)記錄

政府應(yīng)該有意識(shí)地生成或要求其供應(yīng)商生成記錄，以促進(jìn)算法過(guò)程的公共理解。這似乎是《歐盟通用數(shù)據(jù)保護(hù)條例》（European Union General Data Protection Regulation）（2018 年生效）所設(shè)想的，該條例規(guī)定了算法的功能必須為公眾所理解。①歐盟，作為數(shù)據(jù)保護(hù)指南的一部分，已經(jīng)（公開(kāi)和私下）給予它的市民要求算法決策解釋的權(quán)利，這個(gè)權(quán)利明顯影響個(gè)人。關(guān)于個(gè)人數(shù)據(jù)處理和這種數(shù)據(jù)自由運(yùn)動(dòng)的自然人保護(hù)的 2016 年 4 月 27 日的歐盟議會(huì)和理事會(huì)（歐盟）監(jiān)管 2016/679，以及撤銷指南（95/46/EC）（一般數(shù)據(jù)保護(hù)監(jiān)管），參見(jiàn) 2016 O.J.(L 119/1) 71；Sandra Wachter et al.,“Why a Right to Explanation of Automated Decision-Making Does Not Exist in the General Data Protection Regulation”,7 Int’l Data Privacy L.76 (2016)（爭(zhēng)論指南“按照現(xiàn)有形式，不會(huì)實(shí)現(xiàn)解釋權(quán)，而是實(shí)現(xiàn)一個(gè)受到限制自動(dòng)決策的 ‘ 知情權(quán)利 ’ ”）；Bryce Goodman & Seth Flaxman,EU Regulations on Algorithmic Decision-Making and a “Right to Explanation,” ARXIV (2016),http://arxiv.org/pdf/1606.08813.pdf（確認(rèn)開(kāi)發(fā)人員的秘密、公共技術(shù)無(wú)知和作為解釋障礙的算法設(shè)計(jì)）。

在理想的情況下，相關(guān)的利益相關(guān)者會(huì)生成一套最佳實(shí)踐，用于記錄預(yù)測(cè)算法的創(chuàng)建和實(shí)施，這樣的最佳實(shí)踐文件可以利用一些現(xiàn)有模型。例如：透明度和問(wèn)責(zé)制倡議發(fā)布了政府透明度、問(wèn)責(zé)制和公民參與的最佳實(shí)踐指南②“Opening Government: A Guide to Best Practice in Transparency,Accountability and Civic Engagement Across the Public Sector”,TRANSPARENCY & ACCOUNTABILITY INITIATIVE (2011),http://www.transparency-initiative.org/archive/wp-content/uploads/2011/09/15-Opengovernment11.pdf.；國(guó)家市政分析師聯(lián)合會(huì)頒布了一系列與市政債務(wù)發(fā)行有關(guān)的最佳披露做法；在線信任聯(lián)盟發(fā)布了一系列與市政債務(wù)發(fā)行有關(guān)的最佳披露實(shí)踐③“Disclosure Guidelines”,NAT’L FED’N MUN.ANALYSTS,http://www.nfma.org/disclosure-guidelines.；在線信托聯(lián)盟（The Online Trust Alliance）發(fā)布了一些最佳實(shí)踐文件，包括物聯(lián)鏈信托框架2.5，一套專注于互聯(lián)家庭和可穿戴技術(shù)的隱私和安全原則。④IoT Security & Privacy Trust Framework v.2.5,ONLINE TRUST ALLIANCE (2017),http://otalliance.actonsoftware.com/acton/attachment/6361/f-008d/1/-/-/-/-/IoT%20Trust%20Framework.pdf.也許最實(shí)用的是，盡管處于很高的抽象水平上，美國(guó)計(jì)算機(jī)組織協(xié)會(huì)公共政策委員會(huì)（U.S. Public Policy Council of the Association for Computing Machinery）制定了一套7個(gè)“算法透明度和問(wèn)責(zé)制原則”。⑤Statement on Algorithmic Transparency and Accountability,ASS’ N FOR COMPUTING MACH.U.S.PUB.POLICY COUNCIL,(Jan.12,2017),http://www.acm.org/binaries/content/assets/public-policy/2017 usacm statement algorithms.pdf。

雖然我們不能希望在此提供可持續(xù)的多利益相關(guān)方審議所產(chǎn)生的最佳實(shí)踐聲明，但我們根據(jù)自己的研究確定了8 個(gè)類別的可取的文件：算法模型的一般預(yù)測(cè)目標(biāo)和應(yīng)用；相關(guān)、可得和可收集的數(shù)據(jù)；被視為數(shù)據(jù)排除；具體預(yù)測(cè)標(biāo)準(zhǔn)；使用的分析技術(shù)；主要政策選擇；驗(yàn)證研究和審核的結(jié)果；預(yù)測(cè)算法和算法輸出的解釋。

1.一般預(yù)測(cè)目標(biāo)和應(yīng)用

各國(guó)政府被期待能在使用預(yù)測(cè)算法時(shí)明確其目標(biāo)。這將提供一個(gè)重要的基準(zhǔn)，可以衡量特定的標(biāo)準(zhǔn)，并可能導(dǎo)致更好地理解算法預(yù)測(cè)所告知的決策。目標(biāo)并不總是不言自明。例如，像PredPol 或HunchLab 這樣的算法最一般的目標(biāo)是預(yù)測(cè)犯罪發(fā)生的地點(diǎn)和時(shí)間。然而，當(dāng)?shù)鼐瘎?wù)力量可能真正感興趣的是關(guān)于何地布置的有限數(shù)量的巡邏人員能夠最有效地阻止犯罪的決策，并承認(rèn)在室內(nèi)發(fā)生的犯罪很難通過(guò)巡邏來(lái)阻止。因此，該部門會(huì)更準(zhǔn)確和更仔細(xì)地描述其目標(biāo)，預(yù)測(cè)警察巡邏的出現(xiàn)可以在何地與何時(shí)阻止犯罪。

作為制定一般預(yù)測(cè)目標(biāo)的一部分，政府可能希望更進(jìn)一步明確它試圖解決的問(wèn)題。例如，政府可能出于多種考慮而尋求幫助，以預(yù)測(cè)哪些囚犯在假釋后最有可能犯罪。由于監(jiān)獄過(guò)度擁擠，它可能希望減少收監(jiān)人數(shù)，或者它可能希望減少?gòu)氖滦路缸锏募籴屨呷藬?shù)，或者它可能面臨對(duì)假釋決策實(shí)踐公平性的挑戰(zhàn)。每一種情況都可能在創(chuàng)建預(yù)測(cè)算法時(shí)要求不同的敏感度。預(yù)測(cè)算法也可用于協(xié)助各種接合點(diǎn)的政府決策。例如，雖然阿勒格尼家庭篩查工具和Eckerd 快速安全反饋都提供兒童福利評(píng)估，但前者作為直接篩查工具，旨在應(yīng)用于兒童福利熱線電話被撥打的時(shí)刻；后者顯然用于由一個(gè)機(jī)構(gòu)處理目前定期審查的所有兒童福利案件。理想情況下應(yīng)該對(duì)特定決策過(guò)程進(jìn)行一些反思，算法為何而設(shè)，算法預(yù)測(cè)是否在該機(jī)構(gòu)運(yùn)營(yíng)中被最佳應(yīng)用，以及算法設(shè)計(jì)是否適合該應(yīng)用。

2.數(shù)據(jù)：相關(guān)性、可得性、可收集性

有了預(yù)測(cè)目標(biāo)的想法，下一步是考慮什么數(shù)據(jù)與預(yù)測(cè)決策相關(guān)。它既有助于算法的評(píng)估，也有助于引導(dǎo)審議以記錄什么數(shù)據(jù)最初可能被認(rèn)為確實(shí)和問(wèn)題的結(jié)果預(yù)測(cè)有關(guān)。例如，那些可能已經(jīng)確定被告先前逮捕歷史和就業(yè)記錄數(shù)據(jù)的數(shù)據(jù)科學(xué)家也考慮了被告的運(yùn)動(dòng)體制和教育背景的數(shù)據(jù)嗎？如果沒(méi)有，為什么不呢？大多數(shù)預(yù)測(cè)算法將在已經(jīng)為其他目的而收集的數(shù)據(jù)基礎(chǔ)上進(jìn)行訓(xùn)練。因此，數(shù)據(jù)科學(xué)家將繼續(xù)搜索現(xiàn)有的數(shù)據(jù)源，它對(duì)記錄他們?cè)诤蔚乜吹胶桶l(fā)現(xiàn)什么非常重要。

3.數(shù)據(jù)排除

可得的數(shù)據(jù)最終可以從用于訓(xùn)練算法的數(shù)據(jù)集中被排除，并且最終將用作生成關(guān)于特定主題的預(yù)測(cè)的輸入。排除數(shù)據(jù)至少有五組原因：質(zhì)量問(wèn)題、操縱易感性、時(shí)間和地點(diǎn)限制、缺乏相關(guān)性，以及除缺乏相關(guān)性之外的政策考慮因素。記錄所有這些對(duì)于理解訓(xùn)練數(shù)據(jù)和算法的輸入數(shù)據(jù)是很重要的。

（1）數(shù)據(jù)質(zhì)量。數(shù)據(jù)科學(xué)家可能擔(dān)心數(shù)據(jù)集或某些數(shù)據(jù)字段存在太多不準(zhǔn)確性，在收集數(shù)據(jù)時(shí)沒(méi)有一致地定義，或者已經(jīng)以各種方式在損壞。例如，地址可能已從手寫(xiě)原件手動(dòng)轉(zhuǎn)錄并測(cè)試為無(wú)效①參見(jiàn) Julia Andre,Luis Ceferino & Thomas Trinelle,“Prediction Algorithm for Crime Recidivism”,MACH.LEARNING PROJECT,STAN.U.1 (2015),http://cs229.stanford.edu/proj2015/250_report.pdf（提醒“公開(kāi)可得的 [ 被釋放犯人再犯的 ] 數(shù)據(jù)集是原始的，基于解決方案，意味著它們經(jīng)常是手寫(xiě)儲(chǔ)存數(shù)據(jù)的數(shù)字轉(zhuǎn)錄”）。，或者兩種類型的數(shù)據(jù)可能在一段時(shí)間內(nèi)被輸入到單個(gè)字段中。對(duì)這些問(wèn)題的記錄，以及關(guān)于是否保留數(shù)據(jù) ——甚至帶著其缺陷——或排除數(shù)據(jù)的決策，這些對(duì)于評(píng)估所產(chǎn)生的算法的質(zhì)量非常重要。

（2）操縱和博弈。預(yù)測(cè)算法的創(chuàng)建者還可以決定排除某些類型的數(shù)據(jù)，因?yàn)樗资懿倏v或“博弈”的影響，因此破壞了訓(xùn)練數(shù)據(jù)的準(zhǔn)確性或完成算法輸入的準(zhǔn)確性。例如，如上所述，阿諾德基金會(huì)決定創(chuàng)建一個(gè)審前釋放算法，該算法不需要將與刑事被告會(huì)見(jiàn)中收集到的任何事實(shí)作為輸入。②Marie Vannostrand & Gina Keebler,Pretrial Risk Assessment in the Federal Court,73 Fred.Probat.48 (Apr.14,2009),http://tiny.cc/r3qrmy.這種排除部分被誘發(fā)而產(chǎn)生的問(wèn)題是，當(dāng)被告知道回答可以決定審判前的釋放時(shí)，會(huì)見(jiàn)期間收集到的信息會(huì)受到操縱。

（3）時(shí)間和地點(diǎn)限制。關(guān)于在不同時(shí)間和地點(diǎn)行動(dòng)的受試者數(shù)據(jù)需要被收集。在所有其他條件相同的情況下，訓(xùn)練數(shù)據(jù)集越大效果越好，但所有其他事情可能并不相同。由于經(jīng)濟(jì)、可獲得的社會(huì)服務(wù)和許多其他因素，具有相同狀況的囚犯10 年前再犯的風(fēng)險(xiǎn)可能與今天的不同。如果來(lái)自不同年份的數(shù)據(jù)子集明顯地表現(xiàn)出不同的相關(guān)性，則可以作出老數(shù)據(jù)因陳舊而被排除的決定。另一方面，如果目標(biāo)是預(yù)測(cè)假釋者是否會(huì)在未來(lái)5 年內(nèi)犯罪，那么訓(xùn)練數(shù)據(jù)集必須排除關(guān)于不到5 年前被假釋的囚犯的數(shù)據(jù)，因?yàn)樾碌募籴屨卟粫?huì)有足夠長(zhǎng)的跟蹤記錄。在某些情況下，某些數(shù)據(jù)可能不得不因?yàn)樘f而被排除，而其他則因?yàn)樘露慌懦＂訇P(guān)于數(shù)據(jù)時(shí)間和地點(diǎn)局限的選擇，參見(jiàn) Andreas M.Olligschlaeger,“Crime Forecasting on a Shoestring Budget”,Crime Mapping & Analysis News 8,9-10 (Spring 2015),http://crimemapping.info/wp-content/uploads/2015/03/CrimeMappingNews Issue23.pdf 。

關(guān)于HunchLab，林肯市警察局透露，HunchLab 在任何給定的一天產(chǎn)生的輸出都是基于前30 天的警方事件報(bào)告。②See Email from Tonya Peters,Police Legal Advisor,Lincoln Police Dep’t to Michael Morisy (Nov.30 2016),http://cdn.muckrock.com/foia_files/2016/11/30/PRR_Response.pdf.30 天窗口的選擇顯然涉及競(jìng)爭(zhēng)因素的平衡。限制上個(gè)月的輸入使數(shù)據(jù)保持相對(duì)新鮮，并允許查詢每周和每月的活動(dòng)周期。同時(shí)，它不允許對(duì)季節(jié)性周期進(jìn)行調(diào)查，并且可能導(dǎo)致相對(duì)不常見(jiàn)的犯罪類型的非常單薄的數(shù)據(jù)。

算法開(kāi)發(fā)人員還必須對(duì)訓(xùn)練和輸入數(shù)據(jù)的地理范圍作出判斷。由于不同的社會(huì)和經(jīng)濟(jì)條件，或許更具爭(zhēng)議的是由于不同的種族構(gòu)成、收入狀況或其他因素，來(lái)自一個(gè)地區(qū)的——可能是一個(gè)城市地區(qū)的——被告人群與來(lái)自第二個(gè)地區(qū)的——也許是農(nóng)村地區(qū)的——被告人群相似，可能會(huì)帶來(lái)不同的審前“跑路”風(fēng)險(xiǎn)。

我們知道，阿諾德公共安全評(píng)估算法是根據(jù)來(lái)自全國(guó)300 個(gè)不同管轄區(qū)匯總的數(shù)據(jù)進(jìn)行培訓(xùn)的。③Marie Vannostrand & Gina Keebler,Pretrial Risk Assessment in the Federal Court,73 Fred.Probat.48 (Apr.14,2009),http://tiny.cc/r3qrmy.我們不知道阿諾德基金會(huì)是否測(cè)試了來(lái)自不同州或地區(qū)的數(shù)據(jù)集的子集，是否將數(shù)據(jù)集作為整體表現(xiàn)出與之相同的預(yù)測(cè)相關(guān)性。如果來(lái)自不同區(qū)域的數(shù)據(jù)表現(xiàn)出顯著不同的預(yù)測(cè)相關(guān)性，則可以作出地理上限制數(shù)據(jù)集的決定。無(wú)論數(shù)據(jù)集是否受時(shí)間和地點(diǎn)的限制，最佳做法是測(cè)試時(shí)間和地點(diǎn)之間的差異并記錄結(jié)果。

（4）關(guān)聯(lián)。一些數(shù)據(jù)元素被排除，那是因?yàn)樗鼈兯坪跖c要預(yù)測(cè)的結(jié)果之間不具有充分的相關(guān)性。記錄排除和記錄低于被排除數(shù)據(jù)的預(yù)測(cè)值的閾值將是有用的。

（5）相關(guān)性之外的政策原因。也許最值得注意和具有爭(zhēng)議性的是，由于各種政策原因，某些數(shù)據(jù)盡管具有潛在的預(yù)測(cè)價(jià)值，但仍會(huì)被排除在外。例如，阿諾德基金會(huì)推廣其算法的優(yōu)勢(shì)時(shí)，并沒(méi)有考慮諸如“種族、性別、收入、教育、家庭住址、吸毒史、家庭狀況、婚姻狀況、國(guó)籍、就業(yè) （或）宗教等問(wèn)題”。④“The Public Safety Assessment” (PSA),LAURA & JOHN ARNOLD FOUND.,http://www.arnoldfoundation.org/wp-content/uploads/PSAInfographic.pdf.種族和性別等不可改變的特征在憲法上存在問(wèn)題；家庭住址在許多情況下可能與種族密切相關(guān)。排除諸如教育水平和吸毒史等特征的決定，如果被發(fā)現(xiàn)具有實(shí)質(zhì)的預(yù)測(cè)價(jià)值，可能會(huì)更具爭(zhēng)議性，應(yīng)予以記錄。

4.具體的預(yù)測(cè)標(biāo)準(zhǔn)

我們?cè)谏厦嬷赋?，闡明算法開(kāi)發(fā)項(xiàng)目所追求的一般預(yù)測(cè)目標(biāo)是有用的。然而，一旦決定使用何種訓(xùn)練數(shù)據(jù)，可能會(huì)發(fā)現(xiàn)實(shí)際預(yù)測(cè)必須與原始預(yù)測(cè)目標(biāo)有所不同。因此，應(yīng)該記錄用于預(yù)測(cè)標(biāo)準(zhǔn)的選擇，特別是當(dāng)它們與明顯的選擇不同時(shí)。

例如，算法的一般預(yù)測(cè)目標(biāo)可能是預(yù)測(cè)犯罪將發(fā)生的地點(diǎn)和時(shí)間，但唯一可以得到的訓(xùn)練和輸入數(shù)據(jù)很可能是已報(bào)告的犯罪，并且在發(fā)生后相對(duì)較快地被報(bào)告。因此，該算法最終會(huì)更具體預(yù)測(cè)的并非犯罪將發(fā)生在何處，而是將要被報(bào)告的犯罪將發(fā)生在何處。這是令人不安的，不僅因?yàn)楹芏喾缸餂](méi)有被報(bào)告①See Lynn Langton et al.,“Victimizations Not Reported to Police,2006-2010”,Aug.2012,U.S.DEP’T JUST.,BUREAU JUST.STAT.,http://www.bjs.gov/content/pub/pdf/vnrp0610.pdf.，而且因?yàn)椴煌鐓^(qū)的犯罪以不同的比率被報(bào)告。②關(guān)于來(lái)自真實(shí)犯罪比率的被報(bào)告犯罪的一般分歧，參見(jiàn) David Robinson & Logan Koepke,“Stuck in a Pattern: Early Evidence on Predictive Policing and Civil Rights”,UPTURN 5 (2016),www.teamupturn.org/static/reports/2016/stuck-in-a-pattern/files/Upturn_-_Stuck_In_a_Pattern_v.1.01.pdf。例如，一項(xiàng)研究發(fā)現(xiàn)，在貧困社區(qū)報(bào)告的簡(jiǎn)單攻擊的可能性較小。③Eric P.Baumer,“Neighborhood Disadvantage and Police Notification by Victims of Violence”,40 Criminology 579,597 (2002).另一項(xiàng)研究發(fā)現(xiàn)，在大量移民社區(qū)犯罪行為特別少地被報(bào)告。④Carmen M.Gutierrez & David S.Kirk,“Silence Speaks: The Relationship Between Immigration and the Underreporting of Crime”,63 Crime & Delinquency 928,946 (2015).第三個(gè)研究發(fā)現(xiàn)，犯罪報(bào)告往往隨著受害者年齡的增加而增加，因此老年居民社區(qū)可能會(huì)報(bào)告更高比例的犯罪。⑤See Stacey J.Bosick et al.,“Reporting Violence to the Police: Predictors Through the Life Course”,40 J.Crim.Just.441 (2012).值得贊賞的是，HunchLab 的創(chuàng)建者 Azavea,Inc.，相當(dāng)詳細(xì)地討論了作為訓(xùn)練數(shù)據(jù)的被報(bào)告犯罪的選擇、作出選擇的原因，以及偏好的犯罪報(bào)告類型。See “A Citizen’s Guide to HunchLab”,July 11,2017,p.26,HUNCHLAB,http://robertbrauneis.net/algorithms/HunchLabACitizensGuide.pdf.因此，一個(gè)受報(bào)告犯罪訓(xùn)練的算法可能最終導(dǎo)致警察被指引遠(yuǎn)離貧困、移民和年輕受害者，而他們則可能是最脆弱的群體。這些問(wèn)題不僅限于預(yù)測(cè)警務(wù)。例如，阿勒格尼縣最有興趣預(yù)測(cè)何時(shí)被報(bào)告的虐待兒童可能導(dǎo)致嚴(yán)重傷害或死亡，但它決定不去創(chuàng)建直接這樣做的算法，實(shí)際的原因是發(fā)生嚴(yán)重傷害或死亡的案例所提供的數(shù)據(jù)點(diǎn)太少（幸虧如此）。因此，它決定不再使用寄養(yǎng)家庭的代理人和其他虐待報(bào)告作為具體的預(yù)測(cè)標(biāo)準(zhǔn)，原因在奧克蘭聯(lián)盟報(bào)告中有詳細(xì)的解釋。⑥See Rhema Vaithianathan et al.,Developing Predictive Models to Support Child Maltreatment Hotline Screening Decisions: Allegheny County Methodology and Implementation,CTR.FOR SOC.DYNAMICS (Sept.2016).同樣，COMPAS 再犯算法接受有關(guān)因犯罪重復(fù)逮捕數(shù)據(jù)的培訓(xùn)，而不是關(guān)于定罪的數(shù)據(jù)⑦參見(jiàn) “COMPAS Risk & Need Assessment System”,2012,p.2,NORTHPOINTE,http://www.northpointeinc.com/files/downloads/FAQ_Document.pdf（將一般再犯風(fēng)險(xiǎn)計(jì)量訓(xùn)練方法描述為基于這樣的數(shù)據(jù)，即被告是否在攝入量評(píng)估的 2 年之內(nèi)已經(jīng)被抓捕）。，雖然阿諾德基金會(huì)沒(méi)有透露有關(guān)其PSA 培訓(xùn)數(shù)據(jù)的細(xì)節(jié)，但它幾乎肯定也使用了逮捕而不是定罪。重要的是要了解這兩者如何區(qū)分。 Abe Gong 要求我們考慮：“相比白人嫌犯，要是警官更愿意追捕、搜查和逮捕黑人嫌犯，那該怎么辦？要是執(zhí)法部門在黑人社區(qū)部署不成比例的武力或使用更具侵略性的警務(wù)策略，那該怎么辦？”⑧Abe Gong,“Ethics of Powerful Algorithms (2 of 4)”,July 12,2016,MEDIUM,http://medium.com/@AbeGong/ethics-for-powerful-algorithms-2-of-3-5bf750ce4c54.逮捕少數(shù)族裔社區(qū)成員將被人為地歪曲，因此必須選擇其他預(yù)測(cè)標(biāo)準(zhǔn)，且那些選擇應(yīng)該被披露。

5.使用的分析和開(kāi)發(fā)技術(shù)

使用相對(duì)少量的分析技術(shù)來(lái)發(fā)現(xiàn)預(yù)測(cè)對(duì)象的特征或特點(diǎn)之間的相關(guān)性。其中，最受歡迎的是回歸技術(shù)（Regression Techniques）（線性、邏輯和多項(xiàng)式）、隨機(jī)森林（Random Forests）、神經(jīng)網(wǎng)絡(luò)和支持向量機(jī)（Support Vector Machines）。①See Shai Shalev-Schwartz & Shai Ben-David,Understanding Machine Learning: From Theory to Algorithms, Cambridge University Press,2014,pp.89-240.這有助于記錄嘗試了哪些技術(shù)，選擇了哪種技術(shù)以及為什么如此選擇。例如，當(dāng)認(rèn)為一個(gè)或多個(gè)輸入與輸出之間可能確實(shí)存在線性關(guān)系時(shí)——例如，被告的年齡與被告如果在審判前被釋放將從事犯罪的可能性之間的關(guān)系，線性回歸可能是合適的?？赡艿那闆r是，非線性預(yù)測(cè)模型（例如，因?yàn)樗褂锰囟挲g的截止值）產(chǎn)生相當(dāng)于統(tǒng)計(jì)上的明顯結(jié)果，該結(jié)果恰好在統(tǒng)計(jì)上是明顯的。還有一些標(biāo)準(zhǔn)的算法開(kāi)發(fā)技術(shù)正在使用中，例如，將數(shù)據(jù)集隨機(jī)分成將用于訓(xùn)練算法的子集，然后在一個(gè)或多個(gè)階段中對(duì)其進(jìn)行測(cè)試（“驗(yàn)證”）。②See Yaser S.Abu-Mostafa,Malik Magdon-Ismail & Hsuan-Tien Lin, Learning from Data: A Short Course,AML Book,2012,pp.38-54.記錄這些開(kāi)發(fā)技術(shù)也可能是最好的做法。

6.主要政策選擇

我們已經(jīng)提到了在算法開(kāi)發(fā)中作出的許多不同類型的策略選擇。一個(gè)是出于各種原因排除其他相關(guān)數(shù)據(jù)的決定，另一個(gè)是衡量假陰性和假陽(yáng)性相同或不同的決定。應(yīng)該記錄這些選擇，并記錄它們?yōu)槭裁窗凑账鼈儜?yīng)有的方式被生成的解釋。

7.驗(yàn)證研究、審計(jì)、日志記錄和不透明的問(wèn)責(zé)制

實(shí)施前驗(yàn)證是預(yù)測(cè)算法初始開(kāi)發(fā)中的標(biāo)準(zhǔn)步驟。然而，在算法投入使用之后，在真實(shí)條件下考慮到算法的預(yù)測(cè)強(qiáng)度以及它可能產(chǎn)生的任何輸出偏差，可以實(shí)施額外的實(shí)施后驗(yàn)證研究。針對(duì)何時(shí)以及如何實(shí)施此類研究，以及何時(shí)適合堅(jiān)持由獨(dú)立實(shí)體實(shí)施該研究，可以開(kāi)發(fā)最佳實(shí)踐。公共客戶可以要求對(duì)他們的案件進(jìn)行此類研究，并交付給他們。

審核可以作為驗(yàn)證研究的替代或補(bǔ)充。如果由于商業(yè)秘密、安全或隱私原因最優(yōu)披露不會(huì)發(fā)生，那么可能重要的是算法開(kāi)發(fā)的第三方機(jī)密審計(jì)。③關(guān)于算法審計(jì)，參見(jiàn) Christian Sandvig et al.,“Auditing Algorithms: Research Methods for Detecting Discrimination on Internet Platforms”,paper presented to “Data and Discrimination: Converting Critical Concerns into Productive Inquiry”,a preconference at the 64th Annual Meeting of the International Communication Association,May 22,2014,Seattle,WA,USA,http://tiny.cc/61wrmy。當(dāng)算法錯(cuò)過(guò)某些目標(biāo)時(shí)，或者當(dāng)客戶發(fā)現(xiàn)開(kāi)發(fā)過(guò)程存在缺陷的證據(jù)時(shí)，公共客戶可以堅(jiān)持審計(jì)。要求開(kāi)發(fā)人員保留包含上述許多或所有類別記錄的日志也是適當(dāng)?shù)?，即使通常不?huì)公開(kāi)完整的日志，以防萬(wàn)一需要進(jìn)行審計(jì)。④參見(jiàn)“Statement on Algorithmic Transparency and Accountability”,ASS’ N FOR COMPUTING MACH.U.S.PUB.POLICY COUNCIL,(Jan.12,2017),http://www.acm.org/binaries/content/assets/public-policy/2017_usacm_statement_algorithms.pdf（“可審計(jì)性：模型、算法、數(shù)據(jù)和決策應(yīng)該被記錄，以便它們能夠在傷害被懷疑的情況下被審計(jì)”）。公共實(shí)體也應(yīng)該為算法實(shí)施的審計(jì)簽訂合同，這是第七巡回法庭為實(shí)施PSA 算法（由Arnold 基金會(huì)分包商執(zhí)行）而獲得的。⑤See Zach Dal Pra,“Volusia County Case Review”,JUST.SYS.PARTNERS 3 (2016),http://cdn.muckrock.com/foia_files/2016/12/15Volusia_County_Case_Review_ Redacted.pdf.公共客戶應(yīng)該知道并能夠向公眾透露它們是在輸入數(shù)據(jù)還是正確地解釋結(jié)果。

8.算法和輸出解釋

對(duì)作為算法基礎(chǔ)的相關(guān)性提供簡(jiǎn)單語(yǔ)言解釋通常是重要的，該解釋對(duì)于產(chǎn)生預(yù)測(cè)采用的一般路徑——無(wú)論該路徑是權(quán)衡因素的公式、決策樹(shù)或其他路徑——同樣重要。①參見(jiàn) Zach Dal Pra,“Volusia County Case Review”,JUST.SYS.PARTNERS 3 (2016),http://cdn.muckrock.com/foia_files/2016/12/15Volusia_County_Case_Review_ Redacted.pdf（“解釋：使用算法進(jìn)行決策的系統(tǒng)和機(jī)構(gòu)被激勵(lì)生成有關(guān)緊跟算法的程序和作出特定決策的解釋。這一點(diǎn)在公共政策的語(yǔ)境下尤其重要”）；Nicholas Diakopoulos,“Algorithmic Accountability: Journalistic Investigation of Computational Power Structures”,3 Digital Journalism 398,411 (2015)（建議算法透明度政策包括“被相似或類別算法使用的定義、操作或閾值”）。這將允許為了公共責(zé)任和算法用戶而判斷其輸出。如果算法如此復(fù)雜以至于似乎不可能進(jìn)行簡(jiǎn)單語(yǔ)言解釋，那么也應(yīng)該進(jìn)行公開(kāi)，以便使用算法預(yù)測(cè)輸出的人理解它是一個(gè)黑箱，與任何可以明確表達(dá)的解釋或因果理論無(wú)關(guān)。如果可解釋算法與不可解釋算法的處理一樣好，那么為了政府能力和公共透明度，政府應(yīng)該更傾向于可解釋算法。如果政府代理人（或他們信任的人）理解算法，他們就會(huì)更好地適應(yīng)去接受其判斷或無(wú)視它。②關(guān)于可解釋算法的發(fā)展，參見(jiàn) Jiaming Zeng,Berk Ustun & Cynthia Rudin,“Interpretable Classification Models for Recidivism Prediction”,J.ROYAL STAT.SOC’ Y: SERIES A (STATISTICS IN SOC’Y) (Mar.26,2015),http://arxiv.org/abs/1503.07810。

提供算法輸出的解釋通常也很重要。當(dāng)算法產(chǎn)生未校準(zhǔn)的測(cè)量，例如PSA 從1 到6 的風(fēng)險(xiǎn)等級(jí)，尤其如此。在對(duì)算法的早期實(shí)施所進(jìn)行的驗(yàn)證研究中，審前“跑路”風(fēng)險(xiǎn)得分最低的被告確實(shí)出現(xiàn)在審判中的占了幾乎9/10；對(duì)于那些獲得最高風(fēng)險(xiǎn)評(píng)分的被告來(lái)說(shuō)，出現(xiàn)的占了7/10。如果預(yù)審服務(wù)官員和法官不了解這些百分比，他們可能會(huì)認(rèn)為最低和最高風(fēng)險(xiǎn)分?jǐn)?shù)之間的差異大于實(shí)際分?jǐn)?shù)，或者他們可能對(duì)“低風(fēng)險(xiǎn)”被告會(huì)造成多低的風(fēng)險(xiǎn)，或“高風(fēng)險(xiǎn)”被告會(huì)產(chǎn)生多高的風(fēng)險(xiǎn)有不同的假設(shè)。③評(píng)估主題是否會(huì)被組合從而表現(xiàn)風(fēng)險(xiǎn)差異被稱為“校準(zhǔn)”。See Nicholas Serrano,“Calibration Strategies to Validate Predictive Models: Is New Always Better?”,38 Intensive Care Med.1246 (2012).

六、結(jié) 語(yǔ)

在公共實(shí)體中，使用開(kāi)源代碼，或者以其他方式發(fā)布運(yùn)行預(yù)測(cè)分析的代碼總會(huì)有其價(jià)值。但是，訪問(wèn)代碼對(duì)于獲得有意義的透明度并非必要，有時(shí)甚至不會(huì)有幫助。公共實(shí)體應(yīng)該更加關(guān)注的是以更縝密和透明的方式從事算法過(guò)程的設(shè)計(jì)、采購(gòu)和實(shí)施。公共實(shí)體合同應(yīng)要求供應(yīng)商創(chuàng)建和提供解釋關(guān)鍵政策決策和驗(yàn)證工作的記錄，而不必披露精確的公式或算法，然后可以發(fā)布這些記錄并支持公開(kāi)政策辯論，而不會(huì)對(duì)承包商的競(jìng)爭(zhēng)地位產(chǎn)生不利影響。就不可減少的商業(yè)秘密仍然存在于預(yù)測(cè)算法項(xiàng)目中而言，那么響應(yīng)公開(kāi)記錄請(qǐng)求的政府記錄保管人會(huì)狹隘地解釋這些主張。法院也會(huì)這樣做，要求承包商發(fā)布不會(huì)削弱其競(jìng)爭(zhēng)地位的記錄（即使是采用編輯形式）。這將允許有意義的透明度，從而使政府對(duì)這些算法的使用負(fù)責(zé)。