痛苦最小化與自動(dòng)車

翟小波

一、導(dǎo)言

本文所說(shuō)的自動(dòng)車是指使用過(guò)程徹底排除人為干預(yù)的自動(dòng)車，也即國(guó)際汽車工程師協(xié)會(huì)（SAE International）所說(shuō)的第5 級(jí)（L5）的自動(dòng)車?！?〕SAE International, “Taxonomy and Definitions for Terms Related to Driving Automation Systems for On- Road Motor Vehicles” （15 June 2018）, https://www.sae.org/standards/content/j3016_201806/, accessed August 19, 2020.自動(dòng)車正在迅速進(jìn)入我們的生活，這令人興奮而憂慮。自動(dòng)車的普及將極大地促進(jìn)人類的幸福。交通安全將大幅提升：90%以上的交通事故據(jù)說(shuō)是人的錯(cuò)誤導(dǎo)致的；不少人樂(lè)觀地認(rèn)為，自動(dòng)車可以避免這些事故?！?〕BW Smith, “Human Error as a Cause of Vehicle Crashes”, http://cyberlaw.stanford.edu/blog/2013/12/human-error-causevehicle-crashes, accessed August 19, 2020.駕?；虼{將不再必要，老年人、小孩、盲人或其他殘疾人都將可以享受快捷出行的便利，原先浪費(fèi)在開車上的時(shí)間也可以被充分利用起來(lái)。交通效率將大幅提高，交通堵塞將大幅減少。由交通工具導(dǎo)致的環(huán)境污染也會(huì)大幅降低。這些都是我們盡早推廣和普及自動(dòng)車的理由。但是，自動(dòng)車的使用也加劇了或凸顯了一些原先存在的道德和法理的難題；對(duì)于這些難題，我們還缺乏正當(dāng)且有效的回應(yīng)方案。

自動(dòng)車算法的設(shè)計(jì)應(yīng)該盡力在效率和安全之間尋求平衡。效率主要是指它要在特定時(shí)間內(nèi)把乘客或使用人運(yùn)到目的地；安全是指它的行駛要確保乘客和其他路人的安全。舉例來(lái)說(shuō)，自動(dòng)車的算法要依據(jù)路況限定車速；在有傷害可能性的情境下，及時(shí)發(fā)出剎車指令；它要努力確保符合特定效率指標(biāo)的自動(dòng)車在使用中避免一切可以避免的傷害；面對(duì)不可避免的財(cái)產(chǎn)損害，自動(dòng)車要選擇造成較少損害的方案。這些都是沒(méi)有爭(zhēng)議的。然而，總會(huì)有一些特殊情境，自動(dòng)車算法不可避免地要在不同人的生命之間抉擇，要決定殺死誰(shuí)、傷害誰(shuí)和保護(hù)誰(shuí)。我們把這個(gè)問(wèn)題叫作算法設(shè)計(jì)的道德難題。自動(dòng)車的撞擊選擇會(huì)引發(fā)事故責(zé)任問(wèn)題，但相對(duì)于事后的責(zé)任難題來(lái)說(shuō)，事先的算法設(shè)計(jì)的道德難題具有邏輯上的優(yōu)先性，它在很大程度上決定了事故責(zé)任問(wèn)題的解決，包括歸責(zé)原則、責(zé)任主體和責(zé)任的分配等。

自動(dòng)車的出現(xiàn)并沒(méi)有提出全新的道德或法理難題。自動(dòng)車的算法設(shè)計(jì)的道德難題實(shí)質(zhì)上是道德哲學(xué)中討論過(guò)的老問(wèn)題在自動(dòng)車領(lǐng)域的體現(xiàn)。自動(dòng)車的出現(xiàn)賦予了道德哲學(xué)里的這些老問(wèn)題以急迫而明顯的實(shí)踐意義，為反思這些老問(wèn)題提供了新素材和新契機(jī)。本文就是這種反思的嘗試。本文關(guān)心的難題，主要包括兩類。第一類是道德哲學(xué)里經(jīng)常討論的失控車難題（the trolley problem），即要撞一人還是要撞多人？第二類是保護(hù)乘客還是其他無(wú)辜的道路使用人（或第三人）的難題，即要自利性（損人利己型）自動(dòng)車，還是要利他性（舍己為人型）自動(dòng)車？

二、失控車難題：功利主義的解決

通常所謂的失控車難題的實(shí)質(zhì)如下：

（1）一輛失控的電車飛馳而來(lái)，主軌上有五人，支軌上有一人，此五人和彼一人皆為無(wú)辜。

（2）小芳是旁觀者，〔3〕義務(wù)論認(rèn)為，小芳是司機(jī)還是旁觀者的這種身份的差異具有道德上的重要性：司機(jī)（即便是無(wú)辜的，對(duì)自動(dòng)車的失控沒(méi)有任何責(zé)任）也有必須行動(dòng)的義務(wù)，但旁觀者可以不行動(dòng)。筆者認(rèn)為，這種區(qū)別在道德上是不相關(guān)的：在失控車場(chǎng)景下，不行動(dòng)、不決定將導(dǎo)致五人死亡，這實(shí)質(zhì)上也是一種行動(dòng)、一種決定。她對(duì)電車的失控?zé)o任何責(zé)任。

（3）小芳如果按下轉(zhuǎn)軌器，電車便可避開主軌上的五人，但后果是它將撞死支軌上的一人；否則，電車將撞死主軌上的五人。

（4）這是一個(gè)道德情境，不是法律情境：小芳的選擇不會(huì)受到法律的評(píng)價(jià)和懲罰。

小芳應(yīng)該怎么做？這是道德哲學(xué)里的一個(gè)老問(wèn)題；它的派生形態(tài)還包括胖子電車難題與器官移植難題?！?〕Phillipa Foot, “The Problem of Abortion and the Doctrine of the Double Effect” （1967）, in her Virtues and Vices and Other Essays in Moral Philosophy, Oxford University Press, 2002, pp. 19-32; J. J. Thomson, “Killing, Letting Die and the Trolley Problem” 59 The Monist 204 （1976）. 在不少道德哲學(xué)家看來(lái)，這里的旁觀者難題與把橋上胖子推下去阻擋失控車的難題、醫(yī)生用一個(gè)病人的器官去救五個(gè)病人的難題有實(shí)質(zhì)性差異。對(duì)傳統(tǒng)的人工駕駛來(lái)說(shuō)，這個(gè)問(wèn)題是沒(méi)有意義的。在傳統(tǒng)駕駛的情境里，事故的發(fā)生是瞬間的：相關(guān)主體也許要對(duì)事故的發(fā)生承擔(dān)責(zé)任，但在不可避免的事故發(fā)生的瞬間，人們難以通過(guò)理性、審慎的道德思考和權(quán)衡來(lái)應(yīng)對(duì)即將發(fā)生的事故；相反，他只可以訴諸本能和直覺(jué)?！?〕A. K. Faulhaber et al, “Human Decisions in Moral Dilemmas are largely Described by Utilitarianism: Virtual Car Driving Study Provides Guidelines for Autonomous Driving Vehicles” 25 （2） Science and Engineering Ethics 399 （2019）.自動(dòng)車的發(fā)展使得對(duì)失控車難題的回答獲得了明顯和急迫的現(xiàn)實(shí)意義。在事故發(fā)生的瞬間 （如剎車失靈），自動(dòng)車的一切反應(yīng)（包括撞死路人）都是由相關(guān)的主體（或者立法者與政府，或者制造商，或者自動(dòng)車使用人）事先有意設(shè)定的，或者是由事先有意地設(shè)定的算法所必然地、系統(tǒng)性地導(dǎo)致的。傳統(tǒng)車與自動(dòng)車的這種差別是自動(dòng)車的算法設(shè)計(jì)的道德難題和與這種難題緊密相關(guān)的法理難題的根源。這種道德難題的實(shí)質(zhì)是，我們應(yīng)該在自動(dòng)車算法中植入何種道德原則？

（一）功利主義的算法

在道德哲學(xué)里，對(duì)失控車難題的回答，粗略地說(shuō)，主要有兩種。其一是義務(wù)論原則。它給出的答案是“不得故意殺傷他人”。義務(wù)論訴諸“制造傷害與允許傷害”（doing vs allowing harm）或“意圖的傷害與非意圖的附帶效果”（intentional harm vs unintended side effects，稱為雙效理論）的區(qū)別，主張說(shuō)前者是被禁止的，后者則是可以被允許的?！?〕Fiona Woollard and Frances Howard-Snyder, “Doing vs. Allowing Harm”, The Stanford Encyclopedia of Philosophy （Winter 2016 Edition）, Edward N. Zalta ed., https://plato.stanford.edu/archives/win2016/entries/doing-allowing/, accessed October 27, 2020; Alison McIntyre, “Doctrine of Double Effect”, The Stanford Encyclopedia of Philosophy （Spring 2019 Edition）, Edward N. Zalta ed., https://plato.stanford.edu/archives/spr2019/entries/double-effect/, accessed October 27, 2020.對(duì)于失控車難題，義務(wù)論的回答是小芳不得轉(zhuǎn)軌。這樣的回答是值得商榷的?！爸圃靷驮试S傷害”或“意圖的傷害與非意圖的附帶效果”的區(qū)分是很難成立的。小芳明知不按下轉(zhuǎn)軌器將導(dǎo)致主軌上五人死亡，她可以按下轉(zhuǎn)軌器但卻拒絕這么做，結(jié)果導(dǎo)致主軌上五人死亡——這樣的選擇，難道不是在制造傷害嗎？見(jiàn)死能救卻不救難道只是“允許傷害”，從而是可以被允許的嗎？〔7〕See Peter Singer, “Each of Us is Just One among Others”, in Alex Voorhoeve ed., Conversations on Ethics, Oxford University Press, 2009, p. 47.失控車情境下的困境是不得不在不可避免的兩種傷害之間選擇——沒(méi)人希望或追求或意圖任何一種傷害，如果它是可以避免的話；所謂的希望或意圖在這里是沒(méi)有意義的，因?yàn)槲覀冾A(yù)設(shè)了小芳明知兩種傷害之一必然會(huì)發(fā)生，一個(gè)人的必然的、可預(yù)見(jiàn)的死亡（不論是先死還是后死）是五人獲救的原因；“意圖的傷害與非意圖的附帶效果”的區(qū)分難以有效地、忠實(shí)地表達(dá)這種困境。明知轉(zhuǎn)軌會(huì)救下主軌上的五人，但卻必然會(huì)導(dǎo)致支軌上的一人死亡而轉(zhuǎn)軌，與明知推下胖子必然導(dǎo)致胖子死亡，但卻會(huì)救下主軌上的五人而推下胖子，是一樣的；唯一的差別是那一人（支軌上的一人或橋上的胖子）是先死還是后死，但這種時(shí)間上的先后并不具有道德的重要性。即便義務(wù)論所指出的這些區(qū)分是可以成立的，這些區(qū)分也不適用于自動(dòng)車。自動(dòng)車在事故瞬間的選擇，都是編程者或立法者必須事先、有意地確定好的，編程者必須——在傷害不可避免的情境下——有意地在不同的傷害之間來(lái)選擇和取舍。〔8〕See Kathryn McVicker, “Ethical Understandings and Approaches to Autonomous Vehicles”, https://mountainscholar.org/bitstream/handle/20.500.11919/4409/STUW_HT_PHIL_2019_Tay_Kathryn.pdf?sequence=3&isAllowed=y, pp.11-13, accessed August 27, 2020.

也有人建議說(shuō)，對(duì)失控車難題的解答，應(yīng)該采取受害人的視角。不論是對(duì)主軌上五人中的任何一人來(lái)說(shuō)，還是對(duì)支軌上的一人來(lái)說(shuō)，他自己的生命都是整個(gè)世界；這樣一來(lái)，最好的方案也許是擲硬幣或抓鬮，它讓每個(gè)人都有50%的獲救機(jī)會(huì)?！?〕J. M. Taurek, “Should the Numbers Count?” 6 （4） Philosophy and Public Affairs 293 （1977）.在設(shè)計(jì)自動(dòng)車的算法時(shí)，受害人視角是應(yīng)予考慮的因素之一，但它不應(yīng)該成為排他性的或壓倒性的視角。根據(jù)受害人視角，五人和一人的不同在道德上是不相關(guān)的；這樣一來(lái)，失控車難題就根本不存在，或者說(shuō)根本就不是難題。對(duì)于算法設(shè)計(jì)者來(lái)說(shuō)，失控車難題是關(guān)系公共幸福的一個(gè)道德難題。正確的視角應(yīng)該是立法者的或公眾的視角。即使采取受害人視角，這里的受害人也應(yīng)該是假想的而非真實(shí)的受害人。也就是說(shuō)，每個(gè)人都可以自問(wèn)，如果我處在潛在受害人的境地，是處于此境地的六個(gè)人之一，我希望自動(dòng)車撞擊誰(shuí)？答案似乎是功利主義的：每個(gè)人會(huì)有六分之五的概率成為主軌上的五個(gè)人之一，而只有六分之一的概率成為支軌上的一人；大家顯然會(huì)認(rèn)為，小芳應(yīng)該按下轉(zhuǎn)軌器。

共同體是由有情有欲、有血有肉、趨樂(lè)避苦的很多個(gè)人構(gòu)成的；立法者應(yīng)該努力讓他的共同體內(nèi)的痛苦最小化、快樂(lè)最大化。這樣的立法者視角正是功利原則所要求的。它對(duì)失控車難題的回答，一如它對(duì)一切道德問(wèn)題的回答，即應(yīng)該選擇那種可以把痛苦最小化的方案。功利原則是一個(gè)高度抽象和籠統(tǒng)的指示。具體場(chǎng)景下，何種方案可以最大限度地把痛苦最小化是極其復(fù)雜的。如果暫時(shí)不考慮人與人具體的生物性或社會(huì)性差異，不考慮這些差異與潛在被撞者自己、與他相關(guān)的確定的人和其他不確定的社會(huì)中人的苦樂(lè)感覺(jué)的相關(guān)性，而且，如果只是抽象地認(rèn)定一個(gè)生命是一個(gè)苦樂(lè)主體，那么在失控車情境里，功利原則會(huì)要求小芳按下轉(zhuǎn)軌器。這似乎也是多數(shù)人會(huì)接受的做法。

一些學(xué)者相信，自動(dòng)車算法的道德設(shè)計(jì)問(wèn)題，并不只是抽象的對(duì)錯(cuò)問(wèn)題，而是要我們來(lái)解決的具體的實(shí)踐問(wèn)題；對(duì)自動(dòng)車算法的規(guī)管，要符合人們的價(jià)值信仰或期待，至少不應(yīng)該引發(fā)公憤?！?0〕J. F. Bonnefon et al, “The Social Dilemma of Autonomous Vehicles” 352 （6293） Science 1573 （2016）.從這個(gè)信念出發(fā)，他們開展了很多實(shí)證研究，旨在了解人們對(duì)自動(dòng)車算法道德的期待。〔11〕J. F. Bonnefon et al, “The Social Dilemma of Autonomous Vehicles” 352 （6293） Science 1573 （2016）; A. K. Faulhaber et al, “Human Decisions in Moral Dilemmas are largely Described by Utilitarianism: Virtual Car Driving Study Provides Guidelines for Autonomous Driving Vehicles” 25 （2） Science and Engineering Ethics 399 （2019）.這些研究是很粗糙的，它們以高度簡(jiǎn)化的場(chǎng)景為主題；考慮的因素也是很簡(jiǎn)單的：通常以人命的數(shù)量為主，兼顧年齡、是否遵守交通規(guī)則等；這些學(xué)者對(duì)他們的數(shù)據(jù)的解釋只是以對(duì)功利原則或功利主義的很粗糙的理解為根據(jù)的。盡管如此，這些研究也是很有價(jià)值的。他們的結(jié)論是，功利主義的算法總體上是人們更易接受的；他們進(jìn)而得出結(jié)論說(shuō)，功利原則應(yīng)該成為算法道德的基本原則。筆者在這里要補(bǔ)充說(shuō)，功利原則應(yīng)該成為自動(dòng)車算法道德的基本原則，主要是因?yàn)樗钦_的原則；當(dāng)然，說(shuō)明功利原則的正確性不是本文的任務(wù)?！?2〕參見(jiàn)翟小波：《功利原則簡(jiǎn)釋》，載《河南大學(xué)學(xué)報(bào)（社會(huì)科學(xué)版）》2021 年第1 期（即刊）。如果其他條件都相同，在極端情境下，功利原則要求殺一人（究竟殺誰(shuí)？怎么殺？如何補(bǔ)償？這些是另外的或許更重要的問(wèn)題）而救多人，這的確是殘忍的，是某些人脆弱的神經(jīng)難以接受的，但不要忘了，這是極端情況下的無(wú)奈的選擇：在這樣的極端情況下，還有比功利原則更不殘忍的原則嗎？與其他選擇相比，例如不殺一人而導(dǎo)致多人被殺，或者通過(guò)擲硬幣或抓鬮來(lái)決定誰(shuí)該被殺，功利原則（允許殺一人、救多人，并給予被殺者的家人親人或其他相關(guān)人充分的補(bǔ)償）其實(shí)是最不殘忍的。關(guān)于擲硬幣或抓鬮，筆者并不是反對(duì)這種決策程序本身；當(dāng)若干備選方案在道德上沒(méi)有差異時(shí)，也許可以采用擲硬幣或抓鬮來(lái)決策；但當(dāng)這些方案在道德上有重要差異時(shí)，擲硬幣或抓鬮便是極不嚴(yán)肅、極不負(fù)責(zé)任的程序。

（二）功利因素的種類

如果接受功利原則對(duì)自動(dòng)車算法的道德設(shè)計(jì)的指導(dǎo)意義，接下來(lái)的任務(wù)便是，第一，識(shí)別和統(tǒng)計(jì)各種功利因素（即功利性考量）及其價(jià)值；算法設(shè)計(jì)者要充分認(rèn)識(shí)到，現(xiàn)實(shí)生活中的功利因素是無(wú)限復(fù)雜和多樣的，識(shí)別它們、確定它們的價(jià)值都是很艱巨的任務(wù)；第二，根據(jù)已掌握的各種功利要素的價(jià)值的信息來(lái)估算和比較不同的撞擊選擇造成的痛苦的大小，并選擇造成最小痛苦的撞擊方案。第一項(xiàng)任務(wù)固然艱難，但第二項(xiàng)任務(wù)要比第一項(xiàng)任務(wù)更艱難。

我們先來(lái)考察失控車難題中相關(guān)的功利因素。它們涉及大量的個(gè)人信息，至少包括以下五個(gè)方面?！?3〕筆者這里的分析所依賴的理論資源參見(jiàn)Jeremy Bentham, Introduction to the Principles of Morals and Legislation, Fred Rosen ed., Oxford University Press 1996, chapters iv, vi, and xii.

其一，暫不考慮人與人的差異，假定人與人都是一樣的：這時(shí)，被撞擊的人的數(shù)量或范圍便是唯一的功利因素。

其二，潛在的被撞者有沒(méi)有避讓的可能性？這種可能性有多大？他被撞死或撞傷的可能性有多大？他被撞傷的程度有多大？

大致來(lái)說(shuō)，面對(duì)甲乙兩組潛在的被撞者，算法設(shè)計(jì)者要比較各種撞擊方案所導(dǎo)致的每一組中最不幸者（即被撞后存活可能性最低的那個(gè)人）的存活概率，然后選擇導(dǎo)致最不幸者最大存活概率的撞擊方案。如果兩個(gè)撞擊方案導(dǎo)致的各組的最不幸者的最大存活概率是相等的，就要比較每組中的第二最不幸者的最大存活概率，依次類推。如果在做第N 輪比較時(shí)，仍然不分勝負(fù)，這時(shí)或許就得來(lái)擲硬幣或抓鬮了。

其三，若不是撞死，而是撞傷，則要考慮那些影響潛在被撞者的傷殘所導(dǎo)致的痛苦量的因素，比如這種痛苦的強(qiáng)度、持續(xù)時(shí)間等。

關(guān)于持續(xù)時(shí)間的考慮將涉及潛在被撞者的年齡。考慮到傷殘所導(dǎo)致的痛苦量，人們有可能認(rèn)為，撞死并不必然比撞傷更壞，這時(shí)就要考慮和比較撞死（各種類型或程度的）與撞傷給被撞者導(dǎo)致的痛苦量；基于這種比較，也許算法應(yīng)選擇撞死張三，而不是撞傷李四。以上討論的這些是撞擊行為的原初損害。對(duì)原初損害和接下來(lái)要討論的派生損害所導(dǎo)致的痛苦量的估算，還要考慮這種損害給被撞者或其他相關(guān)人造成的其他痛苦。邊沁非窮盡性地列舉了十二類的痛苦；對(duì)不同類型的痛苦的量化估算，又要考慮影響被撞者和其他相關(guān)人對(duì)痛苦的敏感性的各種因素，邊沁列舉了三十二項(xiàng)。當(dāng)考慮到不同的被撞者對(duì)痛苦的敏感性時(shí)，客觀上相同的撞擊行為給不同的被撞者造成的痛苦量便已不再相等了。

其四，撞擊行為的派生損害，即因?yàn)楸蛔舱叩乃纻o確定的、與被撞者有聯(lián)系的人（簡(jiǎn)稱“確定的相關(guān)人”）造成的損害。

前述的痛苦的分類和影響敏感性的因素在這里依然是適用的。確定的相關(guān)人（包括親戚、朋友）可能是因?yàn)檠?、利益或同情心等因素而與被撞者發(fā)生聯(lián)系。比如說(shuō)，自動(dòng)車不可避免地要撞擊張三或李四，張三和李四在各方面都一樣，唯一的差異是張三上有老下有小，是大家庭唯一的支柱；而李四上無(wú)老下無(wú)小，只是無(wú)牽無(wú)掛的苦行僧，算法應(yīng)該指令自動(dòng)車撞擊李四而不是張三。很多人會(huì)認(rèn)為這個(gè)觀點(diǎn)“看起來(lái)”怪異和恐怖，筆者也承認(rèn)它“看起來(lái)”怪異和恐怖，我在下面會(huì)解釋它為什么“看起來(lái)”怪異和恐怖；這種“看起來(lái)”的怪異和恐怖說(shuō)明了什么道理。

與上一段討論的因素緊密聯(lián)系的一個(gè)考量是自動(dòng)車使用人與潛在被撞者的關(guān)系，比如說(shuō)，被撞者是使用人的兒子還是陌生人？對(duì)功利原則的一個(gè)誤解是說(shuō)，它不考慮特別關(guān)系或親疏之別，一樣地對(duì)待所有人，在計(jì)算時(shí)會(huì)大義滅親。也許有些功利主義者的確這么認(rèn)為，但至少邊沁不這么認(rèn)為。邊沁主張立法與制度設(shè)計(jì)都應(yīng)該促進(jìn)最大幸福，親情、友誼和特殊關(guān)系等構(gòu)成幸福（或者痛苦）的原因。如果要在兒子和陌生人之間選擇撞擊對(duì)象，邊沁會(huì)要求算法優(yōu)先保護(hù)使用人的兒子。人們的相互背叛和傷害是常有的，但親朋間的相互背叛和傷害，比一般人之間的背叛和傷害，要造成更多的痛苦。這種背叛和傷害比較多的社會(huì)肯定比這種背叛和傷害比較少、相互忠誠(chéng)和幫助比較多的社會(huì)擁有更少的幸福。挑撥或鼓動(dòng)親朋相互背叛和傷害的立法者肯定比不這么做的政府更邪惡。邊沁曾明確說(shuō)過(guò)，其他條件等同時(shí)，傷害親朋的行為比傷害陌生人的行為更邪惡，應(yīng)該受到更嚴(yán)厲的懲罰。〔14〕關(guān)于邊沁的功利原則如何處理特殊關(guān)系，參見(jiàn)翟小波：《功利原則簡(jiǎn)釋》，載《河南大學(xué)學(xué)報(bào)（社會(huì)科學(xué)版）》2021 年第1 期（即刊）。

類似的影響派生損害所導(dǎo)致的痛苦量的因素，還包括潛在被撞者的才能、品德或職業(yè)等。重復(fù)一下：筆者深知，很多人會(huì)認(rèn)為，我這里的觀點(diǎn)“看起來(lái)”越來(lái)越怪異和恐怖，我會(huì)在下文解釋為什么它“看起來(lái)”怪異和恐怖。這里要強(qiáng)調(diào)的是，第一，筆者只是在探討與撞擊選擇相關(guān)的、影響相關(guān)撞擊選擇所導(dǎo)致的痛苦量的因素；第二，筆者并沒(méi)有說(shuō)算法一定要指令自動(dòng)車去撞擊刑滿釋放的強(qiáng)奸慣犯，而避開邁克爾·杰克遜。比如說(shuō)，100 個(gè)人要去聚餐，其中99 個(gè)人偏愛(ài)海鮮，但一個(gè)人確定地會(huì)因?yàn)閷?duì)海鮮高度過(guò)敏而死亡，功利原則很可能要求大家放棄海鮮：功利因素很多，相關(guān)主體的數(shù)量（杰克遜有億萬(wàn)歌迷）只是眾多因素之一，其他因素——比如說(shuō)痛苦的強(qiáng)烈程度——也許比數(shù)量的因素更重要。

其五，原初損害和派生損害都是邊沁所說(shuō)的初級(jí)損害。

與初級(jí)損害并列的是二級(jí)損害，它是指一個(gè)行為對(duì)整個(gè)共同體或不確定的多數(shù)個(gè)人造成的損害。邊沁把二級(jí)損害也分為兩種：其一是恐懼，即由對(duì)遭遇同樣損害（被撞死或撞傷）的憂懼而生的痛苦；其二是危險(xiǎn)，即被撞死或撞傷的可能性。自動(dòng)車關(guān)于撞擊算法的不同的道德設(shè)計(jì)，無(wú)疑將特定社會(huì)中的所有人都置于不同程度的恐懼和危險(xiǎn)之中。比如說(shuō)，F(xiàn)aulhaber 等人的研究表明，對(duì)一般人的道德直覺(jué)來(lái)說(shuō)，是否遵守交通規(guī)則（如走人行道或戴頭盔）對(duì)于撞擊的選擇并不構(gòu)成實(shí)質(zhì)性差異：一方面是不遵守交通規(guī)則的兩人或多人，另一方面是遵守交通規(guī)則的一人或少數(shù)人，如果不可避免地要在這兩群人之間選擇，絕大多數(shù)人會(huì)選擇撞擊遵守交通規(guī)則的一人或少數(shù)人?！?5〕A. K. Faulhaber et al, “Human Decisions in Moral Dilemmas are largely Described by Utilitarianism: Virtual Car Driving Study Provides Guidelines for Autonomous Driving Vehicles” 25 （2） Science and Engineering Ethics 405 （2019）.在這里，我們前面引入的無(wú)辜性假定已經(jīng)被突破了，不遵守交通規(guī)則的人并不是純粹的無(wú)辜者。如果Faulhaber 等人所揭示的道德直覺(jué)被接受為算法的一項(xiàng)道德規(guī)則， 第一，它會(huì)在某特定個(gè)案中減少死傷，但它是極不公平的，它實(shí)際上是在懲罰守法和負(fù)責(zé)任的人；第二，它將在全社會(huì)范圍內(nèi)，尤其是對(duì)于負(fù)責(zé)任、守法的好公民造成極大的驚恐和危險(xiǎn)；第三， 它將導(dǎo)致人們喪失遵守交通規(guī)則的動(dòng)機(jī)，從而極大地破壞交通規(guī)則的權(quán)威和作用，摧毀交通法治，而這將頻繁地、大規(guī)模地導(dǎo)致更多的交通事故和死傷。筆者在此并不是說(shuō)，要不惜一切代價(jià)來(lái)懲罰違反交通規(guī)則的人。比如說(shuō)，一個(gè)遵守交通規(guī)則的殺人慣犯，一個(gè)滿載小學(xué)生的違反交通規(guī)則的校巴，前者也許并不應(yīng)該受到自動(dòng)車算法的優(yōu)先保護(hù)；然而，撞擊遵守交通規(guī)則的人所導(dǎo)致的普遍的恐懼和危險(xiǎn)，應(yīng)該在自動(dòng)車算法的道德設(shè)計(jì)中得到適當(dāng)?shù)目紤]，給予應(yīng)有的分量。邊沁的二級(jí)損害的理念的意義主要在于，我們要考慮某種撞擊方案被確立為一項(xiàng)規(guī)則后對(duì)整個(gè)社會(huì)的痛苦量的長(zhǎng)遠(yuǎn)而廣泛的影響。

（三）平等問(wèn)題、怪異和恐怖

功利原則要求，自動(dòng)車的算法應(yīng)該選擇在特定共同體內(nèi)造成最少痛苦的撞擊方案。前面初步地探討了影響不同撞擊方案所造成的痛苦量的因素，筆者把這些因素稱作功利因素。在這些功利因素中，人數(shù)的考量、撞死或撞傷的概率的考量和二級(jí)損害的考量主要是客觀的、普遍性考量；敏感性的考量和派生性損害的考量則主要是個(gè)人性考量。這些個(gè)人性考量，導(dǎo)致不同的撞擊行為所造成的痛苦量是不一樣的，從而要求算法做出相應(yīng)的撞擊誰(shuí)、避開誰(shuí)的抉擇。人們認(rèn)為筆者這里的觀點(diǎn)“看起來(lái)”怪異和恐怖，很可能是因?yàn)?，這樣的算法要根據(jù)每個(gè)人的死亡或受傷所造成的或代表的痛苦量給每個(gè)人定價(jià)，這種給每個(gè)人定價(jià)的行為似乎違反了平等原則，或冒犯了人們關(guān)于平等的道德直覺(jué)。此外，一個(gè)常見(jiàn)的說(shuō)法是，功利原則認(rèn)為“每個(gè)人只算一，沒(méi)人應(yīng)被算作是多于一?！薄?6〕“Everybody to count for one, and nobody for more than one”. See J. S. Mill, “Utilitarianism” （1871）, in On Liberty and Utilitarianism, Bantam Books, 1993, p. 208.有人因此主張說(shuō)，功利原則認(rèn)為，一切人都是相互平等的，所以要把痛苦最小化就是要把被撞擊的人數(shù)最少化?！?7〕R. M. McManus and AM Rutchick, “Autonomous Vehicles and the Attribution of Moral Responsibility” 10 （3） Social Psychological and Personality Science 1 （2019）.

上述的關(guān)于平等原則的認(rèn)識(shí)或直覺(jué)，以及關(guān)于功利原則的平等理念的理解，是值得商榷的。立法設(shè)制要在特定共同體內(nèi)促進(jìn)痛苦最小化、幸福的最大化。邊沁的確主張說(shuō)，在立法設(shè)置時(shí)，應(yīng)該假定每個(gè)人都是平等的。他的意思是說(shuō)，每個(gè)人都是幸福/痛苦的一個(gè)單位或承載者；計(jì)算一個(gè)共同體內(nèi)的幸福/痛苦時(shí)，要把每個(gè)人都考慮在內(nèi)，而且不得考慮與每個(gè)人的幸福/痛苦無(wú)關(guān)的因素，也就是說(shuō)，不得基于社會(huì)地位、財(cái)富、性別、種族、血統(tǒng)等不相關(guān)因素而歧視人們。但這并不等于說(shuō)，每個(gè)人對(duì)于特定共同體的痛苦最小化、幸福最大化來(lái)說(shuō)都是等值的、具有同等意義的；這并不等于說(shuō)，功利原則要求自動(dòng)車的算法只把被撞死和被撞傷的人數(shù)最小化。如Michael Quinn 所說(shuō)，這樣的平等性假定，并不表明邊沁認(rèn)為，每個(gè)人在幸福/痛苦計(jì)算時(shí)都是等值的；這種假定實(shí)乃基于立法者的信息困境的無(wú)奈之舉，因?yàn)榱⒎ㄕ唠y以確知每個(gè)人對(duì)苦樂(lè)的敏感性的差異，難以確知每個(gè)人所凝結(jié)或承載的社會(huì)關(guān)系的差異，難以預(yù)測(cè)每個(gè)人的未來(lái)的品德、才能和行為，從而難以確知每個(gè)人的存活所承載的幸福量或死傷所意味的痛苦量；面對(duì)這種困境，最不壞的做法是假定它們是相等的?！?8〕Michael Quinn, “Bentham on Mensuration: Calculation and Moral Reasoning” 26 （1） Utilitas 61, 70-71 （2014）.

忽然看到一個(gè)白白凈凈的饅頭放到乞丐的碗里，我抬頭一看，原來(lái)正是楊公子，他溫藹地對(duì)乞丐說(shuō)，別餓著。乞丐趕緊答謝他。

這種信息困境不表明，在幸福最大化或痛苦最小化的計(jì)算中每個(gè)人是等價(jià)的。相反，前面的討論表明，每個(gè)人所承載的幸福量是不一樣的。如果可以充分地掌握關(guān)于每個(gè)人的足夠的信息，我們就可以確定地說(shuō)，每個(gè)人在“已往的”生命歷程中對(duì)其所在的社會(huì)的幸福量和痛苦量的影響是不一樣的，我們可以根據(jù)這樣的計(jì)算來(lái)給每個(gè)人已往的生命定價(jià)。在這里，我們必須要把兩個(gè)問(wèn)題區(qū)別開來(lái)：一個(gè)是人工智能的掌握和計(jì)算信息并進(jìn)行預(yù)測(cè)的能力問(wèn)題；另一個(gè)是假定計(jì)算能力不存在問(wèn)題，假定算法真的是全知全能（這是一個(gè)很大的如果），那么，算法該如何進(jìn)行道德抉擇。功利原則首先是對(duì)第二個(gè)問(wèn)題的回答。現(xiàn)在來(lái)討論它對(duì)第一個(gè)問(wèn)題的看法。

“看起來(lái)的”怪異和恐怖主要來(lái)自對(duì)這樣的難題的意識(shí)：即我們?nèi)绾稳ジ鶕?jù)已有信息來(lái)確定未來(lái)的撞擊選擇所導(dǎo)致的痛苦量。所有的信息都是過(guò)去的數(shù)據(jù)；我們可以根據(jù)過(guò)去的數(shù)據(jù)預(yù)測(cè)未來(lái)，這種預(yù)測(cè)表現(xiàn)為概率，但這種概率并不可以確定地表明某個(gè)人的未來(lái)境況和行動(dòng)、品德和才能。一句話，我們不是全知全能的上帝，沒(méi)法準(zhǔn)確地為一個(gè)人的未來(lái)定價(jià)。然而，如果今天的人工智能根據(jù)其掌握的信息可以確定地知道，小芳的死亡將比小明的死亡在人世間造成兩倍的痛苦，算法就不應(yīng)該同樣地對(duì)待他們；相反，它應(yīng)該給出的指令顯然是撞擊小明。如Peter Singer 所說(shuō)，如果我們的確知道我們的行為的結(jié)果，如果功利主義的計(jì)算要我們?nèi)ネ黄颇稠?xiàng)所謂的道德規(guī)則，我們就應(yīng)該突破這項(xiàng)規(guī)則。“如果我們假定，拉斯科尼科夫真的知道他會(huì)用放高利貸的老板娘的錢去做更大的善，而且這樣做不會(huì)有進(jìn)一步的壞結(jié)果，那么他殺害那個(gè)老板娘的行為就是正確的?！薄?9〕See Peter Singer, “Each of Us is Just One among Others”, in Alex Voorhoeve ed., Conversations on Ethics, Oxford University Press, 2009, p. 49.但我們很難確知這一點(diǎn)：也許我們對(duì)這一點(diǎn)可以有90%的確信，但如果剩下的10%的不確信竟然的確發(fā)生了，我們以90%的確信做出的選擇所導(dǎo)致的痛苦（包括人們的驚恐）有可能完全壓倒這個(gè)選擇所要避免的痛苦。舉例來(lái)說(shuō)，邁克爾·杰克遜和刑滿釋放的強(qiáng)奸慣犯，應(yīng)該撞擊誰(shuí)？對(duì)功利原則來(lái)說(shuō)，這個(gè)問(wèn)題的答案并不是顯然的，因?yàn)檫~克爾·杰克遜或許明天會(huì)突然死亡，而強(qiáng)奸慣犯有可能立地成佛。筆者要強(qiáng)調(diào)的是，功利算法所謂的“看起來(lái)”的怪異和恐怖并不是源于它要給每個(gè)人定價(jià)的嘗試，而是源于這種定價(jià)的易錯(cuò)性以及這種錯(cuò)誤（很類似冤假錯(cuò)案）導(dǎo)致的極大的痛苦。這種“看起來(lái)”的怪異和恐怖是定價(jià)的不確定性和易錯(cuò)性導(dǎo)致的，它也會(huì)隨人們對(duì)這種定價(jià)之確定性的認(rèn)知的改變而改變。比如說(shuō)，一個(gè)是十歲的小孩，另一個(gè)是九十歲的老人，應(yīng)該撞誰(shuí)？功利原則會(huì)指令自動(dòng)車去撞九十歲的老人。這個(gè)指令之所以看起來(lái)并不怪異和恐怖，因?yàn)槿藗兺ǔ４蠖純A向于認(rèn)為，十歲的小孩要比九十歲的老人有更長(zhǎng)的生命；因?yàn)檫@種信念的確定性要遠(yuǎn)大于我們對(duì)“強(qiáng)奸慣犯一定會(huì)再次強(qiáng)奸、死不悔改”的信念的確定性。但這里的兩種信念的確定性也都只是概率而已：它們的性質(zhì)是一樣的，之所以前者不會(huì)顯得怪異且恐怖，后者卻顯得如此，主要是人們對(duì)它們的概率的感知（或偏見(jiàn)）不一樣；這種怪異且恐怖的印象，實(shí)際上與功利原則對(duì)人們所承載的幸福量進(jìn)行定價(jià)的理念無(wú)關(guān)。

正是因?yàn)檫@種不確定性，在前面討論各種功利因素時(shí)，筆者列舉的主要是客觀性的或個(gè)人性的因素，沒(méi)有列舉群體性的因素，比如說(shuō)，勞動(dòng)者還是剝削者，黑人還是白人，等等。這樣的群體性因素對(duì)一個(gè)撞擊選擇所導(dǎo)致的痛苦量的影響，至少受到雙重不確定性的困擾：第一，前面所說(shuō)的從過(guò)去數(shù)據(jù)推出未來(lái)的痛苦量的不確定性；第二，從群體性特征推出個(gè)體性特征的不確定性，比如說(shuō)，黑人作為一個(gè)群體的犯罪率也許比白人高，但這絕對(duì)不表明黑人約翰要確定地比白人湯姆更易犯罪。

（四）給人的未來(lái)定價(jià)：快樂(lè)計(jì)算

痛苦最小化是我們的目標(biāo)，但我們難以百分百地確定我們的選擇是否必定是把痛苦最小化的方案。我們?cè)撛趺崔k？是不是因?yàn)闆](méi)法根據(jù)一個(gè)人的過(guò)去確知他的未來(lái)，就該放棄計(jì)算、放棄給人定價(jià)呢？不是的。既然目標(biāo)已經(jīng)確定，正確的做法就是迎難而上，探索能夠最大概率地實(shí)現(xiàn)目的之最有效途徑。前面關(guān)于人們對(duì)未來(lái)的預(yù)測(cè)的不確定性的討論，讓我們意識(shí)到我們的計(jì)算可能有嚴(yán)重的問(wèn)題，讓我們放棄全知全能的上帝視角。但這些問(wèn)題不是我們放棄給人定價(jià)的理由，而只是改善這種計(jì)算和定價(jià)的理由。我們永遠(yuǎn)無(wú)法百分百地確知任何事情，排除一切懷疑，這是我們?nèi)祟惖乃廾阂磺卸贾皇歉怕驶蚋呋虻偷牟聹y(cè)，但我們又不能因?yàn)闆](méi)有百分百的確知就放棄行動(dòng)。我們所能做的，只是盡力改進(jìn)我們的計(jì)算，但同時(shí)意識(shí)到我們會(huì)犯錯(cuò)，給自己保留改錯(cuò)或補(bǔ)償?shù)臋C(jī)會(huì)。

我們只能根據(jù)概率或高或低的猜測(cè)而行動(dòng)，從這個(gè)角度來(lái)看，所謂的不同版本的失控車難題中人們的看似很不一樣的道德直覺(jué)也就根本不是謎團(tuán)，無(wú)任何神秘之處；它們只是反映了人們不同的功利性計(jì)算。在簡(jiǎn)單的旁觀者失控車難題中，多數(shù)會(huì)認(rèn)同撞一救五的方案，是因?yàn)?，我們認(rèn)為我們有六分之五的概率成為主軌上的五個(gè)人之一。在胖子失控車難題中，我們對(duì)是否要把胖子從橋上推下去猶疑不決，是因?yàn)槲覀儗?duì)我們會(huì)成為胖子的概率（二分之一，因?yàn)榕质菔窍鄬?duì)的）的感知與對(duì)我們會(huì)成為五個(gè)人之一 的概率（六分之五）的感知發(fā)生了沖突；在器官移植難題中，我們之所以反對(duì)殺掉一個(gè)總體上健康的病人，反對(duì)把他的器官貢獻(xiàn)給五個(gè)等待器官移植的病人，是因?yàn)?，我們成為這樣的等待器官移植的病人的概率是極低的，但我們成為去醫(yī)院看病的人的概率是極高的。

功利原則對(duì)自動(dòng)車算法的道德設(shè)計(jì)的要求，實(shí)乃邊沁所說(shuō)的快樂(lè)計(jì)算（felicific calculus）。一些學(xué)者似乎低估了快樂(lè)計(jì)算的復(fù)雜性?！?0〕“A Utilitarian Debate on Driverless Cars”, at https://prestudentconversation.wordpress.com/2016/03/29/a-utilitarian-debate-ondriverless-cars/，accessed August 26, 2020.也許功利原則比其他的倫理框架要簡(jiǎn)單，但如上所述，快樂(lè)計(jì)算本身是高度復(fù)雜的，是極其困難和極富挑戰(zhàn)的。它要求算法掌握關(guān)于每個(gè)人的詳細(xì)資料或信息，以便計(jì)算或比較每個(gè)人在其過(guò)去的生命歷程中所承載的幸福量，并據(jù)之來(lái)預(yù)測(cè)撞擊他所導(dǎo)致的痛苦量；算法要掌握的信息不只限于每個(gè)人，還包括每個(gè)或許會(huì)上路的交通工具的性能和安全指標(biāo)等。這樣的資料是無(wú)限復(fù)雜的。對(duì)功利原則的一個(gè)常見(jiàn)的指責(zé)是說(shuō)快樂(lè)計(jì)算太難。這種困難，除了因?yàn)樾畔⒉煌暾猓€因?yàn)?，快?lè)和痛苦的強(qiáng)度是無(wú)法測(cè)量的，在人與人之間也是難以通約的。關(guān)于快樂(lè)計(jì)算是否可能和如何可能的問(wèn)題，相關(guān)的文獻(xiàn)汗牛充棟，筆者在此無(wú)意卷入相關(guān)討論。

筆者在此要指出的是，邊沁比任何人都更敏銳地承認(rèn)苦樂(lè)的主觀性、它們的價(jià)值測(cè)量的困難、它們的人際不可通約性、根據(jù)過(guò)去的數(shù)據(jù)對(duì)未來(lái)做出的猜測(cè)的不確定性，但同樣不可否認(rèn)的是，苦樂(lè)感覺(jué)、導(dǎo)致苦樂(lè)的因素在人們之間也有很大的共同性，對(duì)苦樂(lè)或?qū)е驴鄻?lè)的因素的計(jì)算以及根據(jù)這個(gè)計(jì)算來(lái)決定未來(lái)的行動(dòng)，是很普遍的、無(wú)法逃避的事實(shí)?！?1〕參見(jiàn)翟小波：《功利原則簡(jiǎn)釋》，載《河南大學(xué)學(xué)報(bào)（社會(huì)科學(xué)版）》2021 年第1 期（即刊）；Michael Quinn, “Bentham on Mensuration: Calculation and Moral Reasoning” 26 （1） Utilitas 61, 70-71 （2014）.如邊沁所說(shuō)：“開展這些計(jì)算是困難的：這些計(jì)算也缺乏確定性。是這樣嗎？這的確是不能否認(rèn)的。但即便如此，我也可以大膽地主張說(shuō)：盡管這種方法提供的做出正確判斷的機(jī)會(huì)是有缺陷的，但沒(méi)有任何其他方法可以提供比它更好的機(jī)會(huì)。任何其他的判斷方法有多好多壞，都取決于它接近和偏離這種方法的程度……假定存在一種與此不同的判斷方法，那么該方法偏離功利的機(jī)會(huì)，將是快樂(lè)計(jì)算法偏離功利的機(jī)會(huì)，加上該方法偏離快樂(lè)計(jì)算法的機(jī)會(huì)?！薄?2〕Bentham, Preparatory Principles, DG Long and Philip Schofield ed., Oxford Clarendon Press, 2016, p. 327.

如果說(shuō)我們今天的社會(huì)里的痛苦比百年前、千年前少了， 那也主要是因?yàn)?，我們今天?duì)不同的因素（行為模式、才能、品德等）和痛苦之結(jié)果之間的關(guān)系的認(rèn)識(shí)更可靠了，從而可以做出更靠譜的立法或安排了?？紤]到人工智能掌握和處理信息的能力要遠(yuǎn)超出人類，它的計(jì)算將比人類的計(jì)算要接近完美；當(dāng)然，即使再?gòu)?qiáng)大的人工智能，也不可能一次性地考慮和計(jì)算所有相關(guān)信息。即便如此，我們也有理由樂(lè)觀：數(shù)據(jù)和材料都是在時(shí)間之流中逐漸積累的，計(jì)算能力是可以逐步改進(jìn)的；尤其是考慮到，人工智能的算法具有深度學(xué)習(xí)的能力，指望算法逐步算得更準(zhǔn)，更正確地給每個(gè)人的過(guò)去定價(jià)，并根據(jù)這種定價(jià)來(lái)更正確地預(yù)測(cè)和比較特定撞擊行為所導(dǎo)致的痛苦量，根據(jù)這種預(yù)測(cè)來(lái)發(fā)出撞擊指令，把不可避免的痛苦最小化，不僅不是烏托邦式的幻想，而且還是最不壞的做法。當(dāng)然，算法的威力是與它可以掌握和處理的信息成正比的；由此而生的一個(gè)的隱憂是，自動(dòng)車可以實(shí)現(xiàn)最大幸福的程度是與自動(dòng)車算法對(duì)我們的隱私的掌握和運(yùn)用成正比的。這樣一來(lái)，每輛追求安全的自動(dòng)車都將是一個(gè)邊沁式圓形監(jiān)獄（panopticon）。目前，人們顯然低估了自動(dòng)車算法的發(fā)展對(duì)人們的隱私的侵犯程度，假定隱私是值得保護(hù)的——這是一個(gè)很大的假定?！?3〕“A Utilitarian Debate on Driverless Cars”, https://prestudentconversation.wordpress.com/2016/03/29/a-utilitarian-debate-ondriverless-cars/，accessed August 26, 2020.

（五）最不幸者？

借鑒羅爾斯的原初狀態(tài)和最大化最小值的理念，Derek Leben 主張說(shuō)，（假定每個(gè)人的未來(lái)承載的幸福量是一樣的）自動(dòng)車關(guān)于撞擊算法的道德設(shè)計(jì)，應(yīng)該優(yōu)先保護(hù)那些有最大概率受最嚴(yán)重傷害的潛在被撞者 （the worst-off party, 最不幸者）。Leben 的分析是不是對(duì)羅爾斯的理念的正確使用，并不是筆者在這里關(guān)心的。筆者要說(shuō)的是，功利原則，基于其所認(rèn)可的邊際功利（效益）遞減的原理，也會(huì)把“某個(gè)被撞者有最大概率受最嚴(yán)重傷害”作為算法設(shè)計(jì)的一項(xiàng)考慮，但它卻并不必然要求優(yōu)先選擇確保最大存活概率的方案。舉例來(lái)說(shuō)，自動(dòng)車或左轉(zhuǎn)或右轉(zhuǎn)，左轉(zhuǎn)有1%的概率導(dǎo)致小芳死亡、99%的概率導(dǎo)致小芳終身殘疾；右轉(zhuǎn)有2%的概率導(dǎo)致小麗死亡、98%的概率不對(duì)小麗造成任何傷害，Leben 認(rèn)為，自動(dòng)車應(yīng)該左轉(zhuǎn)。但這樣的指令顯然不符合功利原則以及它對(duì)風(fēng)險(xiǎn)的評(píng)估和計(jì)算規(guī)則，因?yàn)?9%的終身殘疾的痛苦，顯然要大于2%概率的死亡和98%概率的安然無(wú)恙。

（六）功利要素的社會(huì)建構(gòu)

自動(dòng)車的算法要具有社會(huì)可接受性。不同的社會(huì)對(duì)算法倫理的期待有很大程度的一致性，但這種期待也在很大程度上隨社會(huì)之不同而不同。這種社會(huì)性的差異是一種基本事實(shí)，也是功利原則所承認(rèn)和要求的。這種差異，實(shí)乃源于功利因素的主觀性，而功利要素的社會(huì)性、建構(gòu)性則是這種主觀性的一個(gè)重要體現(xiàn)。人們?nèi)绾蝸?lái)測(cè)算某個(gè)行為所導(dǎo)致的幸福量或痛苦量呢？“根據(jù)回憶、觀察和類比：對(duì)他自己在過(guò)去的某種場(chǎng)合的感覺(jué)；對(duì)其他人的言行的觀察；我們的被認(rèn)為是源于某種感覺(jué)的言行與那些導(dǎo)致我們的相同言行的感覺(jué)之間的類比”?！?4〕Bentham’s manuscript, UC lxx. 23, http://transcribe-bentham.ucl.ac.uk/td/JB/070/023/001, accessed August 27, 2020.我們對(duì)苦樂(lè)的感覺(jué)、我們與苦樂(lè)感覺(jué)相聯(lián)系的言行，又在很大程度上依賴于復(fù)雜的、社會(huì)性的心理過(guò)程，依賴于我們社會(huì)性地形成的信念、態(tài)度或社會(huì)規(guī)范?？陀^的或物理性特征都相同的撞擊行為在不同的共同體內(nèi)會(huì)造成很不相同的痛苦量。比如說(shuō)，F(xiàn)aulhaber 等人的研究表明，當(dāng)在年輕的與年老的之間選擇時(shí)，人們總會(huì)選擇撞擊年老的?！?5〕A. K. Faulhaber et al, “Human Decisions in Moral Dilemmas are largely Described by Utilitarianism: Virtual Car Driving Study Provides Guidelines for Autonomous Driving Vehicles” 25 （2） Science and Engineering Ethics 407 （2019）.但若是在東亞社會(huì)，人們對(duì)這樣的選擇也許會(huì)猶豫不決；親人身上所承載的幸福量在中西社會(huì)里也會(huì)不一樣。這些原因決定了，與交通規(guī)則不一樣，自動(dòng)車的算法道德或許要有更大的社會(huì)性、地方性和差異性；它要比交通規(guī)則更難有全世界統(tǒng)一的規(guī)則。

三、利己還是利他

我們現(xiàn)在來(lái)討論第二種難題，即當(dāng)不可避免地要在自動(dòng)車使用人（即乘客）的生命和其他無(wú)辜第三人（如路人或其他交通工具的使用人，也可稱作潛在被撞者）的生命之間做選擇時(shí)，算法道德又該如何設(shè)計(jì)：是要利己性（損人利己型）自動(dòng)車，還是要利他性（舍己為人型）自動(dòng)車？

很多的考量（如相關(guān)主體的相關(guān)過(guò)錯(cuò)）在道德上是相關(guān)的，應(yīng)該在特定階段輸入到算法中去，應(yīng)該在特定情形下影響算法的指令。但這種輸入，只應(yīng)該發(fā)生在基本的道德難題解決之后。為了突顯這里的基本道德難題，我們宜暫時(shí)擱置其他相關(guān)因素，讓我們假定：

（1）我們面對(duì)的是一個(gè)使用人與一個(gè)潛在的被撞者。當(dāng)使用人與潛在被撞者人數(shù)不一樣時(shí)，這里的難題就在很大程度上轉(zhuǎn)化成了前述的失控車難題。

（2）使用人和潛在被撞者都是無(wú)辜的（當(dāng)然，有辜無(wú)辜的判斷也并非易事）。

（3）他們所承載的未來(lái)的幸福值是相等的。

（4）自動(dòng)車要么撞擊無(wú)辜的第三人并致其死亡，從而保護(hù)使用人；要么撞擊其他障礙物導(dǎo)致使用人死亡。

在這種假定的情境下，算法道德又該如何設(shè)計(jì)呢？一種觀點(diǎn)認(rèn)為，自動(dòng)車算法應(yīng)該優(yōu)先保護(hù)乘客或使用人，自動(dòng)車應(yīng)該是自利性的。筆者下面就來(lái)介紹支持這種觀點(diǎn)的理由，并反駁之。

（一）自利性自動(dòng)車：自然心理？

第一個(gè)理由是，自利性自動(dòng)車符合自動(dòng)車使用人的自然心理。已有的實(shí)證研究表明，在上面設(shè)定的情境下，人們多數(shù)不會(huì)選擇犧牲使用人，即便無(wú)辜的第三人是一名兒童?！?6〕ORI （Open RoboethicsIntiative）, “If Death by Autonomous Car is Unavoidable, Who should Die? Reader Poll Results” （2014）, https://openroboethics.org/results-if-a-death-by-an-autonomous-car-is-unavoidable-who-should-die/, accessed August 26, 2020, and “My （Autonomous） Car, My Safety: Results from Our Reader Poll” （2014）, https://openroboethics.org/results-my-autonomous-car-my-safety/, accessed August 26, 2020. Also see Bonnefon et al, “The Social Dilemma of Autonomous Vehicles”352 （6293） Science 1574 （2016）.

在潛在被撞者超過(guò)二或三人時(shí)，而自動(dòng)車的乘客只是一人時(shí)，F(xiàn)aulhaber 和Bonnefon 等人的研究表明：人們傾向于認(rèn)為，自動(dòng)車應(yīng)該犧牲乘客?！?7〕A. K. Faulhaber et al, “Human Decisions in Moral Dilemmas are largely Described by Utilitarianism: Virtual Car Driving Study Provides Guidelines for Autonomous Driving Vehicles” 25 （2） Science and Engineering Ethics 408 （2019）; J. F. Bonnefon et al, “The Social Dilemma of Autonomous Vehicles” 352 （6293） Science 1574 （2016）.但關(guān)于該結(jié)果，F(xiàn)aulhaber 等人解釋說(shuō)，因?yàn)樗麄兯O(shè)定的調(diào)研場(chǎng)景是虛擬的，調(diào)查對(duì)象是在回答關(guān)于生死的虛擬的問(wèn)題：“很可質(zhì)疑的是，若人們真是遭遇了這樣的生死困境，他們還會(huì)不會(huì)愿意犧牲自己并以有利于避開多數(shù)生命的方式來(lái)行動(dòng)；他們?cè)诒徽{(diào)研時(shí)的回答也許是源于這種回答的社會(huì)可取性（social desirability）?！薄?8〕A. K. Faulhaber et al, “Human Decisions in Moral Dilemmas are largely Described by Utilitarianism: Virtual Car Driving Study Provides Guidelines for Autonomous Driving Vehicles” 25 （2） Science and Engineering Ethics 409 （2019）.筆者贊同F(xiàn)aulhaber 等人的分析，被調(diào)研者的回答最好是用“站著說(shuō)話不腰疼”的心理來(lái)解釋，它并不能反映人們?cè)谡鎸?shí)的生死困境中的行為傾向。在真實(shí)的極端緊急的生死困境中，人們的行為更多是由恐懼、求生的直覺(jué)或本能（恐懼、求生）來(lái)調(diào)控的。Bonnefon 等人的研究也很好地確認(rèn)了這一點(diǎn)：多數(shù)人雖然認(rèn)為自動(dòng)車應(yīng)該優(yōu)先犧牲乘客，但卻不愿意購(gòu)買犧牲乘客的自動(dòng)車?！?9〕J. F. Bonnefon et al, “The Social Dilemma of Autonomous Vehicles” 352 （6293） Science 1574 （2016）.總之，在我們?cè)O(shè)定的情境下，人們傾向于認(rèn)為，自動(dòng)車的算法應(yīng)該優(yōu)先保護(hù)乘客，撞擊無(wú)辜第三人。這其實(shí)反映了自動(dòng)車使用人的自然的心理，但是，這種自然心理在道德上有瑕疵，在邏輯上是錯(cuò)誤的。

Bonnefon 等人的實(shí)證研究表明，人們普遍認(rèn)為，利他性自動(dòng)車是符合道德要求的?！?0〕J. F. Bonnefon et al, “The Social Dilemma of Autonomous Vehicles” 352 （6293） Science 1574 （2016）.反之，自利性自動(dòng)車在道德上是錯(cuò)誤的，因?yàn)樗试S使用人享受自動(dòng)車帶來(lái)的舒適和效率，但卻讓無(wú)辜的第三人為此承擔(dān)風(fēng)險(xiǎn)。當(dāng)然，筆者說(shuō)它是一種道德錯(cuò)誤，這并不等于說(shuō)它就應(yīng)該被禁止。很多科技產(chǎn)品都在給使用者帶來(lái)收益時(shí)，卻把風(fēng)險(xiǎn)轉(zhuǎn)嫁給了無(wú)辜的第三人。這種道德錯(cuò)誤或許會(huì)給使用人設(shè)定額外的責(zé)任或義務(wù)，但并不必然構(gòu)成禁止使用某產(chǎn)品的理由。因?yàn)槟钞a(chǎn)品在道德上是不純凈的，從而徹底禁絕它，有可能導(dǎo)致更大的道德錯(cuò)誤，比如說(shuō)，這會(huì)導(dǎo)致一個(gè)為人類創(chuàng)造極大福祉的行業(yè)（在本文中即自動(dòng)車行業(yè)）無(wú)法發(fā)展。但它是一種道德錯(cuò)誤的說(shuō)法的確表明，如果有一種更有效的、達(dá)到相同或更好目的的、道德上也正確的產(chǎn)品 （筆者的確認(rèn)為，利他性自動(dòng)車就是這樣的產(chǎn)品），那么我們就有理由拋棄這種道德上錯(cuò)誤的產(chǎn)品。

與其他科技產(chǎn)品的風(fēng)險(xiǎn)不一樣，自利性自動(dòng)車還存在一種邏輯的錯(cuò)誤，此即帕菲特所說(shuō)的“直接的集體性的事與愿違（directly collectively self-defeating）：我們每一個(gè)人都保護(hù)自己而犧牲他人，與我們都不這么做相比，這將更大程度地挫敗我們每個(gè)人的目的。”〔31〕Derek Parfit, Reasons and Persons, Clarendon Press, 1984, p. 55.交通情境特征之一是交通工具的使用人是相互作用、互為客體的，每個(gè)自動(dòng)車都可能成為潛在被撞者，每個(gè)人都可能成為無(wú)辜第三人；如果每輛自動(dòng)車都追求優(yōu)先保護(hù)使用人、優(yōu)先犧牲他人，不僅無(wú)辜第三人不再安全，甚至每個(gè)使用人也都不再安全。所以，可以實(shí)現(xiàn)大家（包括自動(dòng)車使用人）的安全最大化、真正符合功利原則的做法也許是，每個(gè)自動(dòng)車都優(yōu)先保護(hù)無(wú)辜第三人——這是可以避免囚徒困境的更好的協(xié)調(diào)與合作方式。利他實(shí)乃開明的而非盲目的自利。這似乎也是多數(shù)人接受的觀點(diǎn)。Bonnefon 等人的研究表明，“人們傾向于同意，如果自動(dòng)車是功利主義的（即致力于把道路上的傷亡最小化），每個(gè)人都將從中獲益”?！?2〕J. F. Bonnefon et al, “The Social Dilemma of Autonomous Vehicles” 352 （6293） Science 1575 （2016）.Tay 對(duì)傳統(tǒng)人工車情境下人們的安全選擇的研究似乎為這一理論可能性提供了經(jīng)驗(yàn)的證據(jù)：人們一般會(huì)認(rèn)為，駕駛結(jié)實(shí)的大車（如SUVs）對(duì)他們是安全的；Tay 的研究表明，如果人們優(yōu)先保護(hù)他人的安全，選擇駕駛輕便的小車，撞車事故的死亡率要比大車相撞的死亡率低很多?！?3〕RS Tay, “The prisoners’ Dilemma: A Game Theoretic Approach to Vehicle Safety”, in Proceedings Road Safety Research, Policing and Education Conference （Brisbane, Queensland, 2000）, https://eprints.qut.edu.au/8525/1/8525.pdf, accessed August 26, 2020.

利他性自動(dòng)車也比自利性自動(dòng)車在道德上更正確，符合受益者負(fù)擔(dān)風(fēng)險(xiǎn)的原則。有人會(huì)說(shuō)，利他性自動(dòng)車把風(fēng)險(xiǎn)分配給乘客，這等于是算法道德的設(shè)計(jì)者替乘客選擇了自殺。這種說(shuō)法是難以成立的。如果這種算法道德是使用人周知的公開信息，使用人依然選擇購(gòu)買或使用利他性自動(dòng)車，這種風(fēng)險(xiǎn)就是使用人同意的或主動(dòng)選擇的，他的意志自主性就并沒(méi)有受到傷害。

利他性自動(dòng)車的現(xiàn)實(shí)可行性以由利他性自動(dòng)車構(gòu)成的交通環(huán)境或其他人的利他性駕駛為前提。反之，若交通環(huán)境是混合的，利他性自動(dòng)車、自利性自動(dòng)車或不知是利他還是自利的人工車并存，或者說(shuō)，交通環(huán)境中還存在不少邪惡的或并非無(wú)辜的駕駛者或路人（如橫穿馬路；其他駕駛者或路人有明顯的、較大的讓路余地與可能性而不讓路，或只須遭受輕微傷害便可免使乘客橫死），〔34〕See Geoff Keeling, The Ethics of Automated Vehicles （PhD thesis, the University of Bristol, 2020）, https://research-information.bris.ac.uk/ws/portalfiles/portal/243368588/Pure_Thesis.pdf, p. 87, accessed August 24, 2020.搭便車的難題就出現(xiàn)了，利他性自動(dòng)車將成為別人的剝削性駕駛的對(duì)象，從而將徹底地喪失吸引力和市場(chǎng)。

（二）自利性自動(dòng)車：擴(kuò)展市場(chǎng)？

另一個(gè)支持自利性算法的重要理由是，自利性算法可以擴(kuò)展自動(dòng)車的市場(chǎng)。他們主張說(shuō)，人們不會(huì)購(gòu)買舍己為人式的利他性自動(dòng)車；如果立法要求自動(dòng)車的算法發(fā)出犧牲乘客的指令，這樣的算法立法會(huì)阻礙甚至阻止自動(dòng)車的發(fā)展, 從而導(dǎo)致與功利原則的追求相反的結(jié)果；發(fā)展自動(dòng)車行業(yè)的愿景要求我們開發(fā)自利性算法，要求算法把風(fēng)險(xiǎn)轉(zhuǎn)嫁給無(wú)辜第三人?！?5〕See Geoff Keeling, The Ethics of Automated Vehicles （PhD thesis, the University of Bristol, 2020）, https://research-information.bris.ac.uk/ws/portalfiles/portal/243368588/Pure_Thesis.pdf, pp. 22, 25, accessed August 24, 2020. J. F. Bonnefon et al, “The Social Dilemma of Autonomous Vehicles” 352 （6293） Science 1575 （2016）; See Kathryn McVicker, “Ethical Understandings and Approaches to Autonomous Vehicles”, https://mountainscholar.org/bitstream/handle/20.500.11919/4409/STUW_HT_PHIL_2019_Tay_Kathryn.pdf?sequence=3&isAllowed=y, pp. 9-10, accessed August 27, 2020; 駱意中：《法理學(xué)如何應(yīng)對(duì)自動(dòng)駕駛的根本性挑戰(zhàn)》，載《華東政法大學(xué)學(xué)報(bào)》2020 年第6 期。這種說(shuō)法是值得商榷的。人們會(huì)不會(huì)去購(gòu)買利他性自動(dòng)車，主要取決于對(duì)于乘客或使用人來(lái)說(shuō)，自動(dòng)車是不是要比傳統(tǒng)的人工車更安全。首先，如果大家都選擇利他性自動(dòng)車，整個(gè)交通環(huán)境的安全性將會(huì)高于大家選擇自利性自動(dòng)車的情境。其次，我們先不考慮其他人是不是使用利他性自動(dòng)車，讓我們單純地比較利他性自動(dòng)車與傳統(tǒng)的人工車。雖然我們還缺乏這方面的經(jīng)驗(yàn)數(shù)據(jù)，但鑒于自動(dòng)車的普及可以減少90%以上的交通事故，而很多的交通事故其實(shí)是由使用人過(guò)錯(cuò)導(dǎo)致的、傷害使用人自己的事故，我們有理由相信，即便是對(duì)于使用人來(lái)說(shuō)，利他性自動(dòng)車也比傳統(tǒng)人工車要更安全?？傊?，如果大家了解利他性自動(dòng)車與交通安全的真實(shí)關(guān)系，對(duì)利他性自動(dòng)車會(huì)妨礙甚至阻止自動(dòng)車行業(yè)發(fā)展的擔(dān)憂便是多余的。

四、誰(shuí)有權(quán)力來(lái)決定算法道德？

前面討論的是實(shí)體問(wèn)題，筆者認(rèn)為應(yīng)該用功利原則來(lái)指導(dǎo)自動(dòng)車的算法道德的設(shè)計(jì)；如果自動(dòng)車不得不在不同的撞擊對(duì)象或方式之間做出選擇，那么算法應(yīng)該選擇導(dǎo)致最小痛苦量的撞擊方案；功利原則要求把自動(dòng)車的算法設(shè)計(jì)成利他性的?，F(xiàn)在我們來(lái)簡(jiǎn)單討論決定自動(dòng)車的算法道德的程序問(wèn)題。

誰(shuí)有權(quán)力來(lái)決定算法道德？ORI 曾就此問(wèn)題做過(guò)調(diào)研，結(jié)果是， 44%的人認(rèn)為應(yīng)該由乘客或使用者來(lái)決定：市場(chǎng)上應(yīng)該存在具有不同的道德設(shè)定的自動(dòng)車，包括自利性的或利他性的，由使用人來(lái)選擇；或者，由使用者對(duì)可預(yù)見(jiàn)的一系列倫理難題來(lái)輸入相關(guān)道德設(shè)定；或者，自動(dòng)車應(yīng)該設(shè)定一個(gè)由使用人來(lái)操作的倫理按鈕。33%的人認(rèn)為應(yīng)該由立法者來(lái)決定，12%的人認(rèn)為應(yīng)該由制造商來(lái)決定。〔36〕ORI, “If Death by Autonomous Car is Unavoidable”, and “My （Autonomous） Car, My Safety”.

較多的人選擇由使用者來(lái)決定自動(dòng)車的算法道德。對(duì)這種現(xiàn)象的一個(gè)大概的解釋是，這種模式尊重了使用人的自主性?！?7〕Jason Millar, “Technology as Moral Proxy: Autonomy and Paternalism by Design”, 2014 IEEE International Symposium on Ethics in Engineering, Science, and Technology, https://dl.acm.org/doi/pdf/10.5555/2960587.2960616, accessed August 26, 2020; Geoff Keeling, The Ethics of Automated Vehicles （PhD thesis, the University of Bristol, 2020）, https://research-information.bris.ac.uk/ws/portalfiles/portal/243368588/Pure_Thesis.pdf, p.32, accessed August 24, 2020.筆者對(duì)此不敢茍同，理由如下。

第一，這種模式未必真的尊重了使用人的自主性。使用人的倫理選擇可以有兩種形式。首先，如果是在購(gòu)買時(shí)設(shè)置或預(yù)先設(shè)置，使用人便只有在設(shè)置時(shí)才是自主的，而在后來(lái)的行駛中將完全不再自主。其次，在駕駛的過(guò)程中根據(jù)情況來(lái)設(shè)置或選擇或操作倫理按鈕，這樣的安排似乎又違反了自動(dòng)車的初衷：它本來(lái)是要幫助人們的，是要讓人們不必為駕駛操心，享受行路的安逸，甚至可以在車上無(wú)憂地睡大覺(jué)，不用擔(dān)心疲勞駕駛、醉酒駕駛。若使用人有義務(wù)在緊急情形下操作倫理按鈕，他們就不得不時(shí)刻警覺(jué)，關(guān)心路況。這樣的自動(dòng)車，又與現(xiàn)在的人工車有多大的實(shí)質(zhì)性差別呢？另外，如Jason Millar 所說(shuō)，“要求使用者來(lái)對(duì)一系列可預(yù)見(jiàn)的倫理困境輸入倫理設(shè)定，這對(duì)使用者來(lái)說(shuō)構(gòu)成了不可承受的壓力。這也對(duì)制造商設(shè)定了巨大的負(fù)擔(dān)：他們須要教會(huì)使用者自動(dòng)車算法的一切相關(guān)特征，并尋求使用者的信息輸入，以確保特定自動(dòng)車未來(lái)的算法設(shè)定真的是以使用人的知情同意為基礎(chǔ)的?！薄?8〕Jason Millar, “Ethics Settings for Autonomous Vehicles”, in Patrick Lin et al ed., Robot Ethics 2.0, Oxford University Press, 2017, p. 26.這樣的安排從而也增加了事故責(zé)任問(wèn)題的復(fù)雜性，尤其是，它還很可能導(dǎo)致制造商利用自己的專業(yè)或市場(chǎng)優(yōu)勢(shì)來(lái)轉(zhuǎn)嫁責(zé)任?！?9〕Patrick Lin, “Here’s a Terrible Idea: Robot Cars with Adjustable Ethics Settings” （August 2014）, https://www.wired.com/2014/08/heres-a-terrible-idea-robot-cars-with-adjustable-ethics-settings/, accessed August 26, 2020.

第二，自動(dòng)車算法的道德設(shè)計(jì)決定了自動(dòng)車在公共交通環(huán)境下的選擇。這與人們對(duì)自身疾病的治療方案的選擇不一樣，因?yàn)檫@樣的選擇具有高度的外部性，關(guān)系到公眾的安全；所以，使用人的自主性在這里應(yīng)該讓位于公共安全的考量。此外，如果一些人選擇了自利性自動(dòng)車，前述的搭便車難題或剝削性駕駛的難題就會(huì)出現(xiàn)。

第三，這樣的安排會(huì)導(dǎo)致協(xié)調(diào)與合作難題。如果不同的使用人選擇了不同的算法道德，這些自動(dòng)車碰到一起，相互之間又該如何協(xié)調(diào)呢？有人建議說(shuō)，與利他性自動(dòng)車不同，自利性自動(dòng)車的使用人應(yīng)該繳納高額保險(xiǎn)費(fèi)，但這種建議并不會(huì)消除搭便車或剝削性駕駛的問(wèn)題，畢竟在金錢和生命之間，人們會(huì)優(yōu)先選擇后者。這種自利性自動(dòng)車承擔(dān)高額保險(xiǎn)費(fèi)的建議，只會(huì)導(dǎo)致富人選擇自利性自動(dòng)車、窮人選擇利他性自動(dòng)車，這將進(jìn)而構(gòu)成富人對(duì)窮人的赤裸裸的剝削?！?0〕Kathryn McVicker, “Ethical Understandings and Approaches to Autonomous Vehicles”, https://mountainscholar.org/bitstream/handle/20.500.11919/4409/STUW_HT_PHIL_2019_Tay_Kathryn.pdf?sequence=3&isAllowed=y, p.26, accessed August 27, 2020.

基于以上理由，筆者認(rèn)為，正如交通規(guī)則有必要統(tǒng)一，在一個(gè)特定的共同體內(nèi)，我們也需要一套統(tǒng)一的關(guān)于自動(dòng)車算法道德的規(guī)范，這樣的規(guī)范最好是由民主產(chǎn)生的立法者依照民主程序來(lái)決定的?！?1〕See J. F. Bonnefon et al, “The Social Dilemma of Autonomous Vehicles” 352 （6293） Science 1575 （2016）.本文的主要任務(wù)是要說(shuō)服這些立法者，應(yīng)該用功利原則來(lái)指導(dǎo)自動(dòng)車的算法道德規(guī)范的設(shè)計(jì)；這樣的規(guī)范應(yīng)該確定，其一，如果自動(dòng)車不得不在多個(gè)撞擊對(duì)象或方式之間選擇，選擇導(dǎo)致最小痛苦量的撞擊方案便是算法設(shè)計(jì)者的法律義務(wù)；其二，自動(dòng)車的算法應(yīng)該是利他性的。