葉夫根尼·布倫納

科幻小說家艾薩克·阿西莫在其小說中為無人駕駛汽車制定了法律：無人機(jī)不能傷害人類。但如果當(dāng)無人駕駛汽車剎車失靈面臨兩個(gè)選擇時(shí)：要么撞向行人，要么開到溝里使乘客生命安危陷入險(xiǎn)境，該怎么辦？現(xiàn)如今，無人機(jī)的道德選擇問題已經(jīng)不再局限于小說中，事實(shí)上現(xiàn)在已經(jīng)有無人駕駛汽車上路了。

情況1

無人駕駛汽車以80公里每小時(shí)的速度行駛，突然一只小狗沖在車前，且此時(shí)無法急剎車。在這種情況下，無人駕駛汽車應(yīng)該如何選擇？

1.繼續(xù)前行并撞向小狗。（有60%的人支持這種做法）

2.違反交規(guī)，冒著被撤銷駕駛執(zhí)照的危險(xiǎn)變道，同時(shí)可能與旁邊車道的車輛碰撞。（34%）

3.轉(zhuǎn)向另一邊的護(hù)欄或溝渠，明知將不可避免地導(dǎo)致汽車嚴(yán)重的損壞和車內(nèi)乘客受傷。（6%）

情況2

無人駕駛汽車以80公里每小時(shí)的速度行駛，其后緊跟一輛勻速行駛的B車。突然一只小狗沖在車前，急剎車可以挽救它的生命。無人駕駛汽車應(yīng)該如何選擇？

1.繼續(xù)前行并撞向小狗。（55%）

2.急剎車，不可避免地將導(dǎo)致與車輛B碰撞。（40%）

3.違反交規(guī)，冒著被撤銷駕駛執(zhí)照的危險(xiǎn)變道，轉(zhuǎn)行到旁邊的車道，同時(shí)可能與旁邊車道的車輛碰撞。（1%）

4.轉(zhuǎn)向另一邊的護(hù)欄或溝渠，明知將不可避免地導(dǎo)致汽車嚴(yán)重?fù)p壞和車內(nèi)乘客受傷。（4%）

情況3

無人駕駛汽車以80公里每小時(shí)的速度行駛，突然一個(gè)人沖在車前。無人駕駛汽車應(yīng)該如何選擇？

1.繼續(xù)前行并撞向行人。（38%）

2.違反交規(guī)，冒著被撤銷駕駛執(zhí)照的危險(xiǎn)變道，轉(zhuǎn)行到旁邊的車道，同時(shí)可能與旁邊車道的車輛碰撞。（3%）

3.轉(zhuǎn)向另一邊的護(hù)欄或溝渠，明知將不可避免地導(dǎo)致汽車嚴(yán)重?fù)p壞和車內(nèi)乘客受傷。（59%）

情況4

無人駕駛汽車以80公里每小時(shí)的速度行駛，突然幾個(gè)人沖在車前。且此時(shí)無法急剎車。在這種情況下，無人駕駛汽車應(yīng)該如何選擇？

1.繼續(xù)前行并撞向行人。（26%）

2.違反交規(guī)，冒著被撤銷駕駛執(zhí)照的危險(xiǎn)變道，轉(zhuǎn)行到旁邊的車道，同時(shí)可能與旁邊車道的車輛碰撞。（3%）

3.轉(zhuǎn)向另一邊的護(hù)欄或溝渠，明知將不可避免地導(dǎo)致汽車嚴(yán)重?fù)p壞和車內(nèi)乘客受傷。（71%）

“在道德兩難的情境下，無人駕駛汽車到底應(yīng)該先救誰？”這是麻省理工學(xué)院網(wǎng)站上一項(xiàng)研究的標(biāo)題，該研究成果刊登在《科學(xué)》雜志上。麻省理工學(xué)院的學(xué)者們讓被調(diào)查者對(duì)幾十個(gè)道德兩難問題進(jìn)行抉擇。事實(shí)上，這是一項(xiàng)與著名的“電車難題”相似的研究。

“電車難題”是一個(gè)著名的涉及倫理學(xué)的思想實(shí)驗(yàn)：假設(shè)電車軌道上行駛著一輛嚴(yán)重失控的電車，同時(shí)有5個(gè)人被綁在這條軌道上，他們馬上就要被碾壓到，然而此時(shí)你有機(jī)會(huì)拉動(dòng)杠桿將失控的電車切換到另一條軌道上，但這條軌道上也綁著一個(gè)人。你會(huì)怎么做？在道德兩難問題上不存在對(duì)錯(cuò)，但很多人認(rèn)為應(yīng)該選擇救多數(shù)人，也有一些人選擇了不干涉，因?yàn)闊o論選擇救下哪一方都是在謀殺另一方。

“不難想象，在無人機(jī)安全駕駛的程序中納入的道德選擇的算法，一定會(huì)互相沖突，”麻省理工學(xué)院的研究者說道，“更何況還要求無人機(jī)做出道德選擇。如果無人駕駛汽車的剎車失靈了，駛向正在闖紅燈橫穿馬路的一個(gè)女孩，此時(shí)無人駕駛汽車也可以拐向另一個(gè)車道，但那樣會(huì)撞到一位老人。該如何選擇？”

我認(rèn)真地看完了麻省理工學(xué)院研究人員的測(cè)試報(bào)告，這確實(shí)是件難事，這比“電車難題”要困難得多，因?yàn)檫@涉及現(xiàn)實(shí)的交通問題。

無人機(jī)的設(shè)計(jì)者是否會(huì)受道德兩難問題的困擾？我決定親自拜訪俄羅斯“認(rèn)知技術(shù)”公司無人駕駛交通部領(lǐng)導(dǎo)尤里·明克尼。幾年前，該公司開始開發(fā)無人駕駛汽車的控制程序，不久前將之運(yùn)用在一款小轎車上，如果該項(xiàng)測(cè)試進(jìn)行得順利，我們的城市里將很快出現(xiàn)第一輛無人駕駛汽車。

無人駕駛汽車的主要預(yù)期目標(biāo)之一就是減少交通事故，使交通事故的受害者人數(shù)大大減少?，F(xiàn)今，在俄羅斯道路上有成千上萬的人死于交通事故，隨著無人駕駛汽車的普及，該人數(shù)可能減少到數(shù)百人，直到最后變成幾個(gè)人。從這個(gè)意義上說，無人駕駛汽車的道德選擇要具有先驗(yàn)性，能接收并整合道路、其他車輛和地面基礎(chǔ)設(shè)施發(fā)來的各種數(shù)據(jù)。我向尤里·明克尼請(qǐng)教了以下幾個(gè)問題。

無人駕駛汽車也會(huì)發(fā)生交通事故嗎？

當(dāng)然會(huì)，因?yàn)闊o人駕駛汽車的程序仍有待完善。不久前剛發(fā)生過一起重大事故：一輛無人駕駛汽車與一輛拖車相撞，因?yàn)槌绦蚵┒矗瑳]有識(shí)別出在天空背景下的白色拖車，導(dǎo)致乘客傷亡。當(dāng)然，該系統(tǒng)漏洞將很快被修復(fù)。

無人駕駛汽車的開發(fā)者面臨道德選擇的問題，您也認(rèn)為讓1人陷入險(xiǎn)境勝過5人嗎？

無人機(jī)的道德困境將是一個(gè)極其罕見的情況，像隕石砸中人的幾率一樣渺小。當(dāng)然，汽車不懂道德規(guī)范，它按照人類規(guī)定的道德標(biāo)準(zhǔn)執(zhí)行。在這種情況下，我們制定的標(biāo)準(zhǔn)應(yīng)該將損失降到最低。如何將損害最小化？我們就要將程序更加精細(xì)化，考慮到更多細(xì)節(jié)和更多種情況。例如，迎面而來的汽車，我們很可能無法判斷車內(nèi)的人數(shù)，在人行道上有兩個(gè)孩子，但車內(nèi)如果有3個(gè)人該怎么辦呢？我們能非常確定的是這兩個(gè)孩子的生命即將受到威脅，而車內(nèi)的情況我們還不確定。這種情況就需要單獨(dú)設(shè)計(jì)控制程序。

想象一下你的無人駕駛汽車停在路口等待著你前面的行人過馬路，這時(shí)候，你的車子發(fā)現(xiàn)后面有另一輛卡車沖過來了，看起來無可避免地要發(fā)生追尾事故了，但是你坐在前排座位上，這樣的事故只會(huì)給你帶來一點(diǎn)小傷——至少不會(huì)致命。如果你的汽車具備規(guī)避程序，那么你的汽車應(yīng)該怎么做呢？如果你的車子可以立馬躲開，移到旁邊的車道去，那么這輛卡車就會(huì)沖進(jìn)路口，碾壓行人。

那么這樣的無人駕駛程序是合情合理的嗎？在大部分的追尾事故中，這樣的規(guī)避也許無可厚非，但是在類似于這種情況的特殊情況下，讓自己受一點(diǎn)小傷還是拱手送上無辜行人的性命，選擇顯而易見。

因?yàn)?，此時(shí)可以認(rèn)為你或你的車應(yīng)該對(duì)被無辜碾壓的行人負(fù)責(zé)，因?yàn)檎悄愕囊?guī)避動(dòng)作導(dǎo)致了這一事故的發(fā)生。由此帶來的道德和法律后果就需要你承擔(dān)。

這樣的狀況可能在今天的汽車駕駛中也會(huì)出現(xiàn)，在發(fā)生事故時(shí)，你可能本能地保護(hù)自己而給別人造成傷害。看起來和無人駕駛汽車造成的后果一樣，但是人類不是全然理性的生物，在遇到緊急狀況時(shí)并不能做出理智的決定——人類會(huì)感到驚慌。然而無人駕駛的機(jī)器就不一樣了，它的決定都來自于深思熟慮之后的程序和算法，由此帶來的后果就不太容易讓人原諒。而且如果是程序員故意設(shè)置這樣的程序，那么甚至可以將這種事故定義為“蓄意謀殺”，即使是考慮不周，也可能被定義為“重大過失”。不管哪種可能，對(duì)程序員和開發(fā)者來說都是難逃法律干系的。當(dāng)科技公司用機(jī)器來取代人做決定的時(shí)候，也就給自己帶來了新的責(zé)任和義務(wù)。

是誰替代無人機(jī)做了道德選擇？

如果你說的是撞向一個(gè)老人還是孩子的問題，這不是開發(fā)者要考慮的，而是立法者、無人機(jī)認(rèn)證機(jī)構(gòu)或其他部門要考慮的?，F(xiàn)在有安全制動(dòng)距離和轉(zhuǎn)向控制等安全標(biāo)準(zhǔn)，我們還應(yīng)當(dāng)制定更多無人機(jī)的駕駛規(guī)則，最理想的情況是，這些規(guī)則在世界各地都是統(tǒng)一的。道路交通規(guī)則將代替道德選擇。

現(xiàn)在已經(jīng)有針對(duì)無人駕駛汽車的道路交通規(guī)則了吧……

目前，我們有針對(duì)無人駕駛汽車的現(xiàn)行道路交通規(guī)則。例如，兩輛無人駕駛汽車不能在單行車道上迎面行駛；為了繞行一只小貓，也不能撞上一輛公共汽車、威脅車上50個(gè)孩子的生命安全。按照交規(guī)，在危急情況下，要及時(shí)剎車，這是現(xiàn)階段我們的無人駕駛汽車唯一能做到的。

法律還沒有涉及到，在道德兩難的情況下，該救老人還是孩子?，F(xiàn)在，如果無人駕駛汽車為了救下一個(gè)孩子，破壞了交通規(guī)則，將駛離原先的車道撞向一位老人，那么司機(jī)在法規(guī)上是有罪的，即便他做出的是自己認(rèn)為正確的道德選擇。

無人駕駛汽車的車主知道他們的車內(nèi)設(shè)置了怎樣的道德程序嗎？

普通用戶對(duì)此都還一無所知。在現(xiàn)如今的汽車?yán)镅b有很多現(xiàn)代系統(tǒng)，例如，奔馳汽車內(nèi)就配備了自動(dòng)剎車系統(tǒng)，在某種程度上這種制動(dòng)系統(tǒng)是有效的。消費(fèi)者在購買前向他們過多地講述細(xì)節(jié)可能是有害的，讓他們最大程度地接受被簡(jiǎn)化了的廣告信息，可以避免被誤解和曲解。

我們必須相信制造商和交通事故的統(tǒng)計(jì)數(shù)據(jù)。如果保障了安全，對(duì)普通消費(fèi)者來說，無人駕駛汽車的系統(tǒng)是如何運(yùn)行的就無關(guān)緊要了。

麻省理工學(xué)院不久前進(jìn)行的一項(xiàng)調(diào)查研究顯示，幾乎所有被調(diào)查者都認(rèn)同無人機(jī)應(yīng)該盡量減少受害者數(shù)量的觀點(diǎn)，哪怕這意味著犧牲車中的乘客。但究竟該如何做？

在調(diào)查中，我們也注意到了這一點(diǎn)。不出所料的是，受調(diào)查者不愿意自己是那個(gè)坐在車中犧牲的人。事實(shí)上，如果我們真的坐在了無人駕駛汽車的方向盤后，對(duì)解決道德兩難問題就沒有那么感興趣了，當(dāng)真正置身于那樣的情境時(shí)很多人會(huì)努力回避這個(gè)問題。因?yàn)槊總€(gè)人都會(huì)先想到：我買了這輛車，當(dāng)然希望它先保護(hù)我。

這個(gè)問題也應(yīng)該在立法框架內(nèi)加以解決，這是一個(gè)更貼近現(xiàn)實(shí)的問題。我們可以給無人駕駛汽車設(shè)限速。

早在上世紀(jì)六七十年代就出現(xiàn)了電子防死鎖剎車系統(tǒng)，那是最早的無人機(jī)的雛形?，F(xiàn)如今，類似的自動(dòng)轉(zhuǎn)向、自動(dòng)加速及緊急制動(dòng)等高級(jí)自動(dòng)功能正逐年出現(xiàn)在各大品牌的量產(chǎn)車中。且目前在許多歐美國家的公共道路上，無人駕駛汽車的測(cè)試中都有經(jīng)過培訓(xùn)的人類駕駛員。

無人駕駛汽車上安裝了各類傳感器、雷達(dá)及攝像頭等可以獲取大量外部環(huán)境數(shù)據(jù)的儀器。如若發(fā)生事故，工程師通過傳感器記錄的數(shù)據(jù)，可以精準(zhǔn)地還原事故發(fā)生前后的場(chǎng)景，進(jìn)一步在實(shí)踐中了解無人駕駛系統(tǒng)是如何在這種情況下做決策的，從而不斷完善。

為盡可能避免交通事故，監(jiān)管部門針對(duì)無人駕駛汽車制定的安全規(guī)程和標(biāo)準(zhǔn)可能是超出常規(guī)的嚴(yán)格，同時(shí)對(duì)無人駕駛汽車的監(jiān)控和督導(dǎo)力度也會(huì)非常密集。另一方面，事實(shí)上，無人駕駛汽車碰撞事故發(fā)生的概率非常小。在美國，每個(gè)駕駛員平均行駛近30萬公里才有可能發(fā)生一次碰撞事故。

眾所周知，飛機(jī)是最安全的交通工具，但許多人都害怕坐飛行，他們總覺得，只有親手握著方向盤的時(shí)候，才能掌握更多主動(dòng)權(quán)。同理，很多人也覺得無人駕駛汽車也給不了他們這種安全感。

這是一種錯(cuò)覺。通常，我們并不會(huì)害怕開車，但事實(shí)上，與一個(gè)經(jīng)過長(zhǎng)期專業(yè)訓(xùn)練的飛機(jī)駕駛員相比，你可能只是一個(gè)新手司機(jī)。而且你每天都要開車，甚至有時(shí)在你身體感到不舒服、情緒不穩(wěn)定的時(shí)候也會(huì)堅(jiān)持開車。所以即使你雙手握著方向盤，在很大程度上，駕駛安全也不在你能控制的范圍內(nèi)，這是一個(gè)不爭(zhēng)的事實(shí)?，F(xiàn)如今，任何一起無人駕駛汽車交通事故都會(huì)引起人們的廣泛關(guān)注，但一個(gè)酒駕車司機(jī)撞上數(shù)十人的事故卻能在人們談?wù)撨^后被逐漸淡忘。無人機(jī)一旦出事故，熱門新聞就會(huì)立刻呼吁禁止這些汽車上路！然而事實(shí)上，有人駕駛比無人駕駛更危險(xiǎn)，但卻沒人建議禁止有人駕駛汽車上路。

你會(huì)坐無人駕駛汽車嗎？

如果是通過了測(cè)試的無人駕駛汽車，我當(dāng)然會(huì)坐。人們會(huì)漸漸適應(yīng)，信賴這種技術(shù)。對(duì)無人駕駛汽車的恐懼，當(dāng)然仍會(huì)存在，但只是在一部分人中。就像從前馬是最主要的交通工具，幾乎人人都會(huì)騎馬，但現(xiàn)在這僅是馬術(shù)運(yùn)動(dòng)狂熱者和少數(shù)人的愛好。同樣，有人駕駛的汽車或飛機(jī)以后也將成為一種少數(shù)人的愛好，社會(huì)對(duì)無人機(jī)的態(tài)度將會(huì)發(fā)生逆轉(zhuǎn)，人們會(huì)驚訝地感嘆：“有人駕駛汽車？天啊！這太危險(xiǎn)了！”。

美國交通部出臺(tái)了《聯(lián)邦自動(dòng)化汽車政策》，100多頁的文件從4個(gè)方面詳細(xì)地對(duì)自動(dòng)駕駛的性能指導(dǎo)、各州政策、國家高速公路管理委員會(huì)現(xiàn)行管理工具以及現(xiàn)代化的管理工具進(jìn)行闡述。德國正開始加速為無人駕駛汽車制定倫理基礎(chǔ)的進(jìn)程，其中重要的一條就是禁止人工智能做出決策以避免因?yàn)橐蝗喝硕鴤傲硪蝗喝?。德國政府制定了以?條主要原則：避免人員傷亡優(yōu)先于財(cái)產(chǎn)損失；人與人之間無差別，不論體型、年齡等等；如果發(fā)生什么意外，生產(chǎn)商是有責(zé)任的。第三條原則看起來是建議生產(chǎn)商不能依賴駕駛?cè)藛T在發(fā)生緊急情況時(shí)控制車輛，但駕駛?cè)藛T最好還是在全程都能保持基本的戒備。事實(shí)上，這就意味著在車內(nèi)睡覺是被禁止的，但是看書是允許的。黑盒子將記錄在發(fā)生事故時(shí)是機(jī)器還是人在掌控車輛。

理論上，我們可以給一輛汽車設(shè)置程序，讓它識(shí)別道路上的行人，并通過網(wǎng)絡(luò)確定行人的年齡、社會(huì)地位、職業(yè)和是否有子女，然后對(duì)行人和乘客的生命價(jià)值進(jìn)行“衡量”。但我完全反對(duì)這種做法，這有悖人權(quán)。相反，如果單純通過比較受害者的數(shù)量，不去給他們?cè)u(píng)級(jí)，似乎看上去更人性化。

但現(xiàn)實(shí)是，我們必須要給機(jī)器人規(guī)定道德準(zhǔn)則，人類將面臨巨大的挑戰(zhàn)?！按蠊β省钡碾娔X將被用來控制工廠、發(fā)電站，甚至城市。例如，無人機(jī)將指導(dǎo)核電廠的運(yùn)作。它們將不得不作出艱難的決定：例如，即使仍有人滯留，也要立即關(guān)閉反應(yīng)堆核心，以避免大量的人員傷亡。要讓無人機(jī)“學(xué)會(huì)”作出這樣的抉擇，有很多方法。例如，我們可以為它們?cè)O(shè)定規(guī)則，或者我們可以通過書籍或虛擬世界規(guī)范人類的行為。

[譯自俄羅斯《薛定諤的貓》]