賽迪譯叢

歐盟委員會于2020年2月發(fā)布《人工智能、物聯(lián)網(wǎng)和機器人技術對安全和責任框架的影響》報告，賽迪智庫安全產業(yè)研究所對該報告進行了編譯。該報告介紹了當前的歐盟產品安全制度，并探討了如何對其進行改進，以應對人工智能（AI）、物聯(lián)網(wǎng)（IoT）和機器人技術領域的不斷創(chuàng)新發(fā)展。

人工智能、物聯(lián)網(wǎng)和機器人技術為我們的經(jīng)濟社會帶來機遇，同時也可能會損害使用者的合法利益。歐盟委員會于2020年2月發(fā)布《人工智能、物聯(lián)網(wǎng)和機器人技術對安全和責任框架的影響》報告，報告介紹了新興技術的特征，深入分析了歐盟當前的安全和責任框架在哪些環(huán)節(jié)不能適用于這些新興技術，并建議采取適當?shù)呐e措對現(xiàn)行《產品責任指令》和《通用產品安全指令》等法規(guī)進行調整，以解決現(xiàn)有安全和責任框架的不確定性問題。賽迪智庫安全產業(yè)研究所對該報告進行了編譯。

歐盟委員會充分認識到新興數(shù)字技術的重要性和潛力，以及在該領域大量投資的必要性，進而致力于使歐洲獲得人工智能、物聯(lián)網(wǎng)和機器人技術領域的世界先進地位。為了實現(xiàn)這一目標，需要一個清晰、可預測的法律框架來應對技術挑戰(zhàn)。

安全和責任框架概述

安全和責任框架的總體目標旨在保障所有產品和服務（包括集成新興數(shù)字技術的產品和服務）的安全、可靠、同步運行，并有效修復已發(fā)生的損失。雖然集成了新型數(shù)字技術的產品和系統(tǒng)具有很高的安全性，但安全和責任框架可以提供可靠的補救機制來彌補發(fā)生的損壞，有助于更好地保護消費者。當人工智能、物聯(lián)網(wǎng)和機器人等新技術興起時，建立明確清晰的安全和責任框架勢在必行，有利于保護消費者和企業(yè)的合法權益。

歐盟擁有健全的安全和產品責任監(jiān)管框架，以及完善的安全標準體系，在保障公民在單一市場上的福祉的同時，鼓勵創(chuàng)新和技術應用。但是，人工智能、物聯(lián)網(wǎng)和機器人技術正在改變許多產品和服務的特性。

2018年4月25日，歐盟委員會通過了《人工智能通信》，宣布將提交一份報告，以評估人工智能、物聯(lián)網(wǎng)和機器人技術對現(xiàn)有安全和責任框架的影響。本報告提出的目標以及《人工智能白皮書》僅供討論，重點關注安全和責任框架已確定的關鍵問題。

人工智能、物聯(lián)網(wǎng)和機器人技術的特征及機遇

（一）新興技術的特征。人工智能、物聯(lián)網(wǎng)和機器人技術有許多共同特征，包括連接性、自主性、復雜性和數(shù)據(jù)依賴性。配備人工智能的系統(tǒng)可以通過從經(jīng)驗中學習來改善自身性能。其復雜性既反映在供應鏈涉及多個經(jīng)濟運營商，又反映在構成新技術生態(tài)系統(tǒng)的組件、零件、軟件、系統(tǒng)或服務的多樣性。此外，隨著投放市場的變化，它們的開放性進一步提升。同時，由于涉及大量數(shù)據(jù)，導致算法依賴以及人工智能決策的不透明性，使得對人工智能產品行為更難預測，對造成損壞的潛在原因排查難度加大。最后，連接性和開放性也可能使人工智能和物聯(lián)網(wǎng)產品面臨網(wǎng)絡威脅。

（二）新興技術的機遇。人工智能、物聯(lián)網(wǎng)和機器人技術為人類社會創(chuàng)造了許多機遇。例如，可以增加用戶對新興技術的信任和社會認可，提高產品質量、改善流程和商業(yè)模式，以及幫助歐洲制造商提高生產效率。同時，該技術還有望幫助人類解決一些重大挑戰(zhàn)：包括治療慢性疾病、預測疾病爆發(fā)、減少交通事故死亡率、應對氣候變化或預測網(wǎng)絡安全威脅等。

一方面，新技術通過提高產品的安全性從而使產品降低某些風險。例如，網(wǎng)聯(lián)汽車和自動駕駛汽車可以提高道路安全性，從而避免大多數(shù)人為錯誤引起的交通事故。另一方面，物聯(lián)網(wǎng)系統(tǒng)可以接收和處理不同來源的大量數(shù)據(jù)，提高產品召回的有效性，提醒用戶避免產品的安全問題。如果生產商發(fā)現(xiàn)物聯(lián)網(wǎng)產品在使用期間出現(xiàn)安全問題，可以直接與用戶溝通，警告其相關風險，或者直接解決問題。例如，2017年某智能手機生產商在召回設備時對軟件進行升級，把待召回的手機電池容量降為零，以便用戶停止使用危險設備。此外，這些新技術可以提高產品的可追溯性。例如，物聯(lián)網(wǎng)的連接功能可以使企業(yè)和市場監(jiān)督機構跟蹤危險產品并識別整個供應鏈中的風險。

對現(xiàn)有安全框架的挑戰(zhàn)及應對

歐盟委員會關于《建立對以人為本的人工智能的信任》指出，人工智能系統(tǒng)應綜合設計安全機制，以確保每一步的安全性都經(jīng)受得住檢驗，確保所有相關人員的身心安全。

歐盟產品安全法規(guī)旨在確保投放到歐盟市場上的產品滿足高標準的健康、安全和環(huán)境要求，并且此類產品可以在整個歐盟內部自由流通。針對該行業(yè)的立法以《通用產品安全指令》為依托，要求即使不受歐盟立法監(jiān)管的消費品也要保證安全。歐洲標準化是歐盟產品安全法規(guī)的重要組成部分?？紤]到數(shù)字化和新興數(shù)字技術的全球化特征，標準化領域的國際合作對維持歐洲工業(yè)的競爭力至關重要。

歐盟產品安全框架的很大一部分是在人工智能、物聯(lián)網(wǎng)或機器人等數(shù)字技術出現(xiàn)之前制定的。因此，它并不完全包含解決這些新興技術挑戰(zhàn)和風險的明確規(guī)定。但是，由于現(xiàn)有產品安全框架是技術中立的，并不意味它不適用于采用了這些技術的產品。此外，在醫(yī)療設備或汽車等領域，該框架的后續(xù)立法已經(jīng)明確將數(shù)字技術納入考慮范圍。

（一）新興技術的連接性對傳統(tǒng)安全概念提出挑戰(zhàn)。連接性已成為新興產品和服務的核心特征，對傳統(tǒng)的安全概念提出了挑戰(zhàn)。以冰島兒童智能手表的“歐盟快速預警系統(tǒng)”為例，該產品預期利用本地化來確保兒童安全，卻存在被用作接觸兒童工具的危險。而德國乘用車中的無線電設備如果存在軟件安全漏洞，允許未經(jīng)授權的第三方訪問其互連控制系統(tǒng)并進行惡意攻擊，就會增加發(fā)生交通事故的風險。另外，工業(yè)應用缺乏必要的安全等級，也可能威脅員工的人身安全。例如，針對工廠的關鍵控制系統(tǒng)開展網(wǎng)絡攻擊，可觸發(fā)導致死亡事故的爆炸。

歐盟產品安全法規(guī)中的安全性屬于公共政策目標，旨在確保產品安全。根據(jù)規(guī)定，產品的使用范圍包括預期用途、可預見用途，以及合理可預見的誤用。產品安全性概念涵蓋了各種風險的防護，包括網(wǎng)絡風險和與設備斷開連接相關的風險。

歐盟產品安全法規(guī)尚未針對影響用戶安全的網(wǎng)絡威脅制定特殊的強制性要求。不過，《醫(yī)療器械法規(guī)》《測量儀器指令》《無線電設備指令》和《整車型式批準法規(guī)》中包含了網(wǎng)絡威脅安全性的相關規(guī)定。《網(wǎng)絡安全法案》為信息和通信技術（ICT）產品、服務和流程制定了自愿性網(wǎng)絡安全認證框架。

（二）人工智能自主性與制造商期望存在偏差。人工智能產品和系統(tǒng)的自主性可能會使機器做出的決策與生產者的最初意圖，以及用戶的期望有所偏差。歐盟產品安全框架規(guī)定制造商在將人工智能產品投放市場之前需進行風險評估，為用戶提供明確的安全指示和警告。但是產品在全生命周期內都可能因自主行為對用戶造成風險，需要實時更新風險評估程序。

歐盟產品安全法規(guī)尚未明確如何解決人工智能自主性產品和系統(tǒng)中由于人為疏忽導致的問題，從產品設計到人工智能產品全生命周期都需要人工監(jiān)督來保障安全。目前，歐盟法律框架中的安全性通常指人身傷害威脅。由于人工智能應用的類人行為可能會給用戶造成心理健康風險，所以應考慮將精神健康風險納入立法框架。同時，要求生產商明確其產品可能對用戶（特別是弱勢用戶，例如被護理的老年人）造成的心理損害。

（三）數(shù)據(jù)依賴產生的安全風險需要保障機制。數(shù)據(jù)準確性和相關性可以確保人工智能系統(tǒng)按照生產者意圖做出決定。歐盟產品安全法規(guī)未明確解決由錯誤數(shù)據(jù)引起的安 全風險。根據(jù)產品的“用途”，生產商應在設計和測試階段預測數(shù)據(jù)的準確性及其與安全功能的相關性。例如，設計用于檢測特定對象的人工智能系統(tǒng)時，設計人員應收集在光線不足的典型環(huán)境中進行產品測試的數(shù)據(jù)。

歐盟產品安全法規(guī)應該作出規(guī)定，要求制造商在設計階段解決錯誤數(shù)據(jù)帶來的安全風險。確保在人工智能產品和系統(tǒng)的使用過程中有良好的機制來保障數(shù)據(jù)質量。

（四）人工智能的不透明性使決策過程難以跟蹤。人工智能產品和系統(tǒng)的不透明性可能會導致難以跟蹤系統(tǒng)決策過程，即所謂的“算法黑箱”。隨著人工智能算法變得越來越先進，并部署到關鍵領域，人類理解系統(tǒng)如何做出算法決策具有決定性的意義，這對于事后執(zhí)行機制尤其重要。

歐盟產品安全法規(guī)目前尚未解決基于算法不透明所帶來的日益增長的風險。因此，有必要考慮制定更多與算法透明性、穩(wěn)健性和問責制相關的法律規(guī)定。在發(fā)生事故的情況下，規(guī)定算法開發(fā)人員必須公開數(shù)據(jù)集的設計參數(shù)和元數(shù)據(jù)。這對于事后執(zhí)行機制的完善、建立對新興數(shù)字技術的信任尤為重要。

（五）軟件更新對安全性構成風險。最終產品制造商有義務在產品投放市場時預見該產品中集成軟件的風險。某些歐盟產品安全法規(guī)明確包含了產品中集成軟件的規(guī)定。例如，《機械指令》要求控制系統(tǒng)軟件出現(xiàn)故障時，不會導致出現(xiàn)危險情況。

歐盟產品安全法規(guī)規(guī)定，出于安全原因，可以將軟件更新與維護操作進行比較，前提是不會對已經(jīng)投放市場的產品進行重大更改，并且不會構成初始風險評估中未預見的新風險。但是，如果軟件的更新對已下載的產品進行了實質性修改，則整個產品可能會被視為新產品，并且在執(zhí)行修改時必須重新評估是否符合相關安全產品法規(guī)的規(guī)定。但歐盟產品安全法規(guī)仍需要對獨立軟件做出特定和明確的要求，確保人工智能產品和系統(tǒng)中的獨立軟件具備安全功能。此外，應規(guī)定制造商承擔相關的強制性義務，以確保上傳的軟件不會在人工智能產品的生命周期內對安全性產生影響。

（六）新興數(shù)字技術受復雜的價值鏈影響。在歐盟產品安全框架下，產品的安全性責任由生產者承擔，包括產品中集成的各個部件。歐盟產品安全法規(guī)考慮了價值鏈的復雜性，并遵循“共同責任”的原則對多家企業(yè)施加了義務。

歐盟產品安全法規(guī)明確規(guī)定了價值鏈中的企業(yè)與用戶之間進行合作的條款，尤其是價值鏈中影響產品安全的每個企業(yè)（例如軟件生產者）和用戶（通過修改產品）都會承擔相關責任，并為價值鏈中的下一個行為者提供必要的信息和保護措施，以期為復雜的價值鏈問題提供法律依據(jù)。

對現(xiàn)有責任框架的挑戰(zhàn)及應對

產品安全和產品責任法規(guī)是歐盟的兩大互補機制，最大程度地降低新型技術產品和系統(tǒng)對用戶的傷害，國家則通過民事責任框架對各種原因造成的損害進行賠償，即與不同的責任人（例如所有者、經(jīng)營者或服務提供者）溝通。民事責任法規(guī)在社會中起著雙重作用，一方面確保受害者獲得賠償;另一方面為責任方提供經(jīng)濟誘因，以避免造成這種損害。責任法規(guī)必須始終在保護公民免受傷害與鼓勵企業(yè)創(chuàng)新之間維持平衡。

（一）新興技術降低責任框架有效性。人工智能、物聯(lián)網(wǎng)和機器人等新興數(shù)字技術的特征可能會在某些方面影響責任框架，并降低其有效性?！懂a品責任指令》規(guī)定生產商應對因產品缺陷造成的損壞承擔責任。發(fā)生人身或財產損失時，如果受害方能夠證明損失和產品缺陷（即產品沒有提供公眾預期的安全性）之間存在因果關系，則有權獲得賠償。根據(jù)嚴格的過錯和責任認定，國家賠償責任制度為產品和服務的受害者提供了幾項并行的索賠要求。投保適當?shù)谋ｋU可以為受害者提供穩(wěn)定的賠償，從而減輕事故帶來的負面影響。明確的責任規(guī)定可幫助保險公司計算風險，并向承擔損害最終責任的當事方要求賠償。例如，如果事故是由產品缺陷導致的，則汽車保險公司可以在賠償受害者之后再向制造商索賠。

與其他類似產品和服務相比，新興數(shù)字技術產品和服務事故的受害者無法享受根據(jù)國家侵權法獲得賠償?shù)谋Ｗo，可能會降低社會對新興技術的接受程度，增加應用阻力。此外，還需要進一步評估新技術對現(xiàn)有責任框架的挑戰(zhàn)是否會導致法律適用的不確定性，可能會增加生產者和供應鏈中其他企業(yè)的信息和保險成本。

（二）產品、服務和價值鏈的復雜性增加索賠難度。人工智能應用通常集成在復雜的物聯(lián)網(wǎng)環(huán)境中，相應提高了使用者的索賠門檻。首先，由于軟件有多種類型和形式，因此不能簡單地將軟件歸類為服務或產品。盡管《產品責任指令》對產品的定義很寬泛，但可以進一步明確生產者概念，擴大責任范圍，對于軟件或其他數(shù)字功能導致產品缺陷從而造成的損失，明確賠償義務和責任范圍。這樣可以更好地根據(jù)相關法律規(guī)定判斷是否可以將經(jīng)濟參與者（例如軟件開發(fā)人員）視為生產者，從而確定相關責任人。其次，由于技術的復雜性，擁有專業(yè)知識的經(jīng)濟成本過高，受害者很難根據(jù)國家法律確定責任人并成功索賠。最后，人工智能產品和服務將與傳統(tǒng)技術交互，這就增加了責任追溯的復雜性。例如，在可預見時期內自動駕駛汽車將與傳統(tǒng)汽車并行。

可以通過修訂《產品責任指令》，減少人工智能相關受害者的舉證責任，進一步有針對性地統(tǒng)一國家責任規(guī)則。

（三）連接性和開放性對網(wǎng)絡安全義務提出挑戰(zhàn)。因產品網(wǎng)絡安全漏洞而造成的損害是否能得到充分的賠償問題尚沒有明確的法律規(guī)定。在現(xiàn)有的責任框架中，應該建立明確的網(wǎng)絡安全義務，使運營商明確自身義務從而避免承擔不必要的責任。

根據(jù)《產品責任指令》，在產品的合理可預見使用方面，生產者是否可以預見某些問題可能會變得越發(fā)突出。一是“后期缺陷抗辯”可能會有所增加。如果在產品投入市場時或在“開發(fā)風險抗辯”（當時的最新知識尚無法預見到缺陷）中不存在缺陷，則生產商不承擔責任。二是如果受害者未執(zhí)行安全更新，則有可能將此視為共同過失，從而減少生產商的責任。三是由于可預見合理使用的概念和共同過失問題（例如無法下載安全更新）越發(fā)普遍，受害者可能會難以獲得產品缺陷造成的損害賠償。

（四）自主性和不透明性造成索賠困難。人工智能的“算法黑箱”效應，使得人工智能應用的自主性造成的損害，很難獲得賠償。理解人工智能所使用的算法和數(shù)據(jù)需要具有專業(yè)分析能力和技術專長，受害者可能會因此付出高昂的代價。此外，如果沒有潛在責任方的配合，就無法訪問算法和數(shù)據(jù)，因此導致受害者實際上無法提出責任索賠。

某些自主人工智能設備和服務的運行在責任方面可能具有特定的風險特征。這主要涉及在公共場所運行的人工智能設備（例如全自動駕駛汽車、無人機和包裹運送機器人），或具有類似風險的人工智能服務（例如引導或控制車輛的交通管理服務或配電管理）。嚴格的賠償責任可以確保一旦發(fā)生這種風險，無論過錯如何，都能給受害者提供賠償。

針對運行具有特定風險的人工智能應用，歐盟委員會正在尋求相關意見，以便有效補償潛在的受害者。此外，歐盟委員會還在征求關于“將嚴格的責任認定與潛在義務相結合”的意見，以制定可用保險的意見，以確保不論責任方的償付能力如何，受害者都能獲得賠償。針對潛在責任方?jīng)]有記錄與評估責任有關的數(shù)據(jù)，或者不愿意與受害人分享數(shù)據(jù)的行為，歐盟委員會正在探討是否需要調整因果關系和過錯責任。

結論

人工智能、物聯(lián)網(wǎng)和機器人等新興數(shù)字技術的出現(xiàn)對產品安全和責任方面提出了新的挑戰(zhàn)，包括連接性、自主性、數(shù)據(jù)依賴性、不透明性、產品和系統(tǒng)的復雜性、軟件更新以及更為復雜的安全管理和價值鏈。當前的產品安全法規(guī)仍有待完善，特別是需要分別對《通用產品安全指令》《機械指令》《無線電設備指令》和《新立法框架》進行修訂補充。根據(jù)現(xiàn)行法規(guī)，發(fā)生損害時的成本分配可能不公平或效率低下。為了解決該問題以及現(xiàn)有框架中的潛在不確定性問題，歐盟可以考慮采用針對性的、基于風險的方法，采取適當?shù)呐e措對《產品責任指令》和國家責任制度進行調整，即考慮人工智能系統(tǒng)應用所帶來的多重風險，以解決現(xiàn)有安全和責任框架的不確定性。