王 玥，戴海洋

“新興醫(yī)學(xué)工程倫理與治理”專刊

醫(yī)療AI安全風(fēng)險(xiǎn)的倫理與法律保障機(jī)制研究

王 玥，戴海洋

（西安交通大學(xué) 法學(xué)院，西安 710049）

人工智能（AI）正在迅速發(fā)展并應(yīng)用到醫(yī)學(xué)領(lǐng)域當(dāng)中，給廣大醫(yī)務(wù)工作者和患者帶來(lái)了新的機(jī)遇與希望。然而，由于對(duì)象是人類的疾病與健康，醫(yī)療AI的應(yīng)用本身會(huì)給患者和受試者健康帶來(lái)直接威脅，且因?yàn)閿?shù)據(jù)和算法缺陷、系統(tǒng)漏洞或缺陷可能引發(fā)的安全風(fēng)險(xiǎn)也尤為突出。因此，在已經(jīng)被廣為接受的AI倫理原則之外，醫(yī)療AI還應(yīng)當(dāng)強(qiáng)調(diào)以患者和受試者為中心創(chuàng)設(shè)合理的人機(jī)交互，以及保持持續(xù)評(píng)價(jià)的倫理保障機(jī)制。此外，應(yīng)當(dāng)在我國(guó)現(xiàn)行的醫(yī)療AI法律監(jiān)管框架下，明確劃定醫(yī)療AI范圍，并針對(duì)醫(yī)療AI的特殊性完善其注冊(cè)和后續(xù)監(jiān)管制度，在保證安全的基礎(chǔ)上構(gòu)建患者和臨床醫(yī)生對(duì)醫(yī)療AI的信任，從而使醫(yī)療AI能夠更好地改善社會(huì)醫(yī)療保健，保障患者和受試者的安全和最大福祉。

醫(yī)療人工智能；醫(yī)療倫理；醫(yī)療損害；醫(yī)療數(shù)據(jù)

引言

近年來(lái)，人工智能（AI）技術(shù)已經(jīng)逐步從實(shí)驗(yàn)室中走出并轉(zhuǎn)向落地應(yīng)用階段，而醫(yī)療健康領(lǐng)域是人工智能應(yīng)用大量集中的場(chǎng)景之一。據(jù)國(guó)務(wù)院發(fā)布的《新一代人工智能發(fā)展規(guī)劃》，“推廣應(yīng)用人工智能治療新模式新手段，建立快速精準(zhǔn)的智能醫(yī)療體系”[1]是我國(guó)今后人工智能發(fā)展的重點(diǎn)任務(wù)之一。隨著人工智能在成本、質(zhì)量和接入方面釋放出的巨大力量，它的受歡迎程度正在呈爆炸式增長(zhǎng)。據(jù)預(yù)測(cè)，到2021年，人工智能健康市場(chǎng)規(guī)模預(yù)計(jì)將以40%的復(fù)合年增長(zhǎng)率增至66億美元[2]。

2017~2018年，美國(guó)食品藥品監(jiān)督管理局（FDA）已經(jīng)批準(zhǔn)了包括QuantX乳腺癌診斷系統(tǒng)在內(nèi)的14個(gè)基于人工智能技術(shù)的醫(yī)療應(yīng)用[3]。在國(guó)內(nèi)，2020年1月15日，國(guó)家藥品監(jiān)督管理局宣布，北京昆侖醫(yī)云科技有限公司開發(fā)的“冠脈血流儲(chǔ)備分?jǐn)?shù)計(jì)算軟件”獲批上市[4]，這是國(guó)內(nèi)獲批的首個(gè)應(yīng)用人工智能技術(shù)的三類醫(yī)療器械，標(biāo)志著人工智能技術(shù)在我國(guó)正式進(jìn)入臨床應(yīng)用階段。我國(guó)最新頒布的《基本醫(yī)療衛(wèi)生與健康促進(jìn)法》中也提出，“國(guó)家要推進(jìn)人工智能等的應(yīng)用發(fā)展，運(yùn)用信息技術(shù)促進(jìn)優(yōu)質(zhì)醫(yī)療衛(wèi)生資源的普及與共享?！盵5]然而，當(dāng)前關(guān)于醫(yī)療人工智能研究成果以及大規(guī)模的商業(yè)報(bào)道均集中在相關(guān)應(yīng)用的專業(yè)性和可靠度，卻很少關(guān)注到AI在醫(yī)療領(lǐng)域應(yīng)用的潛在風(fēng)險(xiǎn)及對(duì)策。

已經(jīng)有一些學(xué)者開始注意到人工智能技術(shù)在醫(yī)療衛(wèi)生領(lǐng)域的應(yīng)用將會(huì)產(chǎn)生的問(wèn)題和存在的隱患[6]：在醫(yī)學(xué)倫理領(lǐng)域，包桉冰、徐佩提出了醫(yī)療AI對(duì)醫(yī)生主體地位的挑戰(zhàn)[7]，周吉銀、劉丹、曾圣雅關(guān)注到了公平受益、失業(yè)、患者隱私、醫(yī)療安全、責(zé)任劃分和監(jiān)管等一系列問(wèn)題[8]。在法學(xué)研究中，學(xué)者從不同角度表達(dá)了對(duì)醫(yī)療AI應(yīng)用數(shù)據(jù)隱私或醫(yī)療損害責(zé)任分配的擔(dān)憂。曹艷林、王將軍梳理了人工智能在醫(yī)療領(lǐng)域的應(yīng)用狀況和法律問(wèn)題[9]，劉建利對(duì)醫(yī)療AI的法律地位、損害責(zé)任和醫(yī)療數(shù)據(jù)利用等醫(yī)療AI臨床應(yīng)用法律問(wèn)題進(jìn)行了研究[10]。然而，與患者隱私或者醫(yī)療責(zé)任相比，關(guān)于醫(yī)療AI系統(tǒng)本身的安全性問(wèn)題沒(méi)有得到普遍關(guān)注。已有學(xué)者建議，應(yīng)當(dāng)盡快制定與技術(shù)進(jìn)展相匹配的醫(yī)療信息與人工智能系統(tǒng)的行業(yè)標(biāo)準(zhǔn)[11]。

有鑒于此，本文將從AI在醫(yī)療領(lǐng)域應(yīng)用存在的主要安全風(fēng)險(xiǎn)出發(fā)，探究如何通過(guò)構(gòu)建合理的倫理和法律機(jī)制應(yīng)對(duì)這些安全風(fēng)險(xiǎn)，增進(jìn)患者和醫(yī)務(wù)工作者對(duì)人工智能的信任。

1 醫(yī)療人工智能及其主要安全風(fēng)險(xiǎn)

盡管人工智能的概念早在1956年就已經(jīng)誕生，但時(shí)至今日人們還是時(shí)常混淆這一概念的內(nèi)涵①或者說(shuō)，目前人們沒(méi)有在同一的語(yǔ)境下討論這一概念，將“機(jī)械姬”與“Siri語(yǔ)音助手”放在一個(gè)語(yǔ)境下談?wù)摚撾x人工智能的發(fā)展現(xiàn)狀，過(guò)早地憧憬了能夠達(dá)到或超出人類水平、完全替代人類決策的強(qiáng)人工智能。。歐盟委員會(huì)在《可信人工智能倫理指南》中給出了關(guān)于人工智能系統(tǒng)可供參考的定義，“人工智能（AI）系統(tǒng)是由人類設(shè)計(jì)的軟件（也可能是硬件）系統(tǒng)，它們?cè)诮o定復(fù)雜目標(biāo)的情況下，通過(guò)數(shù)據(jù)采集感知其環(huán)境，解釋收集的結(jié)構(gòu)化或非結(jié)構(gòu)化數(shù)據(jù)，對(duì)從這些數(shù)據(jù)得出的知識(shí)進(jìn)行推理，或處理信息，并決定為實(shí)現(xiàn)給定目標(biāo)而采取的最佳行動(dòng)，從而在物理或數(shù)字維度上行動(dòng)。人工智能系統(tǒng)既可以使用符號(hào)規(guī)則，也可以學(xué)習(xí)數(shù)字模型，它們還可以通過(guò)分析環(huán)境如何受到之前的操作影響來(lái)調(diào)整自己的行為”[12]。最近發(fā)展起來(lái)的深層神經(jīng)網(wǎng)絡(luò)是一種類腦智能軟件系統(tǒng)，它的出現(xiàn)使得人工智能的研究進(jìn)入了一個(gè)新階段[13]，算法的改進(jìn)、算力上的突破和數(shù)據(jù)量的上漲使得人工智能在安防、金融、自動(dòng)駕駛等各個(gè)行業(yè)中逐步落地（圖1）。

具體到醫(yī)療領(lǐng)域，醫(yī)療人工智能（“醫(yī)療AI”）泛指應(yīng)用在醫(yī)療健康領(lǐng)域的人工智能技術(shù)，涉及醫(yī)療行業(yè)各個(gè)環(huán)節(jié)，其目標(biāo)是利用人工智能為患者進(jìn)行診斷或治療、提供健康咨詢意見，或?yàn)獒t(yī)療保險(xiǎn)和藥物研發(fā)等環(huán)節(jié)提供輔助，以提高醫(yī)療服務(wù)的效率及專業(yè)水平，減少醫(yī)療成本[14]。它區(qū)別于一般的醫(yī)療設(shè)備軟件（SaMD），其獨(dú)特性在于醫(yī)療AI應(yīng)用涉及從數(shù)據(jù)中進(jìn)行學(xué)習(xí)，并且可以通過(guò)不斷學(xué)習(xí)改進(jìn)和優(yōu)化輸出結(jié)果。據(jù)研究，目前醫(yī)療AI在AI醫(yī)學(xué)影像、AI輔助診斷、AI藥物研發(fā)、AI健康管理和AI疾病預(yù)測(cè)領(lǐng)域均有較為明顯的進(jìn)步[15]。需要說(shuō)明的是，機(jī)器學(xué)習(xí)不是人工智能的全部，本文的研究對(duì)象僅為基于機(jī)器學(xué)習(xí)的人工智能系統(tǒng)，并且僅限于目前已存在的作為輔助工具的醫(yī)療AI應(yīng)用，不包含替代人類做出最終決策的情形。此外，“手術(shù)機(jī)器人”這類單純傳遞操作者指令以進(jìn)行微創(chuàng)手術(shù)的設(shè)備也不屬于本文所研究的醫(yī)療AI的范圍。

圖1 人工智能相關(guān)概念辨析

然而，所有的醫(yī)療AI應(yīng)用在為醫(yī)療機(jī)構(gòu)帶來(lái)效率的同時(shí)，也蘊(yùn)藏著對(duì)患者健康的潛在風(fēng)險(xiǎn)（圖2），這些風(fēng)險(xiǎn)包括應(yīng)用本身對(duì)患者和受試者健康具有直接威脅、因數(shù)據(jù)或算法的缺陷引起的決策失誤風(fēng)險(xiǎn)，以及因系統(tǒng)設(shè)計(jì)缺陷而難以避免的信息安全風(fēng)險(xiǎn)。

圖2 醫(yī)療人工智能安全風(fēng)險(xiǎn)及成因

1.1 應(yīng)用本身對(duì)患者和受試者健康具有直接威脅

斯坦福大學(xué)生物醫(yī)學(xué)倫理學(xué)中心主任戴維·馬格努斯（David Magnus）指出：“醫(yī)療系統(tǒng)中內(nèi)置的算法可能反映了不同的，相互沖突的利益?！贬t(yī)療AI應(yīng)用的開發(fā)，通常會(huì)同時(shí)考慮多個(gè)因素，如果多個(gè)因素的排序出現(xiàn)問(wèn)題，則會(huì)對(duì)患者或受試者的健康與安全造成直接威脅。例如，如果醫(yī)院的一套診療系統(tǒng)是以節(jié)省醫(yī)保資金開支為目的設(shè)計(jì)的，進(jìn)而根據(jù)患者的醫(yī)保情況給出不同的診療建議，便會(huì)帶來(lái)影響公正等倫理問(wèn)題，甚至在特定的情況下直接威脅患者的生命。研究表明，許多開發(fā)醫(yī)療AI應(yīng)用的獨(dú)角獸商業(yè)公司很少在有同行評(píng)審的期刊上發(fā)表研究成果[16]，應(yīng)用缺乏足夠的透明度，讓人們難以對(duì)這些應(yīng)用的安全性產(chǎn)生充分信任。

剛誕生不久的深度偽造（Deepfake）技術(shù)②deep fake是英文“deep learning”（深度學(xué)習(xí)）和“fake”（偽造）的混成詞，指基于人工智能的人體圖像合成技術(shù)的應(yīng)用，該技術(shù)可將已有的圖像或影片疊加至目標(biāo)圖像或影片上，目前被大量用于制作色情影片和虛假新聞視頻。則已經(jīng)成為人工智能技術(shù)被濫用的最典型場(chǎng)景，令Facebook等科技公司和政治家們頭疼不已，而此類技術(shù)濫用的風(fēng)險(xiǎn)并不會(huì)因?yàn)閼?yīng)用于“治病救人”的醫(yī)療領(lǐng)域而消失。聯(lián)合國(guó)人工智能和機(jī)器人中心高級(jí)戰(zhàn)略顧問(wèn)貝里澤指出：“人工智能是一個(gè)工具，任何一個(gè)工具都有可能被用作好的或壞的目的，因此這完全取決于我們?nèi)绾问褂眠@一工具?！盵17]盡管目前公眾視野中的各種醫(yī)療AI應(yīng)用，不論是輔助診斷還是疾病預(yù)測(cè)，都是以患者健康和福祉為出發(fā)點(diǎn)的，但我們?nèi)匀粦?yīng)當(dāng)對(duì)潛在的技術(shù)被濫用的情形保持警惕，2019年發(fā)生的“賀建奎事件”再次為我們敲響了警鐘，保證新技術(shù)被應(yīng)用于正確目的是監(jiān)管的永久命題。

1.2 因數(shù)據(jù)或算法的缺陷引起的風(fēng)險(xiǎn)

基于機(jī)器學(xué)習(xí)的醫(yī)療AI應(yīng)用產(chǎn)生的結(jié)果與用于研發(fā)醫(yī)療AI應(yīng)用的訓(xùn)練數(shù)據(jù)和算法高度相關(guān)，產(chǎn)品的安全性和有效性將在很大程度上取決于數(shù)據(jù)和算法的質(zhì)量，這將使醫(yī)療AI應(yīng)用的輸出結(jié)果難以避免地包含“偏見”。研究指出，人的偏見、設(shè)計(jì)引入的偏見以及醫(yī)療系統(tǒng)使用數(shù)據(jù)的方式的偏見都有可能影響健康數(shù)據(jù)[18]。盡管醫(yī)療AI應(yīng)用不會(huì)進(jìn)行價(jià)值選擇而僅僅是根據(jù)數(shù)據(jù)和算法輸出結(jié)果，但越來(lái)越多的證據(jù)表明，用于開發(fā)醫(yī)療AI應(yīng)用的數(shù)據(jù)集可能不能代表廣泛的人群，算法的設(shè)計(jì)不合理，AI系統(tǒng)的“偏見”可能會(huì)導(dǎo)致不準(zhǔn)確甚至有害的臨床建議[19]。還有研究表明，即使是簡(jiǎn)單的問(wèn)題也可以將低風(fēng)險(xiǎn)軟件轉(zhuǎn)換為嚴(yán)重的安全威脅，從而導(dǎo)致高風(fēng)險(xiǎn)的產(chǎn)品召回[20]。因此，美國(guó)醫(yī)學(xué)會(huì)（AMA）敦促美國(guó)FDA，在醫(yī)療AI應(yīng)用的審批過(guò)程中，應(yīng)該強(qiáng)調(diào)偏見是機(jī)器學(xué)習(xí)的一個(gè)重大風(fēng)險(xiǎn)[21]。

此外，醫(yī)療AI系統(tǒng)中的偏見不但對(duì)個(gè)體有影響，還可能削減弱勢(shì)群體的整體福祉，進(jìn)而影響社會(huì)公平。美國(guó)的一項(xiàng)研究表明，在一個(gè)用于確定誰(shuí)可以正常訪問(wèn)高風(fēng)險(xiǎn)醫(yī)療管理程序的軟件程序中，由于處于特定健康水平的黑人最終產(chǎn)生的成本低于白人，故會(huì)讓健康的白人先于健康狀況較差的黑人進(jìn)入程序[22]。

值得注意的是，醫(yī)療AI應(yīng)用還面臨著與其他行業(yè)不同的挑戰(zhàn)。在臨床中，許多事故通常不會(huì)被報(bào)告，而且其影響難以衡量[23]，這意味著一旦納入臨床實(shí)踐，智能決策支持系統(tǒng)的正面和潛在負(fù)面影響可能很難確定。并且，在其他行業(yè)的AI應(yīng)用系統(tǒng)中，由于軟件可以方便地更新升級(jí)，即使系統(tǒng)出現(xiàn)錯(cuò)誤，也可以迅速地進(jìn)行自我糾正。然而，針對(duì)患者健康和福祉開發(fā)的醫(yī)療AI系統(tǒng)，在安全性方面幾乎沒(méi)有試錯(cuò)的余地，這使得在最開始進(jìn)行正確設(shè)計(jì)和投入使用前的審慎評(píng)估顯得尤為重要。

1.3 因系統(tǒng)漏洞或缺陷引起的信息安全風(fēng)險(xiǎn)

由于醫(yī)療AI產(chǎn)品需要通過(guò)軟件以及網(wǎng)絡(luò)來(lái)實(shí)現(xiàn)其功能，其不可避免地會(huì)產(chǎn)生信息安全風(fēng)險(xiǎn)。研究表明，胰島素泵、心臟起搏器以及達(dá)芬奇外科手術(shù)機(jī)器人均被證明已經(jīng)存在可能危及人生命健康的信息安全漏洞[24]。對(duì)于AI系統(tǒng)，常見網(wǎng)絡(luò)威脅包括但不限于框架漏洞攻擊和數(shù)據(jù)污染，前者是指利用算法所用現(xiàn)成框架本身漏洞進(jìn)行網(wǎng)絡(luò)攻擊，后者則是指通過(guò)污染輸入數(shù)據(jù)進(jìn)行網(wǎng)絡(luò)攻擊，如對(duì)抗樣本攻擊③例如，對(duì)于一張熊貓的圖片, 增加人為設(shè)計(jì)的微小噪聲之后, 人眼對(duì)擾動(dòng)前后兩張圖片基本看不出區(qū)別, 而人工智能模型卻會(huì)以99.3%的概率將其錯(cuò)判為長(zhǎng)臂猿。參見GOODFELLOW I, SHLENS J, CHRISTIAN S.Explaining and harnessing adversarial examples[EB/OL]. (2015-03-20) [2018-06-23]. https:∥arxiv.org/abs/1412.6572.。

醫(yī)療器械網(wǎng)絡(luò)安全出現(xiàn)問(wèn)題不僅會(huì)侵犯患者隱私，而且可能會(huì)產(chǎn)生醫(yī)療器械非預(yù)期運(yùn)行的風(fēng)險(xiǎn)，導(dǎo)致患者或使用者受到傷害或死亡。多個(gè)安全研究機(jī)構(gòu)的報(bào)告表明，醫(yī)療機(jī)構(gòu)是勒索軟件等黑客攻擊針對(duì)的首要目標(biāo)[25]，破壞性關(guān)閉關(guān)鍵設(shè)備或篡改患者數(shù)據(jù)可能會(huì)危及生命[26]，這些情況要求我們必須關(guān)注醫(yī)療AI應(yīng)用在網(wǎng)絡(luò)安全方面的可靠性。

2 患者和受試者安全的倫理問(wèn)題及保障機(jī)制

伴隨著醫(yī)療AI市場(chǎng)規(guī)模的不斷擴(kuò)大，社會(huì)資本大量涌入醫(yī)療AI領(lǐng)域，因追求利益而導(dǎo)致患者或受試者傷害的風(fēng)險(xiǎn)值得警惕。為了開發(fā)人類基因編輯等違反倫理的醫(yī)療應(yīng)用、為了獲取訓(xùn)練數(shù)據(jù)進(jìn)行傷害性的實(shí)驗(yàn)、為了通過(guò)上市審批而在申報(bào)材料中弄虛作假等情形均有出現(xiàn)的可能。因此，必須將醫(yī)療AI產(chǎn)品研發(fā)的全過(guò)程納入到醫(yī)療器械管理的制度中，以此構(gòu)建一個(gè)符合倫理的醫(yī)療AI應(yīng)用開發(fā)流程。

生命醫(yī)學(xué)倫理學(xué)的基本原則包括不傷害原則、尊重與自主原則、有利原則和公正原則[27]。而人工智能應(yīng)當(dāng)遵循遵守的倫理盡管原則上無(wú)一致的共識(shí)，但學(xué)術(shù)界和相關(guān)企業(yè)已經(jīng)有了一些初步實(shí)踐。被提及較多的有阿西洛馬人工智能原則④參見https://blog.google/topics/ai/ai-principles/.、Google的人工智能七原則⑤參見https://futureoflife.org/ai-principles/.，以及近期歐盟委員會(huì)發(fā)布的《可信人工智能倫理指南》[12]，這些準(zhǔn)則可以為我們構(gòu)建符合倫理的醫(yī)療AI提供指引，前提是正確認(rèn)識(shí)醫(yī)療領(lǐng)域與AI其他應(yīng)用領(lǐng)域的區(qū)別。

已有研究指出，高新技術(shù)的發(fā)展可能帶來(lái)各種不同的醫(yī)患倫理沖突，如設(shè)備依賴導(dǎo)致的醫(yī)患關(guān)系固化、技術(shù)主導(dǎo)導(dǎo)致人員關(guān)懷弱化，“醫(yī)生-機(jī)器-病人”的生冷關(guān)系，妨礙了醫(yī)患之間的思想交流和情感溝通[28]。為了使醫(yī)療AI向符合倫理的方向發(fā)展，AMA向FDA對(duì)促進(jìn)醫(yī)療AI提出了五點(diǎn)建議，分別是：1）按照以用戶為中心的設(shè)計(jì)最佳實(shí)踐進(jìn)行設(shè)計(jì)和評(píng)估；2）保證透明；3）符合重復(fù)性的領(lǐng)先標(biāo)準(zhǔn)；4）識(shí)別并采取措施解決偏見，避免引入或加劇醫(yī)療保健差異，尤其是在弱勢(shì)人群上測(cè)試或部署新的人工智能工具時(shí)；5）保護(hù)患者的隱私[21]。

根據(jù)上述已經(jīng)被廣為接受的與醫(yī)療AI相關(guān)的倫理原則和建議，結(jié)合目前醫(yī)療AI發(fā)展和應(yīng)用的現(xiàn)狀，本文認(rèn)為，以下三方面?zhèn)惱肀Ｕ蠙C(jī)制應(yīng)當(dāng)被著重強(qiáng)調(diào)。

2.1 以患者和受試者為中心

美國(guó)“以患者為中心醫(yī)療研究所”（IPFCC）將以患者為中心的要求概括為四個(gè)核心理念，即尊嚴(yán)和尊重、信息共享、患者參與、合作[29]。醫(yī)學(xué)倫理學(xué)的第一原則是不傷害，無(wú)論在涉及人類受試者的醫(yī)學(xué)研究中還是在醫(yī)療AI研發(fā)和應(yīng)用的過(guò)程中，對(duì)患者和受試者健康的考慮都應(yīng)優(yōu)先于科學(xué)和社會(huì)的需要。臨床醫(yī)生必須完全相信算法的準(zhǔn)確性、可靠性和客觀性，才能使AI成為常規(guī)臨床應(yīng)用的一部分。但是，有時(shí)用于訓(xùn)練算法的數(shù)據(jù)有偏差，或者算法有潛在的缺陷，這些都將加劇決策失誤的風(fēng)險(xiǎn)。同時(shí)，如果臨床醫(yī)生不知道算法是如何得出結(jié)果的，他們將無(wú)法知道算法是否有偏差，也使得醫(yī)生在做出臨床決策時(shí)很難完全信任該技術(shù)。在英特爾進(jìn)行的一份調(diào)查中，超過(guò)三分之一的受訪者表示，患者不信任AI在醫(yī)療保健中發(fā)揮積極作用，而30％的人認(rèn)為臨床醫(yī)生也不信任AI[30]。因此，醫(yī)療AI的臨床應(yīng)用應(yīng)當(dāng)積極征得患者的同意。

以患者為中心的另一要求是醫(yī)護(hù)人員與患者完整地共享信息，這也是知情同意原則的要求。在醫(yī)療過(guò)程中，用于為治療提供信息的數(shù)據(jù)質(zhì)量對(duì)于建立患者對(duì)其提供者的信任至關(guān)重要?；颊邞?yīng)當(dāng)確保用于最終決策的數(shù)據(jù)是準(zhǔn)確的，并且相信這些數(shù)據(jù)只會(huì)以合理的方式使用。然而，臨床醫(yī)生可能本身也未必明確AI應(yīng)用的工作原理，這可能構(gòu)成對(duì)傳統(tǒng)患者知情權(quán)的挑戰(zhàn)。臨床醫(yī)生應(yīng)當(dāng)盡可能充分理解算法的創(chuàng)建方式，嚴(yán)格評(píng)估用于創(chuàng)建旨在預(yù)測(cè)結(jié)果的統(tǒng)計(jì)模型的數(shù)據(jù)來(lái)源，了解模型如何發(fā)揮作用并防止過(guò)度依賴這些模型。

2.2 創(chuàng)設(shè)合理的人機(jī)交互

AI參與到對(duì)患者治療的“決策”過(guò)程是醫(yī)療AI最大的倫理風(fēng)險(xiǎn)來(lái)源。當(dāng)人們與執(zhí)行自動(dòng)化任務(wù)的機(jī)器進(jìn)行交互時(shí)，即使人們知道或應(yīng)該知道自動(dòng)化是錯(cuò)誤的，他們?nèi)匀灰蕾囎詣?dòng)化的結(jié)果，這種現(xiàn)象稱為“自動(dòng)化偏差”。臨床決策支持（CDS）可以通過(guò)警告潛在錯(cuò)誤來(lái)提高安全性，但有時(shí)也會(huì)成為新的風(fēng)險(xiǎn)來(lái)源。當(dāng)用戶（醫(yī)護(hù)人員）過(guò)度依賴CDS時(shí)就會(huì)出現(xiàn)自動(dòng)化偏差，從而降低對(duì)信息搜索和處理的警惕[31]。將系統(tǒng)應(yīng)用于混亂的現(xiàn)實(shí)世界臨床實(shí)踐時(shí)，其性能無(wú)疑將受到影響。因此，操作人員必須知道何時(shí)信任該系統(tǒng)、何時(shí)不信任該系統(tǒng)。如何設(shè)計(jì)人機(jī)交互，對(duì)于防止引入新的偏見和錯(cuò)誤至關(guān)重要。

風(fēng)險(xiǎn)穩(wěn)態(tài)（Risk homeostasis）理論指出，人類冒險(xiǎn)行為與所感知的危險(xiǎn)程度緊密相關(guān)。減少活動(dòng)的感覺(jué)風(fēng)險(xiǎn)，人們會(huì)更加大膽[32]。臨床醫(yī)療實(shí)踐的過(guò)度自動(dòng)化可能會(huì)導(dǎo)致醫(yī)護(hù)人員過(guò)于自信，從而增加錯(cuò)誤和事故的發(fā)生。例如，對(duì)英國(guó)一家重癥監(jiān)護(hù)病房的護(hù)士進(jìn)行的一項(xiàng)研究發(fā)現(xiàn)了臨床中存在風(fēng)險(xiǎn)波動(dòng)的證據(jù)。該病房在配藥過(guò)程中實(shí)施的安全措施涉及不同同事在給病人配藥前進(jìn)行多次交叉檢查，雖然護(hù)士接受了雙重檢查的培訓(xùn)，但安全措施降低了感知的風(fēng)險(xiǎn)水平，故護(hù)士認(rèn)為出錯(cuò)的可能性較小[33]。AMA認(rèn)為，F(xiàn)DA應(yīng)當(dāng)考慮與機(jī)器學(xué)習(xí)相關(guān)的風(fēng)險(xiǎn)，例如是否使用了完全自動(dòng)化的系統(tǒng)而不需要人類干預(yù)。在這一點(diǎn)上，歐盟委員會(huì)倫理小組也有類似的看法，并要求在AI決策過(guò)程當(dāng)中必須有“有意義的人類控制”（Meaningful Human Control）[34]。

因此，為了實(shí)現(xiàn)這種良好的人機(jī)交互，醫(yī)療AI的生產(chǎn)者應(yīng)當(dāng)在項(xiàng)目設(shè)計(jì)之初就考慮該應(yīng)用面向的使用者情況，做出不同的設(shè)計(jì)。目前對(duì)AI錯(cuò)誤決策的所有糾正都依賴于人的介入，但如果AI產(chǎn)品計(jì)劃應(yīng)用在醫(yī)療水平較低的地區(qū)，需要考慮到基層醫(yī)院等機(jī)構(gòu)可能沒(méi)有經(jīng)驗(yàn)豐富的臨床醫(yī)生來(lái)發(fā)現(xiàn)并糾正這種錯(cuò)誤。

2.3 保證持續(xù)評(píng)價(jià)

“黑箱”問(wèn)題是人工智能應(yīng)用被關(guān)注最多的焦點(diǎn)之一，許多反對(duì)者以AI決策缺乏可解釋性為由拒絕AI在醫(yī)療領(lǐng)域的應(yīng)用。然而，有許多普通藥品尚無(wú)已知的作用機(jī)理，但醫(yī)生依然開處方指示患者使用，各國(guó)的監(jiān)管機(jī)構(gòu)通過(guò)嚴(yán)格的實(shí)驗(yàn)和審批流程來(lái)保證這些藥品的安全性和有效性。因此，缺乏可解釋性不是阻止醫(yī)療AI進(jìn)入臨床應(yīng)用的理由，問(wèn)題在于能否保證充足和持續(xù)的監(jiān)管。

盡管醫(yī)療AI的開發(fā)者往往用各種努力來(lái)創(chuàng)造一個(gè)理想的應(yīng)用，但是仍然必須監(jiān)控現(xiàn)實(shí)生活中發(fā)生的事情，以防止“偏見”危害患者的健康和其他權(quán)益。因此，運(yùn)營(yíng)者需要監(jiān)控?cái)?shù)據(jù)本身是否表現(xiàn)出不平等或其他異常，還應(yīng)當(dāng)與醫(yī)療保健提供者、患者和管理人員進(jìn)行交談，以確定他們是否發(fā)現(xiàn)任何公平問(wèn)題。“收集的有關(guān)患者健康，診斷和結(jié)果的數(shù)據(jù)已成為醫(yī)療系統(tǒng)收集的公開文獻(xiàn)和信息的‘集體知識(shí)’的一部分，并且可能會(huì)在不考慮臨床經(jīng)驗(yàn)和患者護(hù)理的人為因素的情況下使用?！盵35]另外一個(gè)可考慮的做法是，在設(shè)計(jì)最終將影響他們生活的算法時(shí)，讓患者參與其中[36]。

3 醫(yī)療人工智能安全的法律保障機(jī)制

倫理保障機(jī)制依靠個(gè)體的自覺(jué)遵守來(lái)發(fā)揮作用，針對(duì)患者與受試者的安全這一重要利益的保障，還需要依靠剛性的法律制度來(lái)劃定邊界和管控相關(guān)風(fēng)險(xiǎn)，確保醫(yī)療AI應(yīng)用安全、有序且可控地進(jìn)行。

3.1 我國(guó)醫(yī)療AI監(jiān)管的法律框架

目前我國(guó)針對(duì)醫(yī)療AI監(jiān)管的基本思路，是將醫(yī)療AI作為醫(yī)療器械的一種類型進(jìn)行監(jiān)管，相關(guān)規(guī)范可分為三個(gè)層級(jí)（表1）：（1）關(guān)于醫(yī)療器械的管理相關(guān)的規(guī)范，即《醫(yī)療器械監(jiān)督管理?xiàng)l例》及相關(guān)配套制度；（2）針對(duì)軟件類醫(yī)療器械的專門規(guī)范，包括《醫(yī)療器械軟件注冊(cè)技術(shù)審查指導(dǎo)原則》、《醫(yī)療器械網(wǎng)絡(luò)安全注冊(cè)技術(shù)審查指導(dǎo)原則》、《移動(dòng)醫(yī)療器械注冊(cè)技術(shù)審查指導(dǎo)原則》等；（3）專門針對(duì)以人工智能（深度學(xué)習(xí)）輔助技術(shù)的規(guī)范性文件，如國(guó)家藥品監(jiān)督管理局醫(yī)療器械技術(shù)審評(píng)中心（CMDE）在2019年發(fā)布的《深度學(xué)習(xí)輔助決策醫(yī)療器械軟件審評(píng)要點(diǎn)》。需要說(shuō)明的是，我國(guó)還有一些與醫(yī)療AI相關(guān)的規(guī)范性文件，包括《人工智能輔助診斷技術(shù)管理規(guī)范》、《人工智能輔助診斷技術(shù)臨床應(yīng)用質(zhì)量控制指標(biāo)》，這兩份文件盡管也使用了“人工智能”這一表述，但二者針對(duì)的對(duì)象實(shí)際是機(jī)器人手術(shù)系統(tǒng)，不屬于本文討論的醫(yī)療AI的范疇。

表1 我國(guó)醫(yī)療人工智能監(jiān)管規(guī)范

我國(guó)的醫(yī)療器械管理制度，制定了醫(yī)療器械的分類規(guī)則和分類目錄，將醫(yī)療器械按照風(fēng)險(xiǎn)程度分成一二三類實(shí)行分類管理，根據(jù)醫(yī)療器械生產(chǎn)、經(jīng)營(yíng)和使用情況，及時(shí)對(duì)醫(yī)療器械的風(fēng)險(xiǎn)變化進(jìn)行分析和評(píng)價(jià)，并對(duì)分類目錄進(jìn)行調(diào)整。對(duì)第一類醫(yī)療器械實(shí)行產(chǎn)品備案管理，對(duì)第二類、第三類醫(yī)療器械實(shí)行產(chǎn)品注冊(cè)管理，并設(shè)置了較為嚴(yán)格的管控機(jī)制與程序。根據(jù)現(xiàn)行的2017年版《醫(yī)療器械分類目錄》子目錄21，醫(yī)療AI歸屬于醫(yī)用軟件類別的醫(yī)療器械，這類醫(yī)療器械包括治療計(jì)劃軟件、影像處理軟件、數(shù)據(jù)處理軟件、決策支持軟件、體外診斷類軟件和其他類共六類。該目錄同時(shí)明確，醫(yī)療信息管理軟件如果僅僅是醫(yī)院管理工具，管理內(nèi)容是患者信息等非醫(yī)療診斷和/或治療內(nèi)容，不按照醫(yī)療器械管理[37]。如果醫(yī)療信息管理軟件包含患者診斷、治療數(shù)據(jù)和影像，則按照軟件處理對(duì)象（影像、數(shù)據(jù)）的不同，分別歸為影像處理軟件或數(shù)據(jù)處理軟件。此外，《醫(yī)療器械分類目錄》將僅提供診斷建議的輔助診斷軟件歸為第二類醫(yī)療器械，而對(duì)病變部位自動(dòng)識(shí)別的并提供明確診斷提示的軟件按照第三類醫(yī)療器械管理。

根據(jù)《醫(yī)療器械監(jiān)督管理?xiàng)l例》對(duì)第二類和第三類醫(yī)療器械注冊(cè)的規(guī)定，注冊(cè)第二類和第三類醫(yī)療器械，申請(qǐng)材料中應(yīng)當(dāng)包含臨床試驗(yàn)報(bào)告。這些臨床實(shí)驗(yàn)要遵守《涉及人的生物醫(yī)學(xué)研究倫理審查辦法》中的六個(gè)倫理審查標(biāo)準(zhǔn)，即知情同意、控制風(fēng)險(xiǎn)、免費(fèi)和補(bǔ)償、保護(hù)隱私、依法賠償和特殊保護(hù)，并通過(guò)倫理委員會(huì)的審查。而在醫(yī)用軟件類別的醫(yī)療器械方面，我國(guó)還制定了《醫(yī)療器械軟件注冊(cè)技術(shù)審查指導(dǎo)原則》，對(duì)其審查進(jìn)行了較為細(xì)致的規(guī)范。此外，我國(guó)制定了專門針對(duì)現(xiàn)階段醫(yī)療AI審批的規(guī)范性文件《深度學(xué)習(xí)輔助決策醫(yī)療器械軟件審評(píng)要點(diǎn)》，基于深度學(xué)習(xí)技術(shù)特點(diǎn)，結(jié)合軟件的預(yù)期用途、使用場(chǎng)景和核心功能，重點(diǎn)關(guān)注軟件的數(shù)據(jù)質(zhì)量控制、算法泛化能力和臨床使用風(fēng)險(xiǎn)。

在醫(yī)療器械上市之后，目前的監(jiān)管體系還建立了不良事件監(jiān)測(cè)與召回制度。根據(jù)《醫(yī)療器械注冊(cè)管理?xiàng)l例》的規(guī)定，要求醫(yī)療器械的生產(chǎn)、經(jīng)營(yíng)企業(yè)開展不良事件監(jiān)測(cè)，就不良事件或可疑不良事件，向醫(yī)療器械不良事件監(jiān)測(cè)技術(shù)機(jī)構(gòu)報(bào)告。此外，如醫(yī)療器械生產(chǎn)企業(yè)發(fā)現(xiàn)其生產(chǎn)的醫(yī)療器械不符合強(qiáng)制性標(biāo)準(zhǔn)、經(jīng)注冊(cè)或備案的產(chǎn)品技術(shù)要求或者存在其他缺陷的，應(yīng)當(dāng)停止生產(chǎn)并召回上市產(chǎn)品。

總體來(lái)說(shuō)，我國(guó)對(duì)于醫(yī)療AI監(jiān)管的法律框架已經(jīng)基本具備。

3.2 我國(guó)醫(yī)療AI安全保障法律機(jī)制的待改進(jìn)之處

3.2.1 明確醫(yī)療AI的范圍

盡管我國(guó)已經(jīng)在《醫(yī)療器械分類目錄》中對(duì)醫(yī)療AI的范圍和分類進(jìn)行了基本界定，然而“輔助診斷”和“明確診斷提示”的邊界并不清晰，在實(shí)際注冊(cè)和評(píng)審過(guò)程當(dāng)中難以準(zhǔn)確判斷。相比較而言，美國(guó)FDA在《21世紀(jì)治愈法》中，采取反面排除的規(guī)定，將與疾病診斷、治愈、緩解、預(yù)防和治療無(wú)關(guān)的軟件排除出了“醫(yī)療器械”的范圍[38]。之后，美國(guó)FDA又發(fā)布了《臨床決策軟件指南草案》[39]，其中規(guī)定，需要首先判斷軟件是否：（a）獲取、處理分析來(lái)自體外的診斷信號(hào)；（b）旨在顯示、分析或打印患者醫(yī)療信息或其他醫(yī)療信息；（c）旨在支持醫(yī)護(hù)人員或向醫(yī)護(hù)人員提供有關(guān)預(yù)防、診斷或治療疾病或病癥的建議。在滿足上述（a）（b）（c）三項(xiàng)條件的前提下，F(xiàn)DA再根據(jù)（d）項(xiàng)條件判斷使用者是否依賴軟件。在醫(yī)療器械的范圍內(nèi)，F(xiàn)DA表示對(duì)危險(xiǎn)系數(shù)較低的臨床決策支持軟件并不進(jìn)行監(jiān)管，例如執(zhí)行常規(guī)臨床實(shí)踐計(jì)算的臨床決策支持軟件。而對(duì)危險(xiǎn)系數(shù)較大的則會(huì)重點(diǎn)監(jiān)管，例如通過(guò)分析睡眠呼吸暫停監(jiān)測(cè)儀監(jiān)測(cè)到的呼吸模式來(lái)診斷睡眠呼吸暫停的軟件，以及用于診斷腦血腫的和分析近紅外照相機(jī)信號(hào)的軟件等[14]。通過(guò)綜合運(yùn)用正反面的標(biāo)準(zhǔn)，F(xiàn)DA將對(duì)患者健康影響最大的部分納入監(jiān)管范圍，這種靈活定義既減輕了監(jiān)管壓力，又給予了醫(yī)療器械充足的創(chuàng)新空間，值得借鑒。

此外，我國(guó)相關(guān)制度中未明確必須作為醫(yī)療器械注冊(cè)的醫(yī)療AI的范圍。由于并非所有的醫(yī)療AI應(yīng)用都屬于醫(yī)療器械，對(duì)于屬于醫(yī)療器械的產(chǎn)品，自然可以適用現(xiàn)行的醫(yī)療器械管理制度，并為其進(jìn)一步構(gòu)建詳細(xì)注冊(cè)標(biāo)準(zhǔn)。然而，由于《醫(yī)療器械注冊(cè)管理辦法》和《醫(yī)療器械分類規(guī)則》中未明確醫(yī)療AI應(yīng)用作為醫(yī)療器械的范圍，部分性質(zhì)不明的醫(yī)療AI應(yīng)用，如醫(yī)院管理軟件或移動(dòng)醫(yī)療健康軟件可能落入監(jiān)管盲區(qū)。其中，對(duì)于以移動(dòng)設(shè)備app形式提供的醫(yī)療AI應(yīng)用，美國(guó)FDA的做法可供參考。在FDA發(fā)布的《移動(dòng)醫(yī)療應(yīng)用指南》中，F(xiàn)DA認(rèn)為，如果某個(gè)移動(dòng)醫(yī)療應(yīng)用被視為一種“已受監(jiān)督的醫(yī)療設(shè)備”的附件，或者將移動(dòng)平臺(tái)轉(zhuǎn)變?yōu)椤耙咽鼙O(jiān)督的醫(yī)療設(shè)備”，那么這個(gè)應(yīng)用就會(huì)受到FDA的監(jiān)管[40]。

另外，還有一部分醫(yī)療AI的應(yīng)用，如AI制藥應(yīng)用，AI主要在藥物設(shè)計(jì)環(huán)節(jié)發(fā)揮作用，即通過(guò)AI縮短設(shè)計(jì)、合成和實(shí)驗(yàn)的周期，藥品的臨床試驗(yàn)和上市仍然需要按照《藥品管理法》審評(píng)注冊(cè)，這種AI幾乎不會(huì)對(duì)患者的權(quán)利產(chǎn)生任何影響，因此暫時(shí)沒(méi)有必要納入監(jiān)管的范圍。

3.2.2 針對(duì)醫(yī)療AI的特殊性完善其注冊(cè)和后續(xù)監(jiān)管的制度

1）倫理審查

醫(yī)療AI與傳統(tǒng)的醫(yī)療器械不同，很多醫(yī)療AI的研發(fā)企業(yè)是信息技術(shù)企業(yè)，并不具備與醫(yī)療器械倫理審查相關(guān)的資質(zhì)與條件。2017年10月，中共中央辦公廳和國(guó)務(wù)院辦公廳印發(fā)了《關(guān)于深化審評(píng)審批制度改革鼓勵(lì)藥品醫(yī)療器械創(chuàng)新的意見》，明確要完善倫理委員會(huì)機(jī)制，提高倫理審查效率，其中一項(xiàng)重點(diǎn)內(nèi)容是，各地可根據(jù)需要設(shè)立區(qū)域倫理委員會(huì)，指導(dǎo)臨床試驗(yàn)機(jī)構(gòu)的倫理審查工作，可接受不具備倫理審查條件的機(jī)構(gòu)或注冊(cè)申請(qǐng)人委托對(duì)臨床試驗(yàn)方案進(jìn)行倫理審查。目前，上海、山東、廣東和深圳等省市已經(jīng)成立了區(qū)域倫理委員會(huì)。

區(qū)域倫理委員會(huì)的設(shè)立為不具備倫理審查條件的人工智能企業(yè)提供了進(jìn)行倫理審查的渠道，但還存在一些問(wèn)題。一方面，目前的倫理審查制度是從受試者角度出發(fā)的，關(guān)注的主要是受試者的權(quán)益和研究人員的資格等，在醫(yī)療AI產(chǎn)品的注冊(cè)過(guò)程中，并未對(duì)醫(yī)療AI產(chǎn)品本身所實(shí)現(xiàn)的效果進(jìn)行審查。另一方面，區(qū)域倫理委員會(huì)中缺乏人工智能領(lǐng)域的專業(yè)學(xué)者，例如上海市臨床研究倫理委員會(huì)的46位委員和專家中，并無(wú)人工智能行業(yè)的相關(guān)從業(yè)者，這使得區(qū)域倫理委員會(huì)可能對(duì)醫(yī)療AI的審查缺乏專業(yè)性。

2）數(shù)據(jù)算法評(píng)價(jià)制度

對(duì)數(shù)據(jù)和算法的審查評(píng)價(jià)是保證醫(yī)療AI應(yīng)用輸出結(jié)果準(zhǔn)確和有效的最關(guān)鍵環(huán)節(jié)?！渡疃葘W(xué)習(xí)輔助決策醫(yī)療器械軟件審評(píng)要點(diǎn)》要求著重考慮相關(guān)算法的特點(diǎn)，將軟件的數(shù)據(jù)質(zhì)量控制、算法泛化能力和臨床使用風(fēng)險(xiǎn)全面納入審評(píng)范圍，并保持持續(xù)監(jiān)管。

需要注意的是，審評(píng)要點(diǎn)采用的是針對(duì)軟件的評(píng)審思路與流程，基于風(fēng)險(xiǎn)的全生命周期管理方法考慮軟件技術(shù)審評(píng)要求，包括需求分析、數(shù)據(jù)收集、算法設(shè)計(jì)、驗(yàn)證與確認(rèn)以及軟件更新等內(nèi)容，涵蓋算法性能評(píng)估、臨床評(píng)價(jià)以及網(wǎng)絡(luò)與數(shù)據(jù)安全等要求。然而，對(duì)于醫(yī)療AI與醫(yī)療本身的結(jié)合程度，以及相關(guān)倫理原則和價(jià)值觀在算法中的體現(xiàn)等問(wèn)題，還有待改進(jìn)的空間。

3）網(wǎng)絡(luò)安全評(píng)價(jià)制度

醫(yī)療器械網(wǎng)絡(luò)安全是醫(yī)療器械安全性和有效性的重要組成部分之一[41]。2019年網(wǎng)信辦安全中心在測(cè)評(píng)中發(fā)現(xiàn)，我國(guó)目前醫(yī)療器械存在較多安全隱患且無(wú)法得到及時(shí)修復(fù)；廠商在設(shè)計(jì)時(shí)沒(méi)有考慮相應(yīng)的安全性問(wèn)題，而安全性提高需要得到醫(yī)院等醫(yī)療機(jī)構(gòu)的配合。我國(guó)國(guó)家藥品監(jiān)督管理局醫(yī)療器械技術(shù)評(píng)審中心在2017年發(fā)布了《醫(yī)療器械網(wǎng)絡(luò)安全注冊(cè)技術(shù)審查指導(dǎo)原則》。國(guó)家藥品監(jiān)督管理局于2018年10月18日發(fā)布了新版《醫(yī)療器械網(wǎng)絡(luò)安全管理上市前申報(bào)指南》草案征求公眾意見。相較于2014年版的指南，修訂后的指南草案納入了新建議：將醫(yī)療器械網(wǎng)絡(luò)安全風(fēng)險(xiǎn)層級(jí)分為“高網(wǎng)絡(luò)安全風(fēng)險(xiǎn)”和“標(biāo)準(zhǔn)網(wǎng)絡(luò)安全風(fēng)險(xiǎn)”，并引入了網(wǎng)絡(luò)安全物料清單（CBOM）的概念[42]。另外，在2019年的測(cè)評(píng)中，網(wǎng)信辦安全中心捕獲了大量的明文健康數(shù)據(jù)，這表明大部分醫(yī)療器械制造商均未考慮健康數(shù)據(jù)傳輸過(guò)程中的保密性問(wèn)題，也反映出國(guó)內(nèi)醫(yī)療器械廠商的信息安全意識(shí)不足。

因此，醫(yī)療AI產(chǎn)品的信息安全性受兩方面因素影響，一是應(yīng)用廠商設(shè)計(jì)時(shí)是否充分考慮到系統(tǒng)信息安全性，二是醫(yī)療機(jī)構(gòu)使用時(shí)是否充分維護(hù)網(wǎng)絡(luò)安全。為此，我國(guó)需要從應(yīng)用上市前的審批和投入運(yùn)行后的監(jiān)管兩方面強(qiáng)化來(lái)確保醫(yī)療AI應(yīng)用的信息安全。

3.3 醫(yī)療AI應(yīng)用的上市后監(jiān)管

醫(yī)療AI應(yīng)用上市后的監(jiān)管涉及三個(gè)問(wèn)題：一是不良事件監(jiān)測(cè)與召回的問(wèn)題；二是軟件更新的問(wèn)題；三是設(shè)備培訓(xùn)問(wèn)題。

在不良事件監(jiān)測(cè)與召回方面，鑒于醫(yī)療AI目前的定位是輔助工具，醫(yī)療AI導(dǎo)致的不良事件是不容易從實(shí)際病例中被分離和發(fā)現(xiàn)的，監(jiān)管機(jī)構(gòu)需要進(jìn)一步研究和確定其不良事件監(jiān)測(cè)的方法和判定標(biāo)準(zhǔn)。

在軟件更新方面，《深度學(xué)習(xí)輔助決策醫(yī)療器械軟件審評(píng)要點(diǎn)》明確軟件版本命名規(guī)則應(yīng)涵蓋算法驅(qū)動(dòng)型和數(shù)據(jù)驅(qū)動(dòng)型軟件更新，并應(yīng)列舉重大軟件更新的全部典型情況。輕微數(shù)據(jù)驅(qū)動(dòng)型軟件更新可通過(guò)質(zhì)量管理體系控制，無(wú)需申請(qǐng)注冊(cè)變更。但是這一界定是否會(huì)對(duì)患者的安全有實(shí)質(zhì)性的影響，還需要再觀察一段時(shí)間才能確定。

在設(shè)備培訓(xùn)方面，醫(yī)療AI目前還是輔助工具，如何正確地使用醫(yī)療AI工具是事關(guān)患者安全的重要因素，需要在立法規(guī)范的層面予以關(guān)注，并加大其強(qiáng)制性監(jiān)管力度。

4 結(jié)語(yǔ)

醫(yī)療AI與軟件醫(yī)療器械的最大區(qū)別在于，AI涉及從現(xiàn)有數(shù)據(jù)中學(xué)習(xí)并優(yōu)化算法。對(duì)醫(yī)療AI監(jiān)管的目標(biāo)，是在保證安全的基礎(chǔ)上構(gòu)建患者和臨床醫(yī)生對(duì)醫(yī)療AI的信任，從而使醫(yī)療AI能夠更好地為改善社會(huì)醫(yī)療保健提供支撐。倫理的規(guī)則在其中非常重要，因?yàn)榉刹荒芙鉀Q所有問(wèn)題。正如風(fēng)險(xiǎn)社會(huì)理論的創(chuàng)立者貝克所說(shuō)，“法律制度的價(jià)值和意義就在于規(guī)范和追尋技術(shù)上的可以管理的，哪怕是可能性很小或影響范圍很小的風(fēng)險(xiǎn)和災(zāi)難的每一個(gè)細(xì)節(jié)”[43]。在醫(yī)療AI的監(jiān)管過(guò)程中，法律制度的主要目的是幫助倫理的規(guī)范并保障倫理審查程序的實(shí)施，確保每一個(gè)患者與受試者的安全、健康和最大利益。

[1] 國(guó)務(wù)院關(guān)于印發(fā)新一代人工智能發(fā)展規(guī)劃的通知（國(guó)發(fā)〔2017〕35號(hào)）[EB/OL]. (2017-07-08) [2020-03-20] http://www.gov.cn/zhengce/content/2017-07/20/content_5211996.htm.

[2] Accnture. Artificial Intelligence: Healthcare’s New Nervous System [EB/OL]. ([2020-03-20] https://www.accenture. com/fi-en/insight-artificial-intelligence-healthcare.

[3] Topol E J. High-performance medicine: the convergence of human and artificial intelligence[J]. Nat Med, 2019, 25(1): 44-56.

[4] 國(guó)家藥品監(jiān)督管理局. 冠脈血流儲(chǔ)備分?jǐn)?shù)計(jì)算軟件產(chǎn)品獲批上市[EB/OL]. (2020-01-15) [2020-03-20] http:// www.nmpa.gov.cn/WS04/CL2056/373503.html.

[5] 中華人民共和國(guó)基本醫(yī)療衛(wèi)生與健康促進(jìn)法[EB/OL]. (2019-12-19) [2020-03-20] http://www.gov.cn/xinwen/ 2019-12/29/content_5464861.htm.

[6] 王海星, 田雪晴, 游 茂. 人工智能在醫(yī)療領(lǐng)域應(yīng)用現(xiàn)狀、問(wèn)題及建議[J]. 衛(wèi)生軟科學(xué), 2018, 32(5): 3-5, 9.

[7] 包桉冰, 徐 佩. 醫(yī)療人工智能的倫理風(fēng)險(xiǎn)及應(yīng)對(duì)策略[J]. 醫(yī)學(xué)與哲學(xué)(A), 2018, 39(6): 37-40.

[8] 周吉銀, 劉 丹, 曾圣雅. 人工智能在醫(yī)療領(lǐng)域中應(yīng)用的挑戰(zhàn)與對(duì)策[J]. 中國(guó)醫(yī)學(xué)倫理學(xué), 2019, 32(3): 281-286.

[9] 曹艷林, 王將軍. 人工智能醫(yī)療應(yīng)用及面臨的主要法律問(wèn)題[J]. 網(wǎng)絡(luò)信息法學(xué)研究, 2019, (1): 85-103, 334-335.

[10] 劉建利. 醫(yī)療人工智能臨床應(yīng)用的法律挑戰(zhàn)及應(yīng)對(duì)[J]. 東方法學(xué), 2019, (5): 133-139.

[11] 孔 鳴, 何前鋒, 李蘭娟. 人工智能輔助診療發(fā)展現(xiàn)狀與戰(zhàn)略研究[J]. 中國(guó)工程科學(xué), 2018, 20(2): 86-91.

[12] Commission H-LEGOAISUBTE. Ethics guidelines for trustworthy AI[EB/OL]. ([2020-03-20] https://ec. europa.eu/newsroom/dae/document.cfm?doc_id=60419.

[13] 焦李成, 楊淑媛, 劉 芳. 神經(jīng)網(wǎng)絡(luò)七十年: 回顧與展望[J]. 計(jì)算機(jī)學(xué)報(bào), 2016, 39(8): 1697-1716.

[14] 孟春婷, 李玲旭, 刑 沖. 醫(yī)療人工智能產(chǎn)業(yè)監(jiān)管及法律研究[R]. 北京: 騰訊法務(wù), 2019.

[15] 上海交通大學(xué)人工智能研究院, 上海市衛(wèi)生和健康發(fā)展中心, 上海交通大學(xué)醫(yī)學(xué)院. 中國(guó)人工智能醫(yī)療白皮書[EB/OL]. (2019-01-09) [2020-03-20] http://www. cbdio. com/image/site2/20190306/f42853157e261de9c 8ff57.pdf.

[16] Cristea I A, Cahan E M, Ioannidis J P A. Stealth research: Lack of peer-reviewed evidence from healthcare unicorns[J]. Eur J Clin Invest, 2019, 49(4): e13072.

[17] 張 立. 人工智能是福是禍？——專訪聯(lián)合國(guó)人工智能和機(jī)器人中心高級(jí)戰(zhàn)略顧問(wèn)貝里澤[EB/OL]. ([2020- 03-20] https://news.un.org/zh/story/2018/07/1013 231.

[18] Char D S, Shah N H, Magnus D. Implementing Machine Learning in Health Care - Addressing Ethical Challenges[J]. N Engl J Med, 2018, 378(11): 981-983.

[19] Rajkomar A, Dean J, Kohane I. Machine Learning in Medicine[J]. N Engl J Med, 2019, 380(14): 1347-1358.

[20] Ronquillo J G, Zuckerman D M. Software-Related Recalls of Health Information Technology and Other Medical Devices: Implications for FDA Regulation of Digital Health[J]. Milbank Q, 2017, 95(3): 535-553.

[21] AMA. Proposed Regulatory Framework for Modifications to Artificial Intelligence/Machine Learning (AI/ML)- Based Software as a Medical Device (SaMD), Discussion Paper and Request for Feedback[EB/OL]. (2019-06-03) [2020-03-20] https://searchlf.ama-assn.org/undefined/docu- ment-Download?uri=%2Funstructured%2Fbinary%2Fletter%2FLETTERS%2F2019-6-3-Letter-to-Sh-arpless-re-FDA-AI-MIL. pdf.

[22] Obermeyer Z, Powers B, Vogeli C. Dissecting racial bias in an algorithm used to manage the health of populations[J]. Science, 2019, 366(6464): 447-453.

[23] Pear R. Report Finds Most Errors at Hospitals Go Unreported[EB/OL]. ([2020-03-20] https://www.nytimes.com/ 2012/01/06/health/study-of-medicare-patients-finds-most-hospital-errors-unreported.html.

[24] Arxiv E T F T. Security Experts Hack Teleoperated Surgical Robot[EB/OL]. (2015-04-25) [2020-03-20] https: // www.technologyreview.com/s/537001/security-experts- hack-teleoperated-surgical-robot/.

[25] Fuentes M R. Cybercrime and other threats faced by the healthcare industry[J]. Trend Micro, 2017.

[26] Team MRFF-LTRF. Cybercrime and Other Threats Faced by the Healthcare Industry[EB/OL]. ([2020-03-20] https://documents.trendmicro.com/assets/wp/wp-cybercrime-and-other-threats-faced-by-the-healthcare-industry. pdf.

[27] Beauchamp T L, CHILDRESS J F. Principles of biomedical ethics[M]. USA: Oxford University Press, 2001.

[28] 楊國(guó)斌. 現(xiàn)代醫(yī)學(xué)倫理學(xué)面臨的新挑戰(zhàn)[J]. 醫(yī)學(xué)研究生學(xué)報(bào), 2012, 25(2): 113-118.

[29] Care IFPAFC. Patient- and family-centered care is working “with” patients and families, rather than just doing “to” or “for” them[EB/OL]. ([2020-03-20] https://www.ipfcc. org/ about/pfcc.html.

[30] Esposito J. Commentary: Artificial Intelligence in Health Care Is Just What the Doctor Ordered[EB/OL]. ([2020-03-20] https://www.usnews.com/news/healthcare- of-tomorrow/articles/2018-07-06/commentary-artificial-intelligence-in-health-care-is-just-what-the-doctor-ordered.

[31] Lyell D, Magrabi F, Raban M Z. Automation bias in electronic prescribing[J]. BMC Med Inform Decis Mak, 2017, 17(1): 28.

[32] Wilde G J. Risk homeostasis theory: an overview[J]. Injury prevention, 1998, 4(2): 89-91.

[33] Sanghera I S, Franklin B D, Dhillon S. The attitudes and beliefs of healthcare professionals on the causes and reporting of medication errors in a UK Intensive care unit[J]. Anaesthesia, 2007, 62(1): 53-61.

[34] Technologies EGOEISAN. Statement on Artificial Intelligence, Robotics and ‘Autonomous’ Systems[EB/OL]. ( 9 March 2018) [2020-03-20] http://ec.europa.eu/research/ ege/pdf/ege_ai_statement_2018.pdf.

[35] Terry N P. Appification, AI, and healthcare’s new iron triangle [J]. J. Health Care L. & Pol’y, 2017, 20: 117.

[36] Rajkomar A, Hardt M, Howell M D. Ensuring fairness in machine learning to advance health equity[J]. Annals of internal medicine, 2018, 169(12): 866-872.

[37] 食品藥品監(jiān)管總局. 總局關(guān)于發(fā)布醫(yī)療器械分類目錄的公告（2017年第104號(hào)） [M].

[38] 21st Century Cures Act. 114 - 255 Pub. L. 114-255[R], Section 3060.

[39] FDA. Clinical Decision Support Software Draft Guidance for Industry and Food and Drug Administration Staff[EB/OL]. ([2020-03-20] Clinical Decision Support Software Draft Guidance for Industry and Food and Drug Administration Staff.

[40] FDA. Policy for Device Software Functions and Mobile Medical Applications Guidance for Industry and Food and Drug Administration Staff[EB/OL]. (September 27, 2019) [2020-03-20] https://www.fda.gov/media/80958/ download.

[41] 國(guó)家藥品監(jiān)督管理局醫(yī)療器械技術(shù)審評(píng)中心. 醫(yī)療器械網(wǎng)絡(luò)安全注冊(cè)技術(shù)審查指導(dǎo)原則[EB/OL]. (2017-03- 28) [2020-03-20] https://www.cmde.org.cn/ directory/web/ WS01/images/0r3Bxsb30LXN+MLnsLLIq9eisuG8vMr1yfO y6da4tbzUrdTyo6gyMDE3xOq12jEzusWjqS5kb2N4. docx.

[42] FDA. Content of Premarket Submissions for Management of Cybersecurity in Medical Devices Draft Guidance for Industry and Food and Drug Administration Staff[EB/OL]. (October 18, 2018.) [2020-03-20] https://www.fda.gov/ media/119933/download.

[43] 烏爾里?！へ惪? 王武龍. 從工業(yè)社會(huì)到風(fēng)險(xiǎn)社會(huì)(上篇)——關(guān)于人類生存、社會(huì)結(jié)構(gòu)和生態(tài)啟蒙等問(wèn)題的思考[J]. 馬克思主義與現(xiàn)實(shí), 2003, (3): 39.

Ethical and Legal Protection Mechanisms for Security Risks of Medical Artificial Intelligence

Wang Yue, Dai Haiyang

(School of Law, Xi’an Jiaotong University, Xi’an 710049, China)

Artificial intelligence (AI) is rapidly developing and being applied in the medical field, bringing new opportunities and hopes to medical professionals and patients. However, as the objects of medical AI are humans, an AI application can pose a direct threat to the health of patients and human subjects; moreover, the potential security risks from data and algorithm defects, system flaws, or defects are particularly prominent. Therefore, in addition to the widely accepted ethical principles for AI, medical AI should also emphasize an ethical guarantee mechanism centered on patients and subjects, create reasonable human-computer interactions, and maintain continuous evaluation. In addition, the current medical AI should be regulated under a legal regulatory framework to further clearly define the scope of medical AI, aiming at the particularity of medical AI for improving registration and follow-up supervision systems. This will help ensure safety, based on building the trust of patients and clinicians in regard to medical AI. In such cases, medical AI can improve social health care conditions, and protect the security and welfare of the largest number of patients and human subjects.

medical artificial intelligence; medical ethics; medical damage; medical data

D90；R-02

A

1674-4969(2020)03-0241-11

10.3724/SP.J.1224.2020.00241

2020–03–20;

2020–05–06

王 玥（1983–），女，博士，副教授，研究方向?yàn)榫W(wǎng)絡(luò)與信息安全法、醫(yī)療法律與倫理。E-mail：wangyue2011@xjtu. edu.cn（通訊作者）

戴海洋（1997–），男，碩士研究生（在讀），研究方向?yàn)榫W(wǎng)絡(luò)與信息安全法。