耿雯倩，朱 萬，馬 磊

(上海市第一人民醫(yī)院科研處，上海 200080)

1 人工智能醫(yī)療器械的定義、分類

人工智能是研究、開發(fā)用于模擬、延伸和擴(kuò)展人的智能理論、方法、技術(shù)及應(yīng)用系統(tǒng)的一門技術(shù)科學(xué)，而人工智能醫(yī)療器械是采用人工智能技術(shù)實(shí)現(xiàn)醫(yī)療用途的醫(yī)療器械[1-2]。在用途的分類方面，如通過人工智能技術(shù)能夠?qū)崿F(xiàn)接收、傳輸、顯示、存儲醫(yī)學(xué)數(shù)據(jù)和信息供臨床診療使用或通過人工智能技術(shù)應(yīng)用于某些心理疾病的輔助診療等都屬于醫(yī)療用途，而如一些智能手表和運(yùn)動健康軟件僅顯示人體健康數(shù)據(jù)，不進(jìn)行輔助診斷治療則不屬于醫(yī)療用途，因此也不屬于人工智能醫(yī)療器械。人工智能醫(yī)療器械從不同角度存在多種分類。從醫(yī)療器械軟件角度，可分為人工智能獨(dú)立軟件和人工智能軟件組件；從用途角度分類，又分為輔助決策類和非輔助決策類；從功能角度可分為處理功能、控制功能、安全功能；從監(jiān)管角度出發(fā)，管理類別主要基于風(fēng)險水平進(jìn)行判定，根據(jù)算法在醫(yī)療應(yīng)用中的成熟度的高低及用途來決定按照第二類還是第三類醫(yī)療器械管理[3]。

2 人工智能醫(yī)療器械臨床研究的法規(guī)及倫理審查現(xiàn)狀

2.1 國內(nèi)現(xiàn)狀

國內(nèi)人工智能醫(yī)療器械市場規(guī)模從2019年的1.25億元增長至2020年的2.92億元，同比增長134%，預(yù)計2022年將繼續(xù)大幅增長，達(dá)到11.56億元[4]。臨床試驗(yàn)是驗(yàn)證醫(yī)療器械上市前安全性和有效性的核心方法之一,也是影響注冊審批速度的關(guān)鍵環(huán)節(jié),臨床試驗(yàn)的高質(zhì)量和規(guī)范化進(jìn)展是人工智能醫(yī)療器械能否成功注冊上市的重要前提。除申辦方發(fā)起的人工智能醫(yī)療的臨床試驗(yàn)以外，研究者發(fā)起的人工智能醫(yī)療器械的臨床研究同樣也是構(gòu)建開放協(xié)同共享的人工智能醫(yī)療器械創(chuàng)新體系的重要環(huán)節(jié)之一。2017年7月，國務(wù)院發(fā)布的《新一代人工智能發(fā)展規(guī)劃》指出，到2025年，我國要初步建立人工智能法律法規(guī)、倫理規(guī)范和政策體系，形成人工智能安全評估和管控能力，到2030年要建成更加完善的人工智能法律法規(guī)、倫理規(guī)范和政策體系。2019年，我國成立人工智能醫(yī)療器械創(chuàng)新合作平臺，加強(qiáng)對人工智能醫(yī)療器械的監(jiān)管，同時不斷完善相關(guān)法律制度建設(shè)，為人工智能醫(yī)療器械上市前臨床研究和最終順利注冊上市保駕護(hù)航。國家藥監(jiān)局醫(yī)療器械技術(shù)審評中心在2019年、2021年和2022年分別頒布《深度學(xué)習(xí)輔助決策醫(yī)療器械軟件審評要點(diǎn)》《人工智能醫(yī)用軟件產(chǎn)品分類界定指導(dǎo)原則》和《人工智能醫(yī)療器械注冊審查指導(dǎo)原則》以進(jìn)一步加強(qiáng)人工智能醫(yī)用軟件類產(chǎn)品監(jiān)督管理,推動產(chǎn)業(yè)高質(zhì)量發(fā)展。在人工智能醫(yī)療器械倫理審查方面，我國暫未出臺專門的審查指導(dǎo)原則，但在2019年，國家新一代人工智能治理專業(yè)委員會發(fā)布了《新一代人工智能倫理規(guī)范》，旨在將倫理道德融入人工智能全生命周期，為從事人工智能相關(guān)活動的自然人、法人和其他相關(guān)機(jī)構(gòu)等提供倫理指引。

2.2 國外現(xiàn)狀

美國、英國、日本、歐盟等在內(nèi)的多個國家和地區(qū)都在國家戰(zhàn)略層面提出人工智能的倫理原則和審查規(guī)范及指南。美國出臺《國家人工智能研究和發(fā)展戰(zhàn)略計劃》，其中就包含理解并解決人工智能的倫理問題；歐盟出臺《歐盟人工智能》，將確立合適的倫理和法律框架作為三大戰(zhàn)略重點(diǎn)之一，同時發(fā)布《人工智能倫理：問題和倡議》，探討人工智能應(yīng)用引發(fā)的主要倫理困境和道德問題并提出新興倫理倡議；英國也成立了數(shù)據(jù)倫理和創(chuàng)新中心，確保數(shù)據(jù)的安全、創(chuàng)新性應(yīng)用及符合倫理規(guī)范；日本起草了人工智能倫理綱要。建立科學(xué)、完善、規(guī)范以及全流程覆蓋的倫理審查對于規(guī)范人工智能產(chǎn)品管理、保障其臨床試驗(yàn)及未來上市后產(chǎn)品的診療治療、維護(hù)受試者權(quán)益具有重要意義[5-7]。這些國家和地區(qū)對人工智能的倫理原則和審查規(guī)范及指南制定較為完善，具有借鑒價值。

3 人工智能醫(yī)療器械臨床研究的特征要素

人工智能醫(yī)療器械臨床研究作為前沿的臨床研究方向，對其倫理審查的根本目的就是為了保護(hù)受試者權(quán)益。關(guān)注臨床研究的科學(xué)性和倫理性，是倫理審查主要考慮的兩個角度。

3.1 臨床研究的科學(xué)性

3.1.1 臨床研究目的

一項臨床研究的目的決定了臨床研究各設(shè)計要素，包括主要評價指標(biāo)、試驗(yàn)設(shè)計類型、對照試驗(yàn)的比較類型及臨床研究樣本量。人工智能醫(yī)療器械臨床研究的科學(xué)開展不僅需要研究前的研發(fā)成本，也要大量的臨床數(shù)據(jù)收集和支撐，是否具有開展的重大意義需要設(shè)定明確、具體的研究目的。在具體的倫理審查過程中，需要關(guān)注此項臨床研究是否有實(shí)際臨床應(yīng)用意義，針對注冊類的臨床試驗(yàn)更要關(guān)注在未來此項產(chǎn)品上市后是否可滿足臨床使用的需要，能否實(shí)現(xiàn)降低醫(yī)療負(fù)擔(dān)，提升醫(yī)療質(zhì)量。

3.1.2 臨床研究方法

人工智能醫(yī)療器械臨床研究方法是否科學(xué)決定了這項臨床研究能否取得可信、準(zhǔn)確的研究結(jié)果。在倫理審查中，需要關(guān)注研究設(shè)計是否合理，是否根據(jù)醫(yī)療器械的預(yù)期用途、適用人群、使用場景和核心功能來設(shè)計入選標(biāo)準(zhǔn)、排除標(biāo)準(zhǔn)及主要評價指標(biāo)。

3.1.3 臨床研究的風(fēng)險與獲益

目前已經(jīng)批準(zhǔn)上市的人工智能醫(yī)療器械具有準(zhǔn)確、快速、高效、安全等優(yōu)點(diǎn)，但無論是研究者發(fā)起的涉及人工智能醫(yī)療器械的觀察研究，利用已上市的人工智能醫(yī)療器械開展的干預(yù)研究，還是未上市的人工智能醫(yī)療器械注冊類臨床試驗(yàn)，其受試者仍然需要承擔(dān)一定的風(fēng)險。因此，當(dāng)受試者承擔(dān)風(fēng)險的同時能有哪方面的獲益以及獲益的程度尤為重要，獲益/風(fēng)險比也是倫理審查的核心要素。人工智能醫(yī)療器械臨床研究的風(fēng)險包括專業(yè)技術(shù)風(fēng)險和信息保護(hù)風(fēng)險。當(dāng)人工智能診斷類軟件評判出假陽性和假陰性的結(jié)果導(dǎo)致受試者出現(xiàn)病情漏診或誤診，由于算法偏見和算法歧視導(dǎo)致人工智能醫(yī)療器械診斷或者治療出現(xiàn)偏差，由于算法更新、軟件迭代導(dǎo)致受試者不能及時得知疾病診斷或治療的最新進(jìn)展，這些都屬于專業(yè)技術(shù)風(fēng)險。而受試者參加人工智能醫(yī)療器械臨床研究后，相關(guān)的醫(yī)療信息、健康數(shù)據(jù)以及受試者個人的隱私泄露則屬于信息保護(hù)風(fēng)險。倫理審查過程中需關(guān)注人工智能醫(yī)療器械所依據(jù)的醫(yī)療數(shù)據(jù)庫是否具有代表性以及是否符合相應(yīng)要求。來源于單中心的數(shù)據(jù)魯棒性(普遍適用性)一直受到質(zhì)疑，因此，數(shù)據(jù)庫來源于多中心并具有廣泛代表性的人工智能醫(yī)療器械才可能具備較高的普適性。另外，數(shù)據(jù)庫建設(shè)時是否建立數(shù)據(jù)庫采集操作規(guī)范，采集設(shè)備、采集過程、數(shù)據(jù)脫敏是否符合質(zhì)控要求[8-9]，數(shù)據(jù)處理過程中數(shù)據(jù)清洗和預(yù)處理是否符合質(zhì)控要求，有無明確的規(guī)則方法，數(shù)據(jù)標(biāo)準(zhǔn)中有無標(biāo)準(zhǔn)操作規(guī)范；篩選數(shù)據(jù)時保持前后的一致性來避免選擇偏移導(dǎo)致未來算法的偏見，算法設(shè)計是否合理及具有可解釋性，是否有完善的網(wǎng)絡(luò)安全防護(hù)體系和隱私保護(hù)的關(guān)鍵技術(shù)，如訪問控制技術(shù)、數(shù)據(jù)顯示限制技術(shù)、數(shù)據(jù)加密技術(shù)、數(shù)據(jù)使用共享限制技術(shù)來保護(hù)受試者隱私，是否有明確的數(shù)據(jù)脫敏工具及使用規(guī)則[10-11]，這些都需要倫理委員會的關(guān)注。在試驗(yàn)獲益方面，受試者因參加臨床研究得到更為精準(zhǔn)的診斷，避免檢測差異及主觀差異，提高診斷及篩查的敏感性，或因參加臨床研究可能會更快發(fā)現(xiàn)異常情況，為疾病的及時治療爭取時間，或者可得到更為精準(zhǔn)和個性化的治療，這都是受試者可能的臨床獲益。倫理審查過程中不僅關(guān)注受試者因參加臨床研究可能的獲益和風(fēng)險，還要關(guān)注這樣的獲益/風(fēng)險比例是否恰當(dāng)，是否在受試者可接受的范圍內(nèi)。

3.1.4 軟件更新

人工智能是指機(jī)器表現(xiàn)出與人類智能相關(guān)行為的能力，通常是指通過感知周圍環(huán)境作出合理行動以達(dá)到預(yù)期目標(biāo)的計算機(jī)軟件或系統(tǒng)，因此人工智能醫(yī)療器械的軟件更新是倫理審查需要重點(diǎn)關(guān)注的要素。軟件更新是指在軟件生存周期全過程對軟件所做的任一修改，從結(jié)果角度看，可分為“重大更新”和“輕微更新”；從內(nèi)容角度看，可分為“增強(qiáng)類更新”和“糾正類更新”。針對注冊類的臨床研究，無論哪種更新，一旦劃分為重大更新，即影響到人工智能醫(yī)療器械安全性或有效性的更新，需要申請變更注冊。而從倫理審查的角度，無論是否是注冊類的研究，都需要對研究方案中軟件更新的范圍、內(nèi)容以及流程(尤其是重大更新)有無明確的規(guī)定及規(guī)范的程序進(jìn)行重點(diǎn)關(guān)注和審查。

3.1.5 研究人員資質(zhì)和研究基礎(chǔ)設(shè)施

在人工智能醫(yī)療器械臨床研究的倫理審查中，需要關(guān)注研究人員是否有資質(zhì)開展臨床研究，是否有人工智能醫(yī)療器械相關(guān)的實(shí)踐經(jīng)驗(yàn)，研究團(tuán)隊是否穩(wěn)定，技術(shù)和操作水平一致，以保證試驗(yàn)結(jié)果的穩(wěn)定性和可重復(fù)性。

3.2 臨床研究的倫理性

3.2.1 知情同意的語言、方式和程序

由于人工智能醫(yī)療器械較為專業(yè)，知情同意書是否能夠用通俗易懂的語言告知受試者醫(yī)療器械和試驗(yàn)程序的相關(guān)內(nèi)容。不同類型的人工智能醫(yī)療器械臨床研究有不同的知情同意的方式和程序。傳統(tǒng)意義上的知情同意的形式以書面簽署紙質(zhì)版知情同意書為主；而隨著信息化的不斷推進(jìn)，采用多元化電子媒體的電子系統(tǒng)和程序進(jìn)行電子知情同意也在快速發(fā)展中。目前，電子知情同意在國外以其便攜的獲取方式和可靠的存儲、追蹤隨訪途徑等優(yōu)勢獲得了很多良性反饋。將來，電子知情同意在人工智能醫(yī)療器械臨床研究中憑借其快速進(jìn)行知情信息交互與共享的優(yōu)點(diǎn)可以助力臨床研究的順利進(jìn)展[12]。有特定科研目的的人工智能醫(yī)療器械臨床研究必須有具體知情同意，在沒有具體項目支撐，僅是前期非特定科研目的收集臨床數(shù)據(jù)和信息的，則需要獲得受試者的具體知情同意或者泛知情同意，針對數(shù)據(jù)未來可能二次或多次挖掘時是否需要二次知情同意以及知情同意的撤回程序等，都是倫理審查過程中需要重點(diǎn)關(guān)注的要點(diǎn)。

3.2.2 人工智能醫(yī)療器械的透明度和可解釋性

在聯(lián)合國《人工智能倫理問題建議書》中將人工智能的可解釋性界定為“讓人工智能系統(tǒng)的結(jié)果可以理解并提供闡釋什么”，因此在人工智能醫(yī)療器械的臨床研究中，倫理審查需要關(guān)注是否將此項醫(yī)療器械的透明度和可解釋性闡述清楚，讓人工智能醫(yī)療器械及其系統(tǒng)的預(yù)測和行為更易于被人們理解，明確人工智能醫(yī)療器械的臨床研究向誰解釋，為什么解釋，何時解釋，如何解釋以及解釋的方法。在2019年和2021年歐盟委員會和歐洲議會和理事會發(fā)布的《人工智能道德準(zhǔn)則》和《關(guān)于人工智能的統(tǒng)一規(guī)則(人工智能法)并修正某些聯(lián)合立法行為》中明確了透明度是建立和維持公民對人工智能系統(tǒng)開發(fā)者和人工智能系統(tǒng)本身信任的關(guān)鍵，并規(guī)定高風(fēng)險AI系統(tǒng)的設(shè)計和開發(fā)方式應(yīng)足夠透明。倫理委員會需重點(diǎn)關(guān)注如果產(chǎn)品更新迭代后，對受試者本身病情的決策和治療是否有影響，是否有相應(yīng)的告知程序[13]。

3.2.3 受損害后的處理及賠償

受試者參加人工智能醫(yī)療器械的臨床研究，受到損害如疾病漏診或誤診，或治療產(chǎn)生偏差或失誤，如一些手術(shù)系統(tǒng)使外科手術(shù)未達(dá)到理想的手術(shù)效果，或者人工智能機(jī)器人導(dǎo)致手術(shù)失敗，有無明確的處理措施以及賠償方案，都需要重點(diǎn)關(guān)注。

3.2.4 受試者保護(hù)

在人工智能醫(yī)療器械臨床研究的倫理審查中，需要關(guān)注一些特殊情況及有無相應(yīng)的處理措施，如研究方案中有無說明可隨時中途退出；研究是否納入弱勢群體以及對弱勢群體的保護(hù)。目前人工智能醫(yī)療器械臨床研究的適應(yīng)證中有一些是針對部分弱勢群體，如罕見病患者、有精神疾病或心理疾病的患者，受試者因參加臨床研究受到損害時，是否有相應(yīng)的保護(hù)措施，這些都需要倫理審查時重點(diǎn)關(guān)注。

4 提升倫理審查質(zhì)量的策略和建議

通過以上對人工智能醫(yī)療器械臨床研究倫理審查難點(diǎn)的分析，倫理審查過程中存在很多關(guān)鍵點(diǎn)，其不僅影響臨床研究質(zhì)量，而且影響受試者的安全和權(quán)益。如何提升倫理審查質(zhì)量，為此類臨床研究的受試者保駕護(hù)航，是每一位倫理從業(yè)人員需要認(rèn)真考量的。筆者認(rèn)為從以下幾個方面著手，包括加強(qiáng)立法建設(shè)和監(jiān)管，加強(qiáng)倫理委員會能力建設(shè)，完善倫理審查制度和體系建設(shè)，拓展平臺建設(shè)，加強(qiáng)區(qū)域聯(lián)動，可在一定程度上提升人工智能醫(yī)療器械倫理審查質(zhì)量。

4.1 加強(qiáng)立法建設(shè)和監(jiān)管

目前，我國科技行業(yè)的倫理實(shí)現(xiàn)機(jī)制還有待完善，缺少健全的倫理審查、自律規(guī)范、行業(yè)標(biāo)準(zhǔn)等機(jī)制的約束，關(guān)于人工智能的倫理規(guī)范，僅有2021年國家新一代人工智能治理專業(yè)委員會發(fā)布的《新一代人工智能倫理規(guī)范》，旨在將倫理理念融入人工智能全生命周期，為從事人工智能相關(guān)活動的個人、組織和其他相關(guān)機(jī)構(gòu)提供倫理指引。關(guān)于人工智能醫(yī)療器械臨床研究仍然缺少相應(yīng)的法律法規(guī)，以及倫理審查專門的倫理審查指南和管理條例來應(yīng)對人工智能給人類帶來的挑戰(zhàn)和風(fēng)險。因此，應(yīng)加強(qiáng)立法建設(shè)，讓法律規(guī)范成為人工智能醫(yī)療器械研發(fā)的底線，讓審查指南和管理條例為倫理委員會的審查工作提供參照標(biāo)準(zhǔn)；行政部門應(yīng)加強(qiáng)人工智能醫(yī)療器械的監(jiān)管，促進(jìn)其規(guī)范、高效開展。

4.2 提升委員會專業(yè)審查能力

各醫(yī)療機(jī)構(gòu)可根據(jù)本機(jī)構(gòu)的情況建立人工智能倫理審查專業(yè)委員會，包含人工智能、大數(shù)據(jù)、信息安全保護(hù)、法學(xué)領(lǐng)域的委員和獨(dú)立顧問，或者在原本倫理委員會的架構(gòu)基礎(chǔ)之上，聘請人工智能領(lǐng)域的獨(dú)立顧問，以保證審查的專業(yè)性，確保人工智能醫(yī)療器械臨床研究的科學(xué)性和倫理性，在后續(xù)的跟蹤審查中也能監(jiān)督此項研究在大數(shù)據(jù)和信息保護(hù)等多個維度是否規(guī)范化實(shí)施。由于人工智能技術(shù)更新迭代較快，因此不定期對委員會進(jìn)行培訓(xùn)，更新委員會和工作人員的人工智能知識結(jié)構(gòu)，提升審查能力，也將為人工智能醫(yī)療器械流程研究的平穩(wěn)發(fā)展奠定穩(wěn)固的根基。

4.3 完善倫理審查制度

人工智能醫(yī)療器械的臨床研究與其他人體臨床研究有聯(lián)系也有區(qū)別，各醫(yī)療機(jī)構(gòu)的倫理委員會在本身已有的倫理審查制度中應(yīng)增加人工智能章節(jié)指引，為涉及人工智能臨床研究提供流程指引及問題答疑匯總，尤其對于研究者發(fā)起的人工智能的研究，包括科學(xué)的方案設(shè)計、合理的知情同意方式和程序的選擇，后續(xù)產(chǎn)品更新迭代后的最新消息告知等提出規(guī)范要求。

4.4 拓展平臺建設(shè)，加強(qiáng)區(qū)域聯(lián)動

人工智能醫(yī)療器械臨床研究往往需要大量數(shù)據(jù)作為“思考”和“決策”的基礎(chǔ)，當(dāng)產(chǎn)品處于臨床研究階段時更需要大量數(shù)據(jù)進(jìn)行“訓(xùn)練”和“驗(yàn)證”，從而保障運(yùn)行的可靠性和穩(wěn)定性。因此，從人工智能臨床前至臨床研究階段就加強(qiáng)倫理委員會的區(qū)域聯(lián)動，從篩選中心階段就開始加強(qiáng)聯(lián)系和互動，能在一定程度上加快整體的流程效率。

5 總結(jié)

目前醫(yī)療器械已進(jìn)入高速發(fā)展的階段，發(fā)展人工智能醫(yī)療器械已經(jīng)成為國家戰(zhàn)略行為，作為人工智能醫(yī)療器械臨床研究的重要參與方，倫理委員會要針對人工智能的特點(diǎn)和要素規(guī)范倫理審查過程，提高倫理審查能力，強(qiáng)化倫理委員會建設(shè)，進(jìn)行高效率、高質(zhì)量的審查，以促進(jìn)人工智能醫(yī)療器械臨床研究高效高速發(fā)展，促進(jìn)醫(yī)院為患者提供更為安全和便捷的醫(yī)療衛(wèi)生服務(wù)。