劉 丹，周吉銀

(陸軍軍醫(yī)大學第二附屬醫(yī)院國家藥物臨床試驗機構，重慶 400037，fairyfair@126.com)

隨著醫(yī)療信息化的快速發(fā)展，越來越多的企業(yè)投身于醫(yī)療大數(shù)據(jù)行業(yè)，注重將人工智能(Artificial Intelligence, AI)技術應用于醫(yī)療領域，從診斷、監(jiān)護、治療到康復，各細分領域都將開啟智能化時代。在深度學習日益風靡的高科技行業(yè)中，利用AI進行影像三維分割、病理圖像分析處理、藥物設計、個性化精準醫(yī)療等已日漸普及。同時，AI在生產(chǎn)和應用過程中引發(fā)的一系列倫理問題也受到各界學者的高度關注。

1 AI醫(yī)療器械發(fā)展動態(tài)

隨著醫(yī)療衛(wèi)生領域新產(chǎn)品、新技術的不斷出現(xiàn)，我國2002年頒布的《醫(yī)療器械分類目錄》已無法完全適應醫(yī)療器械的監(jiān)管工作和行業(yè)發(fā)展需要。原國家食品藥品監(jiān)督管理總局發(fā)布的新版《醫(yī)療器械分類目錄》于2018年8月1日起正式施行。其中特別新增了與AI輔助診斷相對應的類別，主要體現(xiàn)在對醫(yī)學影像與病理圖像的分析與處理上[1]。2018年11月19日，國家藥品監(jiān)督管理局醫(yī)療器械技術審評中心公開向境內(nèi)、外征集從事AI醫(yī)療器械產(chǎn)品的生產(chǎn)企業(yè)信息。2018年12月25日，在北京舉辦的“AI類醫(yī)療器械注冊申報公益培訓”公布了醫(yī)療AI領域三類器械審批要點及適用范圍，講解了醫(yī)療AI產(chǎn)品在審批過程中所面臨的軟件更新、數(shù)據(jù)庫、云計算服務、數(shù)據(jù)安全等問題。在本次會上，國家藥品監(jiān)督管理局細致地分析了影響醫(yī)療AI醫(yī)療器械審批的每個過程，對每個指標進行了詳細的講解。

目前，部分上市公司在國內(nèi)AI醫(yī)療器械發(fā)展方面進展迅速。其中，樂普醫(yī)療心血管疾病AI診斷系統(tǒng)已獲得美國食品藥品監(jiān)督管理局(FDA)上市批準。2018年11月19日，深圳凱沃爾公司自主研發(fā)的心電圖AI自動分析診斷系統(tǒng)“AI-ECG Platform”獲批，成為國內(nèi)第一個獲得美國FDA批準的AI心電產(chǎn)品[2]。除了樂普醫(yī)療的心血管診斷系統(tǒng)，進展較快的是基于影像數(shù)據(jù)的糖尿病視網(wǎng)膜病變、肺結節(jié)AI醫(yī)療器械。2018年4月，F(xiàn)DA批準了世界上首款AI醫(yī)療設備IDx-DR，該設備通過算法評估內(nèi)置攝像頭拍攝的患者眼睛照片，無需醫(yī)生輔助診斷就能確定患者是否有糖尿病視網(wǎng)膜病變的跡象。2019年5月，深圳硅基智能科技有限公司的“糖尿病視網(wǎng)膜病變分析軟件”獲得國家藥品監(jiān)督管理局創(chuàng)新醫(yī)療器械批準，進入臨床試驗及審評快速綠色通道。除了糖尿病視網(wǎng)膜病變和肺結節(jié)篩查，還有以科研名義進入醫(yī)院的骨折及骨齡測試和神經(jīng)系統(tǒng)疾病診斷方面的AI產(chǎn)品，但多數(shù)只能達到初步篩查和診斷的水平，離成熟還有一定距離。

2 倫理問題

近年來AI發(fā)展迅猛，從前許多科幻片中的場景走進了醫(yī)療現(xiàn)實，給醫(yī)護人員和患者帶來了便利提高了效率，也引出發(fā)諸多倫理問題。

2.1 定位

AI和人腦相比，具有更寬闊的腦容量和更強大的學習能力。醫(yī)生對信息的掌控能力和知識儲備與醫(yī)療AI技術相比，有一定的局限性。他們對疾病的正確診斷通常建立在長期的經(jīng)驗積累和專業(yè)素養(yǎng)基礎上。AI醫(yī)療器械依靠深度學習技術和強大的洞察力，快速處理海量信息，提供最優(yōu)的診斷建議和個性化治療方案，大大提高了診療效率和準確性，降低了醫(yī)生工作負荷，無形中為醫(yī)院節(jié)約了資源。醫(yī)生將有更多的時間用于患者的溝通和臨床科研。除了提高診療的準確性，AI醫(yī)療器械的應用還使醫(yī)生的信心增加，有一個水平相當于主治醫(yī)生的AI助手幫忙，醫(yī)生在作出診斷結論時更有依據(jù)。但不少從醫(yī)人員過多地依賴AI精確的醫(yī)學影像識別能力和大數(shù)據(jù)處理能力會降低醫(yī)生自身的醫(yī)學水準，也給醫(yī)生帶來了被AI替代的技術性失業(yè)風險和壓力。同時，人類對AI技術的過分依賴，可能導致人類歷史上所積累的醫(yī)學知識和操作技能停滯不前[3]。

科學技術的發(fā)展使得AI變得越來越人類化，AI究竟該如何定位，它是一個人，一種工具，抑或是一個AI“奴隸”，成為很重要的倫理議題。事實上，在多數(shù)中國醫(yī)生和AI醫(yī)療領域的專家看來，AI能扮演的仍是醫(yī)生的“助手”角色，主要幫助醫(yī)生解決重復性工作，而不是醫(yī)療決策的主體。AI分為三個層級，即弱AI、強AI和超強AI，部分學者認為，在未來相當長的時間里，我們都將處于弱AI層級，專注于且只能解決特定領域問題的AI，還不必過度擔心未來，或為可能的AI威脅做準備的地步[4]。

2.2 算法偏見

AI采用機器學習、深度學習和表征學習等技術，通過數(shù)據(jù)驅動智能算法對患者信息進行洞察。AI醫(yī)療系統(tǒng)學習所用到的訓練數(shù)據(jù)是訓練模型的教材，數(shù)據(jù)的質(zhì)量決定了學習成果。當設計者存在某種特定疾病、性別、種族等偏見和歧視時，這必將人的判斷和智能融入其中。訓練AI的數(shù)據(jù)可能并不真實地反映客觀的實際情況，也可能潛藏著不易被察覺的價值偏好或風俗習慣，導致訓練數(shù)據(jù)被污染，從而被AI學習所繼承[5]。AI系統(tǒng)產(chǎn)生的結果會復制并放大這種偏見和歧視，甚至淪為知識的黑洞與權力的暗箱。算法通?？梢苑从超F(xiàn)有的種族或性別健康差異。這種暗藏在算法設計中的偏見要比人為偏見和歧視隱晦得多[6]?！犊茖W》雜志報道，美國衛(wèi)生系統(tǒng)依靠商業(yè)預測算法來識別和幫助有復雜健康需求的患者。研究表明一個廣泛使用的算法有明顯的種族偏見，在給定風險分數(shù)下，黑人患者比白人患者病情更嚴重，彌補此差別將使黑人患者獲得額外幫助比例從17.7%提高到46.5%。此偏見產(chǎn)生是因為算法預測的是醫(yī)療費用而不是疾病。認為選擇方便獲取的貌似合理真實數(shù)據(jù)或是算法偏見的一個重要來源[7]。如果該問題沒有解決，將會導致偏見長久存在，固化醫(yī)療衛(wèi)生領域現(xiàn)有的不平等現(xiàn)象。

2.3 社會公平

一方面，由于現(xiàn)有醫(yī)療條件、技術設備等醫(yī)療衛(wèi)生資源分配不均衡，AI手術機器人等的醫(yī)療成本較為昂貴，使得此類AI醫(yī)療器械的推廣很難進入基層醫(yī)療機構，其應用主要集中于大型三甲醫(yī)院，偏遠地區(qū)的患者很難有機會接觸此類高科技診療技術。從患者自身經(jīng)濟情況出發(fā)，也只有少部分人愿意接受并從中受益。因此，此類AI醫(yī)療器械只適用于小部分有經(jīng)濟條件的患者。大多數(shù)普通患者可能會因為自己沒有切身感受到所謂的高科技醫(yī)療技術而產(chǎn)生抵觸情緒[6]；另一方面，用于診斷的AI醫(yī)療器械，如糖尿病視網(wǎng)膜病變診斷系統(tǒng)，可以輔助基層醫(yī)生診斷疾病，有助于快速提高基層醫(yī)療機構的診斷水平，縮小與大型三甲醫(yī)院的差距。

2.4 責任劃分

由于不具備產(chǎn)生民事法律關系的主體資格，AI醫(yī)療器械僅能被認定為輔助醫(yī)生診斷的醫(yī)療器械。相對于普通的醫(yī)療器械產(chǎn)品，AI醫(yī)療器械具有復雜的設計、算法和醫(yī)療大數(shù)據(jù)。在當前不同的醫(yī)療細分領域并沒有一個統(tǒng)一的AI技術和安全標準，導致AI醫(yī)療器械瑕疵鑒定成為空白。例如引發(fā)醫(yī)療事故或設計、操作失誤后的責任界定等。相較于傳統(tǒng)的醫(yī)患關系，AI技術的應用又增加了患者與醫(yī)療AI系統(tǒng)或平臺間的這層關系。給本就緊張的醫(yī)患關系帶來了新的挑戰(zhàn)[8]。

AI的責任劃分是當前我國甚至全球不可回避的倫理和法律問題，開發(fā)者、生產(chǎn)者對瑕疵擔保責任等還遠未達成共識。雖然AI醫(yī)療技術越來越向智能化、精準化方向發(fā)展，但其應對突發(fā)情況的反應處置能力問題還需進一步研究。2018年9月以來，有230家醫(yī)院用戶的IBM沃森診療系統(tǒng)因診斷錯誤、開不安全藥物而不斷受到質(zhì)疑。其主要原因在于沃森診療系統(tǒng)用于訓練的真實病例數(shù)太少，導致德州安德森腫瘤中心在花費巨額投資后不得不選擇放棄該項目。誤診、漏診常常會引發(fā)醫(yī)療糾紛，而降低誤診、漏診率的基礎是對足夠多的醫(yī)療數(shù)據(jù)的深度學習。目前，我國的政策法規(guī)還沒有賦予AI處方權，其給出的結論只能作為輔助診療的判斷依據(jù)，而由此產(chǎn)生的誤診、漏診也沒有明確界定由誰承擔責任。

2.5 隱私安全

隱私，在法律上是一種權利的概念，但在現(xiàn)實生活中，它還可以作為一種商品，通過出讓部分個人隱私或信息以換取服務和產(chǎn)品。與醫(yī)生不同，AI醫(yī)療器械在收到患者信息后會自動進行儲存、分析等，但在當今成熟的技術條件下，即便手動刪除個人隱私信息也依然有找回的可能。AI醫(yī)療器械對患者的隱私問題考慮得并不如人類醫(yī)生周全。AI的“保密性”不像人一樣存在情感，即使進行加密也不能完全避免個人信息被他人非法調(diào)取[9]。AI醫(yī)療器械在隱私保護方面存在的問題主要有：數(shù)據(jù)采集過程中是否經(jīng)過患者充分的知情同意？誰有權調(diào)取患者相關信息？一旦發(fā)生信息泄露，責任應誰來承擔等[10]？同時，由于各種商業(yè)服務之間數(shù)據(jù)交易頻繁進行，匿名化技術的發(fā)展為隱私保護提供了新的途徑。但是，如果沒有明確規(guī)定匿名化數(shù)據(jù)的法律概念和認定標準，將弱化個人數(shù)據(jù)管理，導致數(shù)據(jù)濫用。此外，如何平衡隱私保護與國家安全、商業(yè)利益之間的關系，也是需要重點關注的問題。

3 應對策略

任何具有變革性的新技術都必然帶來法律的、倫理的以及社會的影響。AI倫理開始從幕后走到前臺，成為矯正科技行業(yè)狹隘的利益局限和技術向度的重要保障。醫(yī)療器械未來方向一定是智能化，相信智能化的AI醫(yī)療器械能為患者帶來更大的福祉，能讓更多的患者感受到科技進步為生命帶來的健康呵護，但相應的制度和規(guī)范設計還存在盲區(qū)。

3.1 堅持人為主體，提升診療質(zhì)量

AI醫(yī)療器械的出現(xiàn)，對醫(yī)生的執(zhí)業(yè)能力和道德提出了更高要求，需要醫(yī)生堅持主體地位，提升診療質(zhì)量。但AI醫(yī)療器械除了做出科學的診斷外，無法與患者進行有效溝通，也無法表達對患者的感情等，更不會考慮任何個人利益問題，因而很難得到患者的信任。而醫(yī)生除了具有豐富的臨床經(jīng)驗和精湛的醫(yī)療技術，在治療的過程中還會有效平衡雙方利益。因此，醫(yī)生和患者之間的互動是無法通過算法來復制的。盡管AI可以快速收集信息以診斷疾病，但最后診斷仍需醫(yī)生通過綜合性、批判性思維結合患者的疾病史、體檢結果、輔助性討論和患者實際的家庭收入、心理情況等作出綜合解釋[11]。

由于數(shù)據(jù)采集時醫(yī)生的認知偏差和患者的個體差異，AI醫(yī)療器械對醫(yī)生的權威性和主體性地位很難造成威脅和挑戰(zhàn)。目前審評重點仍是AI醫(yī)療器械如何更好地輔助醫(yī)生，只能作為醫(yī)生的助手，不能直接給患者提供服務。目前AI醫(yī)療器械剛進入輔助診斷的初級階段，在識別率方面目前大概也只是達到中級醫(yī)生的水平，且很難應對發(fā)展過程中的各種突發(fā)狀況。人和AI各有優(yōu)勢，要互相了解才能實現(xiàn)人機協(xié)作。我們應正確認識AI的本質(zhì)和所處的發(fā)展層級，處理好人機關系，堅定醫(yī)生主體地位，有利于準確把握當下形勢和預判未來趨勢，為AI更好地發(fā)展做鋪墊。

3.2 科技向善，重塑社會信任

就AI技術自身而言，AI需要價值引導，做到可用、可靠、可知、可控。人設計基于數(shù)據(jù)決策的軟件模型，選擇并賦予數(shù)據(jù)意義，從而影響我們的行為。研究者在設計開發(fā)AI醫(yī)療器械時，應當以人為本，遵守基本的社會倫理道德，消除各種歧視觀念，必須客觀、公正，并基于大量無偏性臨床數(shù)據(jù)進行的邏輯算法而構建。盡可能地采用不同國家、不同地區(qū)、不同層級醫(yī)療機構的患者數(shù)據(jù)，防止AI數(shù)據(jù)訓練系統(tǒng)中潛藏的價值偏好或風俗習慣，避免其產(chǎn)生的模型或結果被AI學習所復制并放大[9]。同時，為規(guī)避算法設計中暗藏的歧視，應由不同種族、性別的科學家共同參與算法的設計。

3.3 確保公眾公平享有AI發(fā)展成果

隨著AI的不斷發(fā)展，AI會帶來新的契機，但整個社會也要考慮AI技術帶來的發(fā)展成果如何分配的問題，倡導社會應該以一種更加公平的方式，分配未來的增長。對于政府如何更好地分配和利用醫(yī)療資源，這既是一個經(jīng)濟學問題，也是一個倫理學問題。資源配置既要考慮效用又要考慮公正。在確定醫(yī)療資源配置的優(yōu)先次序方面，我們需要進行經(jīng)濟學和倫理學兩方面的評估，對AI醫(yī)療做出積極而審慎的決策。如果AI被不公平地分配到社會中，當前社會不均等的現(xiàn)狀則可能進一步加劇。因此，要確保相關政策有利于公眾公平地享有AI發(fā)展的成果，讓每個地區(qū)的人都從人工智能創(chuàng)造的福祉中獲益，否則會造成更大的不公平[12]。

3.4 加強AI監(jiān)管和立法

與世界發(fā)達國家相比，我國的AI技術與之同步，但法律和倫理研究相對滯后。醫(yī)療衛(wèi)生行業(yè)內(nèi)對醫(yī)療AI的概念、倫理規(guī)范、倫理風險等尚未達成共識，倫理設計標準、評價標準等建設工作還處于起步階段，這在很大程度上制約了AI醫(yī)療未來的發(fā)展[14]。不同于普通醫(yī)療器械，AI醫(yī)療器械存在動態(tài)評價難關。傳統(tǒng)意義上的醫(yī)療器械是基于產(chǎn)品本身的監(jiān)管，而AI醫(yī)療器械的監(jiān)管分為兩方面：一是產(chǎn)品本身的風險；二是制造商的風險管控。監(jiān)管的關鍵在于產(chǎn)品本身的臨床醫(yī)療價值和作用。其難點在于，AI醫(yī)療器械較傳統(tǒng)醫(yī)療器械技術迭代快，傳統(tǒng)監(jiān)管思路的不足日益凸顯。醫(yī)療AI領域三類器械審批要點的出爐，意味著新事物該如何監(jiān)管，對于企業(yè)、醫(yī)療機構和監(jiān)管部門來說，都是不得不面對的挑戰(zhàn)?，F(xiàn)目前，大到行業(yè)層面，小到醫(yī)療機構層面都缺乏相對完善的監(jiān)督管理機制，難以對醫(yī)療AI技術的研究和應用做到規(guī)范化管理。

由于移動互聯(lián)網(wǎng)、大數(shù)據(jù)、共享經(jīng)濟的到來，國務院提出了審慎監(jiān)管原則，以審慎的態(tài)度適當放松對這些新領域的政策監(jiān)管，以免妨礙其發(fā)展。以包容的心態(tài)看待新技術的出現(xiàn)，用審慎的態(tài)度預防新風險的發(fā)生[9]。隨著智能產(chǎn)品的應用增多，其承擔的責任也越大，法律法規(guī)的管控也應愈加嚴格。為規(guī)范醫(yī)療AI的發(fā)展，應建立一套法律邊界明確的醫(yī)療AI責任體系，對醫(yī)療AI產(chǎn)品的開發(fā)者、生產(chǎn)者和使用者的責權進行清晰界定[13]。及時制定相關法律制度，對AI進行適度有效的規(guī)制，嚴格監(jiān)督和審查AI醫(yī)療器械的生產(chǎn)和應用，將風險管控落到實處，確保患者權益不受損害。

3.5 加強倫理制度建設，提高倫理審查質(zhì)量

當前AI醫(yī)療器械行業(yè)發(fā)展迅猛，我國對醫(yī)學領域的倫理規(guī)范主要依靠于《涉及人的生物醫(yī)學研究倫理審查辦法》，執(zhí)行主要依賴醫(yī)療機構的倫理委員會。在面對AI這類新興技術時，限于認識不足等原因，一些倫理委員會無法判斷該項技術帶來的影響以及是否可以開展?，F(xiàn)有的法規(guī)也沒有細分哪個層級倫理委員會可以審批哪些技術應用。政府應高度重視AI技術可能帶來的風險與挑戰(zhàn)，加強前瞻預防和約束引導，最大限度降低風險，更好地服務于醫(yī)療事業(yè)。因此，倫理制度建設對于AI醫(yī)療器械所產(chǎn)生的倫理問題不可或缺，將AI醫(yī)療器械研究與倫理制度的結合是應對AI倫理問題的最有效方式。對AI相關社會影響和倫理問題應深入探討，將跨領域、跨學科的政策法律研究置于優(yōu)先地位，消除法律盲點，制定標準和確定倫理準則[11]。倫理層面的制度建設應當包括AI的設計倫理以及應用規(guī)范倫理。設計倫理旨在從源頭上保障AI產(chǎn)品的安全性，為其設定道德和行為判斷能力。規(guī)范倫理則是保障AI產(chǎn)品在應用過程中的安全性和規(guī)范性，兩者雖側重不同，但需同時進行[14]。同時，加強對AI醫(yī)療器械的發(fā)展情況和倫理相關規(guī)定的宣貫，各醫(yī)療機構相關從業(yè)人員應定期學習AI的規(guī)定、新政策、新案例等，提升倫理意識。強化各倫理委員會對AI器械臨床試驗方案科學性、倫理性的審查，提高倫理審查質(zhì)量。

3.6 強化隱私安全保護

在AI醫(yī)療器械研發(fā)、生產(chǎn)和使用進程中，為切實保護個人隱私安全需要制定一系列的準則。涉及數(shù)據(jù)訓練和結果分析時，需進行數(shù)據(jù)授權管理、對關鍵隱私信息進行脫敏和強加密處理[13]。目前，歐美一些國家已出臺了針對醫(yī)療數(shù)據(jù)保護的法規(guī)，對所有數(shù)據(jù)的訪問，都有一套嚴格的訪問控制程序，并要求對數(shù)據(jù)進行強加密處理，即使出現(xiàn)數(shù)據(jù)泄露，他人也不能解密。同時，在進行數(shù)據(jù)分析和管理時，必須打馬賽克，以期通過各種周全的規(guī)定，來確保數(shù)據(jù)的安全性[10]。AI醫(yī)療器械的發(fā)展，既要開放共享，又要保護好數(shù)據(jù)的安全和隱私，如何規(guī)范化使用醫(yī)療數(shù)據(jù)是當前急需解決的關鍵問題。隱私安全相關法規(guī)應對數(shù)據(jù)訪問中心、傳送和存儲患者信息、供應商、醫(yī)務工作者等做出周詳?shù)囊?guī)定。

目前，國內(nèi)關于個人隱私和數(shù)據(jù)安全的法律并不完善，不論是法律體系還是法律條款都與國外有較大差距。開放醫(yī)療與健康聯(lián)盟白皮書建議：加強立法和完善個人健康醫(yī)療信息制度，推進醫(yī)療機構資源的開放和整合，培育公眾對健康醫(yī)療數(shù)據(jù)應用意識與隱私安全的認知，持續(xù)推動國家統(tǒng)一身份標識體系和基于統(tǒng)一身份標識的共性基礎服務平臺。我國在制定個人隱私保護相關法律時，不僅要考慮數(shù)據(jù)安全和患者隱私保護，還應平衡AI發(fā)展的需求，秉承“鼓勵創(chuàng)新，包容審慎”的原則，避免因過度強調(diào)隱私安全保護而削弱了數(shù)據(jù)科學發(fā)展的社會價值，掣肘AI的發(fā)展。

3.7 加強媒體對AI技術報道的監(jiān)管，提高公眾科學素養(yǎng)

智能手機和自媒體的報道加速了AI知識的傳播，而醫(yī)學界的重大突破又極易吸引閱讀量和點擊率。因此，媒體不惜采用夸大性語言或未經(jīng)核實就對其進行報道已經(jīng)成為普遍現(xiàn)象。當前，虛假信息和謠言等負面信息通過微信等渠道廣泛傳播，引發(fā)公眾恐慌，導致公眾對AI技術產(chǎn)生錯誤的認識。因此亟須出臺相應的管理辦法，加強對AI技術的正面宣傳、輿論監(jiān)督、科學引導和典型報道，引導公眾朝著合理健康的方向認識AI，提高公眾的理性判斷能力和科學素養(yǎng)，并對媒體在醫(yī)學新聞的報道上加以監(jiān)管和約束，從而推動AI技術健康發(fā)展[15]。

4 結語

AI醫(yī)療器械的出現(xiàn)在改變?nèi)祟惻f的醫(yī)療格局的同時，也帶來一系列倫理問題。AI醫(yī)療技術的應用與倫理道德觀念并不矛盾，關鍵在于在權衡取舍中找到更合理的打開方式。針對AI醫(yī)療器械的定位、算法偏見與社會公平、責任劃分和隱私安全方面的倫理問題，前瞻性地提出要有效評估風險與獲益，實現(xiàn)AI醫(yī)療器械健康、有序地發(fā)展，需要堅持人為主體，提升診療質(zhì)量；確保公眾公平享有AI發(fā)展成果；加強對AI的監(jiān)管、立法和倫理制度建設，提高倫理審查能力；強化隱私安全保護；同時，增強媒體對AI技術報道的監(jiān)管，提高公眾科學素養(yǎng)等應對策略，趨利避害，為醫(yī)療水平提高和人類健康保障提供支撐。