王晨希，王浩，王權(quán)，任海萍

中國食品藥品檢定研究院 光機(jī)電室，北京 102629

引言

近年來，醫(yī)學(xué)人工智能發(fā)展迅速，產(chǎn)業(yè)格局風(fēng)起云涌。人工智能在醫(yī)療領(lǐng)域中的應(yīng)用已非常廣泛，包括醫(yī)學(xué)影像、臨床決策支持、語音識別、藥物挖掘、健康管理、病理學(xué)等眾多領(lǐng)域。人工智能技術(shù)呈現(xiàn)與醫(yī)療領(lǐng)域不斷融合的趨勢，其中數(shù)據(jù)資源、計(jì)算能力、算法模型等基礎(chǔ)條件的日臻成熟成為行業(yè)技術(shù)發(fā)展的重要力量[1-2]。醫(yī)學(xué)人工智能技術(shù)的飛速發(fā)展的背后，醫(yī)療網(wǎng)絡(luò)安全問題如影隨形。針對醫(yī)學(xué)人工智能產(chǎn)品的勒索病毒（一種新型的病毒，主要通過文件加密的方式以程序木馬、網(wǎng)頁掛馬等形式傳播）、挖礦病毒（一種新型的病毒，通過的網(wǎng)絡(luò)傳播，會導(dǎo)致電腦CPU占用率高，系統(tǒng)盤可使用空間驟降，電腦溫度升高，風(fēng)扇噪聲增大等問題）、醫(yī)療信息泄露等醫(yī)療行業(yè)的網(wǎng)絡(luò)安全事件受到廣泛關(guān)注，醫(yī)學(xué)人工智能的發(fā)展必然需要有效防范網(wǎng)絡(luò)攻擊。

《中華人民共和國網(wǎng)絡(luò)安全法》自2017年6月1日起施行，這是中國建立嚴(yán)格的網(wǎng)絡(luò)治理指導(dǎo)方針的一個(gè)重要里程碑。原國家食品藥品管理總局已經(jīng)發(fā)布《醫(yī)療器械網(wǎng)絡(luò)安全的注冊技術(shù)審查指導(dǎo)原則》并于2018年1月1日實(shí)施，該指導(dǎo)原則目的是醫(yī)療器械全生命周期過程中保證醫(yī)療器械產(chǎn)品自身的網(wǎng)絡(luò)安全，從而保證其安全性和有效性。但是目前針對醫(yī)療器械產(chǎn)品的網(wǎng)絡(luò)安全標(biāo)準(zhǔn)尚屬空白，對于網(wǎng)絡(luò)安全的質(zhì)量評價(jià)方法和措施也尚無定論。

醫(yī)學(xué)人工智能產(chǎn)品作為醫(yī)療器械產(chǎn)品新的業(yè)態(tài)，除具有醫(yī)療器械軟件產(chǎn)品本身特性外，在產(chǎn)品設(shè)計(jì)、代碼實(shí)現(xiàn)、產(chǎn)品測試、部署運(yùn)行模式上都不同于一般的醫(yī)療器械產(chǎn)品，同時(shí)醫(yī)學(xué)人工智能產(chǎn)品又有數(shù)據(jù)集構(gòu)建、算法調(diào)優(yōu)等神經(jīng)網(wǎng)絡(luò)的自身特性[3]，由此考慮此類產(chǎn)品的網(wǎng)絡(luò)安全風(fēng)險(xiǎn)需要這些要素，本文將針對醫(yī)學(xué)人工智能產(chǎn)品研發(fā)階段和產(chǎn)品上市后面臨的網(wǎng)絡(luò)安全問題，從產(chǎn)品的通用安全和專用安全角度結(jié)合各自防御措施展開進(jìn)行介紹。

1 醫(yī)學(xué)人工智能產(chǎn)品通用安全及防御措施

醫(yī)學(xué)人工智能產(chǎn)品作為一種特殊的醫(yī)療器械軟件產(chǎn)品，在其運(yùn)行過程中會遇到一般的網(wǎng)絡(luò)安全威脅。例如，由于產(chǎn)品設(shè)計(jì)缺陷導(dǎo)致用戶輸入特定的用戶名和密碼能夠訪問非授權(quán)數(shù)據(jù)；由于未使用產(chǎn)品用戶名和密碼的加密，從而被利用，導(dǎo)致身份認(rèn)證失效；由于產(chǎn)品依賴的軟件和組件未及時(shí)升級和更新，從而漏洞被利用，產(chǎn)品數(shù)據(jù)丟失；以及產(chǎn)品數(shù)據(jù)明文傳輸而導(dǎo)致數(shù)據(jù)被截取[4]。這些威脅都會影響產(chǎn)品的安全，通常包括注入攻擊漏洞、失效的身份認(rèn)證和會話管理關(guān)注等，我們稱之為通用安全威脅。

1.1 注入攻擊漏洞

這些攻擊發(fā)生在當(dāng)不可信的數(shù)據(jù)作為命令或者查詢語句的一部分，被發(fā)送給解釋器的時(shí)候。攻擊者發(fā)送的惡意數(shù)據(jù)可以欺騙解釋器，以執(zhí)行計(jì)劃外的命令或者在未被恰當(dāng)授權(quán)時(shí)訪問數(shù)據(jù)[5]。醫(yī)學(xué)人工智能產(chǎn)品大部分采用B/S架構(gòu)，舉例來說，填好正確的用戶名（test）和密碼（001）后，點(diǎn)擊提交，將會返回給歡迎的界面，其實(shí)執(zhí)行的 語 句 是 select * from users where username=test′and password=md5(′001′)，但是對于有 SQL 注入漏洞的地址來說，只要構(gòu)造個(gè)特殊的“字符串”，照樣能夠成功登錄。比如：在用戶名輸入框中輸入:′or′1=1#，密碼隨便輸入，這時(shí)候合成后的SQL查詢語句為：select * from users where username=′′ or 1=1#′ and password=md5(′′)，可以繞開產(chǎn)品登錄界面，直接進(jìn)入系統(tǒng)訪問數(shù)據(jù)，完成了注入攻擊。注入能導(dǎo)致患者影像數(shù)據(jù)丟失或破壞、缺乏可審計(jì)性或是拒絕服務(wù)。注入漏洞有時(shí)甚至能導(dǎo)致完全主機(jī)接管。

針對注入漏洞這類攻擊，通常的防御措施是審查代碼，但是這類攻擊卻不容易在測試中發(fā)現(xiàn)。掃描器和模糊測試工具可以幫助攻擊者找到這些漏洞。檢查應(yīng)用程序是否安全使用解釋器的最快最有效的方法是代碼審查[6]。代碼分析工具能幫助安全分析者找到使用解釋器的代碼并追蹤應(yīng)用的數(shù)據(jù)流。滲透測試者通過創(chuàng)建攻擊的方法來確認(rèn)這些漏洞[7]?？梢詧?zhí)行應(yīng)用程序的自動動態(tài)掃描器能夠提供一些信息，幫助確認(rèn)一些可利用的注入漏洞是否存在。

1.2 失效的身份認(rèn)證和會話管理

與身份認(rèn)證和會話管理相關(guān)的醫(yī)學(xué)人工智能應(yīng)用程序篩查和診斷等功能往往得不到正確的實(shí)現(xiàn)，這就導(dǎo)致了攻擊者破壞密碼、密鑰、會話令牌或攻擊其他的漏洞去冒充其他用戶的身份（暫時(shí)或永久的）[8]。這些漏洞可能導(dǎo)致部分甚至全部帳戶遭受攻擊。一旦成功，攻擊者能執(zhí)行受害用戶的任何操作，因此系統(tǒng)管理員帳戶是常見的攻擊對象。用戶身份驗(yàn)證憑證沒有使用加密保護(hù)、用戶名暴露在URL（統(tǒng)一資源定位符）里、會話用戶名沒有超時(shí)限制，或者用戶會話或身份驗(yàn)證令牌特別是單點(diǎn)登錄令牌在用戶注銷時(shí)沒有失效、密碼、會話用戶名和其他認(rèn)證憑據(jù)使用未加密連接傳輸?shù)葢?yīng)用場景下都會產(chǎn)生失效的身份認(rèn)證和會話管理威脅[9]。

針對失效的身份認(rèn)證和會話管理，通常的防御措施是建議醫(yī)學(xué)人工智能產(chǎn)品設(shè)計(jì)時(shí)采用認(rèn)證和會話管理控制系統(tǒng)，按照特定的應(yīng)用程序安全驗(yàn)證標(biāo)準(zhǔn)中制定的所有認(rèn)證和會話管理的要求[10]。同樣也要做出努力來避免跨站漏洞。

1.3 安全配置錯誤

需要對產(chǎn)品應(yīng)用程序、框架（算法）、應(yīng)用程序服務(wù)器、Web服務(wù)器、數(shù)據(jù)庫服務(wù)器和平臺定義和執(zhí)行安全配置。由于許多設(shè)置的默認(rèn)值并不是安全的，因此，必須定義、實(shí)施和維護(hù)這些設(shè)置[11]。此外，所有的軟件應(yīng)該保持及時(shí)更新。包括操作系統(tǒng)、Web/應(yīng)用服務(wù)器、數(shù)據(jù)庫管理系統(tǒng)、應(yīng)用程序、API（Application Programming Interface）和其它所有的組件和庫文件應(yīng)保持及時(shí)更新，減少使用或安裝不必要的功能（例如端口、服務(wù)、網(wǎng)頁、帳戶、權(quán)限），錯誤處理機(jī)制要防止含有大量的錯誤信息被泄露，對應(yīng)用服務(wù)器和應(yīng)用框架進(jìn)行安全配置（如TensorFlow、Caffe、MXNet、PyTorch）和庫文件、數(shù)據(jù)庫等[12]。

要避免安全配置錯誤，防御措施是確保開發(fā)、質(zhì)量保證和生產(chǎn)環(huán)境都應(yīng)該配置相同（每個(gè)環(huán)境中使用不同的密碼），了解每個(gè)已部署環(huán)境的所有最新軟件更新和補(bǔ)丁，在所有環(huán)境中正確安全配置和設(shè)置應(yīng)當(dāng)是自動化的[13]。

1.4 敏感信息泄露

醫(yī)療人工智能產(chǎn)品的應(yīng)用程序和API沒有正確保護(hù)敏感數(shù)據(jù)，攻擊者可能會竊取或篡改此類弱保護(hù)的數(shù)據(jù)，進(jìn)行數(shù)據(jù)欺騙、身份竊取或其他攻擊行為[14]。敏感數(shù)據(jù)應(yīng)該具有額外的保護(hù)，例如在存放或在傳輸過程中的加密，以及與瀏覽器交換時(shí)進(jìn)行特殊的預(yù)防措施。在這個(gè)領(lǐng)域最常見的漏洞是應(yīng)該加密的數(shù)據(jù)不進(jìn)行加密。在使用加密的情況下，常見的問題是不安全的密鑰生成和管理和使用弱算法是很普遍的，特別是使用弱的哈希算法來保護(hù)密碼。

此類安全威脅可以通過預(yù)測和模擬威脅（比如內(nèi)部攻擊和外部用戶）、重要的敏感數(shù)據(jù)盡快清除、使用合適的強(qiáng)大的標(biāo)準(zhǔn)算法和強(qiáng)大的密匙，并且密匙管理到位、確保使用密碼專用算法存儲密碼、禁用自動完成防止敏感數(shù)據(jù)收集，禁用包含敏感數(shù)據(jù)的緩存頁面等方式避免敏感信息泄露[15]。

2 醫(yī)學(xué)人工智能產(chǎn)品專用安全及防御措施

醫(yī)學(xué)人工智能產(chǎn)品既有醫(yī)療器械軟件的通用性，又有其專業(yè)性，比如對數(shù)據(jù)的高度依賴性，這就意味著產(chǎn)品的安全特性受制于數(shù)據(jù)，對數(shù)據(jù)的攻擊可能成為影響產(chǎn)品安全的渠道，對于醫(yī)學(xué)人工智能產(chǎn)品專用安全及其防御策略將從對抗性輸入、數(shù)據(jù)污染和模型竊取等方面展開介紹[16]。

2.1 對抗性輸入

這是專門設(shè)計(jì)的輸入，旨在確保被誤分類，以躲避檢測。對抗性輸入包含專門用來躲避防病毒程序的惡意數(shù)據(jù)和試圖逃避數(shù)據(jù)過濾器的患者數(shù)據(jù)和影像信息[17]。對手不斷用新的輸入/有效載荷來探測分類器，試圖逃避探測。這種有效載荷被稱為對抗性輸入，因?yàn)樗鼈儽幻鞔_設(shè)計(jì)成繞過分類器。一般來說對抗性輸入包括變異輸入和零日輸入。

2.1.1 變異輸入

這是為避開分類器而專門設(shè)計(jì)的已知攻擊的變體，在過去的幾年里，我們看到地下服務(wù)爆炸式增長，這種服務(wù)旨在幫助網(wǎng)絡(luò)攻擊者制造不可探測的有效載荷，在秘密世界中最有名的是FUD（完全不可探測的）有效載荷。這些服務(wù)從允許針對所有防病毒軟件測試有效負(fù)載的測試服務(wù)，到旨在以使惡意文檔不可檢測的方式混淆惡意文檔的自動打包程序[18]。

對于變異輸入，通?？梢酝ㄟ^限制信息泄露、限制探測、集成學(xué)習(xí)等設(shè)計(jì)策略防御[19]。

（1）限制信息泄露。這里的目標(biāo)是確保攻擊者在探查你的系統(tǒng)時(shí)獲得盡可能少的收獲。保持反饋?zhàn)钚』⒈M可能延遲反饋是很重要的，例如避免返回詳細(xì)的錯誤代碼或置信度值。

（2）限制探測。此策略的目標(biāo)是通過限制攻擊者針對你的系統(tǒng)測試有效負(fù)載的頻率來降低攻擊者的速度。通過限制攻擊者對你的系統(tǒng)執(zhí)行測試的頻率可以有效降低他們設(shè)計(jì)有害有效負(fù)載的速度。這一策略主要是通過對稀缺資源（如IP和帳戶）實(shí)施速率限制來實(shí)現(xiàn)的。這種速率限制的典型例子是要求用戶解決驗(yàn)證碼，驗(yàn)證他是否發(fā)布的太頻繁。

（3）集成學(xué)習(xí)。結(jié)合各種檢測機(jī)制，使攻擊者更難繞過整個(gè)系統(tǒng)[20]。使用集成學(xué)習(xí)將基于信譽(yù)的機(jī)制、人工智能分類器、檢測規(guī)則和異常檢測等不同類型的檢測方法結(jié)合起來，提高了系統(tǒng)的魯棒性，因?yàn)椴涣夹袨檎卟坏貌煌瑫r(shí)制作避免所有這些機(jī)制的有效載荷。

2.1.2 零日輸入

零日輸入指的是輸入全新的數(shù)據(jù)，一種可以完全拋棄分類器的明顯的對抗性輸入。盡管出現(xiàn)新攻擊有許多不可預(yù)測的潛在原因，但根據(jù)以下兩種事件可能會觸發(fā)新攻擊的出現(xiàn)：一是新產(chǎn)品或功能推出，本質(zhì)上，增加功能會為攻擊者打開新攻擊面，有利于它們快速進(jìn)行探查；二是增加獎勵，雖然很少討論，但許多新的攻擊激增是由攻擊媒介推動的，變得非常有利可圖。

可以通過制定事件響應(yīng)流程、使用遷移學(xué)習(xí)來保護(hù)新產(chǎn)品和利用異常檢測方式避免零日輸入。

（1）制定事件響應(yīng)流程。首先要做的是開發(fā)和測試事件恢復(fù)過程，以確保在措手不及時(shí)做出適當(dāng)反應(yīng)。這包括但不限于：在調(diào)試分類器時(shí)，有必要的控件來延遲或停止處理，并知道調(diào)用哪個(gè)。

（2）遷移學(xué)習(xí)。明顯的關(guān)鍵困難是沒有過去的數(shù)據(jù)來訓(xùn)練分類器。緩解這一問題的一種方法是利用遷移學(xué)習(xí)，它允許你重用一個(gè)域中已經(jīng)存在的數(shù)據(jù)，并將其應(yīng)用到另一個(gè)域。如果處理圖像，可以利用現(xiàn)有的預(yù)先訓(xùn)練好的模型，而如果處理文本，可以使用公共數(shù)據(jù)集。

（3） 利用異常檢測。異常檢測算法可以用作第一道防線，因?yàn)閺谋举|(zhì)上說，新的攻擊將產(chǎn)生一組從未遇到過的異常，這些異常與它們?nèi)绾问褂媚愕南到y(tǒng)有關(guān)。

2.2 數(shù)據(jù)污染

數(shù)據(jù)污染是指一種由人們故意的或偶然的行為造成的對原始數(shù)據(jù)的完整性和真實(shí)性的損害，是對真實(shí)數(shù)據(jù)的扭曲，數(shù)據(jù)污染會產(chǎn)生異常值、隱蔽性和擴(kuò)散性等特點(diǎn)，醫(yī)學(xué)人工智能產(chǎn)品具有對數(shù)據(jù)的高度依賴性，并且對于模型的訓(xùn)練有可能在云端進(jìn)行，這樣不可避免會帶來數(shù)據(jù)污染問題，對于數(shù)據(jù)污染，攻擊者主要通過模型偏斜、反饋武器化和模型竊取等方式進(jìn)行。

2.2.1 模型偏斜

攻擊者試圖污染訓(xùn)練數(shù)據(jù)，以移動分類器對好、壞輸入歸類的學(xué)習(xí)邊界。例如，模型偏斜可以用來試圖污染訓(xùn)練數(shù)據(jù)，欺騙分類器將特定的惡意二進(jìn)制文件標(biāo)記為良性。攻擊者積極地試圖將學(xué)到的濫用和合理使用之間的界限轉(zhuǎn)移到對他們有利的位置。

緩解策略包括使用合理的數(shù)據(jù)采樣、分類器變化、構(gòu)建標(biāo)準(zhǔn)數(shù)據(jù)集方式。

（1）需要確保一小部分實(shí)體（包括IP或用戶）不能占模型訓(xùn)練數(shù)據(jù)的大部分。特別是要注意不要過分重視用戶報(bào)告的假陽性和假陰性。這可能通過限制每個(gè)用戶可以貢獻(xiàn)的示例數(shù)量，或者基于報(bào)告的示例數(shù)量使用衰減權(quán)重來實(shí)現(xiàn)。

（2）將新訓(xùn)練的分類器與前一個(gè)分類器進(jìn)行比較以估計(jì)發(fā)生了多大變化。例如，可以執(zhí)行dark launch（灰度發(fā)布），并在相同流量上比較兩個(gè)輸出。備選方案包括對一小部分流量進(jìn)行A/B測試和回溯測試。

（3）構(gòu)建標(biāo)準(zhǔn)數(shù)據(jù)集，分類器必須準(zhǔn)確預(yù)測才能投入生產(chǎn)。此數(shù)據(jù)集理想地包含一組精心策劃的攻擊和代表系統(tǒng)的正常內(nèi)容。這一過程將確保能夠在武器化攻擊對用戶產(chǎn)生負(fù)面影響之前，檢測出該攻擊何時(shí)能夠在模型中產(chǎn)生顯著的回歸。

2.2.2 反饋武器化

將用戶反饋系統(tǒng)武器化，以攻擊合法用戶和內(nèi)容。一旦攻擊者意識到你正在出于懲罰的目的以某種方式使用用戶反饋，他們就會試圖利用這一事實(shí)為自己謀利。反饋武器化之所以被攻擊者積極利用，有很多原因，包括：試圖壓制競爭、進(jìn)行報(bào)復(fù)、掩蓋自己的行蹤。

任何反饋機(jī)制都將被武器化以攻擊合法用戶和內(nèi)容，緩解策略包括：

（1）不要在反饋和懲罰之間建立直接循環(huán)。相反，在做出決定之前，確保評估反饋真實(shí)性，并與其他信號結(jié)合起來。

（2）不要以為受益于濫用內(nèi)容的所有者對此負(fù)有責(zé)任。

2.2.3 模型竊取襲擊

主要是指訓(xùn)練期間使用的模型或數(shù)據(jù)信息的攻擊，這種攻擊是一個(gè)關(guān)鍵問題，因?yàn)槟Ｐ痛砹擞袃r(jià)值的算法，這些算法是根據(jù)患者的一些最有價(jià)值的數(shù)據(jù)進(jìn)行訓(xùn)練的，確保接受過用戶敏感數(shù)據(jù)（如癌癥相關(guān)數(shù)據(jù)等）訓(xùn)練的模型的安全性至關(guān)重要，因?yàn)檫@些模型可能被濫用，泄露敏感用戶信息。模型竊取襲擊包括模型重建和成員泄露：

（1）模型重建。這里的關(guān)鍵思想是攻擊者能夠通過探測公共API來重新創(chuàng)建模型，并通過將其用作Oracle數(shù)據(jù)庫來逐步完善自己的模型。這種攻擊似乎對大多數(shù)人工智能算法有效，包括支持向量機(jī)、隨機(jī)森林和深度神經(jīng)網(wǎng)絡(luò)。

（2）成員泄露。在這里攻擊者構(gòu)建影子模型，使他能夠確定給定的記錄是否用于訓(xùn)練模型。雖然此類攻擊無法恢復(fù)模型，但可能會泄露敏感信息。

最著名的防御模型竊取攻擊的方法是PATE（一種私有框架，https://arxiv.org/abs/1802.08908），這是一個(gè)由Ian Goodfellow等人開發(fā)的隱私框架。PATE背后的關(guān)鍵思想是對數(shù)據(jù)進(jìn)行劃分，并訓(xùn)練多個(gè)組合在一起的模型來做出決策。這一決策隨后被其他不同隱私系統(tǒng)的噪聲所掩蓋。

3 其他類的攻擊和防御措施

醫(yī)學(xué)人工智能產(chǎn)品的核心算法往往是依賴于跨國高科技企業(yè)的發(fā)布的公開算法框架模型，比如TensorFlow、Caffe、MXNet等。這類模型的特點(diǎn)是受關(guān)注度高，使用率高，新的框架一旦發(fā)布，由于其在效率和性能的提升，會被廣泛使用。但這也給框架的使用帶來了安全的風(fēng)險(xiǎn)，攻擊者可以生成惡意模型文件，對模型使用者進(jìn)行攻擊，對模型的應(yīng)用進(jìn)行竊取或篡改、破壞[21]。該風(fēng)險(xiǎn)危害面非常大，一方面攻擊成本低，普通攻擊者即可實(shí)施攻擊；另一方面迷惑性強(qiáng)，大部分模型使用者可能毫無防備；同時(shí)因?yàn)槔昧四Ｐ妥陨淼臋C(jī)制，其在PC端和移動端的最新版本均會受到影響。模型被竊取，損失的是開發(fā)者的心血。而一旦被篡改，造成產(chǎn)品失控，后果更難以想象。

對于開源框架的安全問題，只能是關(guān)注框架的更新，及時(shí)做好補(bǔ)丁。

4 總結(jié)

本文考慮到醫(yī)學(xué)人工智能產(chǎn)品本身的特性，分別從通用網(wǎng)絡(luò)安全和專用網(wǎng)絡(luò)安全角度進(jìn)行了安全的闡述，針對每一種攻擊的討論中都加入了分析及防御策略，旨在為醫(yī)學(xué)人工智能產(chǎn)品在產(chǎn)品設(shè)計(jì)、研發(fā)和使用過程中需要考慮的網(wǎng)絡(luò)安全風(fēng)險(xiǎn)提供幫助，相關(guān)部門也應(yīng)當(dāng)根據(jù)當(dāng)前醫(yī)學(xué)人工智能產(chǎn)品面臨的網(wǎng)絡(luò)安全風(fēng)險(xiǎn)制定標(biāo)準(zhǔn)[22]，從產(chǎn)品的設(shè)計(jì)和使用風(fēng)險(xiǎn)角度，確保產(chǎn)品質(zhì)量，從而進(jìn)一步保證產(chǎn)品全生命周期的安全和有效，降低網(wǎng)絡(luò)安全風(fēng)險(xiǎn)。