趙欣瑩

（河南科技學(xué)院，河南 新鄉(xiāng) 453003）

0 引 言

隨著互聯(lián)網(wǎng)和計(jì)算機(jī)硬件設(shè)備的飛速發(fā)展，存儲(chǔ)和算力得到顯著提高。數(shù)據(jù)呈指數(shù)級(jí)快速增長(zhǎng)，使得人工智能應(yīng)運(yùn)而生，旨在探索人類智能的潛在規(guī)律，讓機(jī)器能夠模擬自然智能的行為，且已在各大領(lǐng)域均有突出貢獻(xiàn)。然而，隨之而來(lái)的安全問題受到各行各業(yè)的關(guān)注，迫切需要開發(fā)安全的人工智能風(fēng)險(xiǎn)防范體系，規(guī)避系統(tǒng)安全風(fēng)險(xiǎn)，保障人工智能健康發(fā)展。

1 人工智能安全風(fēng)險(xiǎn)

隨著電子產(chǎn)品的普及，越來(lái)越多的個(gè)人信息被存儲(chǔ)于各種應(yīng)用平臺(tái)。人們?cè)诖髷?shù)據(jù)時(shí)代是透明的，個(gè)人隱私安全成為隱患。人工智能系統(tǒng)從復(fù)雜且龐大的數(shù)據(jù)中挖掘有用信息，可應(yīng)用于行業(yè)規(guī)劃、風(fēng)險(xiǎn)評(píng)估、生物醫(yī)學(xué)和國(guó)防軍事等領(lǐng)域，蘊(yùn)含著巨大的經(jīng)濟(jì)價(jià)值、科技價(jià)值以及戰(zhàn)略價(jià)值，對(duì)系統(tǒng)安全防范帶來(lái)了挑戰(zhàn)。人工智能系統(tǒng)的安全部署、攻擊防御和監(jiān)管體系貫穿整個(gè)生命周期的框架階段、設(shè)計(jì)階段、部署階段、維護(hù)階段以及廢棄階段，而且在每個(gè)階段都存在安全風(fēng)險(xiǎn)隱患[1]。

（1）框架階段。實(shí)現(xiàn)需求的整體框架設(shè)計(jì)是系統(tǒng)的基礎(chǔ)，決定人工智能系統(tǒng)所需解決的問題。此階段會(huì)面臨需求是否符合國(guó)家法律法規(guī)和社會(huì)約定俗成等風(fēng)險(xiǎn)。

（2）設(shè)計(jì)階段。將設(shè)計(jì)的框架用具體的算法和技術(shù)實(shí)現(xiàn)，并檢測(cè)系統(tǒng)是否能夠達(dá)到預(yù)期效果。此階段涉及數(shù)據(jù)風(fēng)險(xiǎn)和模型風(fēng)險(xiǎn)等。算法設(shè)計(jì)時(shí)應(yīng)考慮敏感數(shù)據(jù)泄露、數(shù)據(jù)篡改和數(shù)據(jù)投毒等問題的處理策略，構(gòu)建健壯的、魯棒性強(qiáng)的算法，增強(qiáng)模型抵御風(fēng)險(xiǎn)的能力。

（3）部署階段。系統(tǒng)框架在指定的真實(shí)運(yùn)行環(huán)境和硬件設(shè)施中搭建的過程。此階段涉及環(huán)境風(fēng)險(xiǎn)和平臺(tái)風(fēng)險(xiǎn)等。系統(tǒng)設(shè)計(jì)時(shí)應(yīng)檢測(cè)硬件環(huán)境和軟件平臺(tái)是否安全可靠，為系統(tǒng)部署構(gòu)建可信執(zhí)行環(huán)境。

（4）維護(hù)階段。保障系統(tǒng)的正常運(yùn)行，實(shí)現(xiàn)系統(tǒng)的故障檢測(cè)、故障處理和恢復(fù)。此階段涉及惡意攻擊風(fēng)險(xiǎn)和系統(tǒng)風(fēng)險(xiǎn)等。系統(tǒng)維護(hù)應(yīng)考慮對(duì)抗樣本攻擊、算法逆向攻擊、算法漏洞攻擊、算法后門攻擊和模型竊取攻擊等攻擊的防范措施，以及整體健康評(píng)測(cè)、安全監(jiān)測(cè)和修復(fù)、安全訪問控制和合法反制維權(quán)等方面的應(yīng)對(duì)措施，使系統(tǒng)具備檢測(cè)、防御和恢復(fù)的能力。

（5）廢棄階段。在系統(tǒng)完成任務(wù)停止工作后，需要對(duì)系統(tǒng)和數(shù)據(jù)進(jìn)行回收處理，避免隨意丟棄引起的數(shù)據(jù)泄露和模型泄露等風(fēng)險(xiǎn)。

2 人工智能安全風(fēng)險(xiǎn)防范體系構(gòu)建

將相關(guān)安全技術(shù)貫穿人工智能系統(tǒng)的生命周期，構(gòu)建人工智能安全風(fēng)險(xiǎn)防范體系。從安全技術(shù)的層面，可分為業(yè)務(wù)安全風(fēng)險(xiǎn)防范、數(shù)據(jù)安全風(fēng)險(xiǎn)防范、模型安全風(fēng)險(xiǎn)防范以及系統(tǒng)安全風(fēng)險(xiǎn)防范。

2.1 業(yè)務(wù)安全風(fēng)險(xiǎn)防范

設(shè)計(jì)的系統(tǒng)應(yīng)遵守與符合國(guó)家法律法規(guī)、行業(yè)規(guī)則和社會(huì)倫理。人工智能技術(shù)可以從大數(shù)據(jù)中挖掘有價(jià)值的信息，輔助任務(wù)做出正確的決策。數(shù)據(jù)、模型和系統(tǒng)背后，蘊(yùn)含著巨大的經(jīng)濟(jì)效益。高效益意味著高風(fēng)險(xiǎn)，而現(xiàn)有的法律對(duì)有效規(guī)制信息數(shù)據(jù)驅(qū)動(dòng)的人工智能帶來(lái)的侵權(quán)問題存在局限性，應(yīng)完善司法體系對(duì)數(shù)據(jù)盜取、模型竊取以及系統(tǒng)非法攻擊等行為的管理和懲治，保障用戶和企業(yè)的合法權(quán)益[2]。

2.2 數(shù)據(jù)安全風(fēng)險(xiǎn)防范

數(shù)據(jù)在人工智能系統(tǒng)中占據(jù)重要地位。模型的質(zhì)量、訓(xùn)練效率和泛化性能與數(shù)據(jù)的質(zhì)量、分布及編碼方式等密不可分。現(xiàn)今計(jì)算機(jī)任務(wù)所要處理的數(shù)據(jù)呈現(xiàn)體量大、多樣化和價(jià)值密度低的特點(diǎn)，并多趨向于半結(jié)構(gòu)化和非結(jié)構(gòu)化形式，為數(shù)據(jù)安全傳輸、存儲(chǔ)和處理帶來(lái)了挑戰(zhàn)。為保障非公開數(shù)據(jù)的隱私安全，需搭建可信執(zhí)行環(huán)境，采用聯(lián)邦學(xué)習(xí)、數(shù)據(jù)加密、數(shù)據(jù)清洗以及數(shù)據(jù)脫敏技術(shù)等提高數(shù)據(jù)的機(jī)密性。

2.2.1 可信執(zhí)行環(huán)境

為使數(shù)據(jù)處于可靠的網(wǎng)絡(luò)環(huán)境中，采用存儲(chǔ)區(qū)域網(wǎng)絡(luò)技術(shù)，為數(shù)據(jù)傳輸建立獨(dú)立的專用網(wǎng)絡(luò)，降低被攻擊的風(fēng)險(xiǎn)。數(shù)據(jù)存儲(chǔ)采用獨(dú)立磁盤冗余陣列技術(shù)，實(shí)現(xiàn)數(shù)據(jù)的并行讀寫、鏡像和校驗(yàn)，能夠提高大數(shù)據(jù)的存取速度，實(shí)現(xiàn)數(shù)據(jù)的備份，防止數(shù)據(jù)丟失帶來(lái)的損失，在一定程度上解決數(shù)據(jù)的存儲(chǔ)錯(cuò)誤問題。為防止重要數(shù)據(jù)的篡改，采用區(qū)塊鏈技術(shù)，對(duì)每個(gè)電子文件生成唯一的哈希值。文件篡改將導(dǎo)致哈希值改變，需征求集群中半數(shù)以上的節(jié)點(diǎn)同意并完成所有節(jié)點(diǎn)的信息同步，即篡改數(shù)據(jù)難度大。

2.2.2 聯(lián)邦學(xué)習(xí)機(jī)制

在傳統(tǒng)的集中式學(xué)習(xí)中，計(jì)算資源統(tǒng)一控制和存儲(chǔ)，導(dǎo)致龐大的數(shù)據(jù)體量存在風(fēng)險(xiǎn)集中的隱患。分布式學(xué)習(xí)雖采用非集中式獨(dú)立組織管理，但在安全攻擊和非授權(quán)訪問方面存在安全風(fēng)險(xiǎn)。為實(shí)現(xiàn)大數(shù)據(jù)模型的計(jì)算和數(shù)據(jù)隱私安全的維護(hù)，聯(lián)邦學(xué)習(xí)機(jī)制的設(shè)計(jì)目標(biāo)旨在保障信息安全、模型安全以及參數(shù)安全[3]。

2.2.3 數(shù)據(jù)加密

對(duì)數(shù)據(jù)進(jìn)行加密計(jì)算，做好數(shù)據(jù)泄露和竊取的最后一道防線。數(shù)據(jù)加密技術(shù)是通過加密算法實(shí)現(xiàn)的，公鑰用于信息加密，發(fā)送給發(fā)信方，而私鑰由收信方保存。即使公鑰被截獲，截獲方也無(wú)法僅使用公鑰解密[4]。數(shù)據(jù)加密技術(shù)應(yīng)用廣泛，如在圖像處理領(lǐng)域中，人臉識(shí)別技術(shù)使用的是非結(jié)構(gòu)化圖像數(shù)據(jù)。在身份認(rèn)證等場(chǎng)景中，將人臉數(shù)據(jù)加密處理，可防止通過盜取濫用用戶的人臉信息而對(duì)用戶造成損失。針對(duì)不同類型數(shù)據(jù)的特點(diǎn)，在數(shù)據(jù)的傳輸和存儲(chǔ)中對(duì)數(shù)據(jù)信息進(jìn)行加密計(jì)算，建立安全可靠的保護(hù)機(jī)制。

2.2.4 數(shù)據(jù)清洗

數(shù)據(jù)清洗是將臟數(shù)據(jù)清洗轉(zhuǎn)換，對(duì)問題數(shù)據(jù)進(jìn)行監(jiān)測(cè)和重構(gòu)修復(fù)。需要先檢測(cè)出原始數(shù)據(jù)中的問題數(shù)據(jù)，分析確定清洗算法，處理問題數(shù)據(jù)，最后替換原始數(shù)據(jù)中的問題數(shù)據(jù)，得到高質(zhì)量的輸入數(shù)據(jù)，可解決數(shù)據(jù)的缺失值、異常值、重復(fù)值以及一致性等問題，對(duì)數(shù)據(jù)進(jìn)行規(guī)范化處理。問題數(shù)據(jù)檢測(cè)出的攻擊性數(shù)據(jù)，如投毒數(shù)據(jù)、對(duì)抗樣本攻擊數(shù)據(jù)等，需重構(gòu)修復(fù)或刪除，并且可以通過分析處理收集的大量、完備網(wǎng)絡(luò)行為數(shù)據(jù)，提取降維、降噪且具有攻擊行為數(shù)據(jù)的固有特征用于訓(xùn)練模型，實(shí)現(xiàn)對(duì)網(wǎng)絡(luò)行為的實(shí)時(shí)異常行為檢測(cè)。

2.2.5 數(shù)據(jù)脫敏

數(shù)據(jù)脫敏是對(duì)大數(shù)據(jù)中的敏感數(shù)據(jù)進(jìn)行保護(hù)的有效方式。對(duì)敏感數(shù)據(jù)進(jìn)行隱私計(jì)算，限制數(shù)據(jù)使用方不能直接讀取原始數(shù)據(jù)[5]。數(shù)據(jù)失真技術(shù)指在原始數(shù)據(jù)上加入噪聲等干擾信息，隱藏真實(shí)數(shù)據(jù)，使用時(shí)再重構(gòu)數(shù)據(jù)。匿名技術(shù)針對(duì)標(biāo)識(shí)符進(jìn)行處理，使得入侵者不能從多方竊取的數(shù)據(jù)中還原出個(gè)人的標(biāo)識(shí)信息，即以犧牲標(biāo)識(shí)信息的方法來(lái)保護(hù)敏感數(shù)據(jù)安全。關(guān)聯(lián)規(guī)則隱藏技術(shù)將不被公開的數(shù)據(jù)規(guī)則隱藏，數(shù)據(jù)挖掘等算法使用統(tǒng)計(jì)學(xué)的分析技術(shù)，如關(guān)聯(lián)性分析、聚類和分類等，從數(shù)據(jù)中挖掘隱含的信息。隱藏關(guān)聯(lián)規(guī)則使得不能通過相關(guān)技術(shù)挖掘敏感信息，同時(shí)不影響公開數(shù)據(jù)的認(rèn)識(shí)發(fā)現(xiàn)，可以阻止不法分子利用數(shù)據(jù)關(guān)聯(lián)規(guī)則盜取用戶個(gè)人隱私信息。

2.3 模型安全風(fēng)險(xiǎn)防范

在人工智能技術(shù)發(fā)展過程中，數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)和深度學(xué)習(xí)等新技術(shù)不斷涌現(xiàn)，可從海量數(shù)據(jù)中快速獲取有價(jià)值的信息，幫助人們做出正確決策。算法不僅要具備良好的處理分析能力和泛化性能，還要具有健壯性和安全性。

2.3.1 模型魯棒性增強(qiáng)

在深度網(wǎng)絡(luò)等模型訓(xùn)練過程中，需要一定規(guī)模的數(shù)據(jù)量。數(shù)據(jù)增廣在一定程度上可擴(kuò)展現(xiàn)有數(shù)據(jù)集，使得參與訓(xùn)練的數(shù)據(jù)集更加健壯。數(shù)據(jù)增廣的方式多樣，如在圖像數(shù)據(jù)中可對(duì)原始圖像旋轉(zhuǎn)、鏡像、切割、尺度變化、縮放、顏色空間變換和加入噪聲等，由增廣后的數(shù)據(jù)集訓(xùn)練得到的模型將具有更好的泛化性能，應(yīng)對(duì)不同的測(cè)試集，具有更穩(wěn)定的效果，增強(qiáng)了模型的魯棒性。健壯的模型可以在一定程度上抵御外來(lái)的攻擊。

2.3.2 模型惡意攻擊防范

（1）對(duì)抗樣本攻擊防范。對(duì)抗樣本的攻擊是在原始樣本上添加微小的干擾信息，會(huì)影響模型的決策，使模型出錯(cuò)。攻擊者可以獲取模型算法和參數(shù)的攻擊是白盒攻擊，不獲取模型算法和參數(shù)的攻擊是黑盒攻擊。不論黑盒攻擊還是白盒攻擊，攻擊者都可以與系統(tǒng)交互。攻擊者分析獲取的系統(tǒng)信息，生成針對(duì)該系統(tǒng)的對(duì)抗樣本。將對(duì)抗樣本與正常樣本一起輸入到模型訓(xùn)練中，將直接影響模型的準(zhǔn)確率，引導(dǎo)模型做出錯(cuò)誤的決策。對(duì)抗樣本攻擊的防范分成2 個(gè)方面。一是增強(qiáng)模型的魯棒性，將生成的對(duì)抗樣本加入正常訓(xùn)練集進(jìn)行對(duì)抗訓(xùn)練，可提高模型的魯棒性，使得模型能夠在已知的對(duì)抗攻擊中有較好的效果。對(duì)抗樣本的生成可使用梯度實(shí)現(xiàn)，也可利用削弱模型梯度的方式防御攻擊。對(duì)抗樣本是通過加入噪聲實(shí)現(xiàn)的，數(shù)據(jù)預(yù)處理環(huán)節(jié)的降噪處理可在一定程度上削弱噪聲的影響。二是對(duì)抗攻擊的檢測(cè)，可通過原始樣本和降噪后樣本對(duì)模型輸出結(jié)果的差異檢測(cè)來(lái)實(shí)現(xiàn)。對(duì)于差異較大的樣本，需要進(jìn)行數(shù)據(jù)清洗處理。

（2）算法逆向攻擊防范。算法逆向攻擊可分為成員推理攻擊和屬性推理攻擊2 種。成員推理攻擊是一個(gè)二分類問題，攻擊者分析竊取的數(shù)據(jù)，可以推理出數(shù)據(jù)是否存在于訓(xùn)練集。屬性推理攻擊是攻擊[7]。防御成員推理攻擊可對(duì)數(shù)據(jù)進(jìn)行正則化處理，防止模型產(chǎn)生過擬合，避免從數(shù)據(jù)在預(yù)測(cè)結(jié)果上的好壞來(lái)判斷是否是成員數(shù)據(jù)。

（3）算法漏洞攻擊防范。人工智能是讓機(jī)器可以擁有像人類一樣的智能，而現(xiàn)有的技術(shù)還未能實(shí)現(xiàn)。因此，對(duì)于模型攻擊，算法不能完全識(shí)別。即便是人類，也無(wú)法完全識(shí)別。若要求算法完全可靠，則需窮舉所有的輸入，產(chǎn)生正確的輸出，但是在實(shí)際應(yīng)用中是不能實(shí)現(xiàn)的。算法漏洞攻擊的防范，需在系統(tǒng)中引入攻擊算法和防御算法。攻擊算法用于模擬外部攻擊行為，防御算法用于檢測(cè)攻擊行為，并對(duì)不同的行為做出相應(yīng)的反應(yīng)，確保算法安全。

（4）算法后門攻擊防范。開發(fā)算法時(shí)，程序員會(huì)創(chuàng)建后門，方便測(cè)試和修改算法。若在算法發(fā)布時(shí)未處理后門，會(huì)被攻擊者作為攻擊算法的有力武器。后門攻擊有多種類型，如數(shù)據(jù)采集時(shí)采集到被投毒的數(shù)據(jù)用于模型訓(xùn)練，生成被投毒的模型，會(huì)對(duì)被投毒的數(shù)據(jù)產(chǎn)生攻擊者預(yù)期的結(jié)果。在算法由于資源或技術(shù)原因需要外包或是使用外部的預(yù)處理模型時(shí)，也會(huì)存在第三方后門攻擊的風(fēng)險(xiǎn)等。算法后門攻擊的防范，需要消除算法中隱藏的后門，完善處理在系統(tǒng)開發(fā)階段因開發(fā)需求預(yù)留的后門。

（5）模型竊取攻擊防范。模型竊取攻擊典型的攻擊方式是生成原模型的替代模型。該替代模型通過竊取原模型的輸入數(shù)據(jù)和輸出數(shù)據(jù)訓(xùn)練得到。模型竊取攻擊的防范中，模型相關(guān)的輸入數(shù)據(jù)、參數(shù)和預(yù)測(cè)結(jié)果等數(shù)據(jù)可采用加密算法加密存儲(chǔ)，連同密鑰放在區(qū)塊鏈中，避免數(shù)據(jù)篡改。

2.4 系統(tǒng)安全風(fēng)險(xiǎn)防范

2.4.1 系統(tǒng)評(píng)測(cè)

檢驗(yàn)決策的合理性，結(jié)果是否符合常理等；檢查模型的公平性，是否因?yàn)橛?xùn)練數(shù)據(jù)的不均衡導(dǎo)致結(jié)果的偏差等；檢查模型的訓(xùn)練程度，是否出現(xiàn)嚴(yán)重的過擬合現(xiàn)象，降低泛化性能；檢查系統(tǒng)的安全性，標(biāo)定安全等級(jí)；檢驗(yàn)系統(tǒng)是否偏離既定目標(biāo)，是否按照框架和設(shè)計(jì)需求運(yùn)行。

2.4.2 系統(tǒng)監(jiān)測(cè)

系統(tǒng)中應(yīng)設(shè)置安全監(jiān)測(cè)和處理機(jī)制，實(shí)現(xiàn)對(duì)數(shù)據(jù)攻擊、模型攻擊和系統(tǒng)攻擊的自動(dòng)檢測(cè)，并能做出相應(yīng)的防御行為，動(dòng)態(tài)實(shí)時(shí)監(jiān)控系統(tǒng)，及時(shí)處理和修復(fù)故障，保障系統(tǒng)正常運(yùn)行。

2.4.3 訪問控制

對(duì)于系統(tǒng)的管理者和使用者等不同身份、不同類別的人員，分配不同的權(quán)限，對(duì)應(yīng)不同的身份認(rèn)證。對(duì)用戶非正常的訪問和請(qǐng)求加以限制，設(shè)立安全熔斷機(jī)制。

2.4.4 主動(dòng)進(jìn)攻

系統(tǒng)被攻擊時(shí)要保存好證據(jù)，用法律法規(guī)維護(hù)合法權(quán)益。例如，在模型竊取中，可在模型的輸出結(jié)果上加上隱形水印，替代模型學(xué)習(xí)留下證據(jù)。

3 結(jié) 論

人工智能的數(shù)據(jù)、模型和系統(tǒng)具有巨大的經(jīng)濟(jì)價(jià)值，其構(gòu)建和維護(hù)需要耗費(fèi)大量的成本，因此會(huì)受到各種目的的威脅和攻擊，存在重大安全隱患。本文分析人工智能系統(tǒng)生命周期的框架、設(shè)計(jì)、部署、維護(hù)和廢棄5 個(gè)階段所遇到的安全風(fēng)險(xiǎn)，使用相應(yīng)的安全技術(shù)解決風(fēng)險(xiǎn)隱患，并從業(yè)務(wù)安全、數(shù)據(jù)安全、模型安全以及系統(tǒng)安全4 個(gè)維度構(gòu)建人工智能系統(tǒng)安全風(fēng)險(xiǎn)防范體系。