宋蕾，馬春光，段廣晗

?

機器學(xué)習(xí)安全及隱私保護研究進展

宋蕾，馬春光，段廣晗

（哈爾濱工程大學(xué)計算機科學(xué)與技術(shù)學(xué)院，黑龍江 哈爾濱 150001）

機器學(xué)習(xí)作為實現(xiàn)人工智能的一種重要方法，在數(shù)據(jù)挖掘、計算機視覺、自然語言處理等領(lǐng)域得到廣泛應(yīng)用。隨著機器學(xué)習(xí)應(yīng)用的普及發(fā)展，其安全與隱私問題受到越來越多的關(guān)注。首先結(jié)合機器學(xué)習(xí)的一般過程，對敵手模型進行了描述。然后總結(jié)了機器學(xué)習(xí)常見的安全威脅，如投毒攻擊、對抗攻擊、詢問攻擊等，以及應(yīng)對的防御方法，如正則化、對抗訓(xùn)練、防御精餾等。接著對機器學(xué)習(xí)常見的隱私威脅，如訓(xùn)練數(shù)據(jù)竊取、逆向攻擊、成員推理攻擊等進行了總結(jié)，并給出了相應(yīng)的隱私保護技術(shù)，如同態(tài)加密、差分隱私。最后給出了亟待解決的問題和發(fā)展方向。

機器學(xué)習(xí)；安全威脅；防御技術(shù)；隱私保護

1 引言

機器學(xué)習(xí)是人工智能技術(shù)之一，近些年來，隨著其不斷成熟而飛速發(fā)展，大量企業(yè)在機器學(xué)習(xí)領(lǐng)域取得了突破性進展，如在醫(yī)療、圖像處理、網(wǎng)絡(luò)空間安全等領(lǐng)域中都得到了廣泛應(yīng)用。隨著深度學(xué)習(xí)的興起，機器學(xué)習(xí)又迎來新的一波發(fā)展熱潮，推進人工智能向前邁進一大步。在機器學(xué)習(xí)火速發(fā)展的同時，其安全與隱私問題也引起了人們的關(guān)注。機器學(xué)習(xí)的安全和隱私的威脅已經(jīng)阻礙機器學(xué)習(xí)及人工智能的發(fā)展。在自動駕駛、財政系統(tǒng)、健康等系統(tǒng)中，機器學(xué)習(xí)的安全性問題威脅人們的切身利益甚至健康生活。在云計算服務(wù)中的機器學(xué)習(xí)即服務(wù)（MLaaS），人們可能考慮數(shù)據(jù)泄露的問題而放棄便捷云服務(wù)。因此，如何保障機器學(xué)習(xí)的安全及如何保護用戶隱私成為機器學(xué)習(xí)發(fā)展的基礎(chǔ)，人們就此問題展開研究。雖然此項研究剛剛起步，但已經(jīng)取得了一定進展。

在機器學(xué)習(xí)中，安全是保障用戶數(shù)據(jù)被正確地使用，保障機器學(xué)習(xí)的可用性和完整性。安全和隱私是2個不同但緊密相關(guān)的概念，安全是保護用戶隱私的基礎(chǔ)。隱私權(quán)是自1948年以來聯(lián)合國《世界人權(quán)宣言》中所包含的一項基本人權(quán)，隱私的法律意義為不愿告人或不便告人的事情，和別人無關(guān)，關(guān)于自己利益的事。隱私是一個沒有公認標(biāo)準(zhǔn)定義的復(fù)雜概念[1]。在機器學(xué)習(xí)中隱私被定義為人們有權(quán)利決定自己的私有數(shù)據(jù)不被公開。

2 機器學(xué)習(xí)及其敵手模型

2.1 機器學(xué)習(xí)

機器學(xué)習(xí)通過計算手段利用經(jīng)驗改善系統(tǒng)的自身性能。經(jīng)驗即數(shù)據(jù)，計算機系統(tǒng)利用現(xiàn)有數(shù)據(jù)進行學(xué)習(xí)，產(chǎn)生模型進而對未來的行為做出決策判斷。機器學(xué)習(xí)解決問題的過程如圖1所示。

圖1 機器學(xué)習(xí)解決問題的過程

為了便于描述，本文使用機器學(xué)習(xí)進行的分類任務(wù)為例，描述在訓(xùn)練與預(yù)測階段中可能遇到的安全與隱私問題。機器學(xué)習(xí)其他應(yīng)用面臨的安全與隱私問題與其類似。

2.2 敵手模型描述

在描述機器學(xué)習(xí)威脅時需要考慮攻擊者的能力、目標(biāo)等，這里的攻擊者稱為敵手。敵手模型可以從敵手目標(biāo)、敵手知識、敵手能力、敵手策略4個維度刻畫[3]。根據(jù)敵手模型的不同產(chǎn)生的威脅也不同。

敵手目標(biāo)：敵手目標(biāo)分為破壞機器學(xué)習(xí)的機密性、完整性、可用性。機密性是指包含用戶隱私的敏感信息不被泄露。敵手不僅可以竊取含有敏感信息的訓(xùn)練數(shù)據(jù)，還可以通過暴露目標(biāo)模型信息及其預(yù)測結(jié)果達到其目的，嚴重威脅用戶隱私。完整性和可用性是對于機器學(xué)習(xí)模型輸出而言，均影響用戶正常使用模型進行預(yù)測，但側(cè)重點不同。完整性威脅指敵手誘導(dǎo)模型行為或者使模型在預(yù)測中輸出指定分類標(biāo)簽。可用性威脅指阻止用戶獲得模型正確的輸出或者阻止獲取模型本身的一些特性，使其在目標(biāo)環(huán)境下不可信賴。完整性威脅和可用性威脅目標(biāo)相似，敵手采取的手段也相近。敵手在攻擊過程中的目標(biāo)往往不是單一的，如在威脅機密性下獲取目標(biāo)模型，通過分析目標(biāo)模型得出模型的脆弱性對其發(fā)起攻擊，對模型可用性和完整性產(chǎn)生威脅。

敵手知識：敵手知識包括模型的訓(xùn)練數(shù)據(jù)及特征、模型結(jié)構(gòu)及參數(shù)、決策函數(shù)、訪問目標(biāo)模型得到反饋信息等。根據(jù)敵手已知信息的多少，敵手知識分為有限知識和完全知識。在預(yù)測階段中，根據(jù)敵手知識可將攻擊分為白盒攻擊和黑盒攻擊。白盒攻擊指敵手得到目標(biāo)模型，了解模型的內(nèi)部結(jié)構(gòu)及其參數(shù)。黑盒攻擊指敵手只能訪問目標(biāo)模型，根據(jù)輸入數(shù)據(jù)得到模型輸出相應(yīng)的預(yù)測結(jié)果。在實際中，白盒攻擊不易實現(xiàn)，黑盒攻擊更為常見。

敵手能力：敵手能力指敵手在具有一定知識背景下，對模型或者訓(xùn)練數(shù)據(jù)、測試數(shù)據(jù)的控制能力。根據(jù)控制能力的不同，可以把敵手分為強敵手和弱敵手。在訓(xùn)練階段中，敵手訪問訓(xùn)練數(shù)據(jù)、注入惡意數(shù)據(jù)、直接修改數(shù)據(jù)，這些敵手能力是逐漸增強的。在預(yù)測階段，白盒攻擊中的敵手能力比黑盒攻擊強。如果敵手可以改變目標(biāo)模型的學(xué)習(xí)策略，則防御者很難在預(yù)測階段抵抗這種邏輯上的改變所帶來的攻擊。

敵手策略：敵手策略指敵手為達到攻擊目標(biāo)，根據(jù)自身的知識和能力，采取的具體攻擊方式，如修改數(shù)據(jù)集標(biāo)簽信息、注入惡意數(shù)據(jù)、逆向攻擊提取敏感數(shù)據(jù)等。

3 機器學(xué)習(xí)安全威脅及防御技術(shù)

3.1 機器學(xué)習(xí)常見的安全威脅

在人們的日常生活中，機器學(xué)習(xí)越來越普及。機器學(xué)習(xí)的安全威脅嚴重影響人們的正常生活甚至生命健康。例如，在汽車自動駕駛過程中，敵手可以通過偽造交通標(biāo)志影響汽車的正常駕駛，易導(dǎo)致發(fā)生車禍；在垃圾郵件檢測中，敵手可以通過引入積極的詞匯逃避垃圾郵件的分類。表1給出了常見的安全威脅，這些安全威脅分別針對機器學(xué)習(xí)過程中的訓(xùn)練階段和預(yù)測階段，如圖2所示。

3.1.1 訓(xùn)練階段的安全威脅

在訓(xùn)練階段，機器學(xué)習(xí)使用訓(xùn)練數(shù)據(jù)集訓(xùn)練目標(biāo)模型，通過學(xué)習(xí)數(shù)據(jù)的內(nèi)在特征以得到?jīng)Q策假設(shè)函數(shù)，在預(yù)測階段則應(yīng)用目標(biāo)模型進行預(yù)測。目標(biāo)模型預(yù)測的有效性依賴于訓(xùn)練數(shù)據(jù)集和預(yù)測數(shù)據(jù)集屬于同一分布。例如，預(yù)測數(shù)據(jù)與訓(xùn)練數(shù)據(jù)分布不同，則在實際預(yù)測階段會出現(xiàn)偏差。因此，很多敵手會通過修改訓(xùn)練數(shù)據(jù)的分布對目標(biāo)模型發(fā)起攻擊。

表1 機器學(xué)習(xí)中常見的安全威脅

圖2 機器學(xué)習(xí)常見的安全性威脅

除了直接修改數(shù)據(jù)標(biāo)簽外，敵手可以通過注入精心制造的惡意數(shù)據(jù)實現(xiàn)投毒攻擊，如文獻[6-7]。敵手通過注入精心制作的惡意樣本改變訓(xùn)練樣本的分布，訓(xùn)練后模型的決策邊界發(fā)生變化，使預(yù)測階段模型的精度降低，甚至敵手可以誘導(dǎo)模型輸出指定的錯誤分類標(biāo)簽。投毒攻擊的攻擊過程如圖3所示。

圖3(a)中實線表示對二分類樣本進行訓(xùn)練后的分類器，虛線表示在訓(xùn)練階段中加入惡意樣本后，被破壞的分類器。圖3(b)表示在預(yù)測階段，因投毒攻擊對分類器產(chǎn)生了影響，導(dǎo)致部分測試樣本被錯誤分類。

圖3 投毒攻擊的攻擊過程

訓(xùn)練階段往往都是集中、離線和封閉的。敵手不易獲取訓(xùn)練數(shù)據(jù)，不能直接在原始訓(xùn)練數(shù)據(jù)中投毒。而在一些在線學(xué)習(xí)或者需要定期更新模型的訓(xùn)練中，需要不斷加入新的訓(xùn)練數(shù)據(jù)，這就給敵手可乘之機，在新收集的數(shù)據(jù)中投毒，如文獻[8-9]均采取此類做法。對防御者而言，當(dāng)新收集的數(shù)據(jù)集分布發(fā)生明顯變化時，需提高警惕。

3.1.2 預(yù)測階段的安全威脅

經(jīng)過訓(xùn)練后，得到機器學(xué)習(xí)目標(biāo)模型，部署好后進行推理和預(yù)測。在預(yù)測階段中，敵手無法修改訓(xùn)練數(shù)據(jù)集，但可以訪問目標(biāo)模型獲得有效的信息對模型發(fā)起攻擊，使模型在預(yù)測階段發(fā)生錯誤。2014年，Szegedy等[10]首先發(fā)現(xiàn)對圖片添加輕微擾動可以欺騙神經(jīng)網(wǎng)絡(luò)，此過程稱對抗攻擊（adversarial attack），敵手精心制造使模型錯分類的樣本稱為對抗樣本（adversarial example）。根據(jù)敵手知識，將此階段的攻擊分為白盒攻擊和黑盒攻擊。

白盒攻擊：敵手已知目標(biāo)模型的結(jié)構(gòu)和參數(shù)，雖然在實際中不易實現(xiàn)，一旦敵手獲取目標(biāo)模型則對機器學(xué)習(xí)造成極大的威脅。敵手可以通過分析目標(biāo)模型結(jié)構(gòu)來構(gòu)造對抗樣本進行對抗攻擊。Szegedy等[10]將對抗樣本作為輸入，在預(yù)測階段使目標(biāo)模型分類錯誤。他們將搜索對抗樣本形式化表示為以下優(yōu)化問題。

Goodfellow等[12]使用FGSM（fast gradient sign method）解決上述優(yōu)化問題，利用線性假設(shè)（現(xiàn)代DNN模型采用ReLU作為激活函數(shù)而不再sigmod，鼓勵線性計算同時也易受對抗攻擊）可以快速搜索對抗樣本。

Moosavi-Dezfooli等[16]提出Deepfool方法，通過迭代計算的方法生成最小規(guī)范對抗擾動，直到找到距離正常樣本最接近的決策邊界，跨越邊界找到擾動最小的對抗樣本。作者證明Deepfool生產(chǎn)的對抗樣本在相似的欺騙率下擾動比FGSM小。

黑盒攻擊：敵手得不到目標(biāo)模型的內(nèi)部結(jié)構(gòu)和參數(shù)，但可以通過API進行訪問目標(biāo)模型，尤其在云環(huán)境下的機器學(xué)習(xí)即服務(wù)更容易訪問API接口進行黑盒攻擊。詢問攻擊（Oracle attack）通過觀察特定的輸入對應(yīng)的輸出信息，建立與目標(biāo)模型相似的模型進行攻擊，Oracle攻擊的有效性與詢問目標(biāo)模型的輸入及查詢次數(shù)密切相關(guān)。Lowd等[19]評估了使模型錯分類需要詢問次數(shù)的成本。

Szegedy等首先觀察到對抗樣本轉(zhuǎn)移性，即被一個模型錯分類的對抗樣本對其他模型也適用。Moosavi-Dezfooli等[20]表明不同模型中存在通用擾動（universal perturbation），使用通用擾動產(chǎn)生對抗樣本可以在ImageNet訓(xùn)練的目標(biāo)模型上傳遞。Papernot等[21]利用對抗樣本跨模型傳遞性（cross-model transferability）實現(xiàn)黑盒攻擊，該攻擊利用敵手產(chǎn)生的合成輸入訓(xùn)練一個替代模型（substitute mode），利用替代模型制作對抗樣本，這些對抗本可以被原本的目標(biāo)模型錯誤分類。作者表明，利用MetaMind在線訓(xùn)練DNN模型錯分類可以達到84.24%，之后作者使用亞馬遜云服務(wù)實現(xiàn)邏輯回歸時錯分類可以達到96%[22]。

表2描述機器學(xué)習(xí)預(yù)測階段常見的安全威脅，并對敵手知識和攻擊目標(biāo)進行對比分析，可知黑盒攻擊敵手得不到目標(biāo)模型的結(jié)構(gòu)和參數(shù)信息，更難從中提取模型的決策邊界信息，相較于白盒，攻擊能力弱一些，不易實現(xiàn)針對目標(biāo)攻擊，但在現(xiàn)實中更具有普遍性。

表2 機器學(xué)習(xí)預(yù)測階段安全威脅對比分析

3.2 機器學(xué)習(xí)安全性防御技術(shù)

機器學(xué)習(xí)的安全性問題威脅系統(tǒng)的可用性和完整性，敵手多依賴于測試數(shù)據(jù)與訓(xùn)練數(shù)據(jù)分布不同發(fā)起攻擊。提高目標(biāo)模型的頑健性可以對預(yù)測階段中出現(xiàn)的未知樣本有良好的適應(yīng)性，在出現(xiàn)惡意樣本時模型也可以正常進行預(yù)測。

正則化（regularization）。通過為代價函數(shù)添加正則項（也叫懲罰項）提高目標(biāo)模型的泛化能力，在預(yù)測中遇見未知數(shù)據(jù)集具有良好的適應(yīng)性抵抗攻擊。Barreno等[23]提出使用正則化方法保障機器學(xué)習(xí)安全的建議。Biggio等[5]利用正則化方法限制訓(xùn)練SVM模型時敵手修改訓(xùn)練標(biāo)簽的脆弱性。Gu等[23]使用更平滑懲罰項訓(xùn)練深度收縮網(wǎng)絡(luò)（deep contractive network）抵御攻擊。文獻[24-26]使用正則化方法提高算法的頑健性，在抵抗攻擊時取得良好的效果。

對抗訓(xùn)練（adversarial training）。在訓(xùn)練數(shù)據(jù)集中引入對抗樣本，通過合法化的對抗樣本對目標(biāo)模型的訓(xùn)練提供模型的頑健性。合法化的對抗樣本模仿在預(yù)測階段可能的數(shù)據(jù)分布，Szegedy等[10]首先通過注入對抗樣本，修正其標(biāo)簽使模型面對敵手時更具頑健性。Goodfellow等[27]利用對抗訓(xùn)練將在MNIST數(shù)據(jù)集上的錯誤識別率從89.4%降低到17.9%。Huang等[28]通過懲罰錯分類的對抗樣本增加模型的頑健性。Tramèr等[29]提出聯(lián)合對抗訓(xùn)練（ensemble adversarial training）增加對抗樣本多樣性，但在對抗訓(xùn)練中引入所有未知攻擊的對抗樣本是不現(xiàn)實的，對抗訓(xùn)練的非適應(yīng)性導(dǎo)致對抗訓(xùn)練的局限性。

防御精餾（defensive distillation）。2016年，Papernot等[30]在distillation[31]技術(shù)的基礎(chǔ)上提出防御精餾技術(shù)抵抗攻擊。原distillation 技術(shù)旨在將大規(guī)模模型壓縮為小規(guī)模并保留原有的準(zhǔn)確性，而defensive distillation不改變模型規(guī)模的大小，產(chǎn)生輸出表面更平滑的、對擾動不敏感的模型提高模型的頑健性，作者表示，使用defensive distillation 方法可以將對抗樣本攻擊的成功率降低90%。然而，在黑盒攻擊中并不能確保defensive distillation 的有效性，因此，2017年，Papernot等[32]提出可擴展的防御精餾技術(shù)。

防御者在防御時與敵手做博弈游戲，防御者制定防御策略，敵手做出最佳響應(yīng)[33]。防御者代價函數(shù)為

敵手代價函數(shù)可為

除了提高模型的頑健性外，直接拒絕惡意樣本也是提高模型安全性的重要手段。可以利用數(shù)據(jù)清洗直接將投毒數(shù)據(jù)去除來防御投毒攻擊。同樣，也可以直接丟棄被檢測判定為對抗樣本的數(shù)據(jù)來抵御對抗攻擊。文獻[36-37]先檢測預(yù)測樣本是否為合法樣本，若為合法樣本則進行預(yù)測，若為對抗樣本則直接丟棄，在抵御對抗攻擊取得一定效果。

4 機器學(xué)習(xí)隱私威脅及隱私保護技術(shù)

4.1 機器學(xué)習(xí)常見的隱私威脅

機器學(xué)習(xí)模型會無意識記錄一些訓(xùn)練數(shù)據(jù)，而一些訓(xùn)練數(shù)據(jù)涉及人們的隱私，如習(xí)慣、愛好、地理位置等。在機器學(xué)習(xí)的健康系統(tǒng)中，隱私威脅不僅泄露病人隱私，敵手可能發(fā)起攻擊修改病人的用藥劑量導(dǎo)致病人生命危險。表3給出了常見的隱私威脅，這些隱私威脅分別針對機器學(xué)習(xí)過程中的訓(xùn)練階段和預(yù)測階段，如圖4所示。

表3 機器學(xué)習(xí)中常見的隱私威脅

圖4 機器學(xué)習(xí)中常見的隱私威脅

4.1.1 訓(xùn)練階段的隱私威脅

機器學(xué)習(xí)訓(xùn)練方式分為集中式和聯(lián)合分布式，如圖5所示。

圖5 機器學(xué)習(xí)訓(xùn)練方式

大型公司多用集中訓(xùn)練方式，因為擁有足夠多的用戶便于收集大量的訓(xùn)練數(shù)據(jù)。目前，針對公司收集用戶數(shù)據(jù)保護用戶隱私業(yè)界沒有一個統(tǒng)一的衡量標(biāo)準(zhǔn)。在收集用戶數(shù)據(jù)過程中，會暴露一些用戶的隱私，Google和Apple公司采用差分隱私的方式保護用戶數(shù)據(jù)，在用戶數(shù)據(jù)中，加入噪聲，使單一的數(shù)據(jù)沒有現(xiàn)實意義，而統(tǒng)計信息具有應(yīng)用價值。為了擴大訓(xùn)練數(shù)據(jù)集得到精確的目標(biāo)模型，一些數(shù)據(jù)提供方需要進行協(xié)作“分享”數(shù)據(jù)，共同訓(xùn)練目標(biāo)模型?！胺窒怼辈皇侵苯訉ζ渌麉⑴c方公開數(shù)據(jù)，各個參與方獨自在各自數(shù)據(jù)集上訓(xùn)練自己的模型，與其他參與方共享訓(xùn)練結(jié)果，從而間接分享各自的訓(xùn)練數(shù)據(jù)。聯(lián)合訓(xùn)練模型易受不誠實的參與方攻擊，惡意竊取其他參與者數(shù)據(jù)。Hitaj等[38]利用生成對抗網(wǎng)絡(luò)（GAN, generative adversarial networks)，對聯(lián)合分布式訓(xùn)練深度學(xué)習(xí)模型發(fā)起攻擊，任意參加訓(xùn)練的用戶都可能成為敵手，生成與其他參與者訓(xùn)練數(shù)據(jù)無限逼近的假樣本來竊取他人隱私。

4.1.2 預(yù)測階段的隱私威脅

提取訓(xùn)練數(shù)據(jù)信息：在預(yù)測階段中通過逆向攻擊可以提取訓(xùn)練數(shù)據(jù)（部分或全部）或訓(xùn)練數(shù)據(jù)的統(tǒng)計特征。2014年，F(xiàn)redrikson等[39]在藥物劑量預(yù)測任務(wù)中，結(jié)合病人的人口屬性統(tǒng)計信息可以恢復(fù)患者基因組信息。2015年，F(xiàn)redrikson等[40]通過觀察目標(biāo)模型預(yù)測結(jié)果，反過來重建模型訓(xùn)練時使用的人臉圖像數(shù)據(jù)。Ateniese等[41]分析模型確定其訓(xùn)練數(shù)據(jù)是否符合某種統(tǒng)計特征。2017年，Shokri等[42]提出成員推理攻擊（membership inference attack），給定一條記錄可以判定是否在訓(xùn)練數(shù)據(jù)集中。

表4描述機器學(xué)習(xí)中常見隱私威脅對比分析，可見對模型的惡意訪問和暴露模型參數(shù)會泄露用戶隱私，合理限制目標(biāo)模型的訪問可以有效防止隱私泄露。

4.2 機器學(xué)習(xí)隱私保護技術(shù)

用于訓(xùn)練機器學(xué)習(xí)的數(shù)據(jù)包含大量用戶隱私，如照片、地理位置、醫(yī)療信息等。目前，常用于機器學(xué)習(xí)的隱私保護技術(shù)有同態(tài)加密技術(shù)和差分隱私技術(shù)。

4.2.1 基于同態(tài)加密的機器學(xué)習(xí)隱私保護技術(shù)

同態(tài)加密[44]（homomorphic encryption）允許用戶直接在密文上做運算，得到的結(jié)果解密后與在明文下運算結(jié)果一致，是最直接有效保護用戶隱私的一項技術(shù)。在云存儲中，云端的目標(biāo)模型可以直接對密文進行預(yù)測。但同態(tài)加密運算只支持加法和乘法運算的多項式運算，而機器學(xué)習(xí)過程中包含冪運算（如sigmod激活函數(shù)），研究人員就此問題進行研究。

表4 機器學(xué)習(xí)中常見的隱私威脅對比分析

以上方法都是在預(yù)測階段保護用戶數(shù)據(jù)，理論上在訓(xùn)練階段也可用加密技術(shù)保護敏感數(shù)據(jù)集。Xie等[48]利用Stone-Weierstrass理論[49]。

(7)

目前，利用加密技術(shù)保護機器學(xué)習(xí)用戶敏感數(shù)據(jù)多用于預(yù)測階段，雖然在訓(xùn)練階段中理論上可行，但是深度學(xué)習(xí)本來就大量消耗計算資源，加密技術(shù)計算開銷大，網(wǎng)絡(luò)訓(xùn)練過程慢。如將復(fù)雜計算交給云端處理，需注意神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練過程是一個迭代的過程，隨著運算次數(shù)的增多，同態(tài)計算電路深度加深，一旦超過閾值，將無法解密得到正確的計算結(jié)果。同時也要考慮客戶端和云端通信等問題。

4.2.2 基于差分隱私的機器學(xué)習(xí)隱私保護技術(shù)

差分隱私（differential privacy）是一種被廣泛認可的嚴格的隱私保護技術(shù)。2006年，微軟的Dwork[51]提出差分隱私概念，通過引入噪聲使至多相差1個數(shù)據(jù)的2個數(shù)據(jù)集查詢結(jié)果概率不可分。具體定義如下。

在集中式學(xué)習(xí)中，為保護敏感訓(xùn)練數(shù)據(jù)，2016年，Abadi等[52]提出基于差分隱私的深度學(xué)習(xí)算法，利用隨機梯度下降過程中對梯度增加擾動來保護訓(xùn)練敏感數(shù)據(jù)，并在差分隱私框架下對隱私成本進行了精細的分析，經(jīng)實驗證明，可以在隱私成本可控的情況下完成深層網(wǎng)絡(luò)訓(xùn)練。2017年，Papernot等[53]提出用半監(jiān)督知識遷移解決深度學(xué)習(xí)中訓(xùn)練數(shù)據(jù)隱私泄露問題，通過教師模型全體的隱私聚合（PATE, private aggregation of teacher ensembles）為訓(xùn)練數(shù)據(jù)提供通用的強健隱私保護。作者將敏感數(shù)據(jù)分割成個不相交的數(shù)據(jù)集，在每個數(shù)據(jù)集上獨立訓(xùn)練得到個教師模型，通過對投票引入噪聲，算出得票最高的預(yù)測結(jié)果。然后用公開不含標(biāo)簽的數(shù)據(jù)集（利用教師模型標(biāo)注）訓(xùn)練學(xué)生模型進行知識遷移傳遞，最終部署學(xué)生模型進行預(yù)測服務(wù)。不使用敏感數(shù)據(jù)直接訓(xùn)練公開模型，防止逆向攻擊提取原始敏感數(shù)據(jù)。Beaulieujones等[54]利用文獻[52]中方法，提出差分隱私輔助分類生成對抗網(wǎng)絡(luò)生成醫(yī)療臨床數(shù)據(jù)。郭鵬等[55]對文獻[54]提出改進，實現(xiàn)對生成對抗網(wǎng)絡(luò)進行差分隱私保護。

在聯(lián)合分布式學(xué)習(xí)中，數(shù)據(jù)所有者共同學(xué)習(xí)具有同一目標(biāo)的網(wǎng)絡(luò)模型，在各自數(shù)據(jù)集上獨立訓(xùn)練卻共享學(xué)習(xí)結(jié)果。2015年，Shokri和Shmatikov[56]首次將隱私保護概念引入深度學(xué)習(xí)中，提出保護隱私的聯(lián)合分布式深度學(xué)習(xí)方案，并且提供差分隱私保障。每個參與訓(xùn)練人員將本地的一小部分梯度參數(shù)引入噪聲后上傳到中心參數(shù)服務(wù)器端，每次更新本地參數(shù)時從服務(wù)器下載部分最新的梯度參數(shù)進行更新，使參與者在不公開自己數(shù)據(jù)集的情況下，從其他參與者中獲益。2016年，Liu等[57]在此基礎(chǔ)上使用XMPP作為參數(shù)服務(wù)器使之適用于移動分布式環(huán)境。2018年，Le等[58]針對文獻[56]做出改進：如果參數(shù)服務(wù)器是好奇的，即使只上傳一小部分梯度信息也會間接泄露用戶隱私（如4.1.2中提到的通過逆向攻擊恢復(fù)部分訓(xùn)練數(shù)據(jù)集信息）。作者提出在上傳參數(shù)時利用加法同態(tài)加密算法隱藏梯度信息。

除了加密技術(shù)和差分隱私技術(shù)，與Shokri和Shmatikov類似，2017年，Google推出聯(lián)合學(xué)習(xí)[59-60]，Android設(shè)備從Google服務(wù)器上下載模型，通過本地數(shù)據(jù)訓(xùn)練進行更新改進。與文獻[56]不同的是，Google并沒有采用差分隱私技術(shù)，而是建議使用更安全的聚合協(xié)議安全多方計算（MPC），利用聯(lián)合平均算法（federated averaging algorithm）[60-61]計算各個用戶設(shè)備的更新，但Google服務(wù)器只有在多個用戶參與時才能解密更新模型。Osia等[62]提出一種用于隱私保護的移動分析混合深度學(xué)習(xí)架構(gòu)。首次將孿生神經(jīng)網(wǎng)絡(luò)用于隱私保護的深度學(xué)習(xí)中，利用本地移動資源（如智能手機）提取敏感數(shù)據(jù)特征（預(yù)處理），再送入云端進行預(yù)測。既使用云端高效的資源，又避免直接暴露自身的敏感數(shù)據(jù)。

5 結(jié)束語

機器學(xué)習(xí)自身的脆弱性導(dǎo)致其安全威脅存在的必然性，并且容易泄露用戶隱私，近年來，機器學(xué)習(xí)的安全與隱私問題引起了研究人員的廣泛關(guān)注。機器學(xué)習(xí)被視為黑箱模型，其決策算法具有不可解釋性，這給機器學(xué)習(xí)的安全防御和隱私保護帶來一定的困難。當(dāng)前，機器學(xué)習(xí)安全防御與隱私保護的研究仍處于起步階段，還有許多亟待解決的問題。

1) 建立完善的評估機制。目前還沒有統(tǒng)一的安全評估標(biāo)準(zhǔn)，對于隱私泄露沒有統(tǒng)一的衡量標(biāo)準(zhǔn)，建立完善的評估機制、規(guī)范隱私保護規(guī)則是保障機器學(xué)習(xí)安全與隱私的重要一環(huán)。

2) 尋求有效的對抗訓(xùn)練方法。對抗訓(xùn)練的非適應(yīng)性使在對抗訓(xùn)練中必須引入足夠多樣的對抗樣本才能有效防御未知的對抗攻擊，這是對抗訓(xùn)練的難點，有待解決。

3) 高效的加密方法保護用戶隱私。最直接有效保護隱私的方法是使用加密技術(shù)，但目前同態(tài)加密技術(shù)運算開銷過大，并不能直接計算機器學(xué)習(xí)中的一些非多項式運算。通常保護用戶隱私是以犧牲目標(biāo)模型的精度為代價。因此，研究高效的加密方法保護用戶隱私是一個重要研究問題。

[1] GHORBEL A, GHORBEL M, JMAIEL M. Privacy in cloud computing environments: a survey and research challenges[J]. Journal of Supercomputing, 2017, 73(6):2763-2800.

[2] SILVER D, HUANG A, MADDISON C J, et al. Mastering the game of go with deep neural networks and tree search[J]. Nature, 2016, 529(7587): 484-489.

[3] BARRENO M, NELSON B, SEARS R, et al. Can machine learning be secure?[C]//ACM Symposium on Information, Computer and Communications Security. 2006:16-25.

[4] KEARNS M, LI M. Learning in the presence of malicious errors[J]. SIAM Journal on Computing, 1993, 22(4): 807-837.

[5] BIGGIO B, NELSON B, LASKOV P. Support vector machines under adversarial label noise[J]. Journal of Machine Learning Research, 2011, 20(3):97-112.

[6] BIGGIO B, NELSON B, LASKOV P. Poisoning attacks against support vector machines[C]//International Coference on International Conference on Machine Learning. 2012: 1467-1474.

[7] MEI S, ZHU X. Using machine teaching to identify optimal training-set attacks on machine learners[C]//AAAI. 2015: 2871-2877.

[8] BIGGIO B, DIDACI L, FUMERA G, et al. Poisoning attacks to compromise face templates[C]//International Conference on Biometrics. 2013: 1-7.

[9] KLOFT M, LASKOV P. Security analysis of online anomaly detection[J]. Journal of Machine Learning Research, 2010, 13(1): 3681-3724.

[10] C. SZEGEDY, W. ZAREMBA, I. SUTSKEVER, et al. Intriguing properties of neural networks[C]//2014 International Conference on Learning Representations. Computational and Biological Learning Society. 2014.

[11] PAPERNOT N, MC D P, SINHA A, et al. Towards the science of security and privacy in machine learning[J]. arXiv preprint arXiv: 1611.03814, 2016.

[12] GOODFELLOW I J, SHLENS J, SZEGEDY C. Explaining and harnessing adversarial examples[C]//International Conference on Learning Representations. 2015.

[13] KURAKIN A, GOODFELLOW I, BENGIO S. Adversarial machine learning at scale[J]. arXiv preprint arXiv:1611.01236, 2017.

[14] DONG Y P, LIAO F Z, PANG T Y, et al. Boosting adversarial attacks with momentum[J]. arXiv preprint arXiv:1710.06081, 2017.

[15] MIYATO T, MAEDA S, KOYAMA M, et al. Virtual adversarial training: a regularization method for supervised and semi-supervised learning[J]. arXiv preprint 1704.03976, 2017.

[16] MOOSAVI-DEZFOOLI S, FAWZI A, FROSSARD P. DeepFool: a simple and accurate method to fool deep neural networks[C]//IEEE Conference on Computer Vision and Pattern Recognition. 2016: 2574-2582.

[17] PAPERNOT N, MCDANIEL P, JHA S, et al. The limitations of deep learning in adversarial settings[C]//IEEE European Symposium on Security and Privacy. 2016:372-387.

[18] SU J, VARGAS D V, KOUICHI S. One pixel attack for fooling deep neural networks[J]. arXiv preprint arXiv:1710.08864, 2017.

[19] LOWD D, MEEK C. Adversarial learning[C]//The eleventh ACM SIGKDD International Conference on Knowledge Discovery in Data Mining. 2005: 641-647.

[20] MOOSAVI-DEZFOOLI S M, FAWZI A, FAWZI O, et al. Universal adversarial perturbations[C]//IEEE Conference on Computer Vision and Pattern Recognition. 2017.

[21] PAPERNOT N, MCDANIEL P, GOODFELLOW I, et al. Practical black-box attacks against machine learning[C]//2017 ACM on Asia Conf on Computer and Communications Security. 2017:506-519.

[22] PAPERNOT N, MCDANIEL P, GOODFELLOW I. Transferability in machine learning: from phenomena to black-box attacks using adversarial samples[J]. arXiv preprint arXiv: 1605.07277, 2016.

[23] GU S X, RIGAZIO L. Towards deep neural network architectures robust to adversarial examples[J]. arXiv preprint arXiv:1412.5068, 2014.

[24] LYU C, HUANG K, LIANG H N. A unified gradient regularization family for adversarial examples[C]//IEEE International Conference on Data Mining. 2016:301-309.

[25] ZHAO Q Y, GRIFFIN L D. Suppressing the unusual: towards robust cnns using symmetric activation functions[J]. arXiv preprint arXiv:1603.05145, 2016.

[26] ROZSA A, GUNTHER M, BOULT T E. Towards robust deep neural networks with BANG[J]. arXiv preprint arXiv:1612.00138, 2016.

[27] GOODFELLOW I J, SHLENS J, SZEGEDY C. Explaining and harnessing adversarial examples[C]//International Conference on Learning Representations. Computational and Biological Learning Society, 2015.

[28] HUANG R, XU B, SCHUURMANS D, et al. Learning with a strong adversary[J]. arXiv preprint arXiv:1511.03034, 2015.

[29] TRAMèR F, KURAKIN A, PAPERNOT N, et al. ensemble adversarial training: attacks and defenses[J]. arXiv preprint arXiv: 1705.07204, 2017.

[30] PAPERNOT N, MCDANIEL P, WU X, et al. Distillation as a defense to adversarial perturbations against deep neural networks[C]// IEEE Symp on Security and Privacy. 2016:582-597.

[31] HINTON G, VINYALS O, DEAN J. Distilling the knowledge in a neural network[J]. arXiv preprint arXiv: 1503.02531, 2015.

[32] PAPERNOT N, MCDANIEL P. Extending defensive distillation[J]. arXiv preprint arXiv:1705.05264, 2017.

[33] BULò S R, BIGGIO B, PILLAI I, et al. Randomized prediction games for adversarial machine learning[J]. IEEE transactions on neural networks and learning systems, 2017, 28(11): 2466-2478.

[34] HARDT M, MEGIDDO N, PAPADIMITRIOU C, et al. Strategic classification[C]//2016 ACM conference on innovations in theoretical computer science. 2016: 111-122.

[35] BRüCKNER M, KANZOW C, SCHEFFER T. Static prediction games for adversarial learning problems[J]. Journal of Machine Learning Research, 2012, 13(Sep): 2617-2654.

[36] METZEN J H, GENEWEIN T, FISCHER V, et al. On detecting adversarial perturbations[J]. arXiv preprint arXiv: 1702.04267, 2017.

[37] LU JIAJUN, ISSARANON T, FORSYTH D. SAFETYNET: Detecting and rejecting adversarial examples robustly[J]. arXiv preprint arXiv: 1704.00103, 2017.

[38] HITAJ B, ATENIESE G, PEREZ-CRUZ F. Deep models under the GAN: information leakage from collaborative deep learning[C]// ACM Sigsac Conference. 2017: 603-618.

[39] FREDRIKSON M, LANTZ E, JHA S, et al. Privacy in pharmacogenetics: an end-to-end case study of personalized warfarin dosing[C]//The 23rd Usenix Security Symposium. 2014: 17-32.

[40] FREDRIKSON M, JHA S, RISTENPART T. Model inversion attacks that exploit confidence information and basic countermeasures[C]//The 22nd ACM Sigsac Conference on Computer and Communications Security. 2015:1322-1333.

[41] ATENIESE G, MANCINI L V, SPOGNARDI A, et al. Hacking smart machines with smarter ones: How to extract meaningful data from machine learning classifiers[J]. International Journal of Security and Networks, 2015, 10(3):137-150.

[42] SHOKRI R, STRONATI M, SONG C, et al. Membership inference attacks against machine learning models[J]. arXiv preprint arXiv: 1610.05820, 2016.

[43] TRAMER F, ZHANG F, JUELS A, et al. Stealing machine learning models via prediction apis[J]. arXiv preprint arXiv:1609.02943, 2016.

[44] GENTRY, CRAIG. Fully homomorphic encryption using ideal lattices[J]. Stoc, 2009, 9(4):169-178.

[45] DOWLIN N, RAN G B, LAINE K, et al. CryptoNets: applying neural networks to encrypted data with high throughput and accuracy[C]//Radio and Wireless Symposium. 2016:76-78.

[46] HESAMIFARD E, TAKABI H, GHASEMI M, et al. Privacy-preserving machine learning in cloud[C]//The 2017 on Cloud Computing Security Workshop. 2017: 39-43.

[47] BARYALAI M, JANG-JACCARD J, LIU D. Towards privacy-preserving classification in neural networks[C]//IEEE Privacy, Security and Trust. 2017: 392-399.

[48] XIE P, BILENKO M, FINLEY T, et al. Crypto-nets: neural networks over encrypted data[J]. Computer Science, 2014.

[49] STONE M H. The generalized weierstrass approximation theorem[J]. Mathematics Magazine, 1948, 21(4): 167-184.

[50] ZHANG Q, YANG L, CHEN Z. Privacy preserving deep computation model on cloud for big data feature learning[J]. IEEE Transactions on Computers, 2016, 65(5): 1351-1362.

[51] DWORK C, MCSHERRY F, NISSIM K, et al. Calibrating noise to sensitivity in private data analysis[C]//The Third conference on Theory of Cryptography. 2006: 265-284.

[52] ABADI M, CHU A, GOODFELLOW I, et al. Deep learning with differential privacy[C]//2016 ACM Sigsac Conference on Computer and Communications Security. 2016: 308-318.

[53] PAPERNOT N, ABADI M, ERLINGSSON U, et al. Semi- supervised knowledge transfer for deep learning from private training data[J]. arXiv preprint arXiv:1610.05755, 2016.

[54] BEAULIEUJONES B K, WU Z S, WILLIAMS C J, et al. Privacy-preserving generative deep neural networks support clinical data sharing[J]. bioRxiv, 2017.

[55] 郭鵬, 鐘尚平, 陳開志, 等. 差分隱私GAN梯度裁剪閾值的自適應(yīng)選取方法[J]. 網(wǎng)絡(luò)與信息安全學(xué)報, 2018, 4(5):10-20.

GUO P, ZHONG S P, CHEN K Z，et al. Adaptive selection method of differential privacy[J]. Chinese Journal of Network and Information Security, 2018, 4(5):10-20.

[56] SHOKRI R, SHMATIKOV V. Privacy-preserving deep learning[C]//The 22nd ACM SIGSAC Conference on Computer and Communications Security. 2015: 1310-1321.

[57] LIU M, JIANG H, CHEN J, et al. A collaborative privacy-preserving deep learning system in distributed mobile environment[C]//International Conference on Computational Science and Computational Intelligence. 2017: 192-197.

[58] LE T P, AONO Y, HAYASHI T, et al. Privacy-preserving deep learning via additively homomorphic encryption[J]. IEEE Transactions on Information Forensics & Security, 2018, 13(5):1333-1345.

[59] MCMAHAN B, RAMAGE D. Federated learning: collaborative machine learning without centralized training data[J]. Google Research Blog, 2017.

[60] BONAWITZ K, IVANOV V, KREUTER B, et al. Practical secure aggregation for privacy-preserving machine learning[C]//2017 ACM Sigsac Conference on Computer and Communications Security. 2017: 1175-1191.

[61] MCMAHAN H B, MOORE E, RAMAGE D, et al. Federated learning of deep networks using model averaging[J]. arXiv preprint arXiv:1502.01710v5, 2016.

[62] OSSIA S A, SHAMSABADI A S, TAHERI A, et al. A hybrid deep learning architecture for privacy-preserving mobile analytics[J]. arXiv preprint arXiv:1703.02952, 2017.

Machine learning security and privacy: a survey

SONG Lei, MA Chunguang, DUAN Guanghan

School of Computer Science and Technology, Harbin Engineering University, Harbin 150001, China

As an important method to implement artificial intelligence, machine learning technology is widely used in data mining, computer vision, natural language processing and other fields. With the development of machine learning, it brings amount of security and privacy issues which are getting more and more attention. Firstly, the adversary model was described according to machine learning. Secondly, the common security threats in machine learning was summarized, such as poisoning attacks, adversarial attacks, oracle attacks, and major defense methods such as regularization, adversarial training, and defense distillation. Then, privacy issues such were summarized as stealing training data, reverse attacks, and membership tests, as well as privacy protection technologies such as differential privacy and homomorphic encryption. Finally, the urgent problems and development direction were given in this field.

machine learning, security threats, defense technology, privacy

TP309.2

A

10.11959/j.issn.2096-109x.2018067

宋蕾（1989-），女，黑龍江牡丹江人，哈爾濱工程大學(xué)博士生，主要研究方向為機器學(xué)習(xí)安全與隱私保護、云計算、網(wǎng)絡(luò)安全。

馬春光（1974-），男，黑龍江雙城人，哈爾濱工程大學(xué)教授、博士生導(dǎo)師，主要研究方向為分布式密碼算法與協(xié)議、云計算安全與隱私、格密碼、機器學(xué)習(xí)安全與隱私保護。

段廣晗（1994-），男，黑龍江海倫人，哈爾濱工程大學(xué)博士生，主要研究方向為深度學(xué)習(xí)、對抗樣本、機器學(xué)習(xí)。

2018-05-07；

2018-07-02

馬春光，machunguang@hrbeu.edu.cn

國家自然科學(xué)基金資助項目（No.61472097）

The National Natural Science Foundation of China (No.61472097)