陳晉音 陳奕芃 陳一鳴 鄭海斌 紀(jì)守領(lǐng) 時 杰 程 瑤

1(浙江工業(yè)大學(xué)網(wǎng)絡(luò)空間安全研究院 杭州 310023)2(浙江工業(yè)大學(xué)信息工程學(xué)院 杭州 310023)3(浙江大學(xué)計算機科學(xué)與技術(shù)學(xué)院 杭州 310058)4(華為國際有限公司新加坡研究院 新加坡 138589)(chenjinyin@zjut.edu.cn)

目前，深度學(xué)習(xí)算法已經(jīng)取得了巨大的進步，并且越來越多地用于影響個人生活的決策應(yīng)用中，包括圖像分類[1]、欺詐檢測[2]、情緒分析[3]、面部識別[4]、語音理解[5]、自動駕駛[6]、醫(yī)學(xué)診斷[7]等，深度學(xué)習(xí)在這些復(fù)雜任務(wù)上的性能已經(jīng)達到甚至超過了人類決策的水平，能夠?qū)崿F(xiàn)比機器學(xué)習(xí)更高的準(zhǔn)確率.然而，深度學(xué)習(xí)在基于種族、年齡、性別等敏感屬性上的應(yīng)用仍然具有不公平性，這種基于數(shù)據(jù)的學(xué)習(xí)方法會過度關(guān)聯(lián)敏感屬性，可能會對受保護群體表現(xiàn)出歧視行為，從而對個人和社會產(chǎn)生潛在的負(fù)面影響.例如，美國法院使用COMPAS作為刑事司法系統(tǒng)中的風(fēng)險評估工具，用來衡量每一個被告再次犯罪的概率.然而，對此工具的調(diào)查發(fā)現(xiàn)COMPAS對于種族這一敏感屬性存在不公平性，非裔美國人被告再次犯罪的風(fēng)險估計平均高于白人被告[8].在醫(yī)學(xué)領(lǐng)域，年齡作為一種潛在的敏感屬性，會影響基于深度學(xué)習(xí)診斷系統(tǒng)的評估結(jié)果.例如，來自UCI機器學(xué)習(xí)知識庫的Heart Dataset包含了906名不同年齡段患者的14個處理過的特征[9].這個數(shù)據(jù)集的目標(biāo)是準(zhǔn)確地預(yù)測一個人是否患有心臟病，而研究發(fā)現(xiàn)系統(tǒng)對年齡的偏見可能會導(dǎo)致不必要的醫(yī)療護理.在某些簡歷篩選工具中，存在對性別這一敏感屬性產(chǎn)生歧視性行為的現(xiàn)象，導(dǎo)致男性在應(yīng)聘過程中比女性更有優(yōu)勢.深度學(xué)習(xí)在應(yīng)用過程中存在的不公平現(xiàn)象引起了業(yè)界和學(xué)術(shù)界的廣泛關(guān)注，Du[10]和Ross等人[11]使用局部解釋對深度模型進行正則化訓(xùn)練從而實現(xiàn)模型的公平；Elazar[12]和Zhang等人[13]使用對抗性訓(xùn)練從模型的隱層表示中去除敏感屬性的信息，從而得到一個公平的分類器.

與機器學(xué)習(xí)方法相同，深度學(xué)習(xí)存在的偏見也是來自于數(shù)據(jù)和模型.一方面，深度學(xué)習(xí)是基于數(shù)據(jù)驅(qū)動的學(xué)習(xí)范式，它使模型能夠自動從數(shù)據(jù)中學(xué)習(xí)有用的表示.但是這些數(shù)據(jù)在標(biāo)注過程中會引入偏見，這些數(shù)據(jù)偏見被深度模型復(fù)制甚至放大.另一方面，深度模型的結(jié)構(gòu)是基于經(jīng)驗設(shè)計的，其訓(xùn)練是一個黑盒過程，因此很難確定訓(xùn)練好的模型是基于正確的理由做出的決定，還是受偏見影響做出的不公平判斷，這也使得模型去偏成為極具挑戰(zhàn)性的任務(wù).

目前，面向深度學(xué)習(xí)的公平性研究領(lǐng)域還有很大的發(fā)展空間，針對來自數(shù)據(jù)、模型的偏見問題已經(jīng)成為重點關(guān)注對象，仍需要不斷的探索.同時由于深度學(xué)習(xí)在高風(fēng)險領(lǐng)域中的應(yīng)用，對數(shù)據(jù)偏見的預(yù)處理去偏、對模型偏見的中處理去偏、以及后驗性去偏方法，正在引起業(yè)界和學(xué)術(shù)界的關(guān)注.

為了更好地探究深度學(xué)習(xí)的公平性與未來的發(fā)展方向，本文將綜述深度學(xué)習(xí)偏見的不同來源并分類，對預(yù)處理去偏方法、深度模型的公平性訓(xùn)練方法以及后驗去偏方法進行介紹，并列舉目前主流的面向深度學(xué)習(xí)的去偏平臺及去偏方法的公平性評估指標(biāo)，同時對未來可能的研究方向作出展望.

1 偏見的來源

由于訓(xùn)練數(shù)據(jù)標(biāo)注和深度模型結(jié)構(gòu)設(shè)計本身存在偏見，會導(dǎo)致深度學(xué)習(xí)任務(wù)的預(yù)測結(jié)果存在不公平現(xiàn)象.根據(jù)偏見的來源不同，我們將偏見類型分為數(shù)據(jù)偏見和模型偏見.

1.1 數(shù)據(jù)偏見

訓(xùn)練數(shù)據(jù)中可能存在由歷史社會原因產(chǎn)生的偏見，在有偏見的數(shù)據(jù)上學(xué)習(xí)的模型可能會導(dǎo)致預(yù)測結(jié)果的不公平性.數(shù)據(jù)的偏見會以多種形式存在，Suresh等人[14]討論了數(shù)據(jù)偏見的不同來源，以及這些偏見的產(chǎn)生方式；Olteanu等人[15]準(zhǔn)備了一份完整的不同類型偏見的列表，并對由于數(shù)據(jù)偏見而產(chǎn)生的后果進行分析；Mehrabi等人[16]總結(jié)了以上2篇論文中引入的一些最普遍數(shù)據(jù)偏見的來源，但是缺少對偏見來源的細(xì)粒度分類.

在本文中，我們將介紹這些數(shù)據(jù)偏見的定義并進行詳細(xì)說明，此外還將按照發(fā)生的原因?qū)@些數(shù)據(jù)偏見進行細(xì)粒度的分類.我們將其分為時間偏見、空間偏見、行為偏見、群體偏見、先驗偏見、后驗偏見.

1.1.1 時間偏見

時間偏見是指由于時間維度的差異引起的偏見.例如，在Twitter上可以觀察到一個例子，人們談?wù)撘粋€特定的話題時開始使用標(biāo)簽來吸引注意力，然后不使用標(biāo)簽繼續(xù)討論該事件[15,17]，這是由不同時期人群和行為的差異產(chǎn)生的[15].另一個典型的時間偏見是縱向數(shù)據(jù)偏見，觀察性研究經(jīng)常把橫斷面數(shù)據(jù)當(dāng)作縱向的.例如，對大量Reddit數(shù)據(jù)的分析顯示，評論長度會隨著時間的推移而減少[18].

然而，大量的數(shù)據(jù)代表的是人口的橫截面快照，實際上包含了不同年份加入Reddit的不同群體.當(dāng)數(shù)據(jù)按隊列分列時，發(fā)現(xiàn)每個隊列中的評論長度隨時間增加[18].時間偏見可能會導(dǎo)致數(shù)據(jù)缺失，對后續(xù)的分析統(tǒng)計帶來困難.

1.1.2 空間偏見

空間偏見主要指的是由數(shù)據(jù)空間維度產(chǎn)生的偏見，也就是常說的維數(shù)災(zāi)難.Verleysen等人[19]指出基于學(xué)習(xí)原理的數(shù)據(jù)分析工具可從學(xué)習(xí)樣本中推斷出知識或信息.顯然，通過學(xué)習(xí)建立的模型僅在可獲得學(xué)習(xí)數(shù)據(jù)的空間范圍內(nèi)有效.模型不可能對與所有學(xué)習(xí)點都不相同的數(shù)據(jù)進行概括.

因此，成功開發(fā)學(xué)習(xí)算法的關(guān)鍵要素之一就是要有足夠的數(shù)據(jù)進行學(xué)習(xí)，以便它們可以填充模型必須包含的空間.在保持其他所有約束不變的情況下，學(xué)習(xí)數(shù)據(jù)的數(shù)量應(yīng)隨維度呈指數(shù)增長，例如，學(xué)習(xí)二維數(shù)據(jù)需要100個具有相同平滑度的模型；對于3維模型，則需1 000個.指數(shù)級增長是維數(shù)災(zāi)難后果，這些數(shù)據(jù)通常會對算法的行為和性能產(chǎn)生不利影響.對于這類偏見，我們通常采用降維的方法進行偏見的減輕.

1.1.3 行為偏見

行為偏見可以分為社會行為偏見[20-21]和用戶行為偏見[21].其中社會行為偏見是由社會歷史固有的偏見或者他人的行為引起的偏見，可分為社會偏見[20]、緊急偏見[22]、歷史偏見[14]、資助偏見[16].社會偏見[18]的產(chǎn)生是由于他人的行為可能會影響我們的判斷，例如，用戶想要評價或回顧一個得分較低的項目，但當(dāng)受到其他高評分的影響時，用戶可能認(rèn)為自己太過苛刻，從而會改變自己的評分[20-21].緊急偏見[22]的發(fā)生由于人口、文化價值觀或社會知識的變化而產(chǎn)生的，這種偏見更可能在用戶界面中被觀察到，因為通過設(shè)計，界面傾向于反映未來用戶的能力、特征和習(xí)慣.歷史偏見[14]是指世界上已經(jīng)存在的偏見和社會技術(shù)問題，即使給定一個完美的采樣和特征選擇，也會滲透到數(shù)據(jù)生成過程中.資助偏見[16]是指當(dāng)公司為了滿足資助機構(gòu)的要求而進行虛假報告，從而出現(xiàn)人為的偏見.例如，當(dāng)公司的員工為了讓資助機構(gòu)滿意而在他們的數(shù)據(jù)和統(tǒng)計中報告進行杜撰，使報告結(jié)果產(chǎn)生偏見.

用戶行為偏見[23]源于跨平臺、上下文或不同數(shù)據(jù)集的不同用戶行為.這類偏見的典型例子可在Miller等人[24]的研究中觀察到，其中作者展示了不同平臺之間的表情符號表達的差異如何導(dǎo)致人們的不同反應(yīng)和行為，有時甚至導(dǎo)致交流錯誤.用戶行為偏見可以分為用戶交互偏見[23]、內(nèi)容產(chǎn)生偏見[23]和流行偏見[23].用戶交互偏見[23]不僅可以在Web上觀察到，而且可以從2個來源觸發(fā)——用戶界面和通過用戶自己選擇的偏見行為[16].這種偏見可能會受到其他類型和子類型的影響，比如呈現(xiàn)偏見[20]和排名偏見[20].呈現(xiàn)偏見[20]是信息如何呈現(xiàn)的結(jié)果，例如，在Web上，用戶只能單擊他們看到的內(nèi)容，因此其他內(nèi)容不會被單擊，也可能是用戶沒有看到Web上的所有信息.排名偏見[20]是由于人們認(rèn)為排名靠前的搜索結(jié)果是最相關(guān)、最重要的，這種想法會吸引更多的點擊量.這種偏見影響了搜索引擎[20]和眾包應(yīng)用程序[25].內(nèi)容產(chǎn)生偏見[15]源于用戶生成的內(nèi)容在結(jié)構(gòu)、詞匯、語義和句法上的差異.例如，Nguyen等人[26]討論了不同性別和年齡群體在使用語言方面的差異.流行偏見[27-28]是由于越受歡迎的物品越容易被曝光.這種偏見可以在搜索引擎或推薦系統(tǒng)中看到，在這些系統(tǒng)中，受歡迎的對象會更多地呈現(xiàn)給公眾.行為偏見會使用戶在決策過程中受到其他外界因素的影響，導(dǎo)致獲得的信息不足或者帶有偏見，從而產(chǎn)生歧視性行為.

1.1.4 群體偏見

群體偏見[15]產(chǎn)生于數(shù)據(jù)集或平臺中所表示的用戶群體中的統(tǒng)計數(shù)據(jù)、代表數(shù)據(jù)和用戶特征與原始目標(biāo)群體不同的時候.典型的例子是對于不同社交平臺上不同用戶的統(tǒng)計數(shù)據(jù)，女性更傾向于使用Pinterest、Facebook、Instagram等社交平臺，而男性在Reddit或Twitter等在線論壇上更活躍.Huang等人[29]調(diào)查了根據(jù)性別、種族、民族和父母教育背景劃分的年輕人使用社交媒體的例子和數(shù)據(jù).

群體偏見可分為聚集偏見[14]和Simpson悖論[30].聚集偏見[14]是由于人們觀察其他不同的子群體得出錯誤結(jié)論時或者對一個群體的錯誤假設(shè)影響模型的結(jié)果和定義時產(chǎn)生的.例如，在臨床輔助工具中用于糖尿病診斷和監(jiān)測的糖化血紅蛋白水平在不同性別和種族之間存在復(fù)雜的差異.由于這些因素以及它們在不同的子群體中的不同意義和重要性，單一的模型很可能不適合一個群體中的所有群體[14].

Simpson悖論[30]可能會對由不同行為的子群體或個體組成的異構(gòu)性數(shù)據(jù)的分析產(chǎn)生偏見.這類悖論的一個比較著名的例子是對加州大學(xué)伯克利分校的性別歧視訴訟[31].在分析了研究生院的招生數(shù)據(jù)后，可以發(fā)現(xiàn)與男性相比，女性被錄取為研究生的比例更小.然而，當(dāng)對各個院系的招生數(shù)據(jù)進行分析后發(fā)現(xiàn)女性申請者具有平等的地位，在某些情況下甚至比男性小有優(yōu)勢.Simpson悖論在許多領(lǐng)域都得到了觀察，包括生物學(xué)[32]、心理學(xué)[33]、天文學(xué)[34]和計算社會科學(xué)[35].群體偏見會導(dǎo)致用戶得到錯誤的數(shù)據(jù)，從而得到錯誤的結(jié)論.

1.1.5 先驗偏見

先驗偏見發(fā)生在我們選擇、利用和測量特定特征的方式上.先驗偏見可以分為抽樣偏見[16]、自我選擇偏見[16]、鏈接偏見[15]和遺漏變量偏見[16].抽樣偏見[16]是由于子組的非隨機抽樣而產(chǎn)生的，結(jié)果是對一個種群估計的趨勢可能不能推廣到從一個新種群收集的數(shù)據(jù).自我選擇偏見[16]是抽樣偏見的一種亞型，它是指研究對象在這種調(diào)查研究中選擇自己.例如，在一項關(guān)于成功學(xué)生的調(diào)查研究中，一些不那么成功的學(xué)生可能會認(rèn)為他們是成功的，這就會影響分析的結(jié)果.

鏈接偏見[15]是指當(dāng)從用戶連接、活動或交互中獲得的網(wǎng)絡(luò)屬性不同并歪曲了用戶的真實行為的現(xiàn)象.Mehrabi等人[36]指出，僅考慮網(wǎng)絡(luò)中的鏈接，而不考慮網(wǎng)絡(luò)中用戶的內(nèi)容和行為，社交網(wǎng)絡(luò)會偏向低度節(jié)點.Wilson等人[37]也表明，用戶交互與基于特征的社交鏈接模式有顯著差異.網(wǎng)絡(luò)中的差異可能是許多因素造成的，如網(wǎng)絡(luò)采樣，它可以改變網(wǎng)絡(luò)度量，導(dǎo)致不同類型的問題[38-39].

遺漏變量偏見[16]發(fā)生于當(dāng)一個或多個重要的變量被排除在模型之外的時候.例如，當(dāng)公司設(shè)計模型來預(yù)測老客戶繼續(xù)訂閱他們服務(wù)的占比，然而很快發(fā)現(xiàn)，多數(shù)的用戶會取消訂閱并不遵從設(shè)計模型.取消訂閱的原因可能是市場上出現(xiàn)了一個新的強有力的競爭對手，它提供同樣的解決方案，但價格減半.然而預(yù)測模型并沒有考慮到競爭者的出現(xiàn)，因此，它被認(rèn)為是一個被忽略的變量.

1.1.6 后驗偏見

后驗偏見主要是由于研究人員或觀察者行為導(dǎo)致的偏見，可以分為評估偏見[14]、因果偏見[16]和觀察者偏見[16].評估偏見[14]發(fā)生在研究人員評估過程中，例如，在評價諸如Adience和IJB-A等應(yīng)用時，使用不適當(dāng)?shù)幕鶞?zhǔn)，從而造成偏見.因果偏見[16]是由于觀察者認(rèn)為相關(guān)性意味著因果關(guān)系這一謬論的結(jié)果.

例如，公司的數(shù)據(jù)分析師想要分析顧客的忠誠度有多成功，這位分析師認(rèn)為，參加了忠誠度計劃的顧客比沒有參加的顧客在該公司的商店里花更多的錢.這是有問題的，參加忠誠度計劃的顧客與計劃在此商店花更多錢這一相關(guān)性并不意味著它們之間的因果關(guān)系.觀察者偏見[16]一般發(fā)生在研究人員下意識地將他們的期望投射到研究中的時候.當(dāng)研究人員在采訪和調(diào)查中無意地影響參與者，或者當(dāng)他們挑選對他們的研究有利的參與者或統(tǒng)計數(shù)據(jù)時，這種類型的偏見就會發(fā)生.由于觀察者的異?；蛘咤e誤行為會導(dǎo)致后驗偏見，從而得到有歧視性的決策結(jié)果.

1.2 模型偏見

深度學(xué)習(xí)算法本身工作方式上存在細(xì)微差別，這些差別可能導(dǎo)致深度模型做出不公平的決策.Du等人[40]從計算的角度將深度模型的不公平性分為預(yù)測結(jié)果歧視和預(yù)測質(zhì)量差異2類.

1.2.1 預(yù)測結(jié)果歧視的偏見

歧視[41]是指由于某些群體的成員身份，深度模型對這些群體成員產(chǎn)生不利決策結(jié)果的現(xiàn)象.深度學(xué)習(xí)是基于數(shù)據(jù)驅(qū)動的學(xué)習(xí)范式，它使模型能夠自動從數(shù)據(jù)中學(xué)習(xí)有用的表示.這些數(shù)據(jù)中有可能包含偏見，這會導(dǎo)致深度模型復(fù)制、甚至放大數(shù)據(jù)中存在的偏見.更糟糕的是，深度模型不僅依賴這些數(shù)據(jù)中的偏見來做決策，還會做出毫無根據(jù)的聯(lián)想，放大對某些敏感屬性的刻板印象[42-43]，這最終會產(chǎn)生具有算法歧視的訓(xùn)練模型.預(yù)測結(jié)果歧視[40]可以進一步分為輸入歧視和表征歧視2類.Du等人[40]對這2個子類別進行了詳細(xì)的描述.

輸入歧視是盡管深度模型沒有明確地將種族、性別、年齡等敏感屬性作為輸入，但仍可能導(dǎo)致預(yù)測結(jié)果的歧視[44].大多數(shù)深度模型直接使用原始數(shù)據(jù)作為輸入，因此在輸入數(shù)據(jù)中沒有對敏感屬性進行分類處理.雖然沒有明確敏感屬性，但深度模型仍可能表現(xiàn)出無意的歧視，主要是由于存在一些與類成員高度相關(guān)的特征[40].例如，郵政編碼和姓氏可以用來表示種族，文本輸入中的許多單詞可以用來推斷被預(yù)測成員的性別，模型預(yù)測過程可能與受保護群體高度相關(guān).最終，模型可能對某些受保護的群體產(chǎn)生不公平的決策.例如，在就業(yè)系統(tǒng)中，簡歷篩選工具認(rèn)為男性更有優(yōu)勢，對女性存在偏見；貸款批準(zhǔn)制度對屬于特定郵政編碼的人給予負(fù)面評價，導(dǎo)致對特定地域的歧視；在刑事司法領(lǐng)域，再犯預(yù)測系統(tǒng)預(yù)測將黑人囚犯歸類為“高風(fēng)險”的可能性是白人囚犯的3倍.

有的時候預(yù)測結(jié)果歧視需要從表征的角度進行診斷和減輕[40].在某些情況下，將偏見歸因于輸入幾乎是不可能的，例如在圖像輸入領(lǐng)域，卷積神經(jīng)網(wǎng)絡(luò)可以通過視網(wǎng)膜圖像識別患者自我報告的性別，并有可能基于性別產(chǎn)生歧視.此外，在某些應(yīng)用場景中如果輸入維度太大，那么查找輸入的敏感屬性就很困難[43].在這些情況下，某些受保護屬性的類成員關(guān)系可以在深度模型中表示，模型將根據(jù)這些信息做出決策，并產(chǎn)生歧視[40].例如在信用評分中，使用原始文本作為輸入，作者的人口統(tǒng)計信息被編碼在基于深度模型中間表示的信用評分分類器中.

1.2.2 預(yù)測質(zhì)量差異的偏見

預(yù)測質(zhì)量差異[40]的偏見是指不同受保護群體模型的預(yù)測質(zhì)量差異較大.與其他群體相比，深度模型對某些群體的預(yù)測質(zhì)量較低.預(yù)測結(jié)果歧視主要涉及高風(fēng)險領(lǐng)域的應(yīng)用，而預(yù)測質(zhì)量差異涉及一般領(lǐng)域的應(yīng)用.例如，在計算機視覺領(lǐng)域[45]，對膚色較深的女性面部識別的表現(xiàn)較差；在自然語言處理中[46]，語言識別系統(tǒng)在處理某些種族的人產(chǎn)生的文本時表現(xiàn)明顯較差；在醫(yī)療保健領(lǐng)域[47]，重癥監(jiān)護病房死亡率和精神病30天再入院模型預(yù)測準(zhǔn)確度在性別和保險類型之間存在顯著差異.這通常是由于訓(xùn)練數(shù)據(jù)代表性不足導(dǎo)致的問題，在這種情況下，用戶對人口的某些方面收集的數(shù)據(jù)可能不夠充足或不夠可靠.因為深度模型訓(xùn)練的典型目標(biāo)是將總體誤差最小化，也就是說模型如果不能同時適合群體中的所有個體，它將以適合群體中的大多數(shù)個體為目標(biāo).雖然這可以最大限度地提高整體模型預(yù)測的準(zhǔn)確性，但它可能因為缺乏代表性數(shù)據(jù)從而導(dǎo)致對少數(shù)類群體的預(yù)測表現(xiàn)出不公平性.

綜上所述，我們根據(jù)偏見的來源將其分為數(shù)據(jù)偏見和模型偏見，并進一步將數(shù)據(jù)偏見分為時間偏見、空間偏見、行為偏見等6個子類，將模型偏見分為預(yù)測結(jié)果歧視和預(yù)測質(zhì)量差異2個子類，并且對這些偏見進行了詳細(xì)的介紹.在表1中我們對數(shù)據(jù)偏見和模型偏見進行列舉，如表1中的“偏見類型”；并表示出它們的子類型，見第2列的“子類型”；以及這些子類型的組成，見第3列的“組成”.這些偏見可能發(fā)生在不同的階段，例如，數(shù)據(jù)本身存在的偏見(表1中用“數(shù)據(jù)階段”表示)、由于用戶行為導(dǎo)致的偏見(表1中用“用戶行為”表示)以及由于算法細(xì)微的差別產(chǎn)生的偏見(表1中用“算法階段”表示)，在表中用“√”表示偏見所發(fā)生的階段.此外，在表1最后一列“去偏方法”中介紹了上述偏見的常用去偏處理方法，去偏方法的具體內(nèi)容將在第2～4節(jié)進行詳細(xì)介紹.

Table 1 Classification of Bias’s Sources表1 偏見來源的分類

2 基于預(yù)處理的數(shù)據(jù)去偏方法

預(yù)處理技術(shù)通過對數(shù)據(jù)進行處理，以減輕預(yù)測模型潛在的歧視.如果允許算法修改訓(xùn)練數(shù)據(jù)，則可以使用預(yù)處理技術(shù)[59].例如，可以通過獲取更多數(shù)據(jù)來擴充數(shù)據(jù)集，對于代表性不強的數(shù)據(jù)集，更多的數(shù)據(jù)往往能得到更多的分布信息.數(shù)據(jù)預(yù)處理去偏可以分為數(shù)據(jù)層面處理方法和算法層面處理方法.

2.1 數(shù)據(jù)層面去偏處理方法

數(shù)據(jù)層面處理方法多借助數(shù)據(jù)采樣法等方法使整體訓(xùn)練集樣本趨于平衡，從而達到去偏效果.常用的方法有數(shù)據(jù)重采樣、類別均衡采樣、數(shù)據(jù)合成、數(shù)據(jù)增強等.

2.1.1 基于數(shù)據(jù)重采樣的去偏方法

Burnaev等人[48]的實驗結(jié)果表明重采樣對數(shù)據(jù)集質(zhì)量的影響在很大程度上取決于重采樣乘數(shù)，并且重采樣方法的性能取決于所使用的分類器，此方法在人工數(shù)據(jù)集上的去偏效果要好于真實數(shù)據(jù)集.如果正確選擇了方法，那么在大多數(shù)情況下，重采樣可以改善不平衡數(shù)據(jù)集的分類，從而達到去偏的效果.但是通過重采樣來對數(shù)據(jù)集進行去偏并不是總能達到預(yù)期效果，在某些情況下，數(shù)據(jù)重采樣可能會引入大量重復(fù)樣本，會減慢訓(xùn)練速度，使模型在過采樣時容易過擬合，或者丟棄重要的重要示例.

2.1.2 基于類別均衡采樣的去偏方法

樣本類別分布不均衡也是導(dǎo)致深度模型不公平的一個原因，類別均衡采樣是解決這類問題一個方法.常用的類別均衡方法就是根據(jù)每個類別的觀察次數(shù)重新采樣和重新加權(quán).Cui等人[49]認(rèn)為隨著樣本數(shù)量的增加，新添加的數(shù)據(jù)點帶來的好處將減少.他們提出了一種新穎的理論框架，通過將每個樣本與其較小的鄰域相關(guān)聯(lián)來測量數(shù)據(jù).有效樣本數(shù)通過簡單公式(1-βn)(1-β)來計算，其中n是樣本數(shù)，β∈[0，1)是超參數(shù).Cui等人[49]設(shè)計了一種重新加權(quán)方案，該方案使用每個類的有效樣本數(shù)來重新平衡損失，從而產(chǎn)生類平衡的損失.

類別均衡采樣方法可以使不平衡樣本分布均衡，從而達到數(shù)據(jù)去偏的效果.但是，這種方法可能會破壞原屬性的線性關(guān)系，改變原樣本的某些特征值.此外，Shrivastava[60]等人提出了OHEM方法對樣本不平衡的問題進行處理.

2.1.3 基于合成數(shù)據(jù)的去偏方法

Chawla等人[50]提出了一種叫做Synthetic Minority Over-sampling Technique(SMOTE)的合成數(shù)據(jù)的方法.SMOTE通過創(chuàng)建“綜合”示例而不是通過替換來對少數(shù)群體進行過采樣.通過獲取每個少數(shù)種群樣本以及基于距離度量選擇類別下2個或者更多的相似樣本引入綜合示例，對少數(shù)種群進行過采樣.

合成數(shù)據(jù)是通過以下方式生成的：取所考慮的特征向量(樣本)與其最近鄰域之間的差，將該差乘以0到1之間的一個隨機數(shù)，并將其添加到所考慮的特征向量中.這將導(dǎo)致沿著2個特定特征之間的線段選擇一個隨機點，這樣就構(gòu)造了許多新數(shù)據(jù).Chawla等人[50]的實驗結(jié)果表明SMOTE方法可以提高少數(shù)群體分類器的準(zhǔn)確性.SMOTE不僅提供了一種新的過采樣方法，并且SMOTE和欠采樣的組合比純欠采樣性能更好.合成數(shù)據(jù)這一去偏方法對數(shù)據(jù)量較少數(shù)據(jù)集的去偏效果較好，同時還能提高分類器的準(zhǔn)確性，但是合成數(shù)據(jù)可能會引入重復(fù)樣本.

2.1.4 基于增強數(shù)據(jù)的去偏方法

數(shù)據(jù)增強[51](data augmentation)針對有限數(shù)據(jù)問題的數(shù)據(jù)空間提供解決方案，包含一套技術(shù)可用于加強深度學(xué)習(xí)所使用的數(shù)據(jù)集的大小和質(zhì)量，從而給用戶提供更好的深度學(xué)習(xí)研究條件.

使用數(shù)據(jù)增強技術(shù)可以構(gòu)建模型.例如，當(dāng)輸入數(shù)據(jù)集是圖像時，可以應(yīng)用圖像數(shù)據(jù)增強圖像方法.該增強方法包括幾何變換、色彩空間增強、抖動、混合圖像、隨機擦除、特征空間增強、對抗訓(xùn)練、生成對抗網(wǎng)絡(luò)、神經(jīng)樣式轉(zhuǎn)換和元學(xué)習(xí)等算法.數(shù)據(jù)增強旨在增加樣本數(shù)量，當(dāng)數(shù)據(jù)量以及多樣性很少的情況下是非常有效的，但它無法克服小型數(shù)據(jù)集存在的所有偏差，例如，在犬種分類任務(wù)中，如果只有斗牛犬并且沒有金毛尋回犬，則數(shù)據(jù)增強方法不會創(chuàng)建金毛尋回犬.但是，使用數(shù)據(jù)增強可以避免或至少可以大大減少偏差的幾種形式，例如照明、遮擋、縮放等.數(shù)據(jù)增強的不足之處是可能引入重復(fù)樣本.

2.2 算法層面去偏處理方法

算法層面處理不平衡樣本問題的方法有代價敏感、主成分分析、One-hot編碼等.

2.2.1 基于代價敏感的去偏方法

為了能夠?qū)ι贁?shù)類樣本進行比較準(zhǔn)確的識別，可采用基于代價敏感學(xué)習(xí)的方法，將少數(shù)類視為重要類別，并令其錯分代價大于多數(shù)類的錯分代價.

2.2.2 基于主成分分析的去偏方法

主成分分析[53](principal component analysis, PCA)是一種線性、無監(jiān)督、生成和全局特征學(xué)習(xí)方法，可以對空間偏見進行減輕.它是通過創(chuàng)建新的不相關(guān)變量來實現(xiàn)的，從而連續(xù)地最大化方差.查找主成分變量的過程可以簡化為求解特征值以及特征向量的問題，并且新變量是通過現(xiàn)有的數(shù)據(jù)集定義的，而不是先驗的，因此PCA是自適應(yīng)的數(shù)據(jù)去偏分析技術(shù).從另一種意義上說，它也是自適應(yīng)的，因為已經(jīng)開發(fā)了針對各種不同數(shù)據(jù)類型和結(jié)構(gòu)量身定制的技術(shù)變體.

2.2.3 One-hot編碼

One-hot編碼的操作十分簡單，從業(yè)人員經(jīng)常將其用作更復(fù)雜技術(shù)的第一步.One-hot編碼[54]定義如下：令x為具有n個不同值x1，x2，…，xn的某個離散類別隨機變量.然后，特定值xi的One-hot編碼是向量v，其中v中第i個分量值為1，其余每個分量均為零.例如，假設(shè)我們有一些隨機變量x取自設(shè)置S={a，b，c}.令x1=a，x2=b和x3=c.x的一次編碼為：(1,0,0),(0,1,0)和(0,0,1).由于分類變量級別的One-hot編碼僅取決于級別的數(shù)量，因此One-hot編碼屬于確定的用于編碼分類變量的技術(shù)，可以用于神經(jīng)網(wǎng)絡(luò).對數(shù)據(jù)進行預(yù)處理去偏時，通常要確定2個相似個體特定特征之間的度量距離，One-hot編碼能更加合理的計算特征之間的距離，從而達到去偏的效果.Ruoss等人[61]使用One-hot編碼對數(shù)據(jù)進行預(yù)處理.

除了以上介紹的一般數(shù)據(jù)預(yù)處理的方法外，各類文獻中也提出了各種方法.為了減輕數(shù)據(jù)偏見對最終決策帶來的影響，Benjamin[62]，Gebru[63]等人將數(shù)據(jù)表作為數(shù)據(jù)的支持文件來報告數(shù)據(jù)集創(chuàng)建方法、其特征、動機及其偏見.Holland等人[64]提出了標(biāo)簽，就像食品上的營養(yǎng)標(biāo)簽一樣，以便更好地對每個任務(wù)的每個數(shù)據(jù)進行分類.除了這些一般的技術(shù)，一些工作還針對更具體類型的偏見.例如，Alipourfard[65]，Zhang等人[66]提出了自動發(fā)現(xiàn)數(shù)據(jù)中Simpson悖論的方法.在一些工作中，因果模型和圖表也被用于檢測數(shù)據(jù)中的直接歧視，以及對數(shù)據(jù)進行修改的預(yù)防技術(shù)，以使預(yù)測不存在直接歧視.Hajian等人[67]還致力于防止數(shù)據(jù)挖掘中的歧視，針對直接歧視、間接歧視和同時產(chǎn)生的影響.生成式對抗網(wǎng)絡(luò)可用于為少數(shù)生成合成數(shù)據(jù)，這可以提高少數(shù)群體的預(yù)測質(zhì)量，同時又不影響未受保護群體的預(yù)測性能，從而避免對這些群體的歧視.

3 深度學(xué)習(xí)模型去偏

在介紹了數(shù)據(jù)預(yù)處理方法之后，我們在本節(jié)中將介紹深度學(xué)習(xí)模型去偏方法，確保深度學(xué)習(xí)模型的公平性.模型去偏方法通?？梢苑譃槟Ｐ驼齽t化和對抗性訓(xùn)練2類.前者通過在總體目標(biāo)函數(shù)中添加輔助正則化項來實現(xiàn)，顯式或隱式地對某些公平性度量施加約束，后者可以從深度模型的中間表示中去除敏感屬性的信息，從而得到一個公平的分類器.

3.1 基于模型正則化的去偏方法

正則化是模型去偏的一種方法，具體來說，使用局部解釋對模型訓(xùn)練進行正則化訓(xùn)練[10-11].對于整個輸入x，除了真值y之外，這種正則化還需要特性方面的注釋r，指定輸入中的每個特性是否與受保護的屬性相關(guān)，r可以進一步融入到訓(xùn)練過程中，目的是使深度模型更加公平.正則化的總損失函數(shù)如式(1)所示：

(1)

其中,d1為正態(tài)分類損失函數(shù)，R(θ)為正則化項.函數(shù)floc(x)是局部解釋方法，d2是距離度量函數(shù).這3個術(shù)語分別用于指導(dǎo)深度模型進行正確的預(yù)測，超參數(shù)λ1和λ2用于平衡這3個術(shù)語.

例如，Du等人[10]采用一種名為CREX(CRedible EXplanation)的方法對深度模型進行正則化訓(xùn)練，使用的損失函數(shù)如式(2)所示：

L(θ,x,y,r)=Lsup v+λ1Lrationale+λ2Lsparse，

(2)

其中，作者使用的正態(tài)分類損失函數(shù)為交叉式損失Lsup v.CREX的核心思想是深度模型應(yīng)該依靠合理的證據(jù)來做出決定.CREX的示意圖如圖1所示.在圖1中，黑色實線表示向前的路徑，兩端帶箭頭的虛線是損失，一側(cè)帶有箭頭的虛線表示坡度流.xn,rn,yn三個向量從左到右分別是輸入、解釋和基本原理.

Fig. 1 Schematic of CREX[10]圖1 CREX示意圖[10]

3.2 基于對抗性訓(xùn)練的去偏方法

從模型訓(xùn)練的角度來看，對抗性訓(xùn)練是一種典型的解決方案，可以從深度模型的中間表示中去除敏感屬性的信息，從而得到一個公平的分類器[12-13,68].其目標(biāo)是學(xué)習(xí)一種高級輸入表征，該表征對主要預(yù)測任務(wù)具有最大信息量，同時對受保護屬性具有最小預(yù)測性.對抗性訓(xùn)練過程可以表示為式(3)：

(3)

深度模型可以記為f(x)=c(h(x))，其中,h(x)是輸入x的中間表示，c(·)負(fù)責(zé)將中間表示映射到最終的模型預(yù)測.f(x)可以是通過反向傳播學(xué)習(xí)的任意深度模型.要檢查的受保護屬性使用z表示，主任務(wù)f(x)=c(h(x))本身并沒有與受保護的屬性z進行排序.構(gòu)造了一個對抗性分類器g(h(x))，從表示h(x)中預(yù)測受保護屬性z.訓(xùn)練是在f(x)和對抗性分類器g(h(x))之間迭代進行的.經(jīng)過一定的迭代次數(shù)，我們可以得到去偏的深度模型.

圖2為對抗性訓(xùn)練的示意圖，利用對抗性訓(xùn)練，通過表示減少歧視.直覺上是通過加強深度表示來最大限度地預(yù)測主要任務(wù)標(biāo)簽，同時最小限度地預(yù)測敏感屬性.

Fig. 2 Schematic of adversarial training[40]圖2 對抗性訓(xùn)練示意圖[40]

對抗訓(xùn)練廣泛適用于不同的深度模型架構(gòu)和不同的輸入格式，包括帶有圖像數(shù)據(jù)的卷積神經(jīng)網(wǎng)絡(luò)[69]、帶有文本數(shù)據(jù)的循環(huán)神經(jīng)網(wǎng)絡(luò)[70]、以及帶有分類數(shù)據(jù)的多層神經(jīng)網(wǎng)絡(luò)[71].Zhang等人[13]提出了一個模型用來減輕從關(guān)聯(lián)的數(shù)據(jù)中學(xué)習(xí)到的模型中的偏見.在這個模型中，他們試圖最大限度地提高y的預(yù)測精度，同時最小化對手預(yù)測受保護或敏感變量的能力.

3.3 其他模型去偏方法

除深度模型外，在傳統(tǒng)的機器學(xué)習(xí)中也有很多模型去偏的方法.Bolukbasi等人[41]注意到在詞類比測試中使用最新的詞嵌入時，“男人”將被映射為“計算機程序員”，而“女人”將被映射為“家庭主婦”.針對這種對女性的偏見，作者提出一種詞嵌入的方法，該方法通過遵循以下步驟對性別中性詞進行嵌入：首先識別性別子空間，然后確定捕獲偏見的嵌入方向[41]，最后將性別子空間與性別中性詞分開，并確保在性別子空間中將所有性別中性詞都刪除并歸零[41].

Zhao等人[43]研究了語義角色標(biāo)簽?zāi)Ｐ秃蛿?shù)據(jù)集imSitu，并發(fā)現(xiàn)在imSitu中烹飪圖像中只有33%的代理角色是男人，其余67%的烹飪圖像中有女性代理角色.除了數(shù)據(jù)集中現(xiàn)有的偏見外，該模型還會放大偏見.因此，他們提出了一種稱為RBA(reducing bias amplification)的校準(zhǔn)算法.RBA是一種通過在結(jié)構(gòu)化預(yù)測中校準(zhǔn)預(yù)測來消除模型偏見的技術(shù)，其思想是確保模型預(yù)測在訓(xùn)練數(shù)據(jù)中遵循相同的分布.

在人工智能領(lǐng)域中已經(jīng)提出了各種方法來消除偏見的影響，這些方法大多數(shù)都試圖避免敏感或受保護屬性對決策過程的影響.Lipton等人[72]提出通過在訓(xùn)練階段允許使用受保護屬性，但避免在預(yù)測期間使用受保護屬性，他們認(rèn)為通過這種方法可以減輕偏見.Louizos等人[73]使用變分編碼器對表示學(xué)習(xí)進行去偏.Mehrabi等人[36]提出了一種新的社區(qū)檢測方法，以減輕模型對在線社交社區(qū)中處境不利群體的損害.這些對其他模型去偏方法目前還沒有廣泛應(yīng)用于深度模型.

4 深度學(xué)習(xí)的后驗去偏

深度學(xué)習(xí)模型后驗性去偏使用可解釋技術(shù)作為一種有效的工具，用戶可以利用可解釋技術(shù)生成特征重要度向量，然后對特征重要度向量進行分析，從而達到去偏的效果.在本節(jié)中，我們先介紹深度模型可解釋性的2種分類，然后對后驗性去偏方法進行介紹.

4.1 深度模型的可解釋性

可解釋性可以作為一種有效的調(diào)試工具，對模型進行分析，最終提高模型的透明度，保證模型的公平性.深度模型可解釋性一般可分為2類：局部解釋和全局解釋，這取決于目標(biāo)是局部理解特定的預(yù)測，還是全局理解的預(yù)測[43].

4.1.1 深度模型的局部解釋技術(shù)

Fig. 3 Illustration of DNN local interpretation as well as global interpretation[40]圖3 DNN局部解釋和全局解釋的示意圖[40]

局部解釋可以說明模型是如何對特定輸入進行某種預(yù)測的(圖3(a)).它是通過對模型的輸入特征進行屬性預(yù)測來實現(xiàn)的，最后以特征重要度可視化的形式進行說明.以貸款預(yù)測為例，該模型的輸入是一個包含分類特征的向量，其中得分較高的特征表示與分類任務(wù)的相關(guān)度較高.局部解釋方法大致可分為4類:基于局部逼近的[41]、基于擾動的[41]、基于反向傳播的[70]以及基于分解的[70]方法，這些方法都可以被用來生成一個輸入的特征重要向量.

4.1.2 深度模型的全局解釋技術(shù)

全局解釋的目標(biāo)是提供一個關(guān)于預(yù)先訓(xùn)練的DNN所捕獲的知識，并以一種直觀的方式向人類說明所學(xué)的表示(圖3(b)).解釋可以看作是一個函數(shù)fglobal:Eh→Em，從中間表示Eh映射到人們可以理解的概念Em[74].在本例中，Eh是由特定層上的特定通道派生的表示，多個神經(jīng)元的組合可以代表更抽象的概念[75].這里的Eh對應(yīng)著不同通道甚至不同層的組合，特別是那些受保護的概念，它們通?；诙鄠€基本的低級概念.例如，在人臉圖像識別應(yīng)用中，可以通過多個局部線索來顯示性別和種族概念.因此，與單個神經(jīng)元學(xué)習(xí)的概念相比，由多個神經(jīng)元組合產(chǎn)生的概念與深度模型的公平性更相關(guān).

4.2 模型的后驗去偏方法

深度學(xué)習(xí)模型后驗性去偏方法主要是搜索模型中的歧視實例，通過檢測偏見來進行模型再訓(xùn)練，以減少歧視，達到模型的公平性.第1種方法采用自頂向下的方法，利用局部解釋生成特征重要度向量，然后對特征重要度向量進行分析.第2種解決方案以自底向上的方式實現(xiàn).人們首先預(yù)先選擇他們懷疑與受保護屬性相關(guān)聯(lián)的特性，然后分析已識別的特性的重要性[76].這些對公平性敏感的特征被干擾，通過特征被直接刪除或特征被替代來實現(xiàn).然后將擾動輸入到深度模型中，觀察模型預(yù)測的差異.如果這些被懷疑為公平敏感特征的擾動最終導(dǎo)致模型預(yù)測發(fā)生顯著變化，則可以斷言深度模型捕獲了偏見，并根據(jù)受保護的屬性進行決策.第3種方法利用全局解釋，首先，利用全局解釋來分析深度模型對受保護屬性相關(guān)概念的學(xué)習(xí)程度.這通常是通過指向深度模型中間層激活空間的一個方向來實現(xiàn)的[74-75,77].其次，在確認(rèn)一個深度模型已經(jīng)學(xué)習(xí)了一個受保護概念后，我們將進一步測試該概念對模型最終預(yù)測的貢獻.可以采用不同的策略來量化概念敏感度，包括自上而下計算深度模型預(yù)測對概念向量的方向?qū)?shù)[74]，自下而上將該概念向量添加到不同輸入的中間激活中，觀察模型預(yù)測[78]的變化.最后，使用數(shù)值分?jǐn)?shù)來描述受保護屬性的表示偏見水平.在2種方式中，數(shù)值敏感性得分越高，該概念對深度模型預(yù)測的貢獻越顯著.

Zhang等人[55]提出了一個基于梯度的可擴展的算法，稱為ADF(adversarial discrimination finder)，用于生成個體歧視實例，它是專門為深度模型設(shè)計的.ADF的概述如圖4所示.

ADF由2部分組成，即全局生成(左邊的部分)和本地生成(右邊的部分).在全局生成過程中，對原始數(shù)據(jù)集中的樣本進行聚類，并以循環(huán)方式從每個聚類中選擇種子實例.全局生成的目標(biāo)是增加所生成的個體歧視實例的多樣性.在全局生成中使用梯度通過最大化2個相似實例的深度模型輸出之間的差異來指導(dǎo)個體歧視實例的生成.如果成功生成了一定數(shù)量的個別歧視性實例或超時，則全局生成將停止.識別出的個別歧視實例然后作為本地生成的輸入.其思想是搜索個體歧視性實例的鄰域以尋找更多的歧視性實例.梯度在本地生成中以不同的方式使用作為引導(dǎo)，即我們利用代表每個屬性重要性的梯度的絕對值來識別與種子差異最小的個體歧視性實例，同時保持它們的模型預(yù)測[55].

Fig. 4 An overview of ADF[55]圖4 ADF概述圖[55]

除此之外，Galhotra等人[56]提出了THEMIS，通過在其域內(nèi)隨機采樣每個屬性并識別出那些有偏見的實例來衡量歧視的發(fā)生頻率.Udeshi等人[57]開發(fā)了AEQUITAS，它包括一個全局搜索和一個本地搜索，即AEQUITAS首先搜索輸入空間的隨機抽樣(又名全局搜索)，然后基于全局搜索的結(jié)果來進行本地搜索，通過將已識別的個體歧視實例與選定的屬性沿隨機方向進行干擾，以識別盡可能多的歧視的實例.Agarwal等人[58]提出了一種符號生成的方法，該方法首先使用現(xiàn)有的方法生成一個局部解釋決策樹來近似模型決策，然后根據(jù)決策樹進行符號執(zhí)行來生成測試用例[79].與AEQUITAS一樣，它還將基于決策樹的全局搜索與局部搜索相結(jié)合，前者的目標(biāo)是最大化路徑覆蓋，后者的目標(biāo)是最大化歧視性實例的數(shù)量.

對第2～4節(jié)介紹的基于數(shù)據(jù)預(yù)處理的去偏方法、模型去偏方法以及后驗去偏方法及其相關(guān)原理整理在表2中.表格的第1列“類型”為3類不同的去偏方法，分別為基于數(shù)據(jù)預(yù)處理的去偏方法、深度學(xué)習(xí)模型去偏方法以及模型的后驗去偏方法，根據(jù)這些去偏方法應(yīng)用的階段不同，我們在表格中將它們表示為“數(shù)據(jù)預(yù)處理去偏、模型去偏、后驗去偏”.表格的第2列“方法”列舉了相應(yīng)的算法，其中列舉了8種預(yù)處理方法、2類模型去偏方法以及4種后驗性去偏方法，并且在第3列“原理”表示出對應(yīng)算法的原理，在第4列“貢獻”和第5列“不足”分別列舉出它們的貢獻和不足.

5 去偏實驗平臺和公平性指標(biāo)

在本節(jié)中，我們列舉常用的去偏實驗平臺和公平性指標(biāo)，方便之后的研究.近年來，隨著人工智能技術(shù)的快速發(fā)展，許多科技公司推出了對應(yīng)的深度學(xué)習(xí)去偏實驗平臺.其中Microsoft的Fairlearn、IBM的AI Fairness 360以及Google的ML-fairness-gym具有功能較全、豐富的演示代碼以及持續(xù)迭代更新等顯著特點.本節(jié)將詳細(xì)介紹這3個去偏實驗平臺.

Table 2 List of Debiasing Methods for Different Sources of Bias表2 針對不同偏見來源的去偏方法列表

5.1 數(shù)據(jù)集

本文提到的去偏實驗平臺應(yīng)用了Adult數(shù)據(jù)集、Bank marketing數(shù)據(jù)集、Boston房價數(shù)據(jù)集、COMPAS數(shù)據(jù)集、Greman credit數(shù)據(jù)集、醫(yī)療支出小組調(diào)查(Medical expenditure panel survey, MEPS)等6個數(shù)據(jù)集.

Adult數(shù)據(jù)集包括48 842個連續(xù)或者離散的實例，其中訓(xùn)練集實例32 561個，測試集實例16 281個，該數(shù)據(jù)集可用于預(yù)測一個人的年收入是否多于5萬美元；該數(shù)據(jù)集包括年齡、工種、學(xué)歷、職業(yè)、性別、種族等14個特征，其中6個連續(xù)變量，8個名詞屬性變量，其中性別和種族是敏感屬性.

Bank marketing數(shù)據(jù)集與葡萄牙的銀行有直接關(guān)聯(lián)，根據(jù)相關(guān)信息進行電話推銷，與該數(shù)據(jù)集對應(yīng)的任務(wù)是分類任務(wù)，目的是用于預(yù)測客戶是否會認(rèn)購定期存款；該數(shù)據(jù)集包括年齡、工作類型、婚姻狀況、受教育背景、信用情況、個人貸款、最后聯(lián)系月份、最后一次接觸距離上一次接觸的時間，以前的活動中聯(lián)系的次數(shù)等一共50個特征以及41 188個實例，其中年齡和信用情況是敏感屬性.

Boston房價數(shù)據(jù)集包含美國人口普查局收集的美國Boston住房價格的有關(guān)信息，這個數(shù)據(jù)集的每一行數(shù)據(jù)都是對波士頓周邊或者城鎮(zhèn)的房價的描述數(shù)據(jù)統(tǒng)計于1978年，數(shù)據(jù)中包含14個特征，506個案例.特征例如城鎮(zhèn)人均犯罪率、住宅所占比例、城鎮(zhèn)中黑人比例、低收入人群數(shù)等，其中城鎮(zhèn)中黑人比例是敏感屬性.

COMPAS數(shù)據(jù)集使用一種算法來評估刑事被告再次犯罪可能性，開發(fā)者為一般累犯和暴力累犯以及審前不當(dāng)行為制定了風(fēng)險量表，這種風(fēng)險量表是根據(jù)“與累犯和犯罪職業(yè)高度相關(guān)的”行為和心理結(jié)構(gòu)設(shè)計的，目前已經(jīng)在美國紐約州、威斯康星州、加利福尼亞州等地投入使用，其敏感屬性為種族屬性.

Greman credit數(shù)據(jù)集通過一組屬性描述將申請人員分類為良好或不良信用風(fēng)險，該數(shù)據(jù)集是根據(jù)個人的銀行貸款信息和申請客戶貸款逾期發(fā)生情況來預(yù)測客戶貸款違約情況，數(shù)據(jù)集包含24個維度的共1 000條數(shù)據(jù).該數(shù)據(jù)集包括年齡、借款持續(xù)時間、現(xiàn)有的信貸數(shù)量等特征，其中現(xiàn)有的信貸數(shù)量和年齡是敏感屬性.

MEPS數(shù)據(jù)集始于1996年，其收集內(nèi)容包括對家庭和個人、醫(yī)療提供者和雇主的大規(guī)模調(diào)查，并提供有關(guān)受訪者使用的醫(yī)療服務(wù)、服務(wù)的成本和頻率、人口統(tǒng)計等數(shù)據(jù).

5.2 Microsoft公司的Fairlearn去偏實驗平臺

Microsoft推出了Fairlearn(1)https://github.com/fairlearn/fairlearn(version 0.4.6)工具包，它能夠評定和改正人工智能技術(shù)系統(tǒng)軟件的公平性.可讓人工智能系統(tǒng)的開發(fā)人員評估其系統(tǒng)的公平性并減輕任何客觀存在但是不明顯的不公平問題.全世界四大會計師會計師事務(wù)所之一的安永，在用于全自動評定借款管理決策的機器學(xué)習(xí)模型中，運用Fairlearn工具包來減少與性別有關(guān)的不合理結(jié)果，其剖析數(shù)據(jù)顯示最初男士借款的成功率比女士高15.3個百分點.根據(jù)正模型，安永的開發(fā)設(shè)計工作組改善了計劃方案的精確度，將性別導(dǎo)致的差別降至了0.43個百分點.

Fairlearn去偏實驗平臺涵蓋閾值優(yōu)化器[80]、網(wǎng)格搜索[81]以及冪梯度[82]等去偏算法.其中，閾值優(yōu)化器算法基于監(jiān)督學(xué)習(xí)中機會均等原理，將現(xiàn)有分類器和敏感特征作為輸入，對深度模型進行后處理去偏.

該平臺還包含群體總結(jié)、平均預(yù)測以及選擇率等16種度量指標(biāo)，用來衡量深度模型去偏效果.其中平均預(yù)測度量指標(biāo)用于計算(加權(quán))平均預(yù)測結(jié)果，選擇率計算與輸出“良好”結(jié)果相匹配的預(yù)測標(biāo)簽的比例.

5.3 IBM公司的AI Fairness 360去偏實驗平臺

IBM公司發(fā)布的AI Fairness 360工具包(2)https://github.com/Trusted-AI/AIF360(version 0.3.0)是一種可擴展的開放源代碼庫，可幫助檢測和減輕整個AI應(yīng)用程序生命周期中機器學(xué)習(xí)模型的偏見.

AI Fairness 360去偏實驗平臺涵蓋一共11種去偏算法，例如優(yōu)化預(yù)處理[83]、不同影響消除[84]、均等賠率后處理[80]、校準(zhǔn)后的均等賠率后處理[85]、學(xué)習(xí)公平表示[86]、對抗性去偏[13]、公平分類的元算法[87]、重新加權(quán)[88]、基于拒絕選項的分類[89]、正則化去偏[90]等去偏算法.對抗性去偏是一種過程中去偏的技術(shù)，學(xué)習(xí)分類器通過對抗生成的方式以最大程度地提高預(yù)測準(zhǔn)確性，同時降低對手根據(jù)預(yù)測確定受保護屬性的能力，因為預(yù)測結(jié)果不可以攜帶任何敵手可以利用的會造成歧視的信息，因此保證了公平性.

該平臺還包含超過30種公平性度量指標(biāo)，所有的度量指標(biāo)可以根據(jù)選擇率和錯誤率分為如下4類：全面的群體公平性度量標(biāo)準(zhǔn)、全面的樣本失真指標(biāo)集、廣義熵指數(shù)[91]以及差異公平和偏見放大[92]等.在這4類度量中具有代表性的有群體總結(jié)、平均預(yù)測以及選擇率等度量指標(biāo)，這些度量指標(biāo)在5.2節(jié)已經(jīng)介紹.

5.4 Google公司的ML-fairness-gym去偏實驗平臺

Google提出了ML-fairness-gym(3)https://github.com/google/ml-fairness-gym(version 0.1.0)，用于評估機器學(xué)習(xí)系統(tǒng)的公平性以及評估靜態(tài)數(shù)據(jù)集上針對系統(tǒng)的各種輸入的誤差度量的差異.ML-fairness-gym是用于構(gòu)建簡單模擬的一組組件，這些模擬探索了在社會環(huán)境中部署基于機器學(xué)習(xí)的決策系統(tǒng)的潛在長期影響.隨著機器學(xué)習(xí)公平性的重要性變得越來越明顯，最近的研究集中在最初在靜態(tài)環(huán)境中定義的執(zhí)行公平性度量的潛在的令人驚訝的長期行為.

ML-fairness-gym去偏實驗平臺包括注意力分配[93]去偏算法以及長期公平[94]去偏算法，注意力分配算法通過對深度模型動態(tài)分配不同的注意力權(quán)重以避免包含偏見較大的部分參與總體決策，從而實現(xiàn)公平性.該平臺也包括錯誤率指標(biāo)、借貸指標(biāo)以及價值追蹤指標(biāo)等公平性度量指標(biāo).

我們在表3中對以上3種去偏實驗平臺所使用的數(shù)據(jù)集、度量標(biāo)準(zhǔn)以及平臺所支持的去偏算法進行分類整理.因篇幅有限，在這里僅列舉出部分具有代表性的度量標(biāo)準(zhǔn).

6 未來研究方向

本文面向深度學(xué)習(xí)的公平性進行了盡可能全面的調(diào)研，對去偏實驗平臺以及公平性指標(biāo)進行了介紹.本節(jié)我們針對深度學(xué)習(xí)中的公平性，探討其在未來的研究發(fā)展方向，從不同角度分析之后可發(fā)展的研究內(nèi)容.

6.1 公平性的度量標(biāo)準(zhǔn)

我們在第5節(jié)中對國際主流去偏實驗平臺中的公平性度量標(biāo)準(zhǔn)進行了介紹，但是目前關(guān)于公平的度量方法仍然沒有形成共識.在某些情況下，一些度量可能與其他度量相沖突.一個模型可能在某一指標(biāo)上是公平的，但可能導(dǎo)致其他類型的不公平，所以探討公平性的度量標(biāo)準(zhǔn)是有必要的.

Table 3 Debiasing Experiment Platform表3 去偏實驗平臺

6.2 聯(lián)邦學(xué)習(xí)公平性問題

聯(lián)邦學(xué)習(xí)是一個機器學(xué)習(xí)框架，能有效幫助多個機構(gòu)在滿足用戶隱私保護、數(shù)據(jù)安全和政府法規(guī)的要求下，進行數(shù)據(jù)使用和機器學(xué)習(xí)建模[95].在聯(lián)邦成員共享加密的模型參數(shù)或者中間計算結(jié)果的同時，也會共享各自存在的偏見，甚至是偏見疊加.對于聯(lián)邦學(xué)習(xí)的公平性，我們可以在聯(lián)邦環(huán)境下進行邊緣端偏見檢測，首先分析不同的聯(lián)邦成員在上傳加密的模型參數(shù)或者中間結(jié)果時，對其中攜帶的偏見信息進行檢測；然后，分析云端在下發(fā)共享參數(shù)信息時，檢測云端訓(xùn)練的模型從成員中學(xué)到的疊加偏見.

6.3 遷移學(xué)習(xí)的公平性問題

遷移學(xué)習(xí)[96]是一種機器學(xué)習(xí)方法，就是把為任務(wù)A開發(fā)的模型作為初始點，重新使用在為任務(wù)B開發(fā)模型的過程中.遷移學(xué)習(xí)讓AI系統(tǒng)獲得“舉一反三”能力，但是從源域到目標(biāo)域的遷移過程中，極大可能存在偏見的轉(zhuǎn)移.針對遷移學(xué)習(xí)中的公平性問題，可以從數(shù)據(jù)偏見轉(zhuǎn)移、算法偏見轉(zhuǎn)移、遷移的新增偏見3方面展開研究.在基于實例和基于特征的遷移中，研究數(shù)據(jù)的偏見轉(zhuǎn)移，對目標(biāo)域的公平性影響.首先檢測源域中數(shù)據(jù)集存在的偏見，檢測目標(biāo)域中數(shù)據(jù)集存在的偏見；對源域和目標(biāo)域中的數(shù)據(jù)進行偏見對齊，得到偏見分布相似的數(shù)據(jù)集；使用偏見對齊的目標(biāo)域中的數(shù)據(jù)進行遷移訓(xùn)練，檢測目標(biāo)模型與源模型的偏見差異，若偏見評價結(jié)果相等或更小，則有效消除數(shù)據(jù)偏見.

6.4 元學(xué)習(xí)的公平性問題

元學(xué)習(xí)利用以往的知識經(jīng)驗來指導(dǎo)新任務(wù)的學(xué)習(xí)，具有學(xué)會學(xué)習(xí)的能力[97].在基于記憶的元學(xué)習(xí)中，網(wǎng)絡(luò)的輸入把上一次的y也作為輸入，并且添加了外部記憶存儲上一次的x輸入，這使得下一次輸入后進行反向傳播時，可以讓y和x建立聯(lián)系，使得之后的x能夠通過外部記憶獲取相關(guān)圖像進行比對來實現(xiàn)更好的預(yù)測[97].因此在歷史記憶中存在的偏見可能會不斷積累，對該偏見的消除十分重要.對于元學(xué)習(xí)的公平性，我們可以對記憶單元設(shè)計不同的權(quán)重分配策略，減弱歷史偏見的積累.