文/楊 佳（中國(guó)人民銀行南京分行營(yíng)業(yè)管理部）

大型互聯(lián)網(wǎng)平臺(tái)算法的應(yīng)用在促進(jìn)互聯(lián)網(wǎng)經(jīng)濟(jì)飛速發(fā)展、提升金融服務(wù)效率的同時(shí)也引發(fā)了算法歧視問(wèn)題，本研究初步探討了金融算法數(shù)據(jù)源的獲取、算法歧視的法律規(guī)制現(xiàn)狀和存在的問(wèn)題及其相對(duì)應(yīng)的建議。

一、 研究背景與意義

大型互聯(lián)網(wǎng)平臺(tái)是我國(guó)信息技術(shù)創(chuàng)新應(yīng)用的中堅(jiān)力量，也是信息和數(shù)據(jù)資源的重要使用者，在進(jìn)一步推動(dòng)金融科技和數(shù)字普惠金融發(fā)展方面發(fā)揮至關(guān)重要的作用，而算法是大型互聯(lián)網(wǎng)平臺(tái)得以運(yùn)行的核心技術(shù)，可作用于精準(zhǔn)客戶營(yíng)銷、智能決策、創(chuàng)新商業(yè)模式、提升效率等多個(gè)方面。算法在促進(jìn)互聯(lián)網(wǎng)經(jīng)濟(jì)飛速發(fā)展的同時(shí)也引發(fā)了金融公平公正、金融消費(fèi)者權(quán)益保護(hù)等多個(gè)問(wèn)題。英國(guó)《衛(wèi)報(bào)》曾經(jīng)發(fā)布報(bào)告，顯示算法對(duì)某類人群有歧視，被打上小微企業(yè)、農(nóng)民、低收入人群、殘疾人、老年人等標(biāo)簽的群體在申請(qǐng)金融服務(wù)時(shí)的難度越來(lái)越大，即使獲得也是劣質(zhì)的金融服務(wù)；美國(guó)聯(lián)邦貿(mào)易委員會(huì)調(diào)查顯示廣告商更傾向于向低收入群體展示高息貸款信息；國(guó)內(nèi)以今日頭條為典型代表的多家信息平臺(tái)，在推送信息時(shí)將消費(fèi)者的消費(fèi)理念與特定信息綁定，如長(zhǎng)期推薦的信息有關(guān)金融投資、金融價(jià)值偏好，會(huì)對(duì)用戶的理財(cái)投資計(jì)劃和投資選擇能力產(chǎn)生影響，甚至與消費(fèi)者在公開(kāi)透明信息下的選擇產(chǎn)生偏差。目前有學(xué)者對(duì)互聯(lián)網(wǎng)時(shí)代的算法歧視現(xiàn)象進(jìn)行了較深入的研究，但尚沒(méi)有針對(duì)大型互聯(lián)網(wǎng)平臺(tái)算法歧視下的金融消費(fèi)者權(quán)益保護(hù)問(wèn)題進(jìn)行細(xì)致研究，因此，對(duì)互聯(lián)網(wǎng)平臺(tái)算法歧視下金融消費(fèi)者保護(hù)問(wèn)題進(jìn)行研究很有必要，對(duì)助力普惠金融發(fā)展將起到積極作用。

二、 大型互聯(lián)網(wǎng)平臺(tái)算法歧視概述

1.金融算法數(shù)據(jù)源的獲取

大型互聯(lián)網(wǎng)平臺(tái)的不斷發(fā)展深刻地改變了包括金融在內(nèi)的多個(gè)領(lǐng)域，其核心是算法驅(qū)動(dòng)，而數(shù)據(jù)作為算法的原材料也越來(lái)越被重視，被稱為“新石油”，成為市場(chǎng)經(jīng)營(yíng)主體競(jìng)相爭(zhēng)奪的新興生產(chǎn)資源。金融領(lǐng)域數(shù)據(jù)的獲取主要來(lái)自三種方式（見(jiàn)圖1）：第一種為系統(tǒng)運(yùn)營(yíng)累計(jì)數(shù)據(jù)，金融機(jī)構(gòu)日常運(yùn)營(yíng)中通過(guò)布放的數(shù)百個(gè)系統(tǒng)得到龐大的沉淀數(shù)據(jù)，商業(yè)銀行和保險(xiǎn)公司的數(shù)據(jù)量級(jí)都在TB 以上，作為自身金融算法的重要數(shù)據(jù)源；第二種為外部搜集數(shù)據(jù)，借助大數(shù)據(jù)和人工智能實(shí)施采集社交媒體、輿情監(jiān)控、電商交易等多維用戶數(shù)據(jù)，提取金融屬性后可作為金融算法的輸入；第三種為第三方獲取數(shù)據(jù)，通過(guò)第三方爬蟲(chóng)客戶端爬取互聯(lián)網(wǎng)平臺(tái)數(shù)據(jù)，或通過(guò)數(shù)據(jù)交易市場(chǎng)購(gòu)買等方式獲得金融算法數(shù)據(jù)源。

2.大型互聯(lián)網(wǎng)平臺(tái)算法歧視分類

數(shù)據(jù)本身具有中立性，而在金融數(shù)據(jù)采集過(guò)程中由于人為操控、營(yíng)利導(dǎo)向等原因，對(duì)金融客戶數(shù)據(jù)主體會(huì)出現(xiàn)區(qū)別對(duì)待。特別是在大數(shù)據(jù)背景下，依靠機(jī)器學(xué)習(xí)的自動(dòng)決策系統(tǒng)在對(duì)數(shù)據(jù)主體做出決策分析的過(guò)程中以算法為手段操控?cái)?shù)據(jù)源，就會(huì)造成算法歧視。包括從金融消費(fèi)者的信息采集、特定推送和個(gè)性定價(jià)等階段，以及信息輸入、數(shù)據(jù)整理、算法決策、幕后控制等多運(yùn)行環(huán)節(jié)對(duì)消費(fèi)者實(shí)施多階段多環(huán)節(jié)的“顯性歧視”或“隱性歧視”。具體而言，大型互聯(lián)網(wǎng)平臺(tái)算法歧視分為三種：

圖1 金融算法數(shù)據(jù)源獲取方式

（1）設(shè)計(jì)者主觀歧視。設(shè)計(jì)者在編制算法時(shí)將主觀上的歧視編入算法，設(shè)計(jì)者在設(shè)計(jì)算法時(shí)對(duì)普惠金融對(duì)象進(jìn)行標(biāo)簽分類，對(duì)財(cái)富較少、抗風(fēng)險(xiǎn)能力較差的金融對(duì)象做出拒絕提供金融服務(wù)的決策，甚至在數(shù)據(jù)采集和身份識(shí)別環(huán)節(jié)會(huì)對(duì)特殊群體加以過(guò)濾，使之根本無(wú)法得到金融服務(wù)的機(jī)會(huì)。如人臉識(shí)別支付系統(tǒng)在構(gòu)建智能數(shù)據(jù)庫(kù)時(shí)可能選擇性地忽略掉亞洲人面部特征的采集和存儲(chǔ)，進(jìn)而導(dǎo)致亞洲人無(wú)法享受刷臉支付、賬戶變更、賬戶驗(yàn)證等便利性金融服務(wù)。

（2）機(jī)器學(xué)習(xí)主觀歧視。算法系統(tǒng)在自我訓(xùn)練時(shí)形成的知識(shí)庫(kù)存在歧視現(xiàn)象，這是計(jì)算機(jī)領(lǐng)域著名的GIGO(garbage in，garbage out)，即算法輸入的是垃圾數(shù)據(jù)樣本，那么算法輸出的也將是無(wú)用數(shù)據(jù)，在大數(shù)據(jù)領(lǐng)域這種現(xiàn)象也被稱作“偏見(jiàn)進(jìn)，偏見(jiàn)出”。如亞馬遜公司曾經(jīng)在2014 年開(kāi)發(fā)了一套“算法”來(lái)幫助簡(jiǎn)歷篩選，開(kāi)發(fā)小組開(kāi)發(fā)出了500 個(gè)模型，通過(guò)50000個(gè)術(shù)語(yǔ)知識(shí)庫(kù)讓算法學(xué)習(xí)權(quán)重分配，卻導(dǎo)致算法對(duì)男性應(yīng)聘者有著明顯的偏好，當(dāng)算法識(shí)別出“女性”相關(guān)詞匯的時(shí)候，便會(huì)給簡(jiǎn)歷較低的分?jǐn)?shù)，究其原因是亞馬遜用來(lái)作為訓(xùn)練樣本的數(shù)據(jù)本身就帶有很強(qiáng)的性別偏好，導(dǎo)致算法只能邯鄲學(xué)步，從以往的歷史數(shù)據(jù)中自然而然就學(xué)到了性別偏好。而金融領(lǐng)域常見(jiàn)的大數(shù)據(jù)殺熟也是一種機(jī)器學(xué)習(xí)主觀歧視，利用計(jì)算機(jī)的深度學(xué)習(xí)能力對(duì)金融消費(fèi)者的線上交易數(shù)據(jù)分析，形成可用信息后智能化地針對(duì)不同群體進(jìn)行差異定價(jià)。

（3）客觀系統(tǒng)算法歧視。算法系統(tǒng)完全客觀理性，設(shè)計(jì)者也使用了客觀中立的輸入數(shù)據(jù)，但某些客觀中立數(shù)據(jù)形成組合后仍然會(huì)產(chǎn)生歧視性結(jié)果，最終刻板地依據(jù)數(shù)據(jù)標(biāo)簽做出歧視性決策。例如信貸領(lǐng)域，小微企業(yè)即便有不錯(cuò)的運(yùn)營(yíng)能力，在貸款獲批的可能性上卻依然低于大型企業(yè)，甚至需要償還更高的平均還款利率。這是因?yàn)橄到y(tǒng)獲得小微企業(yè)屬性后自動(dòng)與經(jīng)營(yíng)實(shí)力弱、風(fēng)控能力差、資產(chǎn)抵押不足等問(wèn)題關(guān)聯(lián)，在輸入數(shù)據(jù)與特定結(jié)果之間建立虛假關(guān)聯(lián)，對(duì)此類輸入產(chǎn)生歧視性后果，最終影響小微貸款投放。

三、 算法歧視下的金融消費(fèi)者權(quán)益保護(hù)現(xiàn)狀與挑戰(zhàn)

1.國(guó)內(nèi)外算法歧視下的法律規(guī)制現(xiàn)狀

隨著算法決策深刻影響并改變著人們?nèi)粘Ｉ?、社?huì)管理的多個(gè)方面，算法歧視在金融領(lǐng)域呈現(xiàn)得更為頻繁，并且形式隱蔽，會(huì)引發(fā)理財(cái)、信貸、定價(jià)等多環(huán)節(jié)金融服務(wù)出現(xiàn)差別對(duì)待現(xiàn)象，影響金融消費(fèi)者權(quán)益。為了消除算法歧視對(duì)金融消費(fèi)者權(quán)益的影響，各國(guó)政府積極出臺(tái)了一系列規(guī)制措施。

國(guó)外方面，2016 年4 月14 日，歐盟頒發(fā)《通用數(shù)據(jù)保護(hù)條例》，被稱為第一部明文規(guī)制算法歧視的立法。它對(duì)互聯(lián)網(wǎng)時(shí)代個(gè)人數(shù)據(jù)保護(hù)做出規(guī)定，對(duì)算法中的數(shù)據(jù)挖掘和分析技術(shù)做出限定，詳細(xì)規(guī)定數(shù)據(jù)處理的目的、原則、條件、程序等，保障歐盟公民享有個(gè)人數(shù)據(jù)安全基本權(quán)利?！锻ㄓ脭?shù)據(jù)保護(hù)條例》還對(duì)如何規(guī)制算法歧視進(jìn)行了要點(diǎn)總結(jié)，包括數(shù)據(jù)清潔、移除敏感信息、禁止收集個(gè)人特質(zhì)相關(guān)數(shù)據(jù)、算法審查等步驟。2014 年5月，美國(guó)發(fā)布《大數(shù)據(jù) 抓住機(jī)遇 保存價(jià)值》，其第五章中詳細(xì)談到大數(shù)據(jù)引發(fā)的算法歧視問(wèn)題，指出數(shù)據(jù)算法在提升信息價(jià)值的同時(shí)也會(huì)在自動(dòng)化過(guò)程中引發(fā)算法歧視，并建議聯(lián)邦政府從事消費(fèi)者權(quán)益保護(hù)的機(jī)構(gòu)應(yīng)加強(qiáng)專業(yè)技術(shù)素養(yǎng)，檢測(cè)識(shí)別算法分析程序是否對(duì)消費(fèi)者權(quán)益產(chǎn)生影響。除了算法規(guī)制，美國(guó)還在金融領(lǐng)域頒發(fā)了《金融隱私權(quán)法案》，對(duì)銀行員工披露金融記錄以及聯(lián)邦立法機(jī)構(gòu)獲得個(gè)人金融記錄的方式進(jìn)行了嚴(yán)格限制。2018 年4 月，新加坡金融管理局（MAS）發(fā)布《新加坡金融業(yè)使用人工智能和數(shù)據(jù)分析時(shí)的公平、道德、問(wèn)責(zé)和透明度原則》（簡(jiǎn)稱《FEAT原則》），該指南旨在促進(jìn)金融機(jī)構(gòu)在道德范疇內(nèi)合理地使用人工智能和數(shù)據(jù)分析，確定人工智能和數(shù)據(jù)分析的公平性原則，要求定期審查和驗(yàn)證算法決策所使用的數(shù)據(jù)和模型，以保證算法的準(zhǔn)確和相關(guān)性，最小化預(yù)期外偏差。

國(guó)內(nèi)方面，2019 年我國(guó)香港金融管理局（HKMA）發(fā)布《人工智能的高層次原則》，為銀行業(yè)提供人工智能應(yīng)用指引，要求人員治理方面須有專人為應(yīng)用人工智能算法而造成的結(jié)果負(fù)責(zé)，程序設(shè)計(jì)開(kāi)發(fā)方面銀行應(yīng)確保算法可讀性及可審計(jì)性。同年，發(fā)布《關(guān)于被授權(quán)機(jī)構(gòu)使用大數(shù)據(jù)和人工智能的消費(fèi)者保護(hù)指導(dǎo)原則》，就香港銀行機(jī)構(gòu)在應(yīng)用人工智能過(guò)程中存在的算法歧視、算法黑箱等問(wèn)題，提出了算法可讀性、算法測(cè)試、算法公平、算法倫理等多個(gè)方面的要求。2021 年3 月，中國(guó)人民銀行發(fā)布實(shí)施金融行業(yè)標(biāo)準(zhǔn)《人工智能算法金融應(yīng)用評(píng)價(jià)規(guī)范》（JR/T 0221—2021），規(guī)定人工智能算法在金融領(lǐng)域應(yīng)用的基本要求、評(píng)價(jià)算法、判定準(zhǔn)則，從安全性、可解釋性、精準(zhǔn)性和性能等方面對(duì)人工智能算法金融應(yīng)用評(píng)價(jià)進(jìn)行規(guī)范。該規(guī)范適用于開(kāi)展人工智能算法金融應(yīng)用的金融機(jī)構(gòu)、算法提供商、第三方安全評(píng)估機(jī)構(gòu)等。

2.面臨的挑戰(zhàn)

（1）大型互聯(lián)網(wǎng)平臺(tái)下的算法歧視難以被有效識(shí)別。一是算法外在表現(xiàn)通常為繁雜的程序代碼，具有極強(qiáng)的專業(yè)性和技術(shù)性，雖然算法輸入、輸出可見(jiàn)，但在邏輯層面往往超過(guò)一般人的理解水平，普通公眾在短時(shí)間內(nèi)無(wú)法具備識(shí)別算法邏輯的能力，更難在代碼層面指出算法歧視現(xiàn)象。二是算法歧視性決策結(jié)果類似黑箱操作，其決策過(guò)程不公開(kāi)透明，在專業(yè)技術(shù)掩護(hù)下算法歧視隱蔽性更高，算法決策過(guò)程對(duì)外隔離，普通群眾只能被動(dòng)接受結(jié)果甚至沒(méi)有發(fā)現(xiàn)算法歧視的機(jī)會(huì)。

（2）算法歧視識(shí)別存在時(shí)效性，取證難度大。一是算法隨著機(jī)器學(xué)習(xí)不斷進(jìn)化，算法歧視貫穿其中并不斷變化，某一時(shí)點(diǎn)的歧視邏輯到下一時(shí)點(diǎn)可能變化，取證難度大且證據(jù)難以保存。二是算法設(shè)計(jì)者掌握算法的解釋權(quán)，更容易做出有利于自身的算法設(shè)計(jì)和解釋，監(jiān)管部門缺乏對(duì)大型互聯(lián)網(wǎng)平臺(tái)算法的事前代碼審查，事后監(jiān)管依據(jù)和手段也較為單一，調(diào)查取證難度大。

（3）相關(guān)法律法規(guī)較多，尚無(wú)統(tǒng)一明確的大型互聯(lián)網(wǎng)平臺(tái)算法立法體系。目前算法歧視可適用傳統(tǒng)的平等保護(hù)法律條款，但傳統(tǒng)法律法規(guī)存在針對(duì)性不強(qiáng)、規(guī)制精度不夠等問(wèn)題，究其原因是算法歧視發(fā)生的內(nèi)在原理復(fù)雜、形式多樣，難以通過(guò)整齊一致的法律法規(guī)來(lái)約束，需要結(jié)合具體情況做出針對(duì)性的規(guī)制。

（4）大型互聯(lián)網(wǎng)平臺(tái)算法監(jiān)管體系滯后，消費(fèi)者權(quán)益保護(hù)總體狀況不容樂(lè)觀。目前我國(guó)對(duì)大型互聯(lián)網(wǎng)平臺(tái)算法的行政監(jiān)管較為滯后，且與行業(yè)自律的協(xié)同效果差，大型互聯(lián)網(wǎng)平臺(tái)算法歧視下的消費(fèi)者保護(hù)問(wèn)題溢出了傳統(tǒng)的監(jiān)管體系，尤其是某些互聯(lián)網(wǎng)平臺(tái)在格式條款、信息收集、數(shù)據(jù)用途、營(yíng)銷宣傳方面存在一些問(wèn)題和爭(zhēng)議，消費(fèi)者受到算法歧視侵害時(shí)取證困難，缺乏有效手段維護(hù)自身合法權(quán)益。

四、 政策建議

1.增加大型互聯(lián)網(wǎng)平臺(tái)算法的透明性

一方面，通過(guò)對(duì)輸入數(shù)據(jù)監(jiān)督提高算法的透明度，由于算法的事前公開(kāi)存在商業(yè)泄密風(fēng)險(xiǎn)，公眾可將監(jiān)督重點(diǎn)放在算法輸入數(shù)據(jù)的選擇、收集、歧視數(shù)據(jù)排除上，并要求算法設(shè)計(jì)者記錄這一過(guò)程。另一方面，讓更多普通民眾參與算法模型制定，重點(diǎn)關(guān)注算法決策的可追溯性，確保算法決策過(guò)程、結(jié)果留痕且有據(jù)可查。

2.利用法律法規(guī)確保大型互聯(lián)網(wǎng)平臺(tái)算法的公平性

一方面，通過(guò)完善大型互聯(lián)網(wǎng)平臺(tái)金融算法的權(quán)利、義務(wù)、責(zé)任體系，如在《中華人民共和國(guó)數(shù)據(jù)安全法（草案）》中明確規(guī)定算法治理的范疇，以保證適用于消費(fèi)者權(quán)益保護(hù)的法律、制度在司法決策行為執(zhí)行過(guò)程中符合正當(dāng)程序約束。另一方面，需結(jié)合大型互聯(lián)網(wǎng)平臺(tái)特點(diǎn)，針對(duì)算法歧視制定專門的消費(fèi)者權(quán)益保護(hù)辦法以方便訴訟救濟(jì)機(jī)制有法可依。

3.加強(qiáng)大型互聯(lián)網(wǎng)平臺(tái)算法歧視的自律性

一方面，算法運(yùn)營(yíng)商在算法應(yīng)用中應(yīng)當(dāng)嚴(yán)格遵守法律規(guī)定，加強(qiáng)自律規(guī)制，誠(chéng)信應(yīng)用算法，反對(duì)利用技術(shù)手段對(duì)消費(fèi)者畫像實(shí)施算法歧視，從而保障金融消費(fèi)者合法權(quán)益。另一方面，要發(fā)揮各方合力強(qiáng)化自律監(jiān)管，鼓勵(lì)大型互聯(lián)網(wǎng)平臺(tái)運(yùn)營(yíng)商自發(fā)成立行業(yè)自律機(jī)制，采用行業(yè)內(nèi)部算法審查的互相監(jiān)督方式，并吸收社會(huì)團(tuán)體中的（如計(jì)算機(jī)協(xié)會(huì)、大數(shù)據(jù)應(yīng)用協(xié)會(huì)）專業(yè)人才儲(chǔ)備，加入行業(yè)自律監(jiān)管隊(duì)伍。