劉永謀,彭家鋒

(中國(guó)人民大學(xué) 哲學(xué)院,北京 100872)

2021年,《連線》雜志在一篇名為《疼痛難以忍受:那么為什么醫(yī)生把她拒之門外?》的文章中講述了這樣一則事例[1]:一位名叫凱瑟琳的女士,因患有子宮內(nèi)膜異位癥需要口服阿片類藥物來控制病情和緩解疼痛。但醫(yī)生拒絕為其使用該類藥物,理由僅僅是“相關(guān)算法系統(tǒng)中的某些評(píng)分過高”,幾乎未作任何其他解釋。兩周后,凱瑟琳又收到一封來自婦科醫(yī)生辦公室的信件,稱她的個(gè)人醫(yī)生要“終止”與其的治療關(guān)系。理由是因?yàn)椤皝碜訬arxCare數(shù)據(jù)庫的報(bào)告”。NarxCare是一個(gè)即時(shí)監(jiān)控阿片類藥物濫用風(fēng)險(xiǎn)的算法系統(tǒng),其基于對(duì)患者大量敏感數(shù)據(jù)的深度分析,自動(dòng)為每位患者給出一個(gè)濫用風(fēng)險(xiǎn)評(píng)分,廣泛用于指導(dǎo)醫(yī)生臨床決策。面對(duì)陌生的算法系統(tǒng)和幾乎無從申訴的決策結(jié)果,凱瑟琳只得獨(dú)自承受疾病所帶來的巨大疼痛。

直覺告訴我們,凱瑟琳似乎受到了某種不公正的待遇,而且這種不公正體現(xiàn)在兩個(gè)方面。首先,在道德層面,算法所給出的風(fēng)險(xiǎn)評(píng)分直接導(dǎo)致凱瑟琳被迫出院,且藥房也拒絕為她提供服務(wù),進(jìn)而導(dǎo)致她失去了原本應(yīng)有的醫(yī)療援助而飽受疼痛煎熬。這里暫且不論是否存在侵犯?jìng)€(gè)人隱私的問題,僅就本應(yīng)作為唯一受益者卻被完全排除在整個(gè)決策過程之外,使得個(gè)人訴求得不到表達(dá)的情況,就具有明顯的道德?lián)p害。其次,在認(rèn)知層面,凱瑟琳作為一個(gè)認(rèn)知者的身份也受到了傷害。決策過程很大程度上也是一個(gè)認(rèn)知過程,需要不同認(rèn)知主體的積極參與,不斷進(jìn)行信息的輸入、分析、反饋和調(diào)整。在當(dāng)前案例中,凱瑟琳原本可以憑借對(duì)自身身體狀況和治療經(jīng)歷的了解,為臨床決策提供極具價(jià)值的認(rèn)知貢獻(xiàn),但卻遭到算法系統(tǒng)的結(jié)構(gòu)性拒絕和忽視。她明明知道自己沒有對(duì)阿片類藥物上癮,也從未濫用過藥物,卻無法推翻算法給出的不利結(jié)論。也就是說,生成風(fēng)險(xiǎn)評(píng)分的算法系統(tǒng)的權(quán)威超越了凱瑟琳自身證詞的合法性,加之算法的黑箱性質(zhì),限制了其理解自身經(jīng)歷和進(jìn)一步反駁算法系統(tǒng)的不準(zhǔn)確評(píng)估的可能性。事實(shí)上,這種不公正并非僅僅局限于醫(yī)療保健領(lǐng)域,而是普遍存在于算法決策應(yīng)用的各個(gè)領(lǐng)域和場(chǎng)景中(如商業(yè)借貸領(lǐng)域的信用評(píng)級(jí)、司法活動(dòng)中的累犯預(yù)測(cè)、職場(chǎng)應(yīng)聘中的簡(jiǎn)歷篩選等等)。值得注意的是,雖然 “算法”可以用來描述“任何程序或決策過程”[2],但本文主要關(guān)注那些基于大數(shù)據(jù)和機(jī)器學(xué)習(xí)技術(shù)開發(fā),被用于增強(qiáng)或取代人類分析和決策的自動(dòng)化算法。

當(dāng)然,對(duì)算法決策的倫理反思一直都是包括學(xué)界、政府和產(chǎn)業(yè)界在內(nèi)的全社會(huì)關(guān)注的重點(diǎn),比如批判性考察算法應(yīng)用中的數(shù)據(jù)獲取和數(shù)據(jù)管理、算法的誤用或?yàn)E用,以及算法的設(shè)計(jì)、開發(fā)和使用的社會(huì)權(quán)力動(dòng)態(tài)等等,目的是確保算法的“技術(shù)向善”,避免其對(duì)社會(huì)和個(gè)人造成嚴(yán)重傷害。但已有研究大都忽視了如凱瑟琳所遭遇這類獨(dú)特的認(rèn)知傷害——威脅到人類作為認(rèn)知者、解釋者和證據(jù)來源的尊嚴(yán)。如何概念化算法決策所帶來的這種獨(dú)特的不公正現(xiàn)象的實(shí)質(zhì)將是一項(xiàng)富有挑戰(zhàn)性的任務(wù)。筆者認(rèn)為弗里克(M.Fricker)提出的“認(rèn)識(shí)論不公正(epistemic injustice)”概念框架大致可以勝任這一任務(wù)。因此,本文將借助弗里克的“認(rèn)識(shí)論不公正”概念及其分類,揭示算法決策何以在認(rèn)知上給我們帶來證詞不公正和解釋學(xué)不公正,進(jìn)而嘗試提出若干解決問題的可能出路。

一、認(rèn)識(shí)論不公正的性質(zhì)、類型及傷害

作為認(rèn)識(shí)論領(lǐng)域一個(gè)相對(duì)較新的概念,“認(rèn)識(shí)論不公正”由弗里克在《認(rèn)識(shí)論不公正:認(rèn)知的權(quán)力和倫理》(2007)一書中正式提出。根據(jù)弗里克的定義,認(rèn)識(shí)論不公正是“以認(rèn)知者的身份對(duì)某人犯下的錯(cuò)誤”[3]1。該術(shù)語揭示了一種獨(dú)特現(xiàn)象——由于社會(huì)偏見或刻板印象等原因?qū)е履橙说恼J(rèn)知地位被不公正地削弱。更寬泛地講,它是指某類群體或個(gè)人的理性或認(rèn)知能力受到社會(huì)或他人不公正的錯(cuò)待。

認(rèn)識(shí)論不公正本質(zhì)上是一種偏見性不公正,區(qū)別于一般的分配性不公正。前者是因偏見性因素使得某人被排擠在認(rèn)知活動(dòng)之外或處于認(rèn)識(shí)論的不利地位,比如病人通常被認(rèn)為不值得相信。后者是指教育、信息等認(rèn)知商品的獲取和分配方面存在的不公平現(xiàn)象,比如剝奪某人接受教育或進(jìn)入圖書館的機(jī)會(huì)。雖然對(duì)后者的關(guān)注同樣重要,但弗里克認(rèn)為“它并沒有明顯的認(rèn)識(shí)論上的問題”,因?yàn)槟切┍欢ㄐ詾檎J(rèn)知商品的東西在很大程度上是偶然的[3]1。所以,真正具有認(rèn)識(shí)論意義的不公正應(yīng)當(dāng)是偏見性不公正。同時(shí),這種偏見性不公正具有非蓄意性質(zhì)。在這種認(rèn)識(shí)論不公正中,聽者對(duì)說者的可信度做出的誤判,實(shí)際上是受偏見蒙蔽,以其看似合理的理由做出的“天真誤判”。這不同于任何故意將某人的真實(shí)或合理信念歪曲為虛假或沒有合理根據(jù)的行為,因而其發(fā)生更讓人難以察覺。

弗里克明確將認(rèn)識(shí)論不公正分為證詞不公正(testimonial injustice)和解釋學(xué)不公正(hermeneutical injustice)。證詞不公正是指因種族、性別、階層、宗教等身份偏見導(dǎo)致的聽者對(duì)說者證詞可信度的貶低。比如白人警察因?yàn)榉N族歧視而不愿相信黑人的證詞,或者女人的證詞被認(rèn)為不如男人的證詞可靠。這些偏見是系統(tǒng)性的,滲透于整個(gè)社會(huì)之中,證詞不公正便是其在認(rèn)知上的反映。當(dāng)集體解釋資源的差距影響了人對(duì)其社會(huì)經(jīng)歷的理解和表達(dá)時(shí),就會(huì)發(fā)生解釋學(xué)不公正。解釋學(xué)資源可以被定義為認(rèn)知和語言資源,即我們用來理解世界和相互交流的概念和詞語,它們被廣泛共享于整個(gè)社會(huì)之中。當(dāng)缺乏“集體解釋學(xué)資源”(即典型的語言類型和概念資源)來談?wù)摵屠斫饽承┙?jīng)歷時(shí),經(jīng)歷的人就被剝奪了談?wù)摵屠斫庾陨斫?jīng)歷的機(jī)會(huì)。弗里克以“性騷擾”的概念為例:在沒有此概念的情況下,被騷擾者無法識(shí)別并談?wù)撨@種騷擾經(jīng)歷;即使被騷擾者試圖談?wù)撍麄兊慕?jīng)歷,聽眾也無法準(zhǔn)確理解被騷擾者的經(jīng)歷和不利境況。

證詞不公正與解釋學(xué)不公正之間具有相互伴隨、相互強(qiáng)化的復(fù)雜關(guān)系,其中一種類型的不公正的發(fā)生,往往會(huì)引起乃至強(qiáng)化另一種類型的不公正。在這種情況下,說者往往會(huì)遭遇雙重不公正:一次是由于共享解釋學(xué)資源中的結(jié)構(gòu)性偏見,一次是由于聽者做出帶有身份偏見的可信度判斷。一方面,解釋學(xué)不公正會(huì)因遭遇系統(tǒng)性證詞交流失敗而持續(xù)并傳遞:由于試圖提供解釋的說者的證詞沒有被聽者接收到,產(chǎn)生新理解的早期嘗試被阻止或未得到回應(yīng),導(dǎo)致了交流雙方之間的解釋差距形成、維持和傳遞。另一方面,當(dāng)因解釋學(xué)資源的缺乏使得某些聲音在相關(guān)問題上比其他聲音更難以理解(因此更不可信)時(shí),證詞不公正幾乎不可避免,并且他們?cè)噲D闡明某些意義的嘗試會(huì)被系統(tǒng)地視為荒謬(因此令人難以置信)。由于表達(dá)和解釋某些事物的困難,人們的可信度可能會(huì)受到損害;但缺乏可信度也會(huì)讓人質(zhì)疑其表述和解釋的可理解性。

認(rèn)識(shí)論不公正具有認(rèn)知和倫理層面的雙重傷害。首先,在認(rèn)知層面,認(rèn)識(shí)論不公正錯(cuò)待特定認(rèn)知者的認(rèn)知能力或完全將其排除在知識(shí)的生產(chǎn)、獲取、傳遞和修正等認(rèn)知過程之外,妨礙(個(gè)人或社會(huì))認(rèn)知目標(biāo)的實(shí)現(xiàn)。例如壓制認(rèn)知者的證詞或使認(rèn)知者難以理解其自身經(jīng)驗(yàn),會(huì)導(dǎo)致扭曲理解或阻礙探究等認(rèn)知功能障礙,不利于從整體上增進(jìn)知識(shí)和理解。具體而言,證詞不公正的主要傷害是由于聽者的身份偏見而被排除在認(rèn)知活動(dòng)之外,針對(duì)的是說者本人;解釋學(xué)不公正的主要傷害是由于集體解釋學(xué)資源中的結(jié)構(gòu)性身份偏見而被排除在認(rèn)知活動(dòng)之外,針對(duì)的是說者想表達(dá)的內(nèi)容。因此,兩種認(rèn)識(shí)論不公正所涉及的傷害,具有一個(gè)共同的認(rèn)識(shí)論意義——偏見性地將說者排除在知識(shí)生產(chǎn)和傳播之外。

其次,在倫理層面,由于通過言語溝通等方式向他人傳達(dá)知識(shí),以及理解自身的社會(huì)經(jīng)驗(yàn)是人類個(gè)體的理性能力、身份認(rèn)同、能動(dòng)性和尊嚴(yán)等不可或缺的一部分,因此,損害證詞和解釋能力的不公正將會(huì)對(duì)人類個(gè)體造成倫理傷害。比如,一個(gè)理性的人類主體應(yīng)當(dāng)被認(rèn)為是提供和傳遞知識(shí)的能動(dòng)認(rèn)知者,但系統(tǒng)性的認(rèn)識(shí)論不公正剝奪了主體這種基本的能力和尊嚴(yán),主體被排除在受信任的知識(shí)提供者共同體之外,這意味著他無法成為認(rèn)知活動(dòng)的積極參與者。因此,他從主動(dòng)認(rèn)知者的角色降級(jí),并被限制在被動(dòng)狀態(tài)的角色中,成為其他認(rèn)知主體收集知識(shí)的對(duì)象。這就是認(rèn)識(shí)論不公正對(duì)理性主體所造成的認(rèn)知物化(epistemic objectification)的倫理傷害:當(dāng)聽者否定說者作為知識(shí)提供者的身份時(shí),說者就在認(rèn)知上被物化了[3]133。由此還可能產(chǎn)生進(jìn)一步的社會(huì)惡果,如因在職場(chǎng)或法庭等場(chǎng)合遭遇不公而導(dǎo)致的自信喪失以及對(duì)個(gè)體或群體社會(huì)生活軌跡的負(fù)面影響[4]。

二、算法決策的證詞不公正

隨著大數(shù)據(jù)、物聯(lián)網(wǎng)和人工智能等技術(shù)的快速發(fā)展,算法支持系統(tǒng)開始逐漸被引入教育、醫(yī)療、金融、就業(yè)等各個(gè)領(lǐng)域,并頻繁替代人類作出各種社會(huì)決策,成為各行各業(yè)專業(yè)決策的重要來源。其中,證詞不公正發(fā)生在算法輸出與人類證詞之間。雖然弗里克的證詞不公正被認(rèn)為是發(fā)生在人類聽者和人類說者之間,但在作為聽者的人類與作為準(zhǔn)證詞提供者的算法系統(tǒng)之間也存在類似狀況[5]。算法系統(tǒng)通過貶低人類證詞可信度而成為一種新的認(rèn)知傷害的來源。對(duì)人類自身身份和行為數(shù)據(jù)的大量收集,導(dǎo)致算法和人類之間產(chǎn)生了一種新的認(rèn)知權(quán)力的不對(duì)稱性:算法如今被認(rèn)為比我們更了解自己,從而削弱了我們對(duì)于自身可信度的支持。比如,在基于深度學(xué)習(xí)算法和大數(shù)據(jù)分析的行為預(yù)測(cè)和基于人類證詞的行為預(yù)測(cè)之間,不少人傾向于認(rèn)為前者更可靠,因?yàn)槲覀儭捌姟钡卣J(rèn)為人類的記憶和判斷是主觀的和糟糕的,相比之下,來自算法系統(tǒng)的“證詞”更加準(zhǔn)確和客觀。在此情況下,證詞不公正在整個(gè)社會(huì)層面被結(jié)構(gòu)性地建立起來。

在一般證詞交流中,個(gè)人的證詞可信度很大程度上是由存在于社會(huì)集體想象中的刻板印象決定。雖然可信度包含著能力和誠(chéng)意兩種基本要素,但除非對(duì)證詞提供者和證據(jù)本身擁有大量的個(gè)人知識(shí),否則一個(gè)人很難對(duì)其能力和誠(chéng)意做出準(zhǔn)確判斷。因此,當(dāng)人們衡量說者及其證詞的可信度時(shí),更為常見的是依據(jù)一種啟發(fā)式方法和社會(huì)流行的刻板印象。這里的刻板印象是一個(gè)中性概念,它是整個(gè)社會(huì)經(jīng)驗(yàn)的普遍概括,其運(yùn)用并不必然帶來證詞不公正?？贪逵∠罂梢詭椭藗?cè)谌粘＝涣髦凶园l(fā)和迅速地對(duì)他人證詞做出可信度判斷,從而提高知識(shí)傳遞的認(rèn)知效率。如果沒有這種啟發(fā)式方法和刻板印象的幫助,人們或?qū)o法順利實(shí)現(xiàn)日常證詞交流所需要的可信度判斷。但并非所有刻板印象都是積極和正面的,其中往往隱藏著大量身份偏見。比如人類歷史上的性別偏見和民族偏見,就體現(xiàn)出對(duì)有關(guān)社會(huì)群體的不可靠的經(jīng)驗(yàn)概括。當(dāng)它們持續(xù)、系統(tǒng)地在知識(shí)傳遞過程中發(fā)生作用,貶低某類個(gè)體作為可靠證詞提供者的理性能力時(shí),就會(huì)造成證詞不公正。

當(dāng)算法越來越多地作為自主性系統(tǒng)參與社會(huì)決策時(shí),它也在以知識(shí)提供者的身份同人類個(gè)體進(jìn)行認(rèn)知互動(dòng)。在此過程中,算法逐漸被賦予精確性和客觀性的外衣;相較于人類提供的證詞與判斷,整個(gè)社會(huì)層面開始形成一種刻板印象:算法比人類更加可靠。這種刻板印象是一種結(jié)構(gòu)性的偏見,主要源自于兩種原因。

其一,人們對(duì)算法抱有過度理想化的文化想象和承諾。身處算法時(shí)代,我們基本上接受了算法在線處理關(guān)于自身的各種數(shù)據(jù)并塑造我們大部分的認(rèn)知活動(dòng)這一事實(shí),但我們基本上不知道具體操作過程是如何進(jìn)行的,也幾乎不了解算法對(duì)我們生活的影響。我們自愿但不知情地同意各種算法在我們生活中運(yùn)作,其中隱含地假設(shè)這些算法程序是良性的和無偏見的,只執(zhí)行理性計(jì)算。我們相信算法推薦或提供給我們的結(jié)果真實(shí)地反映了世界和我們的選擇。數(shù)據(jù)不會(huì)說謊,而算法只是處理數(shù)據(jù),所以算法也不會(huì)說謊。這種算法文化之所以變得有意義和被接受,并不是因?yàn)樗鼈兪枪诺湟饬x上的超然事物,而是因?yàn)樗鼈円砸环N更新、更內(nèi)在的方式發(fā)展了這種可接受性。而這種可接受性就是拉什(S.Lash)所謂的算法“通過性能合法化”而獲得的。[6]在實(shí)際運(yùn)用過程中,算法隱含或明確地聲稱它們不僅具有成本效益,而且在認(rèn)知和道德意義上都是客觀的:算法直接工作,提供各種問題的解決方案,中立和公正是其默認(rèn)設(shè)置吉萊斯皮(T.Gillespie)也指出:“算法不僅是工具,還是信任的穩(wěn)定器、實(shí)用和象征性的保證,確保其評(píng)估是公平和準(zhǔn)確的,沒有主觀性、偏見或錯(cuò)誤?！盵7]因此,將算法的客觀性與其合法性等同起來,是對(duì)更高理性的追求,其中算法自主行動(dòng)并超越人類能力,由此強(qiáng)化了算法文化的客觀性偏見。當(dāng)算法系統(tǒng)被廣泛認(rèn)為(或至少被視為)體現(xiàn)了一種特殊的、權(quán)威的可靠性或可信度時(shí),任何反駁證詞證據(jù)的力量都會(huì)被削弱。

其二,自動(dòng)化偏見也會(huì)加深算法決策中的相關(guān)刻板印象。弗里克強(qiáng)調(diào)了身份偏見在日常認(rèn)知交流實(shí)踐中產(chǎn)生的不公正危害,比如針對(duì)有色人種,給予其證詞更低的可信度。在算法決策中,還存在另一種形式的偏見,即“自動(dòng)化偏見(automation bias)”。我們可以簡(jiǎn)單將其理解為人們傾向于降低自己獲取的信息的可信度,而更愿意依賴自動(dòng)化算法系統(tǒng)提供的信息[8]。自動(dòng)化偏見是影響人類與自動(dòng)化算法系統(tǒng)交互的一個(gè)重要因素。當(dāng)使用自動(dòng)化算法作出決策時(shí),人們很少會(huì)利用全部可用信息來仔細(xì)甄別和檢驗(yàn)算法系統(tǒng)所給出的結(jié)果。對(duì)此可能的解釋是,由于自動(dòng)化系統(tǒng)往往非?？煽?因此更多的使用經(jīng)驗(yàn)會(huì)強(qiáng)化這樣一種觀念,即其他提示是多余和不必要的;相反,與自動(dòng)化系統(tǒng)完全不一致的線索可能會(huì)被大打折扣[9]。換言之,當(dāng)自動(dòng)化算法被引入決策時(shí),決策者的注意力主要集中在算法及其提示的相關(guān)信息和線索上,其他信息不太可能被決策者接收到,進(jìn)而難以影響決策結(jié)果。此外,“算法欣賞(algorithm appreciation)”也趨向于強(qiáng)化“算法比人類更加可靠”的刻板印象。哈佛大學(xué)肯尼迪學(xué)院的研究人員通過實(shí)驗(yàn)研究發(fā)現(xiàn),在各種需要執(zhí)行評(píng)估和預(yù)測(cè)任務(wù)的決策條件下,人們實(shí)際上更喜歡來自算法的建議而不是來自人類的建議[10]。即使對(duì)算法的描述和了解很少,人們也會(huì)表現(xiàn)出對(duì)算法的欣賞。因此,當(dāng)人們傾向于賦予算法更多“欣賞”(即更高可信度)時(shí),來自人類自身的證詞可信度就會(huì)被相應(yīng)地貶低,出現(xiàn)證詞不公正的現(xiàn)象。

算法決策所帶來的證詞不公正將會(huì)在以下三個(gè)方面對(duì)人類產(chǎn)生不利影響。首先,在某些重要的認(rèn)知活動(dòng)(比如知識(shí)生產(chǎn)、證據(jù)提供、理論驗(yàn)證等)中,人類的參與能力和地位將會(huì)被削弱甚至被完全排擠出去,人類不再被認(rèn)為是認(rèn)知活動(dòng)的合格參與者。同時(shí),這種重視算法決策和忽視人類證詞的不利狀況,將使我們錯(cuò)過向人類個(gè)體學(xué)習(xí)的機(jī)會(huì)。其次,由于算法決策被賦予比人類證詞更多的權(quán)重,人類可能會(huì)逐漸失去其作為認(rèn)知主體的信心和尊嚴(yán)。人類在繼續(xù)擁有其認(rèn)知能力的同時(shí),因其證詞長(zhǎng)期受到質(zhì)疑和忽視,很可能會(huì)失去交流和理解自身經(jīng)歷的動(dòng)力,最終選擇保持沉默。最后,數(shù)據(jù)缺失問題將加劇對(duì)相關(guān)群體的證詞壓迫。缺乏關(guān)于特定社會(huì)事件或現(xiàn)象的數(shù)據(jù)并不意味著該類事件或現(xiàn)象實(shí)際上不存在。算法總是基于過去已有的數(shù)據(jù)對(duì)未來做出預(yù)測(cè)性判斷,這通常會(huì)有意無意地忽視某些未被數(shù)據(jù)化的關(guān)鍵因素或者強(qiáng)化已有偏見,從而對(duì)特定群體造成證詞壓迫。

三、算法決策的解釋學(xué)不公正

在算法決策中,還存在解釋學(xué)不公正問題。它主要是由算法的認(rèn)知非透明性造成的?！罢J(rèn)知非透明性(epistemic opacity)”是由漢弗萊斯(P.Humphreys)較早引入的概念,用于表征某些計(jì)算機(jī)系統(tǒng)的潛在過程和屬性的不可訪問性。他給出的定義是:一個(gè)過程在時(shí)間t相對(duì)于認(rèn)知主體X在認(rèn)知上是不透明的,當(dāng)且僅當(dāng)X不知道該過程的所有認(rèn)知相關(guān)元素[11]。漢弗萊斯專注于計(jì)算模型和模擬,但該概念同樣適用于決策算法。由于運(yùn)用了大量復(fù)雜的程序、方法和參數(shù),同時(shí)還摻雜著許多社會(huì)因素,使得算法具有明顯的認(rèn)知非透明性特征。該特征主要源于兩個(gè)方面。

一方面,技術(shù)本身具有認(rèn)知非透明的特征。當(dāng)前的主流算法是機(jī)器學(xué)習(xí)算法,它與老式的基于規(guī)則的算法不同。從某種意義上說,老式算法在設(shè)計(jì)上是透明的,因?yàn)樗怯扇祟惓绦騿T明確編碼的規(guī)則組成,其代碼和輸出均可得到檢查和驗(yàn)證。即使用戶不了解程序的工作原理,其代碼是由人類編寫這一事實(shí)也意味著在原則上不存在透明性障礙。機(jī)器學(xué)習(xí)算法卻顛覆了這一特征。人類只提供數(shù)據(jù),機(jī)器本身則可以自動(dòng)生成一組規(guī)則或映射函數(shù),用于描述該數(shù)據(jù)集中的模式和相關(guān)性,目標(biāo)是發(fā)現(xiàn)了潛在的模式并將其應(yīng)用于對(duì)其他數(shù)據(jù)點(diǎn)的預(yù)測(cè)或建議。機(jī)器學(xué)習(xí)成功的關(guān)鍵在于系統(tǒng)本身能夠“自主學(xué)習(xí)”,不斷根據(jù)新的輸入修改這些類似規(guī)則的映射以提高其準(zhǔn)確性。但這也使得其缺乏透明度。隨著這些規(guī)則不斷被修改,人類(包括技術(shù)開發(fā)人員)很快會(huì)失去理解算法內(nèi)部運(yùn)作的能力,最終整個(gè)算法成為一個(gè)技術(shù)“黑箱”。

另一方面,算法的保密性和專業(yè)性等外部因素也使其具有認(rèn)知非透明性特征。保密性是指有目的地嘗試對(duì)分析事實(shí)保持無知。算法保密性可以分為對(duì)算法模型存在的保密和對(duì)算法操作過程的保密[12]。前者是指在諸如商業(yè)領(lǐng)域,存在大量消費(fèi)者根本不知道的算法系統(tǒng),受影響者幾乎意識(shí)不到算法決策的存在。這主要是因?yàn)樘峁┐祟愃惴ㄏ到y(tǒng)的公司是為其客戶企業(yè)服務(wù)而不是為消費(fèi)者服務(wù)。后者是指已知存在算法決策,但其實(shí)際操作未知的情況。受影響者可能知道他們受制于某類算法系統(tǒng),但對(duì)決策過程的運(yùn)作方式知之甚少。事實(shí)上,公司有時(shí)有相當(dāng)?shù)膭?dòng)機(jī)對(duì)算法模型及其操作過程進(jìn)行保密。如果算法模型和決策過程具有財(cái)務(wù)和競(jìng)爭(zhēng)價(jià)值,并且其開發(fā)需要大量投資或獨(dú)創(chuàng)性,公司可能會(huì)要求將其作為商業(yè)秘密進(jìn)行保護(hù)。算法的專業(yè)性是指對(duì)算法的技術(shù)性理解需要一些基本的專業(yè)知識(shí)。比如確保對(duì)算法決策負(fù)責(zé)的一種常見做法是要求披露底層源代碼。雖然這樣的披露可能有助于弄清楚如何實(shí)現(xiàn)自動(dòng)化決策,但理解所披露源代碼的能力取決于一個(gè)人的專業(yè)素養(yǎng)水平。閱讀代碼至少需要最低程度的計(jì)算機(jī)編程技術(shù),普通公眾根本無法滿足這一要求。那么,在缺乏理解源代碼所需的專業(yè)知識(shí)的情況下,披露對(duì)受影響者和監(jiān)管機(jī)構(gòu)的價(jià)值和意義不大。而且,有學(xué)者指出,公開算法的相關(guān)架構(gòu)和代碼并不必然對(duì)普通的非技術(shù)用戶有利,反而可能會(huì)帶來惡意操縱或玩弄系統(tǒng)的風(fēng)險(xiǎn)[13]。

因此,算法可以被視為一個(gè)復(fù)雜的非透明性系統(tǒng),對(duì)其內(nèi)部過程和輸出結(jié)果的理解遠(yuǎn)遠(yuǎn)超出單個(gè)人的認(rèn)知資源和能力,對(duì)其經(jīng)驗(yàn)有效性也缺乏認(rèn)知控制,由此導(dǎo)致人們(至少是非技術(shù)專家)在質(zhì)疑其結(jié)果或理解其操作方面變得異常困難。尤其是當(dāng)算法作為權(quán)威系統(tǒng)應(yīng)用于社會(huì)決策領(lǐng)域并產(chǎn)生負(fù)面影響時(shí),處于不利地位的群體明顯缺乏適當(dāng)?shù)母拍钯Y源來表達(dá)、概括和理解自身所經(jīng)受的傷害。這就在個(gè)體經(jīng)驗(yàn)與向他人傳遞解釋之間形成了一條解釋學(xué)鴻溝,導(dǎo)致各決策主體不平等地參與社會(huì)意義的生產(chǎn)實(shí)踐。

首先,算法的認(rèn)知權(quán)威地位可能排斥人類個(gè)體的意義建構(gòu)。雖然算法決策系統(tǒng)的開發(fā)者與使用者一再聲稱,該系統(tǒng)旨在輔助而不是替代人類決策,最終的決策權(quán)應(yīng)當(dāng)始終掌握在經(jīng)驗(yàn)豐富的專家手里,但現(xiàn)實(shí)中往往傾向于將其作為決策的權(quán)威來源,在決策過程中直接依賴并考慮其輸出。當(dāng)相關(guān)算法系統(tǒng)被應(yīng)用部署到社會(huì)之中(尤其是銀行、醫(yī)院、法院等機(jī)構(gòu))時(shí),它往往就在行政或程序規(guī)范上成為合法的強(qiáng)制性系統(tǒng)。因此,即使在理論上,它們應(yīng)該作為輔助決策的工具,但在實(shí)踐中卻強(qiáng)烈限制了決策者和相關(guān)利益方質(zhì)疑其結(jié)果的可能性。這就導(dǎo)致算法決策容易忽略邊緣性群體的知識(shí)——他們的證詞、價(jià)值觀和生活經(jīng)驗(yàn)——在決策過程中可能具有的重要意義。此外,算法系統(tǒng)為決策提供合法知識(shí)的方式是單向的,使用者無法根據(jù)可能推翻它的相關(guān)信息修改其輸出結(jié)果。也就是說,使用者無法將有價(jià)值的信息反饋到系統(tǒng)中;他只能作為一個(gè)未知來源的知識(shí)的接受者,而不能成為一個(gè)積極影響知識(shí)生成和意義建構(gòu)的生產(chǎn)者。最終,使用者難以對(duì)決策結(jié)果產(chǎn)生異議,加之算法系統(tǒng)強(qiáng)制嵌入決策過程,反過來進(jìn)一步強(qiáng)化了算法決策的認(rèn)知權(quán)威地位。

其次,算法的認(rèn)知非透明性阻礙決策相關(guān)主體間的理解與溝通。如前所述,算法是一個(gè)非透明性系統(tǒng),它容易導(dǎo)致決策參與者或受其影響者缺乏準(zhǔn)確理解其輸出所需的解釋性資源。因此,他們往往無法評(píng)估這些輸出結(jié)果是否合理,也不明白應(yīng)該對(duì)其采取怎樣的合法行動(dòng),以及如何質(zhì)疑它們。事實(shí)上,對(duì)于算法系統(tǒng)的一般使用者及其影響者而言,雙方均處于上述這種認(rèn)知上的不利位置,都缺乏對(duì)相關(guān)結(jié)果的普遍理解,進(jìn)而使得決策相關(guān)主體間難以產(chǎn)生富有成效的理解和溝通。以凱瑟琳的事件為例,當(dāng)醫(yī)生告訴凱瑟琳無需再服用阿片類止痛藥時(shí),他或許只是簡(jiǎn)單接受了權(quán)威系統(tǒng)給出的結(jié)論,可能并不清楚結(jié)論背后真正的原因究竟是什么。這使得雙方的溝通和理解受到極大限制,進(jìn)而破壞患者和醫(yī)生之間本應(yīng)保持的良性互動(dòng),最終可能導(dǎo)致雙方采取以下兩種溝通方式。一是回避性的溝通方式。這意味著因算法系統(tǒng)的權(quán)威地位而完全切斷了患者和醫(yī)生之間的溝通,患者幾乎不理解為什么她被拒絕藥物治療,也沒有機(jī)會(huì)分享一些可能推翻結(jié)論的信息和個(gè)人狀態(tài),完全被排除在交流實(shí)踐之外。二是對(duì)抗性的溝通方式。這意味著醫(yī)患雙方處于一種不信任的關(guān)系之中,醫(yī)生將患者的異議視為對(duì)權(quán)威系統(tǒng)的挑戰(zhàn)和不誠(chéng)實(shí)的表現(xiàn),由此傾向于降低患者證詞的可信度并削弱他們的認(rèn)知地位。以上兩種不利的溝通方式均是由于算法決策系統(tǒng)的介入導(dǎo)致。

最后,解釋學(xué)資源上的差距可能導(dǎo)致技術(shù)專家權(quán)力過大。解釋學(xué)不公正不僅是由集體解釋學(xué)概念資源的缺乏或扭曲造成的,還可能由現(xiàn)有概念資源的不公平分配和應(yīng)用所致[14]。在算法決策中,除了算法技術(shù)本身的認(rèn)知非透明性造成的概念缺失之外,還存在許多集體可用的相關(guān)概念資源問題。其中大多是描述算法的技術(shù)性概念(比如模式匹配、子串、向量機(jī)、監(jiān)督學(xué)習(xí)等術(shù)語),但這些概念通常只由算法專家掌握,一般用戶及相關(guān)者基本沒有能力充分使用它們。這種解釋學(xué)資源上的差距往往會(huì)使算法決策的最終解釋權(quán)掌握在技術(shù)專家手中,因此,決策結(jié)果不可避免地會(huì)受到技術(shù)專家的價(jià)值觀念和利益等方面的影響。同時(shí),由于專家的權(quán)力是被行政性賦予的,來源于其掌握的技術(shù)專長(zhǎng),這就容易導(dǎo)致他們的決定不易受到審查和追責(zé)。正如奧尼爾(C.O’Neil)在批判性分析再犯算法模型時(shí)指出:“一個(gè)再犯模型的運(yùn)作完全是由算法獨(dú)立完成的,只有極少數(shù)專業(yè)人士能理解。”[15]一旦算法主導(dǎo)了大多數(shù)(重要)社會(huì)決策時(shí),誰處于優(yōu)勢(shì)地位和誰處于劣勢(shì)地位的問題就出現(xiàn)了。算法將會(huì)以自己的方式,圍繞“誰能讀懂?dāng)?shù)字”產(chǎn)生新的等級(jí)結(jié)構(gòu)[16]。這意味著,當(dāng)算法專家掌握越來越多的解釋權(quán)和算法控制權(quán)后,對(duì)技術(shù)細(xì)節(jié)一無所知的利益相關(guān)者將更難理解和質(zhì)疑算法決策的結(jié)果,進(jìn)而因解釋學(xué)資源和能力上的劣勢(shì)導(dǎo)致其在整個(gè)經(jīng)濟(jì)社會(huì)中處于不利位置。

四、矯正算法決策的認(rèn)識(shí)論不公正

如果僅將算法應(yīng)用于電影、音樂和美食推薦等一般領(lǐng)域,我們或許不會(huì)過多關(guān)注由此產(chǎn)生的認(rèn)識(shí)論不公正問題,因?yàn)槠溆绊懰坪醪⒉煌怀龌蛑匾?。然?一旦算法被用于預(yù)測(cè)或評(píng)估個(gè)人商業(yè)信用、工作績(jī)效考核、招聘、藥物成癮和累犯概率等重要的社會(huì)決策時(shí),其產(chǎn)生的認(rèn)識(shí)論不公正就會(huì)導(dǎo)致許多深層次的道德和社會(huì)后果。因此,我們迫切需要考慮如何矯正算法決策帶來的認(rèn)識(shí)論不公正。

(一)算法層面:構(gòu)建可抗辯性的算法決策系統(tǒng)

若要矯正算法決策中的認(rèn)識(shí)論不公正,首先需要關(guān)注算法決策系統(tǒng)本身。如前所述,算法決策系統(tǒng)本身具有認(rèn)知非透明性特征,它往往會(huì)導(dǎo)致人們很難理解和解釋其自身經(jīng)歷,進(jìn)而難以對(duì)決策結(jié)果提出反駁。常見的應(yīng)對(duì)措施是提高算法的透明度。但是,即使拋開算法的保密性和專業(yè)性等外部因素不談,僅就技術(shù)本身的復(fù)雜程度和認(rèn)知非透明性特征而言,想要設(shè)計(jì)完全透明的算法系統(tǒng)也是不切實(shí)際的。一個(gè)合理的替代方案是構(gòu)建可抗辯性的算法決策系統(tǒng)。嚴(yán)格來說,可抗辯性并不要求透明度,因?yàn)槿藗儾恍枰_切知道決策是如何做出的,就可以質(zhì)疑它的是非對(duì)錯(cuò)、公平與否?？煽罐q性意味著參與而非被動(dòng),質(zhì)疑而非默許[17]。構(gòu)建可抗辯性的算法決策系統(tǒng),至少可以采取以下兩種方式:

一是采取一種“人在環(huán)路”(human-in-the-loop)的設(shè)計(jì)思路。在算法決策中,無論是證詞不公正還是解釋學(xué)不公正,均表現(xiàn)出利益相關(guān)者被偏見性地排除在決策相關(guān)的認(rèn)知實(shí)踐之外,無法參與那些與自身利益息息相關(guān)的重要決策?！叭嗽诃h(huán)路”是當(dāng)前促進(jìn)機(jī)器學(xué)習(xí)算法的重要方式,旨在通過整合人類知識(shí)和經(jīng)驗(yàn),以最低的成本訓(xùn)練準(zhǔn)確的預(yù)測(cè)模型[18]。我們可以將此思路用于構(gòu)建可抗辯性的算法決策系統(tǒng),將利益相關(guān)者納入技術(shù)設(shè)計(jì)和循環(huán)之中,賦予其對(duì)基于自動(dòng)化決策提出異議的一般權(quán)利,最終使其免受算法決策帶來的認(rèn)識(shí)論不公正傷害。

二是引入一種能夠提供反饋循環(huán)的強(qiáng)化學(xué)習(xí)機(jī)制。在使用強(qiáng)化學(xué)習(xí)的算法決策系統(tǒng)中,人們可以設(shè)計(jì)一種“獎(jiǎng)勵(lì)”信號(hào)并設(shè)定系統(tǒng)的目標(biāo),以使其最大化,類似于行為心理學(xué)中的“操作性條件反射”。對(duì)系統(tǒng)輸出的質(zhì)疑可以被視為錯(cuò)誤信號(hào),表明產(chǎn)生了有問題的輸出。因此,將有爭(zhēng)議的決策編碼為負(fù)反饋,以便系統(tǒng)可以更新其映射功能并避免將來出現(xiàn)類似的錯(cuò)誤。目前,許多算法推薦系統(tǒng)使用了強(qiáng)化學(xué)習(xí)機(jī)制。當(dāng)用戶提供具有“抗辯性”的建議反饋時(shí),系統(tǒng)會(huì)對(duì)用戶的偏好有更深入的了解,并逐步改進(jìn)其推薦。然而,在更具道德分量和社會(huì)意義的算法決策系統(tǒng)中,似乎沒有引入基于可抗辯性的反饋機(jī)制。正如前面凱瑟琳的遭遇所呈現(xiàn)的那樣,在面對(duì)NarxCare系統(tǒng)時(shí),她根本沒有對(duì)決策結(jié)果提出異議的機(jī)會(huì),故而反饋也就無從談起。因此,引入強(qiáng)化學(xué)習(xí)機(jī)制或能提高算法決策系統(tǒng)的可抗辯性,矯正其存在的認(rèn)識(shí)論不公正。

(二)個(gè)人層面:培育決策者的認(rèn)知正義美德

認(rèn)識(shí)論不公正之所以發(fā)生,主要是由于在認(rèn)知交流中聽者因身份偏見等因素,未能將說者當(dāng)作一個(gè)合格的認(rèn)知者來對(duì)待。說者無法運(yùn)用自己的理性能力參與知識(shí)生產(chǎn)、傳播和修正,從而被完全排除在認(rèn)知活動(dòng)之外。弗里克針對(duì)證詞不公正和解釋學(xué)不公正兩種具體情況,建議以證詞正義和解釋學(xué)正義兩種美德對(duì)其加以矯正[3]。其中,證詞正義要求消除身份偏見對(duì)個(gè)體證詞的可信度的貶低,通過向上補(bǔ)償來提高其可信度,中和偏見的影響,進(jìn)而達(dá)到與證據(jù)相匹配的理想程度。在某些可信度判斷不確定的情況下,我們可能需要完全暫停判斷,或者通過尋找進(jìn)一步的證據(jù)來做出更負(fù)責(zé)任的判斷。解釋學(xué)正義要求聽者對(duì)說者在試圖提供解釋時(shí)可能遇到的困難保持警覺或敏感,要充分意識(shí)到其說法或觀點(diǎn)難以被理解,可能并不是因?yàn)樗鼈兪菬o稽之談或說者智力上存在問題,而是由于集體解釋學(xué)資源上的某種差距所致。為了減輕解釋學(xué)不公正并努力實(shí)現(xiàn)解釋學(xué)正義,我們需要培養(yǎng)良好傾聽、開放思維和自我批判的能力,這可以使我們更加關(guān)注解釋學(xué)相關(guān)的盲點(diǎn)、空白和解釋學(xué)失敗。

算法決策中的認(rèn)識(shí)論不公正則表現(xiàn)為,在權(quán)威性的算法決策系統(tǒng)面前,整個(gè)人類尤其是部分受壓迫群體的理性能力受到系統(tǒng)性貶低,無法有效參與那些與自身利益極其相關(guān)的重要決策。這就需要決策者擁有認(rèn)知正義美德,在算法決策過程中準(zhǔn)確評(píng)估所有利益相關(guān)方的理性能力和可信度,使得各方獲得平等參與決策的機(jī)會(huì),做出積極的認(rèn)知貢獻(xiàn)。首先,決策者需要培養(yǎng)自身的證詞正義美德,對(duì)決策各方尤其是處于劣勢(shì)地位的一方所提供的證詞給予認(rèn)真對(duì)待。決策者要更多地意識(shí)到自己對(duì)他人的可信度判斷容易受到客觀性算法文化和自動(dòng)化等算法偏見的影響,避免在毫無根據(jù)的情況下貶低他人乃至整個(gè)人類的知識(shí)提供能力,剝奪其參與決策的權(quán)利。僅僅因?yàn)椤八惴ū热祟惛涌煽俊本驮跊Q策中先驗(yàn)地排除人類個(gè)體的認(rèn)知參與,這顯然是一種結(jié)構(gòu)性的認(rèn)識(shí)論不公正。其次,決策者還需培養(yǎng)自身的解釋學(xué)正義美德,對(duì)決策中處于不利地位的個(gè)體或群體保持解釋學(xué)敏感性。語言和概念是人類表達(dá)自身經(jīng)歷和訴求的重要方式,當(dāng)我們?nèi)狈Ρ匾母拍詈驼Z言時(shí),就難以把自身的經(jīng)歷和訴求傳達(dá)給他人,并獲得他人的理解和關(guān)注。算法的認(rèn)知非透明性特征使人們很難完全理解決策的具體過程,一般公眾更是缺乏相關(guān)概念來描述自身遭遇,這就容易導(dǎo)致決策者忽視或無法察覺處于不利地位者的利益和訴求。因此,決策者需要學(xué)會(huì)傾聽,積極回應(yīng)他人訴求,知道何時(shí)暫停對(duì)可理解性的判斷,批判地看待自己或他人有限的表達(dá)習(xí)慣和解釋期望等。

(三)制度層面:回歸算法輔助決策的工具性地位

當(dāng)然,培育決策者的個(gè)人美德并不足以完全矯正算法決策中的認(rèn)識(shí)論不公正。鑒于算法日益取代人類成為社會(huì)決策的權(quán)威實(shí)體,我們需要重新審視算法應(yīng)用于社會(huì)決策的合理性及其限度,使其回歸至輔助而非取代人類決策的工具性地位。

一方面,需要糾偏社會(huì)流行的客觀性算法文化,破除算法自動(dòng)化偏見。算法文化的倡導(dǎo)者認(rèn)為,算法可以消除決策過程中的人類偏見[19]。但算法也可能會(huì)復(fù)刻或強(qiáng)化社會(huì)已有的許多偏見,并在偽客觀性中“自然化”它們。算法的好壞取決于其所使用的數(shù)據(jù),而數(shù)據(jù)經(jīng)常是不完善的,這使得算法會(huì)繼承先前決策者的偏見或反映整個(gè)社會(huì)中普遍存在的偏見。不加批判地依賴算法決策可能會(huì)剝奪處于不利地位的群體對(duì)社會(huì)重要議題的充分參與。因此,需要理性客觀地看待算法的力量,把握其限度所在。我們需要面向公眾普及相關(guān)算法知識(shí),提升公眾的算法素養(yǎng),從而在整個(gè)社會(huì)文化層面糾偏過于理想的算法文化。關(guān)于如何破除算法自動(dòng)化偏見,一個(gè)可能的建議是增加對(duì)決策者的問責(zé)制(accountability)。社會(huì)心理學(xué)研究發(fā)現(xiàn),許多認(rèn)知偏見可以通過實(shí)施問責(zé)制而得到改善[9]。問責(zé)制將使決策者對(duì)所有可用信息更加敏感,對(duì)他人證詞的評(píng)估更加謹(jǐn)慎,主動(dòng)為其選擇提供令人信服的理由而非被動(dòng)接受算法輸出。

另一方面,需要進(jìn)一步完善落實(shí)相關(guān)的倫理規(guī)范和法律條例。目前,世界各國(guó)已經(jīng)出臺(tái)了一系列涉及算法決策的相關(guān)倫理規(guī)范和法律條例。比如歐盟的《通用數(shù)據(jù)保護(hù)條例》第二十二條規(guī)定,在應(yīng)用自動(dòng)化決策時(shí),數(shù)據(jù)主體有權(quán)反對(duì)那些具有法律影響或類似嚴(yán)重影響的決策,以及“數(shù)據(jù)控制者應(yīng)當(dāng)采取適當(dāng)措施保障數(shù)據(jù)主體的權(quán)利、自由、正當(dāng)利益,以及數(shù)據(jù)主體對(duì)控制者進(jìn)行人工干涉,以便表達(dá)其觀點(diǎn)和對(duì)決策提出異議的基本權(quán)利”。我國(guó)《個(gè)人信息保護(hù)法》也包含了類似的規(guī)定。聯(lián)合國(guó)教科文組織的《人工智能倫理問題建議書》也明確要求,在將人工智能應(yīng)用于醫(yī)療保健等領(lǐng)域時(shí),需要“確保人工護(hù)理以及最終的診斷和治療決定一律由人類作出,同時(shí)認(rèn)可人工智能系統(tǒng)也可以協(xié)助人類工作”。但算法決策的日常實(shí)踐往往與這些規(guī)范存在不小的差距:決策完全由算法作出,利益相關(guān)者無法對(duì)決策提出異議。算法逐漸脫離其輔助決策的工具性地位,而成為決策的權(quán)威來源,進(jìn)而導(dǎo)致一系列包括認(rèn)識(shí)論不公正等倫理和認(rèn)知上的危害。因此,應(yīng)進(jìn)一步推動(dòng)落實(shí)相關(guān)的倫理規(guī)范和法律條例,確保算法回歸至輔助決策的應(yīng)有地位。