黃湘

《人工智能地圖集：權(quán)力、政治以及人工智能的行星成本》

作者：[美] 凱特·克勞福德（Kate Crawford）

出版社：Yale University Press

出版時間：2021年4月

定價：28美元

本書揭示了人工智能在真實世界中的成本、運作邏輯和后果，破除了人工智能“技術(shù)中立”的神話。

凱特·克勞福德是紐約大學(xué)AI Now研究所的聯(lián)合創(chuàng)始人

2016年，美國學(xué)者克勞福德（KateCrawford）和喬勒（Vladan Joler）啟動了一個名為“解剖人工智能系統(tǒng)”的研究項目，以亞馬遜公司發(fā)布的智能語音系統(tǒng)Echo為研究對象，旨在追蹤該產(chǎn)品的生命周期，刻畫出其工作所需要的各種條件和因素。最簡單的問題包括：Echo有哪些組件？它怎樣提取數(shù)據(jù)？數(shù)據(jù)管道有哪些層次？他們意識到，在這些簡單的問題背后潛藏著很多復(fù)雜的問題，諸如：這些組件來自哪里？芯片是在哪里生產(chǎn)的？構(gòu)成芯片的物質(zhì)原料在哪里被發(fā)掘和冶煉？物流和供應(yīng)鏈的路徑在哪里？數(shù)據(jù)提取造成了怎樣的法律和倫理問題？如何追蹤這些設(shè)備的壽命終結(jié)？如何審視馬來西亞、加納和巴基斯坦等地的電子垃圾堆放點？

這個研究項目耗時兩年，在2018年結(jié)項，現(xiàn)已成為紐約市現(xiàn)代藝術(shù)博物館和倫敦維多利亞和阿爾伯特博物館永久收藏的一部分。在研究過程中，克勞福德意識到，有必要將對Echo這個設(shè)備的分析擴展到整個人工智能產(chǎn)業(yè)，從而揭示這一產(chǎn)業(yè)的真實成本，及其對地球的真正影響。這是她的著作《人工智能地圖集：權(quán)力、政治以及人工智能的行星成本》（The Atlas of A I： Power， Politics，a nd t he P la net a r y C osts of A r ti f icia lIntelligence）的主題。

克勞福德指出，關(guān)于人工智能的著作幾乎無一例外地只是談?wù)摲浅＊M窄的技術(shù)成就，這使得大眾對人工智能形成了漫畫式的印象，認為它僅僅是高度抽象的代碼、程序和算法，是一個可以觀察周遭環(huán)境并在各種可能的行動選項中作出最佳決定的“智能代理”（intelligentagents），在很大程度上是客觀和中立的。但事實上，人工智能是一種提取技術(shù)—從地球中提取礦物，從流水線上的工人群體中提取勞動力，從數(shù)十億用戶的每個動作和表達中提取數(shù)據(jù)，從而對地球的環(huán)境和資源產(chǎn)生了強烈而持久的沖擊，并且加劇了人類社會業(yè)已存在的各種結(jié)構(gòu)性不平等。

之所以將本書命名為“人工智能地圖集”，是因為地圖集不是尋常的書籍，它可以提供不同的視角和尺度，可以在一個尺度上統(tǒng)覽整個大陸的規(guī)模，也可以在另一個尺度上查看一座山脈或一個城市。與此類似，克勞福德在書中提供了不同的視角和尺度，幫助讀者在更廣泛的背景下理解人工智能。

本書第一章的主題是“地球”，講述了人工智能產(chǎn)業(yè)對于礦物資源和能源的巨大消耗。人工智能的硬件生產(chǎn)需要以多種礦物資源為基礎(chǔ)。2010年美國制定的《多德-弗蘭克法案》要求人工智能的硬件生產(chǎn)商避免使用“沖突礦物”，亦即在爆發(fā)武裝沖突的地區(qū)由當(dāng)?shù)剀婇y開采，并且以此提供軍費的礦物資源，這在一些非洲國家—比如剛果民主共和國及其周邊地區(qū)—司空見慣，不僅采礦的利潤用于戰(zhàn)爭和殺戮，而且礦區(qū)的工作條件相當(dāng)于奴隸制。但是，英特爾和蘋果等技術(shù)巨頭只審核冶煉廠而不是礦場，這實際上無法阻止沾滿鮮血的“沖突礦物”進入其供應(yīng)鏈。

另一方面，雖然人工智能產(chǎn)業(yè)的大多數(shù)礦物并不是直接來自戰(zhàn)爭地區(qū)，這并不意味著它們不存在巨大的災(zāi)害。稀土礦物的開采常常會導(dǎo)致地貌破壞，河流酸化，以及曾經(jīng)對當(dāng)?shù)厣鷳B(tài)環(huán)境至關(guān)重要的植物和動物物種的滅絕。

礦物是人工智能的骨干，電力則是其生命線。在公眾印象中，和煙囪林立的傳統(tǒng)產(chǎn)業(yè)相比，人工智能產(chǎn)業(yè)的碳排放要少很多?？墒聦嵅⒎侨绱?，作為當(dāng)今人工智能核心的“云計算”是一種資源密集型的采掘技術(shù)，其計算能力需要消耗大量能源。當(dāng)前，全球計算基礎(chǔ)設(shè)施的碳足跡已經(jīng)與航空業(yè)的高峰期相當(dāng)，而且在以更快的速度增加。據(jù)專家估計，到2040年，人工智能產(chǎn)業(yè)將占全球溫室氣體排放量的14%;到2030年，僅僅數(shù)據(jù)中心的電力需求就會增加15倍。美國馬薩諸塞大學(xué)阿默斯特分校2019年發(fā)表的一篇論文指出，即使樂觀估計，僅僅運行一個自然語言處理模型就產(chǎn)生了超過66萬磅的二氧化碳排放量，相當(dāng)于5輛汽油驅(qū)動的汽車在其總壽命中的排放量，或者125次往返于紐約和北京的航班的排放量。

第二章的主題是“勞動”，克勞福德宣稱，她關(guān)注的不是機器人能否取代人類，而是人類如何越來越像機器人一樣被對待。人工智能產(chǎn)業(yè)一個不太為人所知的事實是，它需要大量低薪工人來幫助建立、維護和測試系統(tǒng)。這些人從事重復(fù)性的數(shù)字任務(wù)，例如對數(shù)千小時的訓(xùn)練數(shù)據(jù)施加標(biāo)注，刪除重復(fù)的條目，或是對暴力視頻和仇恨言論進行內(nèi)容審核等等，他們的勞動對維持人工智能系統(tǒng)至關(guān)重要，但是報酬很低，通常遠遠低于當(dāng)?shù)氐淖畹凸べY標(biāo)準(zhǔn)。這是因為這些工人身處一種特定的勞動關(guān)系—“眾包”（crowdsourcing），亦即公司把過去由正式員工執(zhí)行的工作外包給非特定的大眾網(wǎng)絡(luò)。“眾包”在空間和時間上重新定位和分散了勞動，工人成為分布式的隱性勞動力，與自己的工作成果疏遠，并與從事相同工作的其他工人脫節(jié)，就更容易受到雇主的剝削。

精密控制每個員工的工作流程，是工業(yè)資本主義“福特制”（For di sm）的基本特征。人工智能系統(tǒng)則將“福特制”發(fā)揚到了極致，工人的工位上配備的傳感器會不斷地將他們的體溫、身體狀況、與同事的物理距離、用于瀏覽網(wǎng)站而不是執(zhí)行指定任務(wù)的時間等信息匯報給經(jīng)理。人工智能極大地加劇了人類身體的機械化。

第三章的主題是“數(shù)據(jù)”?！皵?shù)據(jù)是石油”的觀念從21世紀(jì)初期開始流行，這意味著個體對于私密數(shù)據(jù)的所有權(quán)和控制權(quán)被剝離了，人工智能產(chǎn)業(yè)可以在未經(jīng)同意和許可的情況下提取數(shù)據(jù)，不僅互聯(lián)網(wǎng)上的所有內(nèi)容都可以在不需要協(xié)議的情況下為其所用，而且可以隨意通過攝像頭等設(shè)備收集現(xiàn)實世界中的各種數(shù)據(jù)。這些數(shù)據(jù)表面上似乎是匿名的，但實際上可以從中得到大量高度個人化的、意想不到的信息，嚴重侵犯了隱私。

更有甚者，在將數(shù)據(jù)視為類似于石油的“原材料”的時候，人工智能產(chǎn)業(yè)傾向于剝離數(shù)據(jù)具體而特定的歷史語境、敘事脈絡(luò)和人性特征，其后果非?？膳?。例如，有一組機器學(xué)習(xí)的研究人員聲稱自己開發(fā)了一個“自動犯罪分類系統(tǒng)”，只需要“武器、嫌疑人數(shù)量、社區(qū)和地點”四項信息就能預(yù)測某一起暴力犯罪是否與團伙有關(guān)。他們使用加州洛杉磯警察局的犯罪數(shù)據(jù)庫作為訓(xùn)練人工智能系統(tǒng)預(yù)測犯罪的“原材料”，但是這個數(shù)據(jù)庫錯誤百出，加州的審計師發(fā)現(xiàn)，在其審查的數(shù)百條犯罪記錄中，23%的記錄缺少支持，該數(shù)據(jù)庫甚至還包含了42個嬰兒。

然而，當(dāng)有人質(zhì)疑“怎么能確定訓(xùn)練數(shù)據(jù)一開始就沒有偏見”和“如果有人被誤標(biāo)為幫派成員會怎樣”之時，這個研究小組的成員回應(yīng)說：“這是我不知道如何適當(dāng)回答的倫理問題，我只是一個搞技術(shù)的。”這種將技術(shù)問題和倫理問題分開的做法，體現(xiàn)了當(dāng)前人工智能產(chǎn)業(yè)的一個基本缺陷，即拒絕承認對造成的危害負有責(zé)任，理由是超出了研究范圍。

第四章的主題是“分類”。分類政治是人工智能的一個核心實踐，歧視性人工智能系統(tǒng)的例子不勝枚舉，例如，蘋果公司的信用算法存在性別偏見，預(yù)測罪犯是否會再次犯案的風(fēng)險評估軟件COMPAS存在種族歧視，F(xiàn)acebook的廣告定位刻意阻止某些特定種族、年齡或性別的群體看到廣告，或其他敏感因素有意地阻止人們看到與住房、信貸和就業(yè)有關(guān)的廣告。

一個典型例子是亞馬遜公司2014年設(shè)計的人工智能招聘程序。亞馬遜公司的工程師使用了一個數(shù)據(jù)庫，內(nèi)容包括10年來的公司員工簡歷，以此訓(xùn)練一個人工智能統(tǒng)計模型，讓它自動從應(yīng)聘者的簡歷中篩選出最出色的人選。然而，這個模型出現(xiàn)了一個嚴重問題，它自動降低了任何包含“女性”一詞的簡歷的估值，導(dǎo)致沒有任何女性被推薦。這是因為亞馬遜公司10年來雇用的絕大多數(shù)工程師都是男性，這些簡歷訓(xùn)練出來的人工智能系統(tǒng)沿襲并放大了已經(jīng)存在的性別偏見。

克勞福德強調(diào)，歷史形成的不平等會影響資源和機會的獲取，而這反過來又形成了數(shù)據(jù)，然后，這些數(shù)據(jù)被提取出來，用于技術(shù)系統(tǒng)的分類和模式識別，結(jié)果在技術(shù)中立的幌子下強化了不平等。每一個用于訓(xùn)練機器學(xué)習(xí)系統(tǒng)的數(shù)據(jù)庫，其實都是把復(fù)雜而多變的世界固定為某種分類，這個分類過程隱含了內(nèi)在的政治、文化和社會選擇?，F(xiàn)實世界中的各種權(quán)力結(jié)構(gòu)藉此被構(gòu)建在人工智能的架構(gòu)之中。

第五章的主題是“情緒”。通過分析人臉圖像來檢測情緒，是當(dāng)前人工智能產(chǎn)業(yè)的前沿?zé)狳c，人工智能招聘公司HireVue、微軟的Face API、亞馬遜的Rekognition等都宣稱具備這一功能。相信人工智能可以檢測情緒，是基于如下假設(shè)，即人類存在普遍的、跨文化的幾種情感分類，這些情緒會在人臉上流露出來，并且可以被機器檢測到。然而，這種假設(shè)本身就是成問題的，很多人類學(xué)家和心理學(xué)家都指出，人類的情感復(fù)雜微妙，不可能簡單分類，而且臉孔流露的表情是和文化有關(guān)的。研究表明，一些軟件把黑人臉孔解釋為比白人臉孔具有更多的負面情緒，認為黑人更容易產(chǎn)生憤怒和輕蔑，這是因為這些軟件的訓(xùn)練數(shù)據(jù)本身就包含了種族偏見。

對于人工智能檢測情緒的盲目信任，在日常生活中會導(dǎo)致求職者因為微表情與其他員工不一致而被不公正地評判，顧客因為某些神情而被人工智能系統(tǒng)標(biāo)記為有可能偷竊;而對于希望過濾敵我雙方，區(qū)分謊言和真相的警察和情報機構(gòu)來說，后果更是不堪設(shè)想。

第六章的主題是“國家”。2013年，斯諾登向媒體泄露了美國國家安全局關(guān)于“棱鏡”項目的秘密文件，震驚全球?！袄忡R”是美國國家安全局在2007年啟動的絕密監(jiān)控計劃，在與全球多家通訊和互聯(lián)網(wǎng)技術(shù)巨頭簽訂協(xié)議的基礎(chǔ)上，參與該計劃的部門可以在未獲得法院批準(zhǔn)的情況下秘密監(jiān)控在美國境外使用這些巨頭服務(wù)的任何客戶，或是任何與國外人士通信的美國公民。斯諾登的爆料揭示了美國政府以國家安全的名義，在互聯(lián)網(wǎng)技術(shù)巨頭的配合下對民眾隱私的嚴重侵犯。

事實上，國家與人工智能之間的關(guān)系遠遠超出了國家安全的范疇。在許多國家，曾經(jīng)只有情報機構(gòu)才能使用的技術(shù)已經(jīng)滲透到了日常的行政部門和執(zhí)法機構(gòu)。人工智能產(chǎn)業(yè)正在重塑國家的傳統(tǒng)角色，國家通過提取數(shù)據(jù)、目標(biāo)定位和監(jiān)控的組合，對社會施加大規(guī)模控制和指揮，嚴重加劇了在國家代理人和他們理應(yīng)服務(wù)的民眾之間的權(quán)力失衡。

最后一章的主題是“權(quán)力”。克勞福德總結(jié)說，人工智能并不是一種客觀、普遍或中立的計算技術(shù)，相反，它來自地球的礦物和能源，來自人類身體的勞動，來自人類社會每天制造的海量數(shù)據(jù);它被嵌入到社會、政治、文化和經(jīng)濟之中，作為一個結(jié)合了基礎(chǔ)設(shè)施、資本和勞動力的權(quán)力結(jié)構(gòu)發(fā)揮作用，無一例外地重現(xiàn)和擴大了現(xiàn)有的結(jié)構(gòu)性不平等。

人工智能每天都在影響幾十億人的生活，但是計算機科學(xué)和工程被視為不涉及人類主體的學(xué)科，不需要經(jīng)過倫理審查，不需要考慮其社會學(xué)影響。過去數(shù)十年，技術(shù)領(lǐng)域關(guān)于變革的理論總是以工程為中心，如果出現(xiàn)問題，就通過技術(shù)來回應(yīng)。這種技術(shù)中心論的框架造成了越來越多的問題。人工智能產(chǎn)業(yè)的發(fā)展，已經(jīng)在一個非常短的時間跨度內(nèi)導(dǎo)致權(quán)力深深地集中在極少數(shù)人手中，同時令那些被邊緣化的群體受到巨大傷害。

直到最近，政策制定者才開始扮演角色，嘗試通過監(jiān)管來解決人工智能造成的社會問題。在克勞福德看來，這遠遠不夠，應(yīng)該形成更深入的民主對話，將對個人數(shù)據(jù)保護、勞工權(quán)利、氣候正義和種族平等的呼吁納入討論，通過集體行動形成針對人工智能產(chǎn)業(yè)的民主問責(zé)制。

解讀/延伸閱讀

《面向未來：自動化時代的九條人類規(guī)則》

作者：[美]凱文·魯斯（Kevin Roose ）

出版社：Random House

本書論述了人類社會應(yīng)當(dāng)如何管理人工智能和自動化技術(shù)所造成的變化，并保持人性。

《新品種：我們和動物的歷史如何揭示我們與機器人的未來》

作者：[美]凱特·達林（Kate Darling）

出版社：Henry Holt and Co.

本書通過回顧將動物納入人類的工作、交通、軍事，甚至家庭的歷史，構(gòu)想了人類社會與機器人在未來的共處方式。