AI換臉騙局頻現(xiàn)背后

周群峰

圖/視覺中國

近日，在貴陽一家公司擔(dān)任副總經(jīng)理的孟先生急匆匆趕到招商銀行貴陽高新支行，要求工作人員將60萬元打到一個(gè)賬戶。

接待他的服務(wù)專員穆方琴向《中國新聞周刊》回憶，這名客戶神色慌張地說，其公司董事長急需轉(zhuǎn)一筆60萬元資金，但不方便直接走款，便先把錢轉(zhuǎn)給他，再由他轉(zhuǎn)給領(lǐng)導(dǎo)指定的一個(gè)賬戶。

“領(lǐng)導(dǎo)說已經(jīng)把錢匯給我了，因?yàn)殂y行系統(tǒng)滯后，要晚點(diǎn)才能到賬。你趕緊幫我轉(zhuǎn)過去，領(lǐng)導(dǎo)催著呢?！泵舷壬钢奶煊涗浝锏囊粡垍R款憑證催促道。

穆方琴接過手機(jī)，發(fā)現(xiàn)這張“匯款憑證”的畫質(zhì)有些模糊，蓋章位置也不符合銀行規(guī)定，便提醒他要謹(jǐn)慎。孟先生稱，領(lǐng)導(dǎo)讓他轉(zhuǎn)賬前，還特意跟他通過QQ打了視頻通話?！耙曨l和聲音跟領(lǐng)導(dǎo)都對得上，難道還有假？”

穆方琴引導(dǎo)孟先生再次給對方撥通視頻電話，接通后，她發(fā)現(xiàn)畫面有些卡頓，對方不敢說話，還迅速關(guān)了視頻。由于疑點(diǎn)太多，穆方琴提醒孟先生不要急著轉(zhuǎn)賬，可先與領(lǐng)導(dǎo)的秘書等確認(rèn)下，避免造成個(gè)人財(cái)產(chǎn)損失。

幾天后，該行收到了孟先生的感謝信。原來他經(jīng)過核實(shí)發(fā)現(xiàn)，視頻那頭的人不是領(lǐng)導(dǎo)，而是不法分子使用了AI換臉技術(shù)。當(dāng)這項(xiàng)技術(shù)日趨成熟，不僅僅應(yīng)用在影視劇中，AI換臉詐騙案例也陡然增多。

孟先生所遭遇的詐騙陷阱被穆方琴識破了，但還有更多人陷了進(jìn)去。

經(jīng)過視頻通話后，個(gè)體老板黃曉亮（化名）看到了對方的相貌，聽到了對方的聲音，逐漸消除了疑慮，他確信這位剛添加自己QQ賬號的人正是自己的表哥，于是將30萬元轉(zhuǎn)到了對方指定的賬戶。

近日，山東濟(jì)南商河縣公安局刑警大隊(duì)三中隊(duì)中隊(duì)長張振華向《中國新聞周刊》講述了上述案件。

今年5月底的一天，黃曉亮在家瀏覽短視頻App時(shí)，收到一條私信，對方自稱是他的表哥、任某領(lǐng)導(dǎo)的馬某。寒暄幾句后，對方又讓黃曉亮添加其QQ號，添加后，對方用QQ給他撥打了一個(gè)視頻通話，7秒鐘后，對方以“信號不好”為由，表示還是打字聊天方便。

取得黃曉亮信任后，對方表示因?yàn)樽约菏穷I(lǐng)導(dǎo)，不方便用自己身份信息將一筆65萬元的款項(xiàng)轉(zhuǎn)給某個(gè)賬號，想讓黃曉亮幫忙轉(zhuǎn)款。為了表示誠意，對方還要了他的銀行賬號，很快將“轉(zhuǎn)款憑證”發(fā)給了他。

黃曉亮看到憑證后，發(fā)現(xiàn)賬號和名字都的確是他的，但遲遲未到賬，就沒有立即給“表哥”的賬戶轉(zhuǎn)賬。大約20分鐘后，“表哥”給他發(fā)消息說，大額轉(zhuǎn)款會有延遲，那邊急著要這筆錢，問他能不能先墊付一下。

黃曉亮再次給“表哥”撥打了視頻通話，接通后，對方稱自己正在開會，聲音很低，10多秒便掛斷了視頻。這次通話徹底消除了黃曉亮的顧慮。隨后，他轉(zhuǎn)出了30萬元，對方收款后催促他繼續(xù)轉(zhuǎn)出剩余的35萬。

被不斷催促的黃曉亮再次起了疑心，他點(diǎn)開對方的短視頻賬號，發(fā)現(xiàn)該賬號已被屏蔽。他給表哥打電話核實(shí)，才知道其表哥未提過轉(zhuǎn)款要求，黃曉亮隨后報(bào)警。

令警方意外的是，犯罪嫌疑人在收到黃曉亮轉(zhuǎn)來的30萬元后，在5分鐘內(nèi)便去黃金店完成了消費(fèi)，時(shí)間之快超出了常人想象。

張振華告訴《中國新聞周刊》，在偵破過程中，他們咨詢了很多技術(shù)人員，這種視頻合成加實(shí)時(shí)通話的技術(shù)含量很高，很多公司的技術(shù)水平實(shí)際上達(dá)不到。

警方根據(jù)嫌疑人與黃曉亮網(wǎng)聊時(shí)的IP地址，判定該團(tuán)伙在緬北實(shí)施詐騙、由國內(nèi)銷贓洗錢，是一起采用AI技術(shù)換臉冒充受害者熟人進(jìn)行網(wǎng)絡(luò)詐騙的案件。

張振華稱，商河警方分兩次去廣東東莞將該犯罪團(tuán)伙7人抓獲?！八麄兎磦刹槟芰軓?qiáng)，定期換賓館，這些賓館不規(guī)范，對實(shí)名入住的要求也不高。我們通過技術(shù)手段才鎖定了目標(biāo)?！蹦壳?，該案已進(jìn)入審查起訴階段。

近年來，利用AI技術(shù)進(jìn)行詐騙的案例已在全國多地發(fā)生。

包頭市公安局電信網(wǎng)絡(luò)犯罪偵查局發(fā)布的一個(gè)案例稱，今年4月20日，福州市某科技公司法人代表郭某的“好友”突然通過微信視頻聯(lián)系他，聲稱自己的朋友在外地投標(biāo)，需要430萬元保證金，且需要公對公賬戶過賬，所以想要借用郭某公司的賬戶走賬。

這位“好友”向郭某要了銀行卡號，聲稱已把錢轉(zhuǎn)入郭某的賬戶，并將銀行轉(zhuǎn)賬截圖發(fā)給他?；谝曨l聊天信任的前提，郭某并未核實(shí)錢是否到賬，在大約10分鐘內(nèi)陸續(xù)轉(zhuǎn)給對方430萬元（涉案銀行卡為包頭市蒙商銀行對公賬戶）后，郭某給好友的微信發(fā)了一條消息，稱事情已辦妥。但讓他沒想到的是，好友給他回復(fù)了一個(gè)問號。郭某撥打好友電話，對方說沒有這回事。警方認(rèn)定，對方通過AI換臉技術(shù)，佯裝成好友對郭某實(shí)施了詐騙。包頭市警銀聯(lián)動(dòng)，成功緊急止付涉嫌電信詐騙資金330多萬元。

浙江金道律師事務(wù)所律師夏文忠表示，這類涉及AI換臉的案件，通常是不法分子假冒被害人的親友、相關(guān)領(lǐng)導(dǎo)等，偽造事實(shí)、隱瞞真相，使被害人陷入錯(cuò)誤的認(rèn)識，從而交付財(cái)物，涉嫌詐騙罪。還有的犯罪分子利用AI技術(shù)，刻錄被害人的裸聊視頻或偽造裸照，要求被害人交付財(cái)物作為不公開的代價(jià)，涉嫌敲詐勒索罪。

夏文忠告訴《中國新聞周刊》，在他代理的一個(gè)案件中，一名五大三粗的男子通過AI換臉，把自己變成了聲音甜美的年輕女性形象，與被害人進(jìn)行視頻裸聊后，以將被害人的不雅視頻、照片發(fā)給被害人朋友相要挾，敲詐被害人錢財(cái)。被害人先后給犯罪分子轉(zhuǎn)賬20萬元。

山東濟(jì)南商河警方將涉嫌“AI換臉”詐騙的嫌疑人抓獲。圖/“濟(jì)南公安”微信公眾號

在犯罪分子進(jìn)一步敲詐勒索時(shí)，被害人無能為力，只得報(bào)警。經(jīng)過辦案機(jī)關(guān)的偵查，鎖定了當(dāng)時(shí)在緬北的犯罪團(tuán)伙。經(jīng)過勸投及相關(guān)措施，多數(shù)犯罪分子已回國主動(dòng)投案自首。

鄭州市公安局金水分局反詐大隊(duì)民警李敏告訴《中國新聞周刊》，現(xiàn)實(shí)中有些不法分子騙術(shù)并不高明，甚至不需要借助AI換臉就可騙取錢財(cái)。

她在一次反詐宣講時(shí)，一位聽課者告訴她，自己的父親是一位70多歲的農(nóng)民，有一天，一個(gè)自稱是當(dāng)?shù)乜h長的人添加他父親微信，父親點(diǎn)開頭像后發(fā)現(xiàn)其和當(dāng)?shù)乜h政府官網(wǎng)上的縣長頭像一致，就信以為真。添加后不久，他父親就被這名“假縣長”騙走數(shù)萬元。

李敏也曾遇到一個(gè)案例，一名領(lǐng)導(dǎo)干部收到一個(gè)陌生號碼發(fā)來的短信，對方自稱是這名領(lǐng)導(dǎo)干部的上級，因個(gè)人職務(wù)問題不方便直接轉(zhuǎn)款給他人，就先把20萬元轉(zhuǎn)給這名被騙的領(lǐng)導(dǎo)干部，再由其代轉(zhuǎn)過去。這名受害人通過QQ收到“上司”發(fā)來的“轉(zhuǎn)款憑證”后，信以為真，將20萬轉(zhuǎn)到了不法分子指定的銀行賬號。

值得注意的是，大量AI換臉等電詐詐騙案例顯示，領(lǐng)導(dǎo)干部已成為被冒充的熱門對象。

在上述商河警方偵破的案件中，讓警方印象深刻的是，在這些不法分子的電腦中，除了專門生成“轉(zhuǎn)款憑證”的模擬器，還存了一些領(lǐng)導(dǎo)的工作單位、職務(wù)等資料。

李敏告訴《中國新聞周刊》，冒充領(lǐng)導(dǎo)詐騙的套路通常是，詐騙分子通過各種途徑獲得黨政機(jī)關(guān)、企事業(yè)單位領(lǐng)導(dǎo)照片，或者使用領(lǐng)導(dǎo)的真實(shí)姓名作為微信名稱，偽裝成領(lǐng)導(dǎo)的QQ或微信，主動(dòng)添加下屬。之后，詐騙分子先以關(guān)心工作、生活、企業(yè)經(jīng)營狀況等話題拉近距離，獲得被害人的信任，進(jìn)而以正在開會、參加活動(dòng)為托詞，請對方幫忙周轉(zhuǎn)資金或過橋轉(zhuǎn)賬，他們通常會偽造轉(zhuǎn)賬憑證，要求受害人盡快幫忙轉(zhuǎn)賬至指定賬戶。

“受害人由于敬畏，不好意思跟領(lǐng)導(dǎo)核實(shí)，或者因?yàn)槭穷I(lǐng)導(dǎo)求助不好意思回絕，就會上當(dāng)受騙?！崩蠲粽f。

她表示，在這類騙局中，很多不法分子開始通常是先發(fā)短信自稱是行騙對象的領(lǐng)導(dǎo)或親友，換了新號碼讓其保存一下，取得對方信任后再一步步實(shí)施詐騙。“這也提醒廣大網(wǎng)友，收到一些陌生號碼發(fā)來的這類短信，要及時(shí)核實(shí)對方身份?！?/p>

AI換臉技術(shù)并不是新鮮事物。中國科技大學(xué)公共事務(wù)學(xué)院、網(wǎng)絡(luò)空間安全學(xué)院教授左曉棟告訴《中國新聞周刊》，這一技術(shù)最早要追溯到六年前。2017年12月，一個(gè)名為“DeepFakes”的用戶在Reddit網(wǎng)站上發(fā)布了一個(gè)假視頻，用一位知名演員的臉替換了一個(gè)色情片中女演員的臉，看起來幾乎毫無破綻。因?yàn)檫@個(gè)用戶名“DeepFakes”，“深度偽造”技術(shù)也受到了社會的強(qiáng)烈關(guān)注。

實(shí)際上，這項(xiàng)技術(shù)更準(zhǔn)確的名稱是“深度合成”，其具有很多正向的用途，一個(gè)常見的情況是用于影視行業(yè)。如《了不起的兒科醫(yī)生》等，都在后期處理時(shí)用到了AI換臉技術(shù)；在《速度與激情7》未拍攝完成時(shí)，主演保羅·沃克去世，制片方用AI將其面部重現(xiàn)在了觀眾面前。

隨著“換臉”“變聲”等技術(shù)越來越逼真，一些不法分子開始將其用于詐騙。夏文忠表示，現(xiàn)在AI換臉已形成黑色產(chǎn)業(yè)鏈。上游不法分子通過AI技術(shù)生成圖片，并對這些圖片進(jìn)行整合，打包成圖集，通過成套售賣的方式出售給下游買家，甚至有的人還為此建立起“付費(fèi)會員群”，使一些無辜人士甚至未成年人陷入“黃謠”漩渦。

今年4月，擁有近150萬微博粉絲的網(wǎng)紅“Caro賴賴”發(fā)文稱，她被人用AI換臉后，陷入了黃色謠言的困境。她的臉被盜用在一些淫穢視頻里。還有人在境外社交平臺上冒充其身份注冊了賬號，搬運(yùn)她的日常內(nèi)容，等粉絲達(dá)到一定數(shù)量時(shí)，就開始以會員訂閱方式販賣這些被換了臉的色情視頻。

浙江溫州市公安局曾發(fā)布案例稱，2021年拱宸橋派出所接到報(bào)警，受害人陳某稱，他與女網(wǎng)友視頻聊天后，被對方利用AI技術(shù)，將其面部合成到不雅視頻中，借此對其實(shí)施勒索。

左曉棟告訴《中國新聞周刊》，AI換臉之所以形成黑色產(chǎn)業(yè)鏈，與其用于詐騙得到的高回報(bào)密切相關(guān)?！缎戮﹫?bào)》曾報(bào)道，可觀的利益驅(qū)動(dòng)著AI灰色市場的發(fā)展，有商家自稱月收入高達(dá)20萬元，商家宣稱自己什么視頻都能做，將一張臉換至色情視頻里，也僅需150元每分鐘。

隨著互聯(lián)網(wǎng)的發(fā)展，AI換臉技術(shù)也在網(wǎng)上售賣?！吨袊侣勚芸酚浾咴诙鄠€(gè)平臺以買家名義咨詢了多位做AI換臉視頻的商家。一位商家表示，只要提供一張照片，花30分鐘左右，就可以做成一個(gè)一分鐘的視頻，收費(fèi)為100元。另一平臺一位賣家表示，他們售賣一款換臉軟件，價(jià)格為200元，使用期限為一年。為證明該軟件效果，其還給記者發(fā)來了一段換臉后的短視頻，“你如果對效果滿意，現(xiàn)在想要，140元就可賣給你”。

央視《焦點(diǎn)訪談》報(bào)道，在公安部開展的“凈網(wǎng)2021”專項(xiàng)行動(dòng)中，合肥市公安局網(wǎng)安支隊(duì)聯(lián)手包河分局打掉一個(gè)犯罪團(tuán)伙，該團(tuán)伙利用AI技術(shù)，偽造他人視頻，為黑灰產(chǎn)業(yè)鏈提供注冊手機(jī)卡等技術(shù)支撐。犯罪嫌疑人電腦中有10G左右的人臉數(shù)據(jù)信息，這些信息在網(wǎng)上轉(zhuǎn)手多次，而它們的主人對此毫不知情。

近年來，AI換臉技術(shù)也在更新?lián)Q代，越來越逼真。

深圳市安絡(luò)科技有限公司是第一批國家級網(wǎng)絡(luò)安全服務(wù)資質(zhì)企業(yè)和試點(diǎn)單位，公司主要業(yè)務(wù)為網(wǎng)絡(luò)安全及政法業(yè)務(wù)，其中政法業(yè)務(wù)是為國內(nèi)400多家公安機(jī)關(guān)提供反制新型網(wǎng)絡(luò)犯罪技術(shù)支持，幫助警方開展打擊電信網(wǎng)絡(luò)詐騙工作。

該公司分管技術(shù)的副總裁肖堅(jiān)煒告訴《中國新聞周刊》，現(xiàn)在用一臺高配置電腦、幾張照片，花一兩分鐘就可以合成一段10秒的換臉視頻。投入更多的顯卡算力資源，AI技術(shù)已經(jīng)可以做到實(shí)時(shí)換臉視頻通話，相似度可達(dá)80％以上。

肖堅(jiān)煒說，AI換臉使用的“生成對抗神經(jīng)網(wǎng)絡(luò)”算法是公開的，網(wǎng)絡(luò)上也有開源的算法代碼，在其基礎(chǔ)上研發(fā)一款A(yù)I換臉軟件，根據(jù)優(yōu)化效果差別，一到六個(gè)月可以完成。正規(guī)軟件公司開發(fā)的AI視頻生成軟件會在生成的視頻上標(biāo)注“由AI合成”的提示語，而在暗網(wǎng)中銷售的則不會，極易被犯罪分子利用。

“從法律層面來說，AI換臉技術(shù)會造成非法使用他人肖像、損害個(gè)人名譽(yù)和隱私等問題。但AI技術(shù)本身是中性且無害的，但背后衍生出的道德與倫理問題卻相當(dāng)復(fù)雜，一些新技術(shù)被濫用導(dǎo)致的后果更是難以預(yù)料。”夏文忠稱。

深圳市安絡(luò)科技有限公司的肖堅(jiān)煒講解AI換臉技術(shù)時(shí)稱，目前已可做到實(shí)時(shí)換臉視頻通話，相似度可達(dá)80％以上。圖/受訪者提供?

早在2019年11月，國家網(wǎng)信辦、文旅部和國家廣播電視總局就聯(lián)合發(fā)布《網(wǎng)絡(luò)音視頻信息服務(wù)管理規(guī)定》，明確指出，利用基于深度學(xué)習(xí)、虛擬現(xiàn)實(shí)等的新技術(shù)新應(yīng)用制作、發(fā)布、傳播非真實(shí)音視頻信息的，應(yīng)當(dāng)以顯著方式予以標(biāo)識，且不得利用該技術(shù)制作、發(fā)布、傳播虛假信息。

2022年11月，由國家網(wǎng)信辦、工信部、公安部頒布的《互聯(lián)網(wǎng)信息服務(wù)深度合成管理規(guī)定》明確，不得利用深度合成服務(wù)從事侵犯他人合法權(quán)益等法律、行政法規(guī)禁止的活動(dòng)，應(yīng)用程序分發(fā)平臺應(yīng)當(dāng)落實(shí)上架審核，服務(wù)提供和技術(shù)支持者應(yīng)當(dāng)加強(qiáng)技術(shù)管理等規(guī)定等。

2023年7月，國家網(wǎng)信辦等七部門聯(lián)合發(fā)布《生成式人工智能服務(wù)管理暫行辦法》，其中規(guī)定，提供和使用生成式人工智能服務(wù)，應(yīng)當(dāng)尊重他人合法權(quán)益，不得危害他人身心健康，不得侵害他人肖像權(quán)、名譽(yù)權(quán)、榮譽(yù)權(quán)、隱私權(quán)和個(gè)人信息權(quán)益。

針對AI涉及的侵權(quán)和安全問題，近年來，我國在相關(guān)政策層面不斷完善，但這類犯罪行為仍屢見不鮮。

今年8月10日，在公安部舉行的新聞發(fā)布會上，公安部網(wǎng)絡(luò)安全保衛(wèi)局副局長李彤介紹，針對“AI換臉”導(dǎo)致群眾被欺詐的問題，公安機(jī)關(guān)發(fā)起專項(xiàng)會戰(zhàn)，偵破相關(guān)案件79起，抓獲犯罪嫌疑人515名?！胺缸锓肿佑糜趯?shí)施AI換臉的物料主要為照片，特別是身份證照片，同時(shí)結(jié)合人員姓名、身份證號來突破人臉識別驗(yàn)證系統(tǒng)?！?/p>

左曉棟告訴《中國新聞周刊》，這兩年，國家制定了很多政策文件，規(guī)范新一代AI技術(shù)的發(fā)展。不過，對于利用技術(shù)從事違法犯罪的情況，還需繼續(xù)加大打擊力度。在這個(gè)問題上，還應(yīng)當(dāng)加強(qiáng)技術(shù)創(chuàng)新，特別是提升對偽造音視頻的檢測能力，目前來看，相關(guān)技術(shù)還不過關(guān)。

肖堅(jiān)煒表示，面對這些風(fēng)險(xiǎn)，相關(guān)部門應(yīng)進(jìn)一步完善法律法規(guī)，嚴(yán)懲非法使用AI換臉技術(shù)的侵權(quán)和犯罪行為；相關(guān)科技公司也應(yīng)制定倫理規(guī)范，對違規(guī)使用承擔(dān)責(zé)任；社交媒體也可以通過給用戶上傳視頻內(nèi)容打標(biāo)簽等技術(shù)手段，提高普通人對于AI換臉視頻的識別能力，“我們公司也正在研發(fā)更先進(jìn)的AI識別算法和相應(yīng)的技術(shù)反制手段，幫助公安機(jī)關(guān)有效應(yīng)對不斷翻新的電信網(wǎng)絡(luò)詐騙”。

夏文忠告訴《中國新聞周刊》，這類犯罪查處的難度體現(xiàn)在兩方面：一方面，犯罪分子的身份難以被確認(rèn)，且很多犯罪分子身在國外，難以實(shí)施抓捕行動(dòng)；另一方面，相關(guān)犯罪證據(jù)存儲介質(zhì)主要在網(wǎng)絡(luò)服務(wù)器中，隱秘程度較高，獲取難度較大，取證存在困難。

北京市社會科學(xué)院法治研究所副所長王潔長期從事反電詐研究。在接受媒體采訪時(shí)，他指出，當(dāng)利用AI技術(shù)進(jìn)行電詐等行為已經(jīng)發(fā)生，再去追究會面臨難度。他調(diào)研發(fā)現(xiàn)，很多反詐警察花費(fèi)大量時(shí)間和金錢后，往往發(fā)現(xiàn)犯罪源頭在境外。這種情況下，不是所有受害人都能付出足夠的時(shí)間、金錢和精力去追究侵權(quán)者的責(zé)任的。

“核心問題是個(gè)人信息保護(hù)?！蓖鯘嵳J(rèn)為，詐騙事件背后都存在個(gè)人信息泄露的情況，隨著深度偽造技術(shù)不斷更新?lián)Q代，保護(hù)人臉等個(gè)人隱私成為不可輕視的問題。因此公安機(jī)關(guān)在查案辦案時(shí)，應(yīng)該更加關(guān)注信息泄露的渠道，從源頭治理。政府應(yīng)該加強(qiáng)對個(gè)人信息保護(hù)的監(jiān)管，而App開發(fā)商運(yùn)營商等各環(huán)節(jié)也應(yīng)該共同協(xié)力，在人臉信息的存儲、讀取、使用、清除等方面依法管理，促進(jìn)企業(yè)個(gè)人信息保護(hù)合規(guī)自律。

夏文忠也特別強(qiáng)調(diào)，各網(wǎng)絡(luò)平臺對于AI換臉的應(yīng)用應(yīng)當(dāng)擔(dān)負(fù)起責(zé)任，“目前，推出AI換臉功能的平臺以及允許AI換臉相關(guān)內(nèi)容傳播的平臺，都應(yīng)該加強(qiáng)審核，以避免AI技術(shù)被不法分子利用”。