陳冰

AI詐騙爆發(fā)！10分鐘從老板手里騙走430萬(wàn)元！

AI換臉詐騙200多萬(wàn)元！

涉嫌尋釁滋事罪！甘肅公安偵破首例利用AI炮制虛假信息案……

日前，有關(guān)AI詐騙、非法獲利的新聞層出不窮，“AI 詐騙正在全國(guó)爆發(fā)”的話題多次沖上微博熱搜。

AI生成的聲音越來(lái)越自然流暢，視頻越來(lái)越逼真，普通人的耳朵和肉眼已經(jīng)難辨真?zhèn)?，甚至連科技從業(yè)者也可能被騙。以至于有消息稱，AI技術(shù)的新騙局來(lái)襲后，詐騙成功率竟接近100%。

一直在不斷自我優(yōu)化、升級(jí)換代的深度偽造技術(shù)，讓一些群體開(kāi)始野蠻生長(zhǎng)，利用AIGC（生成式人工智能）從事違法犯罪的勾當(dāng)。

但中國(guó)有句老話，“魔高一尺道高一丈”。AI大潮已經(jīng)將我們裹挾其中，要想更好地應(yīng)對(duì)，預(yù)防技術(shù)濫用，需要社會(huì)各界一起通過(guò)向善的價(jià)值觀進(jìn)行技術(shù)防御。如此，我們才能夠用“魔法打敗魔法”！

AI詐騙在全國(guó)爆發(fā)

AI換臉、AI換聲技術(shù)都不是新鮮事物。

早在2019年，國(guó)內(nèi)就出現(xiàn)過(guò)一款換臉軟件“ZAO”，許多明星、名人遭到惡搞、被造黃謠。很快，這款應(yīng)用便因?yàn)樯婕扒址鸽[私而遭到下架。但由此帶來(lái)的換臉詐騙技術(shù)卻開(kāi)始暗自滋生，直到今年出現(xiàn)大爆發(fā)。據(jù)報(bào)道，第一起“AI換聲”詐騙也發(fā)生在2019年。

過(guò)去幾年，“AI詐騙”時(shí)有發(fā)生。但從去年底開(kāi)始，美國(guó)、加拿大等地發(fā)生此類案件的數(shù)量明顯增多。今年開(kāi)始，我國(guó)發(fā)生此類案件的數(shù)量同樣明顯增多，涉案金額也越來(lái)越大。

“我們認(rèn)為，這和深度合成技術(shù)的成熟度、普及度是分不開(kāi)的?！比鹑R智慧聯(lián)合創(chuàng)始人、算法科學(xué)家蕭子豪說(shuō)。

AI換臉、AI換聲主要使用的是深度合成技術(shù)。隨著深度合成技術(shù)的開(kāi)源開(kāi)放、深度合成產(chǎn)品和服務(wù)的增多，深度合成內(nèi)容制作的技術(shù)門(mén)檻越來(lái)越低，實(shí)現(xiàn)了技術(shù)的“平民化”，普通人也能用少量圖像、音頻等樣本數(shù)據(jù)，利用簡(jiǎn)便易用的合成工具，制作深度合成內(nèi)容。想想美圖秀秀的漫畫(huà)形象、導(dǎo)航里的自我語(yǔ)音導(dǎo)航、抖音里的一鍵生成，就能知道它們的功能到底有多強(qiáng)大。

蕭子豪介紹，目前視頻聊天或直播的AI換臉有兩種方式：一種是事先做好的換臉視頻直接播放，一種是接入實(shí)時(shí)換臉的視頻。前者目前的制作成本非常低，有公開(kāi)成熟的應(yīng)用可以支持該項(xiàng)工作；后者雖然沒(méi)有發(fā)現(xiàn)有公開(kāi)的應(yīng)用，但也有非常成熟的技術(shù)手段可以支撐。做成一段視頻的時(shí)間和設(shè)備、算力等因素相關(guān)，當(dāng)前技術(shù)可以做到實(shí)時(shí)產(chǎn)出結(jié)果。基于目前的技術(shù)能力，替換前的原始視頻圖像在面部清晰、正臉無(wú)遮擋、無(wú)夸張動(dòng)作等條件下，會(huì)展示出比較好的效果。

從理論上來(lái)說(shuō)，技術(shù)的提升導(dǎo)致了詐騙率的提高。

不過(guò)在蕭子豪看來(lái)，“詐騙成功率接近100%”的結(jié)論要打個(gè)問(wèn)號(hào)——目前人們看到的報(bào)道都是已經(jīng)被騙的案例，但不代表在實(shí)際發(fā)生過(guò)程中，所有的詐騙行為最終都成功了。詐騙成功率是由很多因素決定的，不完全由詐騙分子的技術(shù)能力決定，個(gè)人的反詐意識(shí)也是重要因素。但不能否認(rèn)，深度合成技術(shù)在一定程度上模糊了真與假的認(rèn)知邊界，使得識(shí)破詐騙的難度變得更高了。

知道創(chuàng)宇業(yè)務(wù)安全產(chǎn)品線總經(jīng)理鄢曉玲在接受《新民周刊》專訪時(shí)指出，無(wú)論是之前的AI語(yǔ)音、AI換臉，還是現(xiàn)在由AIGC生成的語(yǔ)音、視頻，它們底層用的都是同樣的算法和技術(shù)。ChatGPT的發(fā)布和開(kāi)放，很大程度上帶動(dòng)了AIGC的開(kāi)源社區(qū)的活躍度，從而涌現(xiàn)出了大量的開(kāi)源模型和成熟產(chǎn)品。以前的圖文比較割裂，但現(xiàn)在的技術(shù)就像“大腦”一樣，可以讓圖文音視等多個(gè)模態(tài)，完美地結(jié)合起來(lái)，并自如地去切換和應(yīng)用，從而能更容易地生成那些逼真的詐騙素材。

“原來(lái)只能生成一些相對(duì)來(lái)說(shuō)比較靜態(tài)的，或者是固定套路、固定話術(shù)的內(nèi)容，但是現(xiàn)在有了一些底層的知識(shí)和一些預(yù)設(shè)的身份以后，你就可以跟AI數(shù)字人自如地對(duì)話了，這在以前是做不到的，只會(huì)在影視劇的制作中使用類似的技術(shù)?！痹谯硶粤峥磥?lái)，現(xiàn)在一下子推出了那么多成熟的應(yīng)用和產(chǎn)品，讓普通人都能輕易上手，也就使得騙子更容易制作出逼真的音視頻素材去進(jìn)行詐騙，“從理論上來(lái)說(shuō)，技術(shù)的提升導(dǎo)致了詐騙成功率的提高”。

在2019年，國(guó)內(nèi)出現(xiàn)過(guò)一款換臉軟件“ZAO”，許多明星、名人遭到惡搞、被造黃謠。

普通人只有被騙的份兒？

一鍵換衣、制作不雅視頻等等，包括之前在互聯(lián)網(wǎng)上廣為流傳的特朗普被捕照片，現(xiàn)在的AI生成的東西太真實(shí)了。實(shí)際上，目前AI已經(jīng)可以批量制作大量的視頻，制作多段替換成同一人物的視頻，也可制作同時(shí)替換為多位人物的視頻。

作為普通人，我們可能根本無(wú)法識(shí)別。

比如，一些微商團(tuán)隊(duì)發(fā)布明星的祝福、宣傳視頻來(lái)發(fā)展下線，其中不少視頻并非明星真實(shí)錄制，而是運(yùn)用了 AI 換臉、AI 語(yǔ)音合成等技術(shù)制作而成，不少人信以為真而選擇加入，結(jié)果陷入騙局；還有一些人利用 AI 生成圖片、視頻進(jìn)行裸聊詐騙，要求受害者下載 App 進(jìn)而將其手機(jī)通訊錄拷貝過(guò)來(lái)，后續(xù)以此為要挾進(jìn)行敲詐，很多人中招。

那么，有沒(méi)有一些小技巧可以幫助普通人去進(jìn)行初步的識(shí)別呢？

蕭子豪建議，如果遇到這類疑似AI換臉詐騙的情況，可以在視頻時(shí)有意識(shí)地引導(dǎo)對(duì)方做一些動(dòng)作，如大幅度的搖頭或張嘴。就目前的 AI 偽造水平來(lái)講，仍然沒(méi)辦法在有遮擋及人臉偏轉(zhuǎn)的情況下，生成無(wú)瑕疵的視頻效果。

“我覺(jué)得讓對(duì)方張嘴是一個(gè)比較有效的方式，比如看對(duì)方的牙齒結(jié)構(gòu)是否清晰、舌頭形狀是否完整，很多不法分子可能只考慮對(duì)正臉做個(gè)建模，但沒(méi)有建模嘴巴、牙齒跟舌頭。如果騙子技術(shù)手段較弱，那么我們有可能發(fā)現(xiàn)對(duì)方面部邊緣或者牙齒的瑕疵，從而識(shí)別出AI換臉。不過(guò)，這個(gè)方法對(duì)于識(shí)別出‘高水平的不法分子，還存在難度?！笔捵雍辣硎?。

如果疑似是聲音偽造，可以試一下與對(duì)方用方言交流。不過(guò)，這個(gè)方法同樣難不倒高水平不法分子，目前方言合成方法和工具也非常豐富，音色很穩(wěn)定、自然度也很高。最好的辦法可能是可以追問(wèn)幾個(gè)只有你與對(duì)方之間才知道的私密信息，來(lái)核實(shí)對(duì)方身份。

在鄢曉玲看來(lái)，現(xiàn)在的騙子也是“精準(zhǔn)行騙”。他們會(huì)根據(jù)所要實(shí)施的騙術(shù)，通過(guò) AI 技術(shù)篩選目標(biāo)人群，在短時(shí)間內(nèi)生產(chǎn)出定制化的詐騙腳本，實(shí)施精準(zhǔn)詐騙。比如情感詐騙的騙子會(huì)篩選經(jīng)常發(fā)布感情類信息的人群，金融詐騙的騙子會(huì)篩選經(jīng)常搜索投資理財(cái)信息的人群。

“騙子都是聰明人。他們很會(huì)拿捏受害人的心理，比方說(shuō)利用人的虛榮心，利用中國(guó)人愛(ài)面子、不好意思拒絕，或者利用一些人愛(ài)貪便宜、愛(ài)獵奇獵艷的心理，都很容易陷入裸聊殺豬盤(pán)等詐騙圈套中?！臂硶粤嵴f(shuō)，這么多年來(lái)的反欺詐、違法違規(guī)內(nèi)容鑒別工作，讓她更加感慨現(xiàn)在的AI騙局，很容易通過(guò)騙子事先詳細(xì)的“功課”，做到定制專門(mén)的騙局腳本，獲取受害人的信任，讓人防不勝防。

在 AI 詐騙面前，專家通常會(huì)根據(jù)畫(huà)面的頻域信息、質(zhì)量、生物特性、物理特性等維度來(lái)鑒別真?zhèn)?。?duì)于普通人而言，可能需要更加謹(jǐn)慎地使用所有會(huì)讓你自拍、錄音的軟件，也需要謹(jǐn)慎使用所有能訪問(wèn)你的攝像頭、麥克風(fēng)，甚至是相冊(cè)的軟件。

兩位業(yè)內(nèi)專家都表示，對(duì)于容易上當(dāng)受騙或者對(duì)智能手機(jī)使用不那么熟悉的老人，幫助他們下載國(guó)家反詐中心 App是一個(gè)很管用的選擇。此外，盡量不要在微信、支付寶內(nèi)綁定銀行卡，只存少量的零錢(qián)，盡量不要開(kāi)通網(wǎng)上支付業(yè)務(wù)。

上海是個(gè)時(shí)時(shí)刻刻在變化的城市，改變是唯一不變的東西。

蕭子豪認(rèn)為，AI詐騙是在傳統(tǒng)詐騙的基礎(chǔ)上運(yùn)用了人工智能技術(shù)，并不意味著傳統(tǒng)詐騙手段不再存在或不再有效，只不過(guò)是增加了詐騙的復(fù)雜性和識(shí)破詐騙的難度。相比傳統(tǒng)詐騙，AI詐騙利用了“眼見(jiàn)為實(shí)”常識(shí)，降低了受害者的警惕性，也導(dǎo)致這類詐騙很難防范。

“對(duì)于普通人而言，如果說(shuō)你發(fā)現(xiàn)詐騙的內(nèi)容有違常理和常規(guī)的時(shí)候，不要第一時(shí)間相信，尤其是涉及個(gè)人財(cái)產(chǎn)的時(shí)候，就需要提高警惕。因?yàn)槟呐聸](méi)有AI，電信詐騙還是會(huì)存在！”鄢曉玲說(shuō)，普通人很可能無(wú)法區(qū)別到底是不是AI在詐騙，但“事出反常必有妖”的鐵律在任何時(shí)代都成立。遇事保持足夠的清醒和質(zhì)疑非常重要。

有些商家將自己的主播AI 換臉成楊冪、迪麗熱巴等明星進(jìn)行帶貨。

用魔法打敗魔法

除了詐騙以外，AI 技術(shù)還被用來(lái)增加流量，非法獲取收入。此前就有騙子將自己的臉 AI 換成某明星，開(kāi)直播引導(dǎo)粉絲刷禮物，或者將自家主播 AI 換臉成楊冪、迪麗熱巴進(jìn)行帶貨。

縱觀AIGC生成的海量?jī)?nèi)容，可能導(dǎo)致的違法亂紀(jì)情況，包括但不限于：誤導(dǎo)性和虛假信息、不當(dāng)或違法內(nèi)容、深度偽造的內(nèi)容、惡意利用的安全事件、倫理道德、歧視性內(nèi)容和隱私泄露。

鄢曉玲說(shuō)，自己所在的團(tuán)隊(duì)從2012年就開(kāi)始與騰訊合作，進(jìn)行反欺詐和反違法違規(guī)內(nèi)容的模型識(shí)別工作。后來(lái)又開(kāi)始與抖音、微博、快手、京東等大廠商合作。

“坦白來(lái)說(shuō)，作為普通人，雖然說(shuō)我自己很了解AI生成的一些原理和背景，但如果你隨便拿一些東西來(lái)讓我識(shí)別它到底是出自于AI還是出自我們?nèi)祟惿a(chǎn)，肉眼上，我是很難去識(shí)別的。但這并不是說(shuō)我們就只能坐以待斃了。”鄢曉玲表示，用技術(shù)來(lái)判斷是可以實(shí)現(xiàn)的，算法在一定程度上是能夠去識(shí)別哪些是AI生成的，哪些不是。

但要讓算法具備這樣的能力，需要大量的標(biāo)注和訓(xùn)練。你要告訴它這些內(nèi)容是 AI生成的，這些內(nèi)容是人類生成的，然后再通過(guò)一部分人工去驗(yàn)證AI識(shí)別的準(zhǔn)確性，通過(guò)這種方式去反哺 AI，進(jìn)一步改進(jìn)；哪些可能又是一些新的特征，下次要把它加入到可以識(shí)別的范圍內(nèi)來(lái)，通過(guò)這樣不斷的訓(xùn)練，讓AI越來(lái)越智能。

下載國(guó)家反詐中心App 對(duì)老年人來(lái)說(shuō)是一個(gè)較為管用的防詐騙手段。

在鄢曉玲看來(lái)，硬件、算法和數(shù)據(jù)，對(duì)于AI來(lái)說(shuō)，是三個(gè)核心要素?！坝布?，可以把它理解為是教室，它是AI能夠去學(xué)習(xí)的物理?xiàng)l件。算法是老師，它給AI模型的訓(xùn)練制定規(guī)則，解決怎么學(xué)習(xí)的問(wèn)題；數(shù)據(jù)則是教材，它決定了AI模型會(huì)學(xué)到點(diǎn)什么，也就是學(xué)什么的問(wèn)題。由此不難看出，算法和數(shù)據(jù)非常重要，如果模型設(shè)計(jì)中帶有偏見(jiàn)、不公、歧視或者某些缺陷，又或者數(shù)據(jù)中包含了非常多‘雜質(zhì)，那么培育出來(lái)的AI就有可能‘失控?！?/p>

舉個(gè)簡(jiǎn)單的例子，在涉政領(lǐng)域，對(duì)于國(guó)家主權(quán)、種族歧視，還有各種分裂者的一些觀點(diǎn)，訓(xùn)練者會(huì)把有這種有誘導(dǎo)性的問(wèn)題拋給模型，看模型怎么回答。然后通過(guò)人工干預(yù)，讓AI建立起邊界感，“不能一本正經(jīng)地胡說(shuō)八道”?！熬拖裨趯W(xué)校里學(xué)習(xí)的孩子，畢業(yè)的時(shí)候要經(jīng)過(guò)一個(gè)基本的考試。面向社會(huì)公眾使用的AI模型，同樣應(yīng)該經(jīng)過(guò)一些基線評(píng)測(cè)?！臂硶粤嵴f(shuō)，他們正在向相關(guān)部門(mén)提供一些方案，力爭(zhēng)能夠早日達(dá)成業(yè)界共識(shí)。

蕭子豪則表示，瑞萊智慧一直在研究深度合成技術(shù)的自動(dòng)化檢測(cè)，而他們主要的鑒別方式確實(shí)可以用“魔法打敗魔法”來(lái)概括，也就是用AI去打敗AI。

常用的方法包括基于偽造內(nèi)容數(shù)據(jù)集完成對(duì)模型檢測(cè)器的訓(xùn)練、基于幀間不一致性實(shí)現(xiàn)對(duì)偽造內(nèi)容的判別等，這些方法在公開(kāi)數(shù)據(jù)集中均能達(dá)到99.9%的準(zhǔn)確率，在產(chǎn)業(yè)實(shí)踐中的檢測(cè)準(zhǔn)確率也已達(dá)業(yè)內(nèi)頂尖水平。通過(guò)這些技術(shù)手段，可以準(zhǔn)確地在某些金融機(jī)構(gòu)的實(shí)名認(rèn)證環(huán)節(jié)中攔截深度偽造攻擊、監(jiān)測(cè)到互聯(lián)網(wǎng)中的明星AI形象帶貨直播。

目前防范的難度主要在于AI技術(shù)不斷自我優(yōu)化、升級(jí)迭代，深度合成內(nèi)容質(zhì)量不斷提升。換聲的自然度以及換臉視頻的逼真度、流暢度都在不斷提高，逐漸模糊了真實(shí)和虛假的邊界，傳統(tǒng)鑒別方式越來(lái)越難以發(fā)揮作用。

“我們的辨別思路大致可分為兩種，一種是尋找圖像編輯痕跡，一般來(lái)說(shuō)這類換臉都會(huì)對(duì)原先的人臉進(jìn)行編輯，這個(gè)過(guò)程中會(huì)有類似圖片編輯的操作并且留下痕跡，這類痕跡和真正拍攝時(shí)的痕跡是不一樣的，我們會(huì)檢測(cè)這類痕跡做出記錄。另一種則是檢測(cè)視頻中是否會(huì)展現(xiàn)出不符合常識(shí)的行為，如長(zhǎng)時(shí)間不眨眼等等。綜合上述特征，我們的平臺(tái)就可以自動(dòng)判定該內(nèi)容是否存在深度偽造的可能性，并根據(jù)可能性大小來(lái)做出相應(yīng)處置?！笔捵雍缽?qiáng)調(diào)，目前，已經(jīng)有不少網(wǎng)站開(kāi)始依據(jù)相關(guān)規(guī)定對(duì)AI生成的內(nèi)容進(jìn)行標(biāo)識(shí)。此舉對(duì)快速發(fā)展的虛擬數(shù)字人產(chǎn)業(yè)會(huì)起到推動(dòng)、引領(lǐng)作用，并不會(huì)影響它的商業(yè)價(jià)值。

任何一項(xiàng)技術(shù)都是一把雙刃劍，既能推動(dòng)社會(huì)進(jìn)步，也能挖掘出人性中隱藏的惡。除了眼下大家有點(diǎn)談虎色變的“AI詐騙”，AIGC的應(yīng)用非常廣泛，例如影視制作、廣告營(yíng)銷、電子商務(wù)、社交娛樂(lè)等。它給社會(huì)帶來(lái)的積極影響也是顯而易見(jiàn)的，如提高人們的內(nèi)容創(chuàng)作效率、孕育新的技術(shù)形態(tài)與價(jià)值模式、產(chǎn)生新的就業(yè)機(jī)會(huì)等等。

任何技術(shù)都應(yīng)該要在可控、可監(jiān)督的范圍內(nèi)發(fā)展無(wú)疑是全社會(huì)的共識(shí)。