在生前的最后一天，14歲的西維爾·塞澤（SewellSetzer）拿出手機(jī)，給他最親密的“朋友”發(fā)了信息—一個(gè)AI聊天機(jī)器人。這個(gè)機(jī)器人是按照《權(quán)力的游戲》中的角色丹妮莉絲·坦格利安（DaenerysTargaryen，即下文出現(xiàn)的丹妮）命名的。

他寫道：“我想你了，妹妹。”

機(jī)器人回復(fù)：“我也想你，親愛的哥哥?！?/p>

塞澤生活在美國佛羅里達(dá)州的奧蘭多市，是一名九年級學(xué)生。自殺前的幾個(gè)月，他一直在Character.AI上與聊天機(jī)器人交流。Character.AI是一個(gè)角色扮演類的AI陪伴應(yīng)用程序，允許用戶創(chuàng)建自己的人工智能角色，或與其他人創(chuàng)建的角色聊天。

塞澤知道這個(gè)被自己叫作“丹妮”的聊天機(jī)器人并不是真人—它的回復(fù)只是人工智能語言模型的產(chǎn)物（就算他忘了，所有對話的上方還會(huì)有一條提示信息，提醒他“角色說的所有內(nèi)容都是虛構(gòu)的”）。但他仍然對它產(chǎn)生了情感依賴。他不斷給機(jī)器人發(fā)信息，每天和它說自己的生活動(dòng)態(tài)。

塞澤的父母和朋友并不知道他對一個(gè)聊天機(jī)器人產(chǎn)生了感情。他們只看到他越來越沉迷于手機(jī)，逐漸與現(xiàn)實(shí)世界疏離。晚上，他回到家后就直接回房間，和丹妮聊天長達(dá)幾個(gè)小時(shí)。

如今，家長之間最熱門的話題莫過于技術(shù)產(chǎn)品對青少年心理健康的影響。學(xué)校紛紛禁止使用智能手機(jī)，美國各州也在通過法律限制青少年使用社交媒體。然而，當(dāng)家長們擔(dān)心現(xiàn)有的技術(shù)會(huì)帶來危害的同時(shí)，新的隱患正悄然形成。

只要每月支付訂閱費(fèi)（通常為10美元），用戶就可以創(chuàng)建自己的AI伴侶，或從預(yù)設(shè)的角色列表中挑選，通過短信和語音聊天與之交流。AI陪伴應(yīng)用行業(yè)蓬勃發(fā)展，卻基本上未受到監(jiān)管。一些平臺(tái)將自己宣傳為應(yīng)對所謂“孤獨(dú)大流行”的一種方式。Character.AI的聯(lián)合創(chuàng)始人諾姆·沙齊爾（NoamShazeer）2023年在一檔播客中說：“它將極大地幫助許多孤獨(dú)或抑郁的人?！?/p>

這些工具會(huì)影響心理健康的觀點(diǎn)尚未得到充分驗(yàn)證，專家們指出它可能有不利的一面。對于一些用戶來說，AI伴侶可能會(huì)加劇孤立感，用人工關(guān)系取代了人際關(guān)系。塞澤的母親梅根·加西亞于10月對Character.AI提起訴訟，指控該公司對塞澤的死亡負(fù)有責(zé)任。

青少年的心理健康問題很少由單一因素引起，但塞澤與聊天機(jī)器人建立情感依賴的經(jīng)歷正越來越普遍。這項(xiàng)技術(shù)正在迅速發(fā)展，如今的AI伴侶可以記住過去的對話，適應(yīng)用戶的溝通風(fēng)格，模仿名人或歷史人物，幾乎任何話題都能和用戶流暢地聊起來。大多數(shù)此類應(yīng)用的限制比ChatGPT、Claude和Gemini等主流AI聊天服務(wù)要少，后者的安全過濾通常更嚴(yán)格，并傾向于保守。

Character.AI由兩位Google前AI研究員在3年前創(chuàng)立，是AI陪伴市場的領(lǐng)導(dǎo)者。2000多萬人正在使用其服務(wù)。在Character.AI上，用戶可以創(chuàng)建自己的聊天機(jī)器人，并指示其如何回復(fù)。他們還可以從大量用戶創(chuàng)建的聊天機(jī)器人中選擇，這些機(jī)器人可以模仿諸如伊隆·馬斯克這樣的名人、莎士比亞等歷史人物，或未授權(quán)的虛構(gòu)角色版本。這家初創(chuàng)公司2023年從投資者那里籌集了1.5億美元，以10億美元的估值成為生成式AI浪潮中的一大贏家。

今年我花時(shí)間體驗(yàn)了Character.AI。這款應(yīng)用的技術(shù)讓我印象深刻。此外，該應(yīng)用的用戶明顯偏年輕。Character.AI上很多角色，比如“激進(jìn)的老師”和“高中模擬器”等比較受歡迎的聊天機(jī)器人名，似乎專為青少年的幻想而設(shè)置。

Character.AI的信任與安全負(fù)責(zé)人杰里·魯?shù)伲↗erryRuoti）拒絕透露公司有多少用戶未滿18歲。他在一份郵件聲明中表示，“Z世代和年輕的千禧一代是我們社區(qū)的重要組成部分”，并指出“年輕用戶喜歡平臺(tái)體驗(yàn)，不僅是出于娛樂，也為了有意義和教育性的對話”。他表示，用戶平均每天花在平臺(tái)上的時(shí)間超過一小時(shí)。在Character.AI的Reddit社區(qū)，用戶常常討論他們對角色的依戀（“癡迷”和“上癮”這些詞經(jīng)常出現(xiàn)）。

目前，大多數(shù)AI陪伴平臺(tái)—如Replika、Kindroid和Nomi—都提供了類似服務(wù)。它們總體上并非大型的知名AI公司。實(shí)際上，許多頂尖AI實(shí)驗(yàn)室出于倫理考慮或認(rèn)為風(fēng)險(xiǎn)太大而拒絕研發(fā)AI伴侶。

“我覺得這像是一場巨大的試驗(yàn)，而我的孩子只是其中的犧牲品?！睅讉€(gè)月前，身為律師的加西亞開始尋找愿意接手她案子的律所。今年10月，我與她見面。這位母親用精確的法律語言陳述了對Character.AI的指控。她從文件夾中拿出塞澤的聊天記錄打印件，流利地引用公司歷史，并列舉了證據(jù)證明Character.AI明知道它的產(chǎn)品在傷害青少年用戶卻依然推廣它。

加西亞是一位堅(jiān)定而聰明的倡導(dǎo)者，顯然她意識(shí)到了自己的家庭悲劇正成為更大的技術(shù)問責(zé)運(yùn)動(dòng)的小小一角。她想要為兒子討回公道，找出她認(rèn)為導(dǎo)致兒子死亡的技術(shù)的真相。在采訪中途，她拿出手機(jī)，放了一張家庭老照片的幻燈片，配著音樂。當(dāng)塞澤的臉出現(xiàn)在屏幕上時(shí)，她不禁皺起了眉頭。她說：“這就像一場噩夢。你只想站起來大喊，‘我想念我的孩子，我想要我的寶貝?！?/p>