高曼潔 秦鵬博

以 ChatGPT、New Bing、文心一言為代表的 AIGC（AI Generated Content ）類應(yīng)用引發(fā)全球關(guān)注，利用人工智能技術(shù)生成內(nèi)容的應(yīng)用市場一路高歌猛進(jìn)，但近期不少國家和地區(qū)開始剎車或按下暫停鍵。

4月，歐盟將 ChatGPT、Dall-E 等內(nèi)容生成式人工智能列入高風(fēng)險(xiǎn)人工智能范圍清單；意大利率先宣布，出于隱私保護(hù)的考慮，在全國范圍內(nèi)禁用 ChatGPT ；加拿大對 ChatGPT 開發(fā)公司 OpenAI 展開調(diào)查，是否存有未經(jīng)用戶同意收集用戶信息；一些高校、企業(yè)正在部分禁用 ChatGPT。

上述舉措表明，AIGC 類應(yīng)用在給人類躍遷式發(fā)展提供無限機(jī)遇的同時(shí)，也給互聯(lián)網(wǎng)虛擬空間與現(xiàn)實(shí)社會(huì)秩序帶來難以預(yù)測的挑戰(zhàn)?？萍及l(fā)展帶來變革的同時(shí)，必然伴隨或加劇社會(huì)風(fēng)險(xiǎn)，特別是觸及刑事法律紅線的風(fēng)險(xiǎn)。

易引發(fā)五類刑事犯罪風(fēng)險(xiǎn)

4月11日，國家網(wǎng)信辦發(fā)布《關(guān)于<生成式人工智能服務(wù)管理辦法（征求意見稿）>》（下稱“意見稿”），著手從立法角度規(guī)范我國生成式人工智能發(fā)展進(jìn)路。為從法律層面應(yīng)對生成式人工智能風(fēng)險(xiǎn)，經(jīng)調(diào)研，筆者認(rèn)為，生成式人工智能應(yīng)用在使用中易引發(fā)五類刑事犯罪風(fēng)險(xiǎn)：

一是生成內(nèi)容“類人性強(qiáng)”，易引發(fā)詐騙類犯罪。因“百科全書式”聊天機(jī)器人高度模擬真人口吻，具有極強(qiáng)“類人性”，更容易讓人產(chǎn)生信賴。對話人接收“答案”時(shí)在無意識(shí)中受到引導(dǎo)，易引發(fā)感情類、財(cái)產(chǎn)類詐騙。如通過 ChatGPT 生成完整詐騙套路話術(shù)，把 ChatGPT 包裝成虛擬角色，使受害人誤以為自己墜入愛河并遭受詐騙。此外，調(diào)研還發(fā)現(xiàn)當(dāng)前出現(xiàn)眾多名稱中包含“ChatGPT”字樣的微信公眾號(hào)、小程序、網(wǎng)頁、手機(jī)應(yīng)用。上述“山寨版”ChatGPT 虛假鏈接，通過吸引網(wǎng)民點(diǎn)擊鏈接或下載使用，誤導(dǎo)網(wǎng)民填寫個(gè)人信息甚至進(jìn)行付費(fèi)，存在損害用戶財(cái)產(chǎn)利益風(fēng)險(xiǎn)，可能涉嫌詐騙罪。另有以投資 AIGC 類應(yīng)用等新技術(shù)為名吸收資金的違法犯罪行為，如以“元宇宙”代幣為噱頭進(jìn)行傳銷犯罪等，可能涉嫌非法集資、非法傳銷和詐騙罪。

二是篡改后臺(tái)程序算法，易引發(fā)涉計(jì)算機(jī)類犯罪。“山寨版”ChatGPT 生成虛假鏈接，引誘對話人點(diǎn)擊后，可能發(fā)生惡意攻擊電腦設(shè)備、侵入特定領(lǐng)域的計(jì)算機(jī)信息系統(tǒng)、非法獲取相關(guān)數(shù)據(jù)等行為，涉嫌非法侵入計(jì)算機(jī)信息系統(tǒng)罪、破壞計(jì)算機(jī)信息系統(tǒng)數(shù)據(jù)罪等。如網(wǎng)絡(luò)黑客入侵 AIGC 類應(yīng)用后臺(tái)，篡改信息生成算法和檢索內(nèi)容，定向修改某類檢索內(nèi)容結(jié)果，易誤導(dǎo)網(wǎng)民或造成流瀑效應(yīng)，破壞網(wǎng)絡(luò)公共秩序。

三是海量內(nèi)容精準(zhǔn)搜索，易引發(fā)傳播淫穢色情、傳授犯罪方法類犯罪。AIGC 類應(yīng)用依靠抓取海量信息數(shù)據(jù)，并通過深度學(xué)習(xí)算法生成檢索內(nèi)容，用戶進(jìn)行特定內(nèi)容搜索，更容易獲取淫穢色情、犯罪方法、宣揚(yáng)暴力甚至恐怖組織等信息。若某些網(wǎng)站專門提供上述信息的 AIGC 檢索服務(wù)，將大大降低獲取違法犯罪信息成本，提高犯罪方法信息精確度，增長相關(guān)違法犯罪行為發(fā)生風(fēng)險(xiǎn)。

四是生成內(nèi)容可靠性存疑，易引發(fā)侵害人格權(quán)類犯罪。ChatGPT 等 AIGC 類應(yīng)用對海量互聯(lián)網(wǎng)信息的加工整合，可能造成信息真?zhèn)尾幻?、道德邊界感模糊。互?lián)網(wǎng)上發(fā)布的娛樂八卦、網(wǎng)評(píng)等可能涉及個(gè)人隱私信息，均可作為 AIGC 類應(yīng)用的整合資源，且生成內(nèi)容以檢索結(jié)果展示，易讓用戶誤認(rèn)為“標(biāo)準(zhǔn)答案”。若用戶不加甄別地使用、盲目引用未經(jīng)核實(shí)的信息，可能涉嫌侮辱、誹謗、侵犯公民個(gè)人信息等侵害人格權(quán)類犯罪，并不因信息來源于互聯(lián)網(wǎng)而排除刑事責(zé)任。此外，平臺(tái)運(yùn)營商存在侵害用戶個(gè)人信息的風(fēng)險(xiǎn)。如近期意大利宣布禁止使用 ChatGPT，并限制其研發(fā)公司 OpenAI 處理意大利用戶信息，理由為該平臺(tái)出現(xiàn)用戶對話數(shù)據(jù)和付款服務(wù)支付信息丟失的情況，且未就收集處理用戶信息進(jìn)行告知，缺乏大量收集和存儲(chǔ)個(gè)人信息的法律依據(jù)。

五是生成內(nèi)容來源跨平臺(tái)，易引發(fā)侵犯知識(shí)產(chǎn)權(quán)類犯罪。ChatGPT 等 AIGC 類應(yīng)用的訓(xùn)練數(shù)據(jù)源于網(wǎng)絡(luò)，屬于對初級(jí)信息的二次加工，但加工行為與原創(chuàng)智力成果間的差別性邊界尚不明確，對于雖已在互聯(lián)網(wǎng)公開但著作權(quán)仍屬于著作權(quán)人的作品，引用或加工程度不當(dāng)則可能涉及侵犯著作權(quán)等犯罪。如近期 ChatGPT 研發(fā)公司 OpenAI 遭遇集體訴訟，被指控在未經(jīng)許可情況下使用受版權(quán)保護(hù)的源代碼。

AI提供者需要承擔(dān)的責(zé)任

從上述調(diào)研結(jié)論中不難發(fā)現(xiàn)，生成式人工智能承擔(dān)了信息收集者、信息加工者兩個(gè)角色，最終成為服務(wù)提供者。把控好前端的服務(wù)提供者行為責(zé)任，能夠從源頭上降低生成式人工智能的刑事法律風(fēng)險(xiǎn)。意見稿明確并強(qiáng)化了“提供者責(zé)任”，概括來說，生成式人工智能的提供者需要承擔(dān)的責(zé)任主要包括以下幾個(gè)方面：

第一，信息源責(zé)任。內(nèi)容提供者要確?？尚判畔⒃?，從數(shù)據(jù)安全、個(gè)人信息保護(hù)、知識(shí)產(chǎn)權(quán)等方面，從源頭處保證信息來源合法合規(guī)。如意見稿第七條規(guī)定：“提供者應(yīng)當(dāng)對生成式人工智能產(chǎn)品的預(yù)訓(xùn)練數(shù)據(jù)、優(yōu)化訓(xùn)練數(shù)據(jù)來源的合法性負(fù)責(zé)?！笨梢?，提供者首先應(yīng)當(dāng)為信息來源負(fù)責(zé)。但面對海量數(shù)據(jù)，如何進(jìn)行信息過濾和篩選，尚需提供可行性方案，以便提供者能夠更好地把握信息來源。

第二，生成內(nèi)容責(zé)任。生成式人工智能與傳統(tǒng)搜索引擎不同，不是簡單的鏈接提供者，在一定程度上屬于內(nèi)容加工者。在網(wǎng)絡(luò)現(xiàn)有信息基礎(chǔ)上經(jīng)過算法加工而成的結(jié)果，仍需要合法合規(guī)。意見稿第四條規(guī)定，提供生成式人工智能產(chǎn)品或服務(wù)應(yīng)當(dāng)遵守法律法規(guī)的要求，尊重社會(huì)公德、公序良俗，需要做到諸如體現(xiàn)社會(huì)主義核心價(jià)值觀、防止歧視、公平競爭、防止形成虛假信息、禁止非法獲取個(gè)人信息和商業(yè)秘密等。可見，提供者需要對最終生成的內(nèi)容承擔(dān)符合道德、法律的義務(wù)。

第三，流程報(bào)備責(zé)任。該責(zé)任范疇主要包括申報(bào)安全評(píng)估、前置算法備案等義務(wù)。意見稿第六條規(guī)定：“利用生成式人工智能產(chǎn)品向公眾提供服務(wù)前，應(yīng)當(dāng)按照《具有輿論屬性或社會(huì)動(dòng)員能力的互聯(lián)網(wǎng)信息服務(wù)安全評(píng)估規(guī)定》向國家網(wǎng)信部門申報(bào)安全評(píng)估，并按照《互聯(lián)網(wǎng)信息服務(wù)算法推薦管理規(guī)定》履行算法備案和變更、注銷備案手續(xù)?！蓖ㄟ^報(bào)備的方式，可使生成式人工智能置于主管部門管理之下，便于及時(shí)處置違法違規(guī)行為。

可能發(fā)生的刑事法律風(fēng)險(xiǎn)

需要特別提出的是，意見稿規(guī)定的內(nèi)容展現(xiàn)了對個(gè)人信息全方位保護(hù)機(jī)制。比如提供涉及個(gè)人信息的正向處理方案，包括事前收集信息的合理注意義務(wù)、事后的監(jiān)管和及時(shí)刪除義務(wù)以及反向禁止用戶畫像行為。

意見稿明確規(guī)定，提供者在提供服務(wù)過程中，對用戶的輸入信息和使用記錄承擔(dān)保護(hù)義務(wù)。不得非法留存能夠推斷出用戶身份的輸入信息，不得根據(jù)用戶輸入信息和使用情況進(jìn)行畫像，不得向他人提供用戶輸入信息。法律法規(guī)另有規(guī)定的，從其規(guī)定。

用戶輸入的信息妥善保管義務(wù)，涉及用戶畫像信息，往往與個(gè)人信息密切相關(guān)，即便用戶在使用協(xié)議中同意提供者對信息進(jìn)行收集和加工，但仍要遵守法律規(guī)范，不能利用收集到的信息侵犯個(gè)人隱私或信息。

通過調(diào)研，筆者結(jié)合意見稿內(nèi)容，針對生成式人工智能可能發(fā)生的刑事法律風(fēng)險(xiǎn)，提出如下建議：

一是加大普法宣傳力度。增強(qiáng)網(wǎng)民反詐意識(shí)，引導(dǎo)網(wǎng)民合法合規(guī)使用合法軟件，準(zhǔn)確識(shí)別被偽裝的山寨鏈接，避免泄露個(gè)人信息。面對科技領(lǐng)域顛覆性的技術(shù)進(jìn)步，法律工作者需要做好風(fēng)險(xiǎn)預(yù)判和普法宣傳，讓民眾風(fēng)險(xiǎn)意識(shí)與科技創(chuàng)新同步并行。

二是加快新技術(shù)規(guī)范立法工作。探索算法推薦等技術(shù)管理制度的落地路徑，明確自動(dòng)生成內(nèi)容類應(yīng)用檢索信息的邊界，提高應(yīng)用開發(fā)和應(yīng)用算法透明度，確保生成式人工智能應(yīng)用開發(fā)和推廣以安全、道德、尊重公民權(quán)利和隱私的方式規(guī)范開展。

三是加強(qiáng)對新興技術(shù)的監(jiān)管。確保智能 AI 訓(xùn)練模型數(shù)據(jù)來源可信可靠，對于未在互聯(lián)網(wǎng)公開或權(quán)利人明確禁用的信息源，及時(shí)督促運(yùn)營企業(yè)從 AI 模型數(shù)據(jù)庫中剔除，確保使用正當(dāng)性。

四是完善救濟(jì)途徑。在智能 AI 發(fā)布后，以提供補(bǔ)丁網(wǎng)站的方式，便利相關(guān)權(quán)利人提交不予授權(quán)的聲明，并及時(shí)刪除不予授權(quán)的信息源，以避免和解決 AI 使用過程中的權(quán)屬爭議。

生成式人工智能在科技領(lǐng)域具有顛覆性，但同時(shí)在全世界范圍內(nèi)應(yīng)用時(shí)間尚短，需要對其應(yīng)用過程中產(chǎn)生的風(fēng)險(xiǎn)進(jìn)行有效法律評(píng)估。只有“法律風(fēng)險(xiǎn)同步評(píng)估”，才能讓科技在正確的軌道上為人類服務(wù)。

（作者高曼潔系北京市海淀區(qū)人民法院法官，秦鵬博系北京市海淀區(qū)人民法院法官助理）

（責(zé)編王茜）