【摘要】以ChatGPT為代表的生成式人工智能成為專用人工智能邁向通用人工智能的關(guān)鍵，拉開了強(qiáng)人工智能時代的序幕。生成式人工智能開創(chuàng)了“大模型”主導(dǎo)的內(nèi)容生成時代，給政治安全、軍事安全、網(wǎng)絡(luò)安全、經(jīng)濟(jì)安全、社會安全等國家安全領(lǐng)域帶來了諸多風(fēng)險與挑戰(zhàn)。為防控風(fēng)險，應(yīng)遵循人本邏輯制定防控生成式人工智能風(fēng)險的“一體化”頂層戰(zhàn)略，遵循法治邏輯健全防控風(fēng)險的“全方位”制度體系，遵循共治邏輯構(gòu)建防控風(fēng)險的“同心圓”治理結(jié)構(gòu)，遵循科技邏輯強(qiáng)化防控風(fēng)險的“全周期”過程監(jiān)管。

【關(guān)鍵詞】生成式人工智能? AIGC? ChatGPT? 國家安全? 防控風(fēng)險

【中圖分類號】D815.5? ? ? ? ? ? ? ? ? ? ? ? ? ?【文獻(xiàn)標(biāo)識碼】A

【DOI】10.16619/j.cnki.rmltxsqy.2023.14.007

生成式人工智能（Generative Artificial Intelligence，亦稱生成式AI）技術(shù)，是指具有文本、圖片、音頻、視頻等內(nèi)容生成能力的模型及相關(guān)技術(shù)[1]。2022年生成式AI取得突破性進(jìn)展，AI繪畫和ChatGPT的影響日益深遠(yuǎn)。當(dāng)前，互聯(lián)網(wǎng)巨頭紛紛布局生成式AI，推出的多款產(chǎn)品極大方便了人們的工作和生活，引領(lǐng)著數(shù)字內(nèi)容領(lǐng)域的全新變革。2023年3月，OpenAI發(fā)布了一款強(qiáng)大的新圖像和文本理解AI模型GPT-4，新一代大模型GPT-4能接受圖像和文本輸入，生成帶有文本和照片的內(nèi)容，在各種專業(yè)和學(xué)術(shù)基準(zhǔn)測試中已達(dá)到或超過人類水平?？傮w來看，生成式AI既為時代發(fā)展帶來了機(jī)遇，也給國家安全帶來了諸多風(fēng)險與挑戰(zhàn)。因此，需要科學(xué)評估生成式人工智能的風(fēng)險，進(jìn)行前瞻謀劃。

生成式人工智能對國家安全的威脅與挑戰(zhàn)

生成式AI給國家安全帶來不同類型的風(fēng)險和挑戰(zhàn)，既包括有關(guān)傳統(tǒng)安全和非傳統(tǒng)安全的風(fēng)險挑戰(zhàn)，也包括對自身安全和公共安全構(gòu)成的多層次挑戰(zhàn)。

生成式人工智能給政治安全帶來挑戰(zhàn)。生成式AI技術(shù)惡意使用帶來的最大風(fēng)險可能發(fā)生在政治領(lǐng)域，隨著AI技術(shù)作為政治武器的使用頻率逐漸增加，敵對勢力極有可能利用AI技術(shù)進(jìn)行意識形態(tài)滲透，破壞政治穩(wěn)定。

一是成為“新工具”，威脅意識形態(tài)安全。ChatGPT等生成式AI系統(tǒng)通過數(shù)據(jù)投喂和算法訓(xùn)練進(jìn)行自我學(xué)習(xí)與進(jìn)化，數(shù)據(jù)操縱、篡改缺失、人為篩選、污染“投毒”及算法偏見，都可能影響結(jié)果的客觀性和正確性。目前，生成式AI的核心技術(shù)被美國掌控，學(xué)習(xí)訓(xùn)練“底料”主要來源于美西方國家，易受到美西方國家行為體以及非國家行為體的操控，成為意識形態(tài)滲透的“新工具”。公開標(biāo)注數(shù)據(jù)集測試表明，[2]ChatGPT在價值觀層面偏向西方，生成內(nèi)容中存在大量對于中國的偏見言論，加之ChatGPT在中文知識和常識問答上很容易出現(xiàn)錯誤，而且會使用流暢的句子對編造的虛假事實進(jìn)行闡述，對于信息來源受限的群體來說具有一定迷惑性，極易成為部分國家針對我國制造“認(rèn)知陷阱”的工具。雖然生成式AI的背后設(shè)計者仍然是人，但其超越意識形態(tài)的科學(xué)特質(zhì)和“技術(shù)”身份，反而比人更容易贏得受眾信任，在意識形態(tài)傳播和影響上往往能起到人所不及的作用。生成式AI系統(tǒng)生成的情報信息、傳遞的價值觀，對思維認(rèn)知的影響更直接、更有效。例如，ChatGPT能“善解人意”，與人共情并產(chǎn)生心理聯(lián)結(jié)，更容易被人信任。利用生成式AI精心策劃的敘事來傳播意識形態(tài)，更能高效隱匿地影響作戰(zhàn)對手，成為意識形態(tài)滲透的“新工具”。

二是生成“假消息”，異化政治傳播生態(tài)。近年來，作為一種操縱輿論的新方式，計算宣傳正在全球盛行，形成了“人機(jī)共生”的政治傳播生態(tài)，也帶來了算法和數(shù)據(jù)操控政治等新風(fēng)險。ChatGPT等生成式AI能夠進(jìn)行“對話＋創(chuàng)作”，并通過經(jīng)驗學(xué)習(xí)作出情感反應(yīng)，對社交機(jī)器人進(jìn)行“降維打擊”，而且還能借助數(shù)據(jù)和算法雙驅(qū)動的“暗網(wǎng)式大集市”傳播模式，極大改變現(xiàn)有的傳播規(guī)則、傳播秩序以及傳播倫理，給社會、政治和國際秩序等各個層面帶來重大變革與巨大沖擊。[3]值得警惕的是，由于生成式AI創(chuàng)作的內(nèi)容更有邏輯性、生成的圖片更為逼真，看起來更有可信度，敵對勢力可利用其構(gòu)筑新型隱性滲透渠道，大規(guī)模創(chuàng)造出虛擬網(wǎng)紅，“一對一”實現(xiàn)對政治目標(biāo)的精準(zhǔn)認(rèn)知誘導(dǎo)、滲透和威懾，異化政治傳播的健康生態(tài)。在應(yīng)對風(fēng)險方面，借助生成式AI并運用“算法＋情感”技術(shù)，調(diào)動敵方情感以影響其認(rèn)知決策已成為現(xiàn)實可行的認(rèn)知對抗方法。2018年曝光的“劍橋分析”事件就是精準(zhǔn)操縱用戶情感的典型案例，“個性化的數(shù)據(jù)可以讓你確切知道，以何種信息瞄準(zhǔn)誰”，只要“在對的時候，把對的信息放在對的人眼前”，就能夠控制他們的思想和情感。[4]

三是衍生“新武器”，精準(zhǔn)攻擊政治目標(biāo)。美軍提出的“五環(huán)目標(biāo)理論”，把戰(zhàn)爭體系的重心劃分為政治領(lǐng)導(dǎo)層、生產(chǎn)系統(tǒng)、基礎(chǔ)設(shè)施、民眾、軍隊等五個目標(biāo)環(huán)，其中第一環(huán)就是敵方領(lǐng)導(dǎo)人，代表了美軍政治戰(zhàn)攻擊的重心。借助生成式AI、認(rèn)知神經(jīng)手段和社交媒體，針對敵方首腦進(jìn)行的認(rèn)知攻擊，是當(dāng)前混合戰(zhàn)爭的大勢所趨。最典型的是，美陸軍開展信息行動的“影響力機(jī)器”，將算法推送的“精神彈藥”快速密集地“射向”目標(biāo)群體，達(dá)到影響其心理、操控其認(rèn)知的目的。2019年委內(nèi)瑞拉政局動蕩，美西方國家就利用人工智能技術(shù)極力“妖魔化”馬杜羅的“獨裁統(tǒng)治”，致使委軍頻頻曝出叛變和倒戈事件，對馬杜羅政府控局穩(wěn)局造成沖擊。

四是帶來“新變量”，影響國家政治秩序。生成式AI和“人機(jī)共生”革命對政治秩序造成了嚴(yán)重沖擊和挑戰(zhàn)。英國脫歐、美國大選等事件期間都彌漫著社會被割裂、輿論被操縱的社會氛圍。例如，英國脫歐公投期間，聊天機(jī)器人Brexit Bot被用來傳播關(guān)于脫歐益處和留歐風(fēng)險的虛假信息。生成式AI能根據(jù)需求快速生成或偽造政治目標(biāo)的外貌、語音、感情、表情等屬性，還可以根據(jù)政治目標(biāo)的喜好生成個性化內(nèi)容，甚至“無中生有”，通過設(shè)置議題、挑動情緒、政治動員來影響國家政治秩序和進(jìn)程。美國國土安全部、國防部和美軍網(wǎng)絡(luò)司令部等成立專門行動小組來對抗干擾和破壞選舉的“巨魔部隊”，同時加緊研發(fā)結(jié)合算法生成內(nèi)容、個性化目標(biāo)鎖定和密集信息傳播的“影響力機(jī)器”，通過操縱國內(nèi)國際輿論和設(shè)置議題，兵不血刃地達(dá)到從內(nèi)部腐蝕、滲透、影響和顛覆，從外部抹黑、圍堵和封殺的政治目的。[5]

生成式人工智能給軍事安全帶來挑戰(zhàn)。近年來，生成式AI逐漸應(yīng)用于軍事領(lǐng)域。美國國防信息系統(tǒng)局已將ChatGPT等生成式AI列入技術(shù)觀察清單，美軍聯(lián)合特種作戰(zhàn)司令部正計劃利用“深度偽造”等技術(shù)，開發(fā)新一代“軍事信息支持作戰(zhàn)”工具，進(jìn)行互聯(lián)網(wǎng)信息操縱、傳播虛假信息和數(shù)字欺騙活動。[6]從目前看，生成式AI一旦應(yīng)用于作戰(zhàn)，或?qū)⑿纬赏{新鏈路，催生“認(rèn)知戰(zhàn)”等新作戰(zhàn)樣式。

一是視覺大模型讓智能機(jī)器“看清”戰(zhàn)場，顯著提升感知能力。智能化戰(zhàn)爭中感知即殺傷，要求以強(qiáng)大的態(tài)勢感知能力作為支撐，先敵發(fā)現(xiàn)并實施打擊。近年來基于Transformer衍生出視覺大模型架構(gòu)，通過無監(jiān)督預(yù)訓(xùn)練和微調(diào)學(xué)習(xí)范式，在圖像分類、目標(biāo)檢測、語義分割、姿態(tài)估計、圖像編輯以及遙感圖像解譯等多個感知任務(wù)上取得突破，顯著提升了戰(zhàn)場感知能力。嵌入視覺大模型的智能武器，可通過視覺系統(tǒng)精準(zhǔn)辨識并區(qū)分目標(biāo)的主次和真?zhèn)危瑥暮Ａ恳曨l數(shù)據(jù)中快速提取并生成高價值情報，減輕作戰(zhàn)人員的認(rèn)知負(fù)荷，形成對態(tài)勢全面、及時、準(zhǔn)確的分析與判斷。

二是語言大模型讓智能裝備“聽懂”指令，重塑指揮決策流程。當(dāng)前戰(zhàn)爭形態(tài)“智能化＋類人化”特征明顯，整體聯(lián)動、快速反應(yīng)、精確打擊都離不開指揮信息功能的智能化。語言大模型在圖片生成、書稿生成、對話生成等戰(zhàn)場信息系統(tǒng)可視化場景中表現(xiàn)出色。如果將其嵌入一體化聯(lián)合作戰(zhàn)平臺并推動其持續(xù)迭代進(jìn)化，可用于想定編寫、作戰(zhàn)方案生成、演習(xí)結(jié)果講評等較為復(fù)雜的工作，這將重塑指揮決策流程。2023年2月，美國中央集團(tuán)軍成功使用ChatGPT撰寫了“關(guān)于成立新的反無人機(jī)特遣部隊”的咨詢報告。因此部署了ChatGPT等生成式AI的指揮信息系統(tǒng)有望深度參與“OODA”循環(huán)（即博伊德循環(huán)或決策周期環(huán)，由Observation-觀察、Orientaition-判斷、Decision-決策、Action-行動四個單詞首字母組合得名），指揮員通過與戰(zhàn)場信息系統(tǒng)進(jìn)行人機(jī)對話，準(zhǔn)確傳達(dá)作戰(zhàn)需求，戰(zhàn)場信息系統(tǒng)則提供新生成的戰(zhàn)場信息，實現(xiàn)想看圖形出圖形、想看圖像出圖像、想聽說明出聲音，并在此基礎(chǔ)上生成行動參考方案，為在未來戰(zhàn)爭中快速、合理配置作戰(zhàn)力量提供全新手段。

三是決策大模型助力人機(jī)混合決策，提升指揮決策優(yōu)勢?；跊Q策大模型的生成式AI系統(tǒng)，實現(xiàn)了從智能預(yù)測到智能決策、從單智能體到多智能體的跨越，可全面支撐“蜂群”“魚群”“狼群”等作戰(zhàn)多智能體，能夠并發(fā)處理千個以上決策任務(wù)，適用于融合控制有／無人平臺、生成控制算法、優(yōu)化群體行為，實現(xiàn)“群體作戰(zhàn)”。2016年美國研發(fā)的人工智能系統(tǒng)“ALPHA”，在模擬空戰(zhàn)中擊敗了經(jīng)驗豐富的退役空軍上校。據(jù)稱，和人類飛行員相比，“ALPHA”在空中格斗中快速協(xié)調(diào)戰(zhàn)術(shù)計劃的速度快了250倍，從傳感器搜集信息、分析處理到自動生成應(yīng)對方案，整個過程還不到1毫秒，能同時躲避來襲的數(shù)十枚導(dǎo)彈，并協(xié)調(diào)隊友觀察學(xué)習(xí)敵方戰(zhàn)術(shù)。未來戰(zhàn)場上，將決策大模型綜合集成到無人作戰(zhàn)平臺，可實施“訂單”式規(guī)劃作戰(zhàn)任務(wù)、“派單”式就近賦予任務(wù)、“接單”式精確打擊目標(biāo)，形成對傳統(tǒng)作戰(zhàn)樣式的“降維打擊”。

四是多模態(tài)大模型成為認(rèn)知對抗新型利器，放大軍事威懾效能。認(rèn)知戰(zhàn)離不開“信息彈藥”，深度偽造等技術(shù)更是影響戰(zhàn)局的“特效彈藥”。戰(zhàn)時受各種條件限制，制作視頻等“信息彈藥”往往十分困難，而基于多模態(tài)大模型的生成式AI系統(tǒng)能夠高效快速生成擾亂敵心的“信息彈藥”，突破強(qiáng)敵封控的智能水軍，實現(xiàn)戰(zhàn)時快采、快編、快發(fā)，奪取認(rèn)知敘事主導(dǎo)權(quán)，充分釋放軍事威懾效能。美國十分重視虛擬現(xiàn)實、全息投影、音視頻合成等技術(shù)在認(rèn)知信息生成中的應(yīng)用。早在伊拉克戰(zhàn)爭中，美軍就利用全息投影、數(shù)字孿生技術(shù)，在巴格達(dá)上空制造虛擬的伊拉克國旗，并將國旗“撕”得粉碎，對伊軍民心理造成強(qiáng)烈震懾。

實現(xiàn)軍事智能的關(guān)鍵是將“計算”與“算計”進(jìn)行高效結(jié)合：計算是基于事實的功能，算計是基于價值的能力。生成式AI僅是解決問題的一種工具手段，若不與現(xiàn)代戰(zhàn)爭的價值道義、倫理道德、法律規(guī)則、政策體系等各方面結(jié)合，則其軍事應(yīng)用可能會帶來諸多風(fēng)險和挑戰(zhàn)。

生成式人工智能給網(wǎng)絡(luò)安全帶來挑戰(zhàn)。從網(wǎng)絡(luò)攻擊角度看，主要涉及4個方面：一是自動生成攻擊工具。黑客借助ChatGPT、Codex等生成式AI工具自動大批量生成惡意軟件，并根據(jù)攻擊反饋情況進(jìn)行迅速迭代，大大降低了網(wǎng)絡(luò)攻擊的門檻。二是提高網(wǎng)絡(luò)攻擊頻度。向生成式AI系統(tǒng)大量“投喂”源代碼，能夠檢測出軟件的未知漏洞，大大縮短發(fā)現(xiàn)新漏洞的時間，大幅提高了網(wǎng)絡(luò)攻擊的頻度。三是升級網(wǎng)絡(luò)攻擊手法。生成式AI系統(tǒng)通過精確地引導(dǎo)攻擊請求、整合攻擊武器，讓過去能被檢測、阻止、過濾的病毒代碼獲得新生，實現(xiàn)組合化、立體化、自動化的智能攻擊。四是實施社會工程攻擊。過去利用魚叉式網(wǎng)絡(luò)釣魚，使用社會工程來創(chuàng)建定制誘餌存在成本高、效率低的缺點。生成式AI作為按需偽造文本的利器，可批量創(chuàng)建復(fù)雜的網(wǎng)絡(luò)釣魚郵件、非常逼真的虛假配置文件，輕松繞過郵件保護(hù)程序，提高網(wǎng)絡(luò)攻擊的有效性。

從個人信息保護(hù)角度看，主要涉及過度采、非法用、跨境傳、刪除難4個方面的風(fēng)險隱患。一是過度采。生成式AI本質(zhì)上是以海量數(shù)據(jù)為基礎(chǔ)的訓(xùn)練大模型，訓(xùn)練數(shù)據(jù)大多來自互聯(lián)網(wǎng)，含有大量個人信息和數(shù)據(jù)。在訓(xùn)練大模型強(qiáng)大的推理能力下，生成式AI平臺過度采集未經(jīng)用戶同意的數(shù)據(jù)，極大地增加了個人信息泄露風(fēng)險，信息主體的人格權(quán)也面臨侵害風(fēng)險。二是非法用。生成式AI系統(tǒng)輸出內(nèi)容包含用戶提供的個人信息和重要數(shù)據(jù)，這也加大了數(shù)據(jù)合規(guī)風(fēng)險。例如，在GPT-2訓(xùn)練過程中，就出現(xiàn)了非法輸出用戶隱私信息的現(xiàn)象[7]。因此，生成式AI服務(wù)者或采集者可能泄露或非法濫用個人信息。三是跨境傳。在使用ChatGPT等生成式AI的過程中，存在著個人信息跨境流動安全風(fēng)險。跨境傳輸?shù)膫€人信息、商業(yè)秘密、地理位置等隱私數(shù)據(jù)，可能經(jīng)由有關(guān)方面強(qiáng)大的數(shù)據(jù)分析能力，推導(dǎo)出關(guān)鍵設(shè)施位置、重大政策傾向等核心敏感信息，威脅國家安全。四是刪除難。ChatGPT雖然承諾會從其使用記錄中刪除所有個人身份信息，但是未說明如何刪除，數(shù)據(jù)持續(xù)用于深度學(xué)習(xí)使得ChatGPT很難保證完全擦除用戶個人的信息痕跡。[8]

生成式人工智能給經(jīng)濟(jì)安全帶來挑戰(zhàn)。與歷次人工智能熱潮在經(jīng)濟(jì)領(lǐng)域產(chǎn)生的風(fēng)險問題類似，生成式AI熱潮給經(jīng)濟(jì)安全帶來的風(fēng)險既具有普遍性，也呈現(xiàn)出一些新特征。第一，由機(jī)器取代人引發(fā)的“技術(shù)性失業(yè)潮”危機(jī)。低技能的勞動者將是自動化的主要受害者這一觀點正面臨巨大挑戰(zhàn)，生成式AI正在逐漸取代“腦力勞動者”承擔(dān)其部分工作。在引入ChatGPT類生成式AI系統(tǒng)后，程序員、媒體從業(yè)者、設(shè)計師、作家、畫家、教師、律師等職業(yè)群體可能會面臨裁員、降薪、轉(zhuǎn)崗等風(fēng)險。第二，生成式AI可能會加劇科技企業(yè)的寡頭壟斷。大模型是一場“AI＋云計算”的全方位競爭，其核心技術(shù)壁壘是數(shù)據(jù)、算法、算力等要素資源的精密組合創(chuàng)新。目前，生成式AI技術(shù)平臺和應(yīng)用系統(tǒng)大部分都是由谷歌、微軟等巨頭及其參股或控股公司研發(fā)而成，先發(fā)優(yōu)勢企業(yè)通過快速積累“數(shù)據(jù)雪球”、建立“數(shù)據(jù)壁壘”，形成巨大的隱形智能成本從而領(lǐng)先后發(fā)競爭者。第三，生成式AI加劇內(nèi)容版權(quán)歸屬爭議。生成式AI引發(fā)的版權(quán)侵權(quán)風(fēng)險已成為行業(yè)發(fā)展面臨的緊迫問題。一是挖掘與分析數(shù)據(jù)的過程存在版權(quán)風(fēng)險。生成式AI在挖掘數(shù)據(jù)的過程中可能存在無法辨認(rèn)被挖掘?qū)ο蟮臋?quán)利狀態(tài)的現(xiàn)象，權(quán)利人因此也無從知曉作品是否已被挖掘使用，進(jìn)而引發(fā)數(shù)據(jù)挖掘分析的版權(quán)風(fēng)險。二是關(guān)于人工智能生成內(nèi)容是否屬于“作品”的分歧較大。我國業(yè)界關(guān)于人工智能生成內(nèi)容是否屬于《中華人民共和國著作權(quán)法》中的“作品”以及“著作權(quán)人是誰”的爭論一直存在。三是生成式AI內(nèi)容版權(quán)歸屬存在風(fēng)險。生成式AI系統(tǒng)主要涉及三方利益主體：系統(tǒng)設(shè)計者和訓(xùn)練者、享有系統(tǒng)所有權(quán)的所有者、利用生成式AI創(chuàng)作的作品者，生成式AI內(nèi)容版權(quán)應(yīng)歸屬于哪一主體在學(xué)界尚未達(dá)成共識。從商業(yè)角度看，如果完全不給予生成式AI以知識產(chǎn)權(quán)保護(hù)，對研發(fā)企業(yè)而言是不公平的。

生成式人工智能給社會安全帶來挑戰(zhàn)。一是滋生新型違法犯罪。從目前情況看，可能滋生四類問題：1、詐騙敲詐類。生成式AI能夠精準(zhǔn)分析目標(biāo)對象特征，定制個性化詐騙話術(shù)，自動合成并發(fā)送相關(guān)視頻、語音、圖片、文字，利用擬人化的聊天對話能力欺騙目標(biāo)對象感情、騙取錢財。2、侮辱誹謗類。生成式AI模型能夠偽造信息，合成虛假的私人視頻或色情視頻傳播至網(wǎng)絡(luò)，存在侵害個人肖像權(quán)、隱私權(quán)和名譽(yù)權(quán)的風(fēng)險。例如，2023年3月，Midjourney等生成式AI軟件生成了多張?zhí)乩势铡氨徊丁钡膱D片，在網(wǎng)絡(luò)上瘋狂流傳，加速了輿情發(fā)酵。3、危安信息類。生成式AI可能生成煽動性言論、宣揚(yáng)暴力恐怖及宗教極端思想等音視頻內(nèi)容，侵犯國家法益和社會法益。4、網(wǎng)絡(luò)暴力類。生成式AI可以通過“造粉”“刷單”來販賣焦慮、制造沖突、激發(fā)爭議、操縱輿論甚至造謠污蔑，制造和推動網(wǎng)絡(luò)暴力犯罪的蔓延。

二是引發(fā)倫理道德風(fēng)險。除了當(dāng)下熱議的ChatGPT違反學(xué)術(shù)倫理道德和學(xué)生學(xué)業(yè)誠信遭受質(zhì)疑等問題外，算法歧視和認(rèn)知操縱方面的倫理道德風(fēng)險尤其值得關(guān)注。一方面，算法歧視風(fēng)險更為隱蔽。生成式AI大模型客觀上存在算法歧視、信息繭房等問題，算法中嵌入的種族歧視、性別歧視等內(nèi)容的隱藏代碼，在人工智能“客觀、公正、科學(xué)”的高科技包裝和算法黑箱的遮掩下，可能會帶來更為隱蔽的算法歧視風(fēng)險。如DALL-E2（OpenAI文本生成圖像系統(tǒng)）具有顯著的種族和性別刻板印象，當(dāng)被要求生成“律師”“CEO”等高薪白領(lǐng)職業(yè)時，輸出的圖片人物幾乎都是白人形象。[9]另一方面，認(rèn)知操縱風(fēng)險。人們通常對智能系統(tǒng)自動生成的知識信任有加，尤其是生成式AI這種側(cè)重數(shù)據(jù)挖掘、不作結(jié)論性判斷、看似客觀中立的概率性歸納，往往更能降低用戶的警覺性，不動聲色地影響和左右人的思維認(rèn)知。值得警惕的是，借助生成式AI技術(shù)開展“影響力”行動看似科學(xué)、客觀、理性，實則是人為操縱信息，誘導(dǎo)、影響和左右目標(biāo)對象思維認(rèn)知，這已成為社會認(rèn)知戰(zhàn)的重要方式。此外，生成式AI越來越多地被用來制作數(shù)字人、生成逝者的音容相貌、數(shù)字化復(fù)活已故演員、創(chuàng)造與逝者交談的可能，等等，進(jìn)一步引發(fā)了學(xué)界業(yè)界對相關(guān)倫理問題的討論。[10]

三是誘發(fā)公共安全風(fēng)險。首先，生成式AI存在人工智能技術(shù)不完備的局限性。由于生成式AI模型復(fù)雜度更高、應(yīng)用領(lǐng)域更新、訓(xùn)練參數(shù)巨大，算法透明性、魯棒性、不可解釋性等問題更為突出，帶來的風(fēng)險也更大。比如，在生成式AI輔助工業(yè)設(shè)計的訓(xùn)練數(shù)據(jù)量不足的情況下，在特定數(shù)據(jù)集上測試性能良好的算法很可能被少量隨機(jī)噪聲的輕微擾動所影響，從而導(dǎo)致模型給出錯誤結(jié)論。算法上線應(yīng)用后，隨著采集數(shù)據(jù)內(nèi)容更新，算法也會因產(chǎn)生性能偏差進(jìn)而引發(fā)系統(tǒng)失靈，而算法出現(xiàn)錯誤、透明度不足也將阻礙外部觀察者的糾偏除誤。其次，生成式AI或成為破壞公共安全的新渠道。如ChatGPT等生成式AI與智能手機(jī)、智能汽車、人形機(jī)器人等智能設(shè)備融合互聯(lián)，可實現(xiàn)遠(yuǎn)程操控，策動威脅公共安全的活動。最后，生成式AI雖然功能強(qiáng)大但可控性差。先進(jìn)人工智能難以控制的原因很多，其中之一便是創(chuàng)建者對其內(nèi)部運行機(jī)制缺乏了解。包括OpenAI的首席執(zhí)行官等人認(rèn)為，由于監(jiān)管不足且運行類人AI系統(tǒng)的經(jīng)驗不足，生成式AI有可能變得不可控，給人類社會帶來風(fēng)險，對人類生存構(gòu)成威脅。

四是造成社會信任危機(jī)。信任是維持整個人類社會活動良性運作的根基，而人工智能生成的假消息，深度合成的假視頻、假音頻在社交媒體上的泛濫，可能導(dǎo)致全社會陷入真假不清、真假難辨的困境之中，造成“真相的終結(jié)”，使人類社會深陷“后真相時代”，[11]“數(shù)字信任”下降到一定程度還可能引發(fā)全社會的信任危機(jī)。同時，生成式AI技術(shù)讓分辨真假音視頻變得極其困難，實際上動搖了音頻和視頻等法定證據(jù)種類存在的信任基礎(chǔ)，[12]給訴訟法和證據(jù)法的相關(guān)規(guī)則帶來了嚴(yán)峻挑戰(zhàn)。

信任是人機(jī)交互的重要前提。Google聊天機(jī)器人Bard首秀犯下事實性錯誤，引發(fā)了網(wǎng)友對ChatGPT模式進(jìn)入搜索引擎實用性的討論，加深了人們對于生成式AI的不信任感。[13]生成式AI是生成元宇宙數(shù)字人的重要工具，數(shù)字人數(shù)字身份的抽象性、專業(yè)性及難以感知等特點使得個體對其有一種天然的不信任感，因此，實現(xiàn)“算法信任”到“人機(jī)信任”是推動元宇宙數(shù)字人發(fā)展亟待解決的難題。

防控生成式人工智能重大風(fēng)險的對策思考

區(qū)別于AI1.0技術(shù)，生成式AI的治理對象（數(shù)據(jù)、算法、平臺、內(nèi)容）的涌現(xiàn)、AI1.0傳統(tǒng)倫理與AI2.0“新道德”的張力、數(shù)字社會應(yīng)對風(fēng)險的科層結(jié)構(gòu)“失靈”，使得人們在平衡生成式AI的發(fā)展與安全上艱難抉擇，并在防控風(fēng)險的探索中呈現(xiàn)出“實踐理性”與“道德理性”的風(fēng)險防控理念之爭、“算法權(quán)力”與“安全邊界”的風(fēng)險防控焦點之論、“結(jié)果主義”與“未來主義”的風(fēng)險防控范式之較、“風(fēng)險可接受性”與“價值可接受性”的風(fēng)險防控標(biāo)準(zhǔn)之辯。因此，防控生成式AI誘發(fā)的國家安全風(fēng)險需著眼構(gòu)建一體化國家戰(zhàn)略體系，打造一體化風(fēng)險防控框架，有效平衡AI發(fā)展與安全。

梳理總結(jié)當(dāng)前人工智能風(fēng)險防控的研究圖譜，主要集中在5個方面：一是從總體邏輯看，側(cè)重于從傳統(tǒng)理論視角、“主體-對象-價值-規(guī)制-效果”的要素結(jié)構(gòu)視角、“風(fēng)險-利益-倫理-權(quán)力-權(quán)利”的社會影響視角來構(gòu)建人工智能治理的框架；二是從綜合分層框架看，構(gòu)建了“共性價值-結(jié)構(gòu)要素-行業(yè)場景-微觀操作”的包容性人工智能治理綜合分層框架；[14]三是從數(shù)據(jù)算法看，側(cè)重于探討數(shù)據(jù)、算法及人工智能本身所具有的風(fēng)險及其治理路徑；四是從場景生態(tài)看，側(cè)重于從微觀的“公眾-個人”、中觀的“組織-行業(yè)”、宏觀的“國家-社會”3個層次的應(yīng)用場景來探討人工智能風(fēng)險影響及應(yīng)對策略；五是從應(yīng)用案例看，主要是從“區(qū)域案例”和“場景案例”視角，總結(jié)典型性人工智能風(fēng)險防控模式。本研究以總體國家安全觀為指導(dǎo)，著眼于建立防控生成式AI風(fēng)險的綜合治理體系，提出了防控生成式人工智能國家安全風(fēng)險的一體化框架（見圖1）。該框架體現(xiàn)了從宏觀到微觀的維度衍變、從抽象到具體的內(nèi)容銜接的一體化設(shè)計邏輯。

在風(fēng)險防控維度上，該框架將防控生成式AI風(fēng)險劃分為層次銜接的四個子框架：人本邏輯、法治邏輯、共治邏輯、科技邏輯。其中，人本邏輯是一體化防控框架的“根基”，發(fā)揮著“統(tǒng)領(lǐng)性”的作用；法治邏輯是對人本邏輯的“具象化”執(zhí)行，是整個風(fēng)險防控體系的“樹干”，發(fā)揮著“提綱性”的作用；共治邏輯是對法治邏輯的結(jié)構(gòu)要素“分類式”“精細(xì)化”表達(dá)，是整個風(fēng)險防控體系的“枝干”，代表了整個風(fēng)險防控體系著力的“邊界范圍”；科技邏輯是共治邏輯的“工具化”運用，是整個風(fēng)險防控體系的“枝葉”和“最接地氣”的部分。在風(fēng)險防控內(nèi)容上，該框架從價值導(dǎo)向、防治對象、參與主體、工具手段4個方面，全面解構(gòu)不同維度下生成式AI風(fēng)險防控的理念、客體、主體和工具的“全貌”。

遵循人本邏輯，制定防控生成式AI風(fēng)險的“一體化”頂層戰(zhàn)略。生成式AI技術(shù)正推動人機(jī)共生的元宇宙發(fā)展，將人的世界從物理世界延伸至數(shù)字世界，在其推動下未來人類將進(jìn)入通用人工智能時代、強(qiáng)人工智能時代。在此背景下，必須更深刻系統(tǒng)地認(rèn)識到智能社會本質(zhì)是“人的”社會而不是“物的”社會，人民至上、生命至上，人的發(fā)展是社會發(fā)展的最終目的。具體而言，制定應(yīng)對生成式AI重大風(fēng)險頂層戰(zhàn)略，就是要以“道德理性”為導(dǎo)向，以人民安全為宗旨，把權(quán)利保護(hù)和人權(quán)保障作為防控生成式AI重大風(fēng)險的核心要義。要以“公權(quán)力-平臺權(quán)力-私權(quán)利”相平衡的權(quán)力制約思路為指引，全面規(guī)劃和統(tǒng)籌協(xié)調(diào)智能社會風(fēng)險防控工作；要統(tǒng)籌整合軍事、情報、安全、外交、公安、社會等各方資源，強(qiáng)化國家安全戰(zhàn)略情報在政治風(fēng)險應(yīng)對上的支撐作用，利用人工智能技術(shù)開展風(fēng)險評估，全面分析對手利用生成式AI對我國進(jìn)行滲透破壞的現(xiàn)狀和態(tài)勢、溯源風(fēng)險源頭和威脅，加強(qiáng)應(yīng)對生成式AI風(fēng)險的頂層認(rèn)知；要聚焦個人信息保護(hù)、人工智能安全等領(lǐng)域的突出問題和人民群眾的重大關(guān)切，將廣大人民群眾的網(wǎng)絡(luò)空間合法權(quán)益維護(hù)好、保障好、發(fā)展好，匯聚人民力量抵御各種安全風(fēng)險，不斷筑牢維護(hù)國家安全的“銅墻鐵壁”。

遵循法治邏輯，健全防控生成式AI風(fēng)險的“全方位”制度體系。以算法、數(shù)據(jù)、內(nèi)容、資本為載體，將人本邏輯所蘊(yùn)含的倫理、道德和觀念等抽象性價值，轉(zhuǎn)化為以權(quán)力、權(quán)利和利益等結(jié)果形式為防治對象的結(jié)構(gòu)要素框架，以“法治理性”為導(dǎo)向，建構(gòu)一套安全有序的智能社會法治秩序?！渡墒饺斯ぶ悄芊?wù)管理暫行辦法》對生成式人工智能服務(wù)實行包容審慎和分類分級監(jiān)管，明確了訓(xùn)練數(shù)據(jù)處理活動和數(shù)據(jù)標(biāo)注等要求，規(guī)定了安全評估、算法備案、投訴舉報等制度[15]，但生成式AI帶來的有害內(nèi)容生產(chǎn)、傳播與滲透的責(zé)任仍有待清晰界定。在生成式AI風(fēng)險不斷泛化并與其他領(lǐng)域安全風(fēng)險疊加擴(kuò)大的背景下，應(yīng)當(dāng)在法治框架內(nèi)拓展治理思路，逐步健全生成式AI重大風(fēng)險治理的“全方位”制度體系。第一，從參與主體角度完善“縱橫交錯”的防控生成式AI風(fēng)險責(zé)任體系。新技術(shù)風(fēng)險治理必須進(jìn)行法律制度創(chuàng)新，只有合理劃分不同主體、不同層次、不同階段的法律責(zé)任，構(gòu)建起有效的風(fēng)險治理責(zé)任體系，才能充分發(fā)揮風(fēng)險治理體系的作用與優(yōu)勢，落實風(fēng)險治理責(zé)任[16]。在橫向上，要盡快完善“政-企-社”三大主體的責(zé)任分配體系，明確政府主體在生成式AI監(jiān)管中的“元治理”責(zé)任，明確社會主體的“協(xié)治理”責(zé)任，明確企業(yè)主體的“能治理”責(zé)任，從而構(gòu)建“整體性”風(fēng)險治理責(zé)任體系；在縱向上，盡快厘清“上-中-下”三個層次的生成式AI監(jiān)管責(zé)任，通過“高層”承擔(dān)“頂層設(shè)計”責(zé)任、“中層”履行“專業(yè)管理”責(zé)任、“基層”壓實“貫徹執(zhí)行”責(zé)任，從而實現(xiàn)“分層式”的生成式AI風(fēng)險監(jiān)管責(zé)任安排。第二，從防治對象角度建立“包容審慎”的生成式AI法治體系。一方面，通過完善法規(guī)制度實現(xiàn)“硬法”控制，推動生成式AI風(fēng)險防控從以“應(yīng)急管理”為中心向以“風(fēng)險治理”為中心轉(zhuǎn)變，構(gòu)建價值包容、普遍有效的風(fēng)險治理制度體系。另一方面，堅持控制算法模型的核心邏輯，將社會公認(rèn)的價值判斷“賦魂”至算法模型中，通過選擇語料庫和建構(gòu)訓(xùn)練模型的價值邏輯，使智能算法始終能夠被人類掌控，并沿著以人為本的方向發(fā)展與迭代，實現(xiàn)治理的“軟法”控制。

遵循共治邏輯，構(gòu)建防控生成式AI風(fēng)險的“同心圓”治理結(jié)構(gòu)。共治是善治的核心要義。生成式AI的風(fēng)險防控比其他任何技術(shù)形態(tài)的社會治理都更加復(fù)雜，既有針對最新科技的極強(qiáng)專業(yè)性，又具有面向公眾的廣泛社會性，還有境內(nèi)境外的緊密聯(lián)動性。因此，實行以多元共治為核心的“同心圓”治理結(jié)構(gòu)是構(gòu)建智能社會政治秩序的必然選擇。

一是實現(xiàn)應(yīng)用“倫理嵌入設(shè)計”。生成式AI遵循一定的倫理規(guī)則?！叭绻覀冊诮探o強(qiáng)大的智能機(jī)器基本倫理標(biāo)準(zhǔn)之前，在某些標(biāo)準(zhǔn)上達(dá)成了共識，那一切就會變得更好?！盵17]近年來，許多國家和國際組織都在探索生成式人工智能倫理治理路徑。2023年3月以來，意大利、加拿大先后以數(shù)據(jù)安全為由，宣布對ChatGPT所屬公司OpenAI展開調(diào)查。2023年6月，歐洲議會批準(zhǔn)《人工智能法案》，對ChatGPT等生成式AI工具提出了新的透明度要求，并要求披露生成式AI訓(xùn)練數(shù)據(jù)版權(quán)。[18]對于我國而言，必須要妥善處理好生成式AI技術(shù)發(fā)展與倫理價值約束之間的關(guān)系，建立高風(fēng)險生成式AI系統(tǒng)自開發(fā)、使用直至整個存續(xù)期間的法律約束與懲戒機(jī)制，有效防控人工智能風(fēng)險。此外，針對生成式AI領(lǐng)域的創(chuàng)新主體、行業(yè)組織、公司企業(yè)也要制定相應(yīng)的生成式AI倫理指南，推進(jìn)落實AI風(fēng)險管理、倫理審查評估等，深入推進(jìn)人工智能倫理治理，打造安全可信的生成式AI應(yīng)用，并確保在應(yīng)用中實現(xiàn)“倫理嵌入設(shè)計”。二是形成多元主體共治格局。生成式AI治理是一項復(fù)雜的系統(tǒng)工程，需要國家、行業(yè)、組織、公民等主體的共同參與、協(xié)同共治。因此，要走好網(wǎng)上群眾路線，充分發(fā)揮群眾自我教育、自我管理、自我約束的自治作用，與群眾共同應(yīng)對智能社會的復(fù)雜問題，[19]還要激勵和支持社會自治、政府和企業(yè)合作共治，強(qiáng)化對頭部企業(yè)與產(chǎn)品服務(wù)的安全監(jiān)管。同時，有關(guān)部門應(yīng)加強(qiáng)執(zhí)法監(jiān)管，提升對危害政治安全的新技術(shù)的監(jiān)測處置能力，對構(gòu)成違法犯罪的案件依法嚴(yán)肅查處。三是推動國際人工智能治理。2021年以來我國先后發(fā)布《中國關(guān)于規(guī)范人工智能軍事應(yīng)用的立場文件》《中國關(guān)于加強(qiáng)人工智能倫理治理的立場文件》，在聯(lián)合國平臺就人工智能治理提出方案，推動形成具有廣泛共識的國際人工智能治理框架和標(biāo)準(zhǔn)規(guī)范，不斷加強(qiáng)人工智能領(lǐng)域全球治理，積極倡導(dǎo)多方參與國際人工智能治理以應(yīng)對共同挑戰(zhàn)。

遵循科技邏輯，強(qiáng)化防控生成式AI風(fēng)險的“全周期”過程監(jiān)管。現(xiàn)實中人工智能應(yīng)用所引發(fā)的“技術(shù)利維坦”、數(shù)字鴻溝、信息繭房、馬太效應(yīng)、倫理困境等問題，使得人工智能治理成為一項復(fù)雜工程。遵循科技邏輯是指將“科學(xué)性”注入風(fēng)險識別、風(fēng)險預(yù)警、風(fēng)險處置等環(huán)節(jié)，以“工具理性”為導(dǎo)向，以生成式AI具體技術(shù)、產(chǎn)品、服務(wù)和內(nèi)容為載體，對行業(yè)場景所要求的行為規(guī)范進(jìn)行技術(shù)化、標(biāo)準(zhǔn)化的“全周期”過程監(jiān)管，通過建立研究設(shè)計標(biāo)準(zhǔn)、技術(shù)安全標(biāo)準(zhǔn)、運行程序標(biāo)準(zhǔn)、管理流程標(biāo)準(zhǔn)、應(yīng)急手段標(biāo)準(zhǔn)等工具，降低風(fēng)險概率和后果嚴(yán)重性。

一是在風(fēng)險預(yù)警階段，以“監(jiān)測力＋循證決策”為突破點，提升風(fēng)險識別能力。風(fēng)險識別在新技術(shù)風(fēng)險治理中具有基礎(chǔ)性作用。隨著新技術(shù)風(fēng)險治理中大數(shù)據(jù)、人工智能、認(rèn)知科學(xué)等技術(shù)運用不斷深入，科技革命與新技術(shù)風(fēng)險治理的雙向互動持續(xù)推進(jìn)，新技術(shù)風(fēng)險治理運用“監(jiān)測力＋循證決策”進(jìn)行風(fēng)險識別的能力越來越強(qiáng)。如OpenAI研制出AI檢測器，以“AI檢測AI”避免技術(shù)濫用，顯著改善了GPT-4的安全性能。因此，預(yù)警階段需要強(qiáng)化科技認(rèn)知，建立和完善國家級人工智能安全防御預(yù)警監(jiān)測體系，及時發(fā)現(xiàn)并排除各種風(fēng)險點和設(shè)計缺陷，實行威脅預(yù)警分級機(jī)制，規(guī)范并細(xì)化配套應(yīng)對措施。二是在應(yīng)急處置階段，以“靈敏度＋科學(xué)處置”為關(guān)鍵點，提升風(fēng)險應(yīng)對能力。要提升對生成式AI技術(shù)的敏感度，利用生成式AI提升網(wǎng)絡(luò)政治安全防御自動化水平，對風(fēng)險“節(jié)點”進(jìn)行科學(xué)處置；利用審核智能化優(yōu)勢賦能互聯(lián)網(wǎng)內(nèi)容監(jiān)管技術(shù)，有效阻斷危險信息和虛假內(nèi)容傳播，快速提升風(fēng)險應(yīng)對中的“信息流”處理能力。三是在風(fēng)險防控階段，以“一盤棋＋系統(tǒng)決策”為著力點，提升風(fēng)險治理能力。人工智能帶來的風(fēng)險類型多樣，處置流程也不盡相同，必須發(fā)揮“一盤棋”的制度優(yōu)勢，進(jìn)行系統(tǒng)決策，形成數(shù)據(jù)安全、算法安全、模型安全、內(nèi)容安全相互銜接、有機(jī)融合的一整套辦法措施，及時有效應(yīng)對風(fēng)險隱患和技術(shù)漏洞。在加強(qiáng)外部防范的同時，也要加強(qiáng)內(nèi)控方面的安全技術(shù)防線建設(shè)，有步驟地提高生成式人工智能國家安全風(fēng)險一體化綜合防控能力。

（國防大學(xué)政治學(xué)院軍隊保衛(wèi)工作系主任、副教授段偉對本文亦有貢獻(xiàn)）

注釋

[1]國家互聯(lián)網(wǎng)信息辦公室：《生成式人工智能服務(wù)管理辦法（征求意見稿）》，2023年4月11日，http：//www.cac.gov.cn/2023-04/11/c_1682854275475410.htm？eqid=cfb0848e00035b16000000066434f17c。

[2]張華平、李林翰、李春錦：《ChatGPT中文性能測評與風(fēng)險應(yīng)對》，《數(shù)據(jù)分析與知識發(fā)現(xiàn)》，2023年第3期。

[3]鐘祥銘、方興東、顧燁燁：《ChatGPT的治理挑戰(zhàn)與對策研究——智能傳播的“科林格里奇困境”與突破路徑》，《傳媒觀察》，2023年第3期。

[4]孫寶云、李艷、齊?。骸毒W(wǎng)絡(luò)安全影響政治安全的微觀分析——以“劍橋分析”事件為例》，《保密科學(xué)技術(shù)》，2020年第4期。

[5]唐嵐：《數(shù)字化轉(zhuǎn)型下的發(fā)展與安全——觀察國際秩序變化的新視角》，《人民論壇·學(xué)術(shù)前沿》，2023年第4期。

[6]《美國“截?fù)簟本W(wǎng)站披露 美軍計劃用“深度偽造”等技術(shù)操縱信息》，2023年3月8日，http：//tv.cctv.cn/2023/03/08/VIDET3SH6nZsvI73ffATPqlE230308.shtml。

[7]N. Carlini， "Privacy Considerations in Large Language Models，" 15 December 2020， https：//ai.googleblog.com/2020/12/privacy-considerationsin-large.html.

[8]《爆紅的“ChatGPT”潛在的數(shù)據(jù)安全隱患》，2023年2月7日，https：//new.qq.com/rain/a/20230207A08JRW00。

[9]H. Rosner， "The Ethics of a Deepfake Anthony Bourdain Voice，" 17 July 2021， https：//www. newyorker.com/culture/annals-ofgastronomy/the-ethics-of-a-deepfake-anthony-bourdain-voice.

[10]騰訊研究院：《AIGC發(fā)展趨勢報告2023：迎接人工智能的下一個時代》，2023年1月31日，第55頁。

[11]張華：《后真相時代的中國新聞業(yè)》，《新聞大學(xué)》，2017年第2期。

[12]張遠(yuǎn)婷：《人工智能時代“深度偽造”濫用行為的法律規(guī)制》，《理論月刊》，2022年第9期。

[13]《聊天機(jī)器人首秀答錯一題 谷歌市值縮水逾7000億》，2023年2月10日，https：//new.qq.com/rain/a/20230210A018O300。

[14]龐禎敬、薛瀾、梁正：《人工智能治理：認(rèn)知邏輯與范式超越》，《科學(xué)學(xué)與科學(xué)技術(shù)管理》，2022年第9期。

[15]國家互聯(lián)網(wǎng)信息辦公室：《生成式人工智能服務(wù)管理暫行辦法》，2023年7月10日，http：//www.cac.gov.cn/2023-07/13/c_1690898327029107.htm。

[16]范逢春：《基層重大風(fēng)險治理應(yīng)當(dāng)遵循的幾個重要邏輯》，《國家治理》，2020年第3期。

[17]邁克斯·泰格馬克：《生命3.0——人工智能時代人類的進(jìn)化與重生》，汪婕舒譯，杭州：浙江教育出版社，2018年，第444頁。

[18]方曉：《歐洲議會批準(zhǔn)〈人工智能法案〉，要求披露生成式AI訓(xùn)練數(shù)據(jù)版權(quán)》，2023年6月15日，https：//www.thepaper.cn/newsDetail_forward_23490174。

[19]張文顯：《構(gòu)建智能社會的法律秩序》，《東方法學(xué)》，2020年第5期。

責(zé) 編∕楊 柳（見習(xí)）

張廣勝，中央軍委政法委員會偵查技術(shù)中心正高級工程師。研究方向為網(wǎng)絡(luò)安全、國家安全。