朱世強，王永恒

（之江實驗室，杭州 311121）

一、前言

隨著移動互聯(lián)網(wǎng)、數(shù)字媒體、人工智能（AI）等技術(shù)及應(yīng)用的飛速發(fā)展，內(nèi)容安全的重要性越來越突出。內(nèi)容安全的內(nèi)涵包括兩個層面，第一個層面是指對信息內(nèi)容的保護，如防竊取、防篡改等，這涉及信息內(nèi)容保密、知識產(chǎn)權(quán)保護、信息隱藏和隱私保護等諸多方面；第二個層面是指信息內(nèi)容符合政治、法律、道德層次的要求。內(nèi)容安全從多個方面對國家和社會產(chǎn)生重要影響，從反動、暴恐等影響國家安全的高危內(nèi)容，到色情、賭博等影響社會民生的風險內(nèi)容，再到垃圾廣告等影響企業(yè)業(yè)務(wù)和個人生活的內(nèi)容等。同時，虛假新聞、網(wǎng)絡(luò)謠言等內(nèi)容造假已經(jīng)成為影響目前內(nèi)容安全治理最大的問題之一。從信息審查的角度，數(shù)字信息來源多樣、內(nèi)容復(fù)雜、數(shù)量龐大、傳播速度迅猛，對事實核查高效、快速、準確能力的要求越來越高。新型冠狀病毒肺炎疫情初期，虛假新聞和網(wǎng)絡(luò)謠言曾經(jīng)給疫情防控工作造成嚴重阻礙。隨著當前網(wǎng)絡(luò)直播的流行，一些不法分子開始利用直播進行各種違法犯罪活動。對海量的直播數(shù)據(jù)進行實時的內(nèi)容監(jiān)管也是當前亟待解決的問題。

近年來，人工智能的快速發(fā)展給內(nèi)容安全帶來深刻的影響。基于人工智能的內(nèi)容安全算法都可能遭受數(shù)據(jù)樣本污染和對抗性算法攻擊，從而導(dǎo)致決策錯誤?；谏疃葘W(xué)習的偽造圖像、虛假新聞、語音詐騙等內(nèi)容欺騙技術(shù)，已經(jīng)達到以假亂真的效果。智能推薦算法被不法分子利用，使不良信息的傳播更加具有針對性和隱蔽性。另一方面，人工智能的發(fā)展也給內(nèi)容安全帶來了新的機遇。人工智能，特別是深度學(xué)習和知識圖譜等技術(shù)的發(fā)展，能夠有效提高內(nèi)容鑒別、保護及違規(guī)審查等能力，加速將內(nèi)容安全治理向自動化、智能化、高效化、精準化方向推進。

2019年3月，中國工程院啟動了“新一代人工智能安全與自主可控發(fā)展戰(zhàn)略研究”重大咨詢項目，本論文作為其中“基于人工智能的內(nèi)容安全與攻防戰(zhàn)略研究”課題研究成果的學(xué)術(shù)性展示，從基于人工智能的內(nèi)容安全重大戰(zhàn)略需求出發(fā)，梳理了相關(guān)關(guān)鍵技術(shù)及應(yīng)用，總結(jié)了國內(nèi)外的研究現(xiàn)狀與發(fā)展趨勢，提出了我國基于人工智能的內(nèi)容安全發(fā)展戰(zhàn)略建議。

二、基于人工智能的內(nèi)容安全關(guān)鍵技術(shù)及 應(yīng)用

（一）基于人工智能的內(nèi)容安全關(guān)鍵技術(shù)

1.基于人工智能的內(nèi)容偽造與保護

人工智能特別是深度學(xué)習的發(fā)展給內(nèi)容偽造提供了極大的便利。深度偽造技術(shù)是一種利用人工智能程序和深度學(xué)習算法實現(xiàn)視頻、音頻模擬和偽造的技術(shù)[1,2]。深度偽造涉及的技術(shù)主要有自編碼器 [3]及生成式對抗網(wǎng)絡(luò)[4]等。目前，深度偽造技術(shù)不僅能偽造人臉，更可以模擬真人聲音及創(chuàng)造出實際不存在的人物圖像。結(jié)合基于人工智能的自然語言生成技術(shù)及社交網(wǎng)絡(luò)傳播，深度偽造大幅度促進了虛假新聞的發(fā)展[5]。這種具有數(shù)字自動化特征的深度偽造技術(shù)，借助各類媒體傳播虛假信息，具有極強的傳播勢能，可實現(xiàn)大規(guī)模、潛伏性的政治操縱和控制，因而大大加劇網(wǎng)絡(luò)空間帶來的政治安全威脅的影響力和對抗復(fù)雜性[6]。

與內(nèi)容偽造技術(shù)相對應(yīng)，近期涌現(xiàn)出大量虛假內(nèi)容檢測技術(shù)。在基于人工智能的深度偽造內(nèi)容檢測方面，特征提取主要有生成式對抗網(wǎng)絡(luò)流水線（GAN-Pipeline）、深度學(xué)習、隱藏分析（Steganalysis）等技術(shù)，分類器主要有支持向量機（SVM）、卷積神經(jīng)網(wǎng)絡(luò)（CNN）等[7]。在基于人工智能的虛假新聞檢測方面，有基于知識庫、寫作風格、傳播特性、發(fā)源地等多種方法，涉及深度學(xué)習、知識庫、圖數(shù)據(jù)挖掘等多項技術(shù)[8]。當前在新類型虛假新聞檢測、虛假新聞早期檢測、跨域檢測及可解釋檢測等方面還存在很大挑戰(zhàn)。

2.面向內(nèi)容分析的人工智能模型與算法安全

基于人工智能的內(nèi)容分析涉及文本、圖像、視音頻處理的各類機器學(xué)習模型和算法，這些模型和算法本身的安全性對內(nèi)容安全有至關(guān)重要的影響。機器學(xué)習模型和算法安全主要涉及以下幾個方面 [9]。

（1）投毒攻擊及防御。投毒攻擊的方法是在訓(xùn)練模型時有意污染訓(xùn)練數(shù)據(jù)，從而破壞模型的可用性和完整性。訓(xùn)練數(shù)據(jù)的污染一般通過注入一些精心偽造的惡意數(shù)據(jù)樣本來實現(xiàn)。

（2）后門攻擊及防御。后門攻擊以數(shù)據(jù)和模型兩種方式在神經(jīng)網(wǎng)絡(luò)模型中植入后門，當模型得到特定輸入時被觸發(fā)，然后導(dǎo)致神經(jīng)網(wǎng)絡(luò)產(chǎn)生錯誤輸出，因此非常隱蔽不容易被發(fā)現(xiàn)。

（3）對抗攻擊及防御。機器學(xué)習模型和神經(jīng)網(wǎng)絡(luò)模型很容易受到對抗樣本的影響。通過對原始樣本添加特定的擾動，可以使分類模型對新構(gòu)造的樣本產(chǎn)生錯誤的分類判斷。

（4）模型竊取及防御。模型竊取技術(shù)是指通過黑盒探測來竊取模型或者恢復(fù)訓(xùn)練數(shù)據(jù)成員，比如竊取股票市場預(yù)測模型和垃圾郵件過濾模型。

目前每年都有大量新的機器學(xué)習算法出現(xiàn)，這些算法的安全已經(jīng)成為普遍關(guān)注的問題。模型與算法安全問題可以看作防御和攻擊方在信息缺失情況下對對方進行建模的技術(shù)之間的博弈。在新型魯棒性模型及訓(xùn)練算法、多學(xué)習器安全問題、信息缺失下的系統(tǒng)建模和推理問題等方面還有待深入研究。

3.面向內(nèi)容分析的可解釋人工智能

以深度學(xué)習為代表的人工智能技術(shù)面臨可解釋性難題，將其應(yīng)用于敏感領(lǐng)域內(nèi)容分析時，缺乏透明度和可理解性的“黑盒”算法很難獲得人們的安全感和信任感。

人工智能模型的可解釋性研究主要有三個方向 [10]：①深度解釋，即采用新的深度學(xué)習模型去學(xué)習可用于解釋的特征。很多相關(guān)工作與可視化技術(shù)相結(jié)合，提供更直觀的解釋。②可解釋模型。傳統(tǒng)的貝葉斯、決策樹等模型具有很好的可解釋性。當前也有很多研究者針對深度學(xué)習模型進行改進，使其具備更好的可解釋性。③模型推理。這種方法把機器學(xué)習模型看作一個黑盒，通過大量實驗在外部建立一個新的可解釋模型。一種新型的研究方法是構(gòu)建一套機器學(xué)習技術(shù)，該技術(shù)能夠自動生成可解釋模型，并且保持較高的學(xué)習效率。

盡管模型可解釋性研究已取得一些矚目的研究成果，但其研究還處于初級階段，依然面臨著許多挑戰(zhàn)且存在許多的關(guān)鍵問題尚待解決。其中，可解釋性研究當前面臨的一個挑戰(zhàn)是如何設(shè)計更精確、更友好的解釋方法，消除解釋結(jié)果與模型真實行為之間的不一致；另一個挑戰(zhàn)是如何設(shè)計更科學(xué)、更統(tǒng)一的可解釋性評估指標，以評估可解釋方法的解釋性能和安全性[11]。

（二）基于人工智能的內(nèi)容安全重要應(yīng)用

1.網(wǎng)絡(luò)輿情分析與監(jiān)管

輿論是“社會的皮膚”，是反映社會形勢的晴雨表。大數(shù)據(jù)及人工智能技術(shù)為輿情分析和研判提供了全新的資源、方法與范式[12]。網(wǎng)絡(luò)輿論的內(nèi)容復(fù)雜，且對輿情分析實時性的要求也比較高。人工智能技術(shù)能夠使網(wǎng)絡(luò)輿情分析更高效和準確，可大幅減少人工工作的成本。

近年來基于人工智能的網(wǎng)絡(luò)輿情分析與監(jiān)管獲得廣泛應(yīng)用。百度公司的媒體輿情分析工具面向傳統(tǒng)媒體和新媒體行業(yè)，針對內(nèi)容生產(chǎn)、觀點及傳播分析、運營數(shù)據(jù)展示等業(yè)務(wù)場景，提供輿情分析能力。其政務(wù)輿情分析工具依托網(wǎng)頁內(nèi)容挖掘能力與中文語義分析技術(shù)支持國內(nèi)外風險情報的深度挖掘及城市公眾輿情態(tài)勢的實時感知。騰訊計算機系統(tǒng)有限公司的WeTest輿情監(jiān)控工具，通過分布式爬蟲7×24 h抓取主流應(yīng)用市場（應(yīng)用寶等）評論評星和主流論壇（百度貼吧等）的用戶發(fā)帖討論，并智能匯總用戶評論，進行智能分類。通過情感分析加情感維度提取技術(shù)，智能分析并定位到具體問題。2020年中國信息通信研究院等單位發(fā)起的人工智能產(chǎn)業(yè)發(fā)展聯(lián)盟發(fā)布了《人工智能助力新冠疫情防控調(diào)研報告》，報告中指出人工智能和大數(shù)據(jù)在新冠輿情分析中發(fā)揮了重要作用。

2.多媒體內(nèi)容分析與審核

即使是挪威、日本、意大利等標榜自由的國家，互聯(lián)網(wǎng)內(nèi)容審查也在加強力度。密歇根大學(xué)的一個團隊使用其開發(fā)的“審查星球”（Censored Planet）工具（2018年啟動的自動審查跟蹤系統(tǒng)），在過去的20個月中，從221個國家收集了超過210億次內(nèi)容審查的測量數(shù)據(jù)[13]。近期多媒體數(shù)據(jù)特別是視頻數(shù)據(jù)得到前所未有的增長并將持續(xù)這種增長趨勢。海量的多媒體數(shù)據(jù)遠遠超出了人類的處理能力，基于人工智能的內(nèi)容分析和審核獲得了廣泛應(yīng)用。

基于人工智能的多媒體內(nèi)容分析主要包括智能審核、內(nèi)容理解、版權(quán)保護、智能編輯等。其中內(nèi)容審核功能包括鑒黃、暴恐涉政識別、廣告二維碼識別、無意義直播識別等，利用識別能力對網(wǎng)絡(luò)上沒意義和不健康的內(nèi)容進行排查和處理。內(nèi)容理解功能包括內(nèi)容分類、標簽，人物識別、語音識別，同時也包括對圖像和視頻中的文字進行識別。版權(quán)保護功能包括內(nèi)容相似性 、同源內(nèi)容檢索和音視頻指紋等功能。內(nèi)容編輯層面可以實現(xiàn)視頻首圖、視頻摘要、視頻亮點的生成，同時支持新聞拆條。

目前短視頻、圖片等成為多媒體審核的主要內(nèi)容?；诤Ａ繕俗?shù)據(jù)和深度學(xué)習算法，可以從多維度精準識別多媒體內(nèi)容中的違禁內(nèi)容，如色情、暴恐等。2019年阿里巴巴集團推出“人工智能謠言粉碎機”支持對新聞內(nèi)容可信度的智能判別，在特定場景中的準確率已達到 81%。中國信息通信研究院初步實現(xiàn)基于人工智能技術(shù)的不良信息檢測能力，支持對淫穢色情、涉恐涉暴等違法信息的識別，識別準確率比傳統(tǒng)方式提升了17%，達到97%以上，識別速度達到傳統(tǒng)方式的 110 倍。2021年2月百度發(fā)布了《2020年信息安全綜合治理年報》。百度內(nèi)容安全中心在2020年利用人工智能技術(shù)挖掘各類有害信息共515.4億余條，通過人工自主巡查打擊各類相關(guān)有害信息8000萬余條。大幅提升審核速度，并制定了暴恐、政治敏感、水印、標簽、公眾人物、惡意圖像等6個審核維度。

三、基于人工智能的內(nèi)容安全國內(nèi)外發(fā)展現(xiàn)狀

（一）國外發(fā)展現(xiàn)狀及最新進展

1.美國發(fā)展現(xiàn)狀分析

作為內(nèi)容產(chǎn)業(yè)最為發(fā)達的國家，美國在內(nèi)容安全與攻防戰(zhàn)略方面主要有以下幾個特點：第一，針對日益嚴峻的國際形勢以及國內(nèi)意識形態(tài)安全需要，對互聯(lián)網(wǎng)內(nèi)容產(chǎn)業(yè)加大監(jiān)管力度，尤其是關(guān)于歧視，偏見等內(nèi)容；第二，高度重視人工智能算法在內(nèi)容安全方面的應(yīng)用，Google等公司與政府合作密切，政府對算法的安全性提出相關(guān)的審查要求；第三，美國國會參眾兩院高度重視利用人工智能算法進行內(nèi)容造假問題，并通過召開聽證會或提出相關(guān)法案的方式，將內(nèi)容造假問題納入立法程序。

2019年，美國政府發(fā)布了《美國人工智能倡議》，其中強調(diào)人工智能對傳統(tǒng)安全領(lǐng)域的重要意義，通過人工智能來確保美國的領(lǐng)先地位以應(yīng)對來自“戰(zhàn)略競爭者和外國對手”的挑戰(zhàn)。2021年3月，美國人工智能國家安全委員會（NSCAI）發(fā)布最終報告：積極維持美國在人工智能領(lǐng)域的統(tǒng)治地位，報告系統(tǒng)論述了美國如何在人工智能激烈競爭的時代贏得主動，維持全球領(lǐng)導(dǎo)地位，并詳細闡述了聯(lián)邦各機構(gòu)今后改革的行動路線。美國國防部高級研究計劃局（DARPA）于2017年啟動了“算法戰(zhàn)跨部門小組計劃”（即“Maven計劃”），將機器學(xué)習算法集成到情報收集中。DARPA還推動了其他和人工智能內(nèi)容安全相關(guān)的研究，包括媒體取證、可解釋人工智能等。在基于人工智能的內(nèi)容安全技術(shù)方面，美國也處于全球絕對領(lǐng)先的位置。美國人工智能論文引文影響力、專利數(shù)量、企業(yè)數(shù)量和融資規(guī)模等指標都居全球第一。

2.歐洲國家發(fā)展現(xiàn)狀分析

歐洲國家在人工智能安全方面更注重倫理。歐盟委員會于2019年4月發(fā)布了人工智能道德準則《可信賴AI的倫理準則》，提出了實現(xiàn)可信賴人工智能全生命周期的框架?？蚣芴岢隽藢崿F(xiàn)可信賴AI的七個關(guān)鍵要素：人的能動性和監(jiān)督，技術(shù)魯棒性和安全性，隱私和數(shù)據(jù)管理，透明性，多樣性非歧視性和公平性，社會和環(huán)境福祉，問責。

準則中特別強調(diào)了隱私和數(shù)據(jù)管理，要求隱私和數(shù)據(jù)保護必須貫穿人工智能系統(tǒng)的整個生命周期。人工智能系統(tǒng)使用的算法和數(shù)據(jù)應(yīng)該更具透明性且可追溯。在AI系統(tǒng)對人類造成重大影響時，人工智能系統(tǒng)能夠?qū)Q策過程進行合理解釋，同時避免不公平的歧視。英國、法國、德國、俄羅斯等歐洲國家都出臺了人工智能安全的綱領(lǐng)性文件，都涉及到了人工智能內(nèi)容安全的策略和發(fā)展規(guī)劃。

3.日本發(fā)展現(xiàn)狀分析

在日本的互聯(lián)網(wǎng)內(nèi)容產(chǎn)業(yè)中，最為發(fā)達的是游戲、動漫、音樂等產(chǎn)業(yè)，因此，在人工智能時代下，日本的內(nèi)容安全戰(zhàn)略主要針對人工智能生產(chǎn)內(nèi)容的知識產(chǎn)權(quán)歸屬問題，并推進相關(guān)具體法案的推出。2018年12月，日本內(nèi)閣府發(fā)布《以人類為中心的人工智能社會原則》的報告，是迄今為止日本為推進人工智能發(fā)展發(fā)布的最高級別的政策文件，從宏觀和倫理角度表明了日本政府發(fā)展人工智能的立場。

在報告中和人工智能內(nèi)容安全相關(guān)的部分，主要強調(diào)了保護隱私和保障安全兩部分內(nèi)容。在保護隱私原則中，人工智能能夠依據(jù)個人行動等數(shù)據(jù)高精度推斷其政治立場、經(jīng)濟狀況、興趣愛好等。在保障安全原則中，報告強調(diào)人工智能系統(tǒng)需要把握利益與風險之間的平衡。報告建議深入研究人工智能風險及降低風險的方法，重視人工智能使用的可持續(xù)性。

4.其他國家發(fā)展現(xiàn)狀分析

除了美國、歐洲、日本、中國等人工智能發(fā)達國家和地區(qū)，很多其他國家也紛紛推出了人工智能安全的國家戰(zhàn)略，而內(nèi)容安全是其中的一部分。2018年6月，印度發(fā)布了《人工智能國家戰(zhàn)略》，其中提出利用人工智能促進經(jīng)濟增長和提升社會包容性，并試圖尋求一個適用于發(fā)展中國家的人工智能發(fā)展戰(zhàn)略。2019年11月，以色列透露其國家級人工智能計劃，對人工智能的發(fā)展、如何滿足政府軍方的需求及安全性等進行了規(guī)劃，主要目標是確定教育系統(tǒng)和學(xué)術(shù)機構(gòu)能夠提供足夠的人工智能工程師，以滿足政府、國防軍事和產(chǎn)業(yè)界的人力需求。加拿大政府近年來在人工智能研究和開發(fā)方面加大了投入，致力于形成一個極其豐富的人工智能生態(tài)系統(tǒng)，包括多個專門研究機構(gòu)和數(shù)千名人工智能研究人員。研究人員對面向內(nèi)容安全的多媒體分析、可解釋人工智能等技術(shù)進行了廣泛研究。

（二）國內(nèi)現(xiàn)狀及最新進展

1.國家戰(zhàn)略與技術(shù)研究

我國高度重視人工智能產(chǎn)業(yè)的發(fā)展，2017年，國務(wù)院發(fā)布《新一代人工智能發(fā)展規(guī)劃》，作為新一輪產(chǎn)業(yè)變革的核心驅(qū)動力和引領(lǐng)未來發(fā)展的戰(zhàn)略技術(shù)，對人工智能產(chǎn)業(yè)進行戰(zhàn)略部署。《中國新一代人工智能發(fā)展報告2019》顯示，中國人工智能論文發(fā)文量居全球首位，企業(yè)數(shù)量、融資規(guī)模居全球第二。2018年1月，我國成立了國家人工智能標準化總體組和專家咨詢組，并發(fā)布了《人工智能標準化白皮書（2018版）》，提出建立統(tǒng)一完善的標準體系。2019年，我國成立了中國人工智能學(xué)會人工智能與安全專委會，為解決網(wǎng)絡(luò)空間安全面臨的挑戰(zhàn)性問題提供了新的途徑。2020年3月國家正式施行《網(wǎng)絡(luò)信息內(nèi)容生態(tài)治理規(guī)定》，以網(wǎng)絡(luò)信息內(nèi)容為主要治理對象，以建立健全網(wǎng)絡(luò)綜合治理體系、營造清朗的網(wǎng)絡(luò)空間、建設(shè)良好的網(wǎng)絡(luò)生態(tài)為目標，抵制和處置違法和不良信息。中國科學(xué)院專門成立了信息內(nèi)容安全技術(shù)國家工程實驗室，圍繞國家網(wǎng)絡(luò)信息安全的重大需求，開展基礎(chǔ)理論和網(wǎng)絡(luò)信息獲取、分析及挖掘等核心關(guān)鍵技術(shù)研究。

2.新興產(chǎn)業(yè)的創(chuàng)新發(fā)展

目前，我國各地政府緊跟國家步伐，分別根據(jù)當?shù)亟?jīng)濟發(fā)展狀況，結(jié)合國家內(nèi)容安全與人工智能相關(guān)政策，提出相關(guān)的人工智能發(fā)展行動計劃，加強人工智能監(jiān)管力度，并推動人工智能在內(nèi)容安全方面的深度應(yīng)用。

商湯科技開發(fā)有限公司自主研發(fā)的原創(chuàng)深度學(xué)習平臺SenseParrots，已經(jīng)在人臉識別、圖像識別、視頻分析、無人駕駛、醫(yī)療影像識別等應(yīng)用層技術(shù)落地，為基于人工智能的內(nèi)容安全提供了技術(shù)支撐。騰訊科技有限公司注重網(wǎng)絡(luò)安全能力建設(shè)，設(shè)立了七大網(wǎng)絡(luò)安全實驗室，專注安全技術(shù)研究以及安全攻防體系搭建。利用騰訊優(yōu)圖的DeepEye識別技術(shù)引擎，對內(nèi)容進行置信度分析，依托騰訊社交的海量樣本優(yōu)勢進行深度識別訓(xùn)練，并基于多模型匹配技術(shù)進行文本識別，助力內(nèi)容安全。阿里云平臺采用自然語言理解算法識別文本垃圾和惡意行為，采用深度學(xué)習算法結(jié)合獨有的情報、輿情、預(yù)警和分析體系及實時更新的樣本圖庫，快速定位敏感信息。華為技術(shù)有限公司在機器學(xué)習算法安全方面做了大量研究工作，對數(shù)據(jù)投毒、模型竊取、后門攻擊等模型和算法攻擊給出了解決方案，為基于人工智能的內(nèi)容分析模型和算法提供安全保障。此外，我國還有一些人工智能創(chuàng)新企業(yè)，在將人工智能應(yīng)用到內(nèi)容安全方面做了大量的研究工作。

3.人工智能2.0時代的新發(fā)展

潘云鶴院士提出人工智能2.0，其主要特征是通過大數(shù)據(jù)和群體智能，拓展、管理和重組人類的知識，為經(jīng)濟和社會的發(fā)展提供建議，在越來越多專門領(lǐng)域的博弈、識別、控制和預(yù)測中達到甚至超過人類的能力[14]。在人工智能2.0時代，首先是和人機交互緊密結(jié)合；其次是和大數(shù)據(jù)云計算的結(jié)合，大數(shù)據(jù)和云計算是人工智能發(fā)展的重要推動力；再次是人工智能和智能監(jiān)控的緊密結(jié)合；最后是人工智能和先進制造的結(jié)合。

人工智能2.0時代的大數(shù)據(jù)智能、跨媒體智能等將對內(nèi)容安全產(chǎn)生重要影響?；诙嗄B(tài)數(shù)據(jù)的深度融合、知識庫、跨媒體分析與推理，結(jié)合類腦計算、群體智能等技術(shù)，能夠?qū)崿F(xiàn)更智能、更精準的內(nèi)容分析。我國以阿里巴巴集團、騰訊科技有限公司、百度集團、華為技術(shù)有限公司等為代表的科技企業(yè)，已經(jīng)開始積極探索人工智能2.0的相關(guān)技術(shù)及在內(nèi)容安全治理方面的應(yīng)用。如百度內(nèi)容安全中心的“網(wǎng)絡(luò)生態(tài)治理2019”專項行動，綜合運用了自然語言甄別、音視頻智能識別、內(nèi)容智能挖掘等多種人工智能技術(shù)。

四、我國基于人工智能的內(nèi)容安全發(fā)展建議

（一）總體發(fā)展戰(zhàn)略

總體上采取“三步走”的發(fā)展戰(zhàn)略：到2025年基于人工智能的內(nèi)容安全發(fā)展初見成效，到2035年實現(xiàn)世界一流水平，到2050年達到世界領(lǐng)先水平。

到2025年，人工智能內(nèi)容安全的發(fā)展環(huán)境和基礎(chǔ)設(shè)施基本完善，基于內(nèi)容安全的重點前沿理論和應(yīng)用技術(shù)進步明顯，在內(nèi)容安全人工智能模型與算法研究方面取得初步成效，人工智能內(nèi)容攻防關(guān)鍵技術(shù)研究取得關(guān)鍵性突破，人工智能內(nèi)容安全領(lǐng)域涌現(xiàn)一批優(yōu)秀企業(yè)，集聚一批安全領(lǐng)域的領(lǐng)軍人才和專家，面向個人、企業(yè)和國家的三級人工智能內(nèi)容安全體系基本建成。

到2035年，人工智能內(nèi)容安全的發(fā)展環(huán)境優(yōu)勢明顯，國家大力投入基礎(chǔ)設(shè)施建設(shè)，規(guī)模和水平并肩世界第一梯隊，基于內(nèi)容安全的理論研究，學(xué)術(shù)水平進入世界一流行列，在人工智能安全領(lǐng)域提出創(chuàng)新理論和方法，人工智能內(nèi)容安全審核機制成型完善，人工智能內(nèi)容安全應(yīng)用技術(shù)廣泛應(yīng)用，在內(nèi)容安全人工智能模型與算法研究和內(nèi)容攻防關(guān)鍵技術(shù)研究上達到世界一流水平。

到2050年，在人工智能內(nèi)容安全領(lǐng)域?qū)崿F(xiàn)基礎(chǔ)層、技術(shù)層和應(yīng)用層的全面世界領(lǐng)先，總體創(chuàng)新能力和理論體系達到國際領(lǐng)先水平，擁有一批主導(dǎo)人工智能內(nèi)容安全發(fā)展潮流的國際頂級專家，在網(wǎng)絡(luò)空間內(nèi)容安全領(lǐng)域擁有一批專業(yè)的，穩(wěn)定的具備世界領(lǐng)先水平人才隊伍和創(chuàng)新創(chuàng)業(yè)團隊。人工智能內(nèi)容安全法規(guī)倫理規(guī)范和政策體系完整完善，人工智能安全評估和管控能力均居于世界領(lǐng)先水平。

（二）內(nèi)容安全發(fā)展政策保障

1.政府主導(dǎo)人工智能發(fā)展路線

國家在維護網(wǎng)絡(luò)信息安全方面所處的高度和發(fā)揮的作用是無可比擬的，在規(guī)范互聯(lián)網(wǎng)行為、打擊網(wǎng)絡(luò)犯罪等模式治理方面有著先天的優(yōu)勢。政府要主導(dǎo)人工智能安全的發(fā)展戰(zhàn)略，將人工智能安全上升到國家高度，作為國家未來發(fā)展的核心競爭力，同時把內(nèi)容安全作為人工智能安全的一個重要部分。在人工智能應(yīng)用中深入分析內(nèi)容安全需求，強化頂層設(shè)計，提出基于國家網(wǎng)絡(luò)空間安全的總體規(guī)劃，建立內(nèi)容安全治理的實施細則，建立安全準入制度和檢測評估方法、機制。以企業(yè)為主體推進人工智能內(nèi)容安全發(fā)展，政府在法律法規(guī)、安全風險、政策指導(dǎo)、資源配置、行業(yè)準則等方面提供保障，制定分階段發(fā)展戰(zhàn)略，目標清晰，從科研立項、智能經(jīng)濟到智能社會全面布局，加強指導(dǎo)性和執(zhí)行力。

2.建立健全合法有效的監(jiān)管機制

制定人工智能內(nèi)容安全風險管控制度，從系統(tǒng)安全、算法安全、應(yīng)用安全多層次制定安全防護措施。保障用戶的數(shù)據(jù)安全，避免算法設(shè)計對公眾產(chǎn)生的危害，明晰算法動機和可解釋性，克服算法設(shè)計和數(shù)據(jù)收集引發(fā)的不公正影響。內(nèi)容安全風險管控制度中針對社交網(wǎng)絡(luò)、短視頻、線上直播等重點應(yīng)用的內(nèi)容安全進行詳細規(guī)定。通過建立可審查、可回溯、可推演的監(jiān)管機制，確保目標功能和技術(shù)實現(xiàn)的安全統(tǒng)一。建立人工智能數(shù)據(jù)安全監(jiān)督機制。依照國家法律法規(guī)，政府部門針對數(shù)據(jù)過度采集、數(shù)據(jù)偏見歧視、數(shù)據(jù)資源濫用等人工智能數(shù)據(jù)安全風險，通過線上線下多種方式實施監(jiān)督檢查，及時發(fā)現(xiàn)和防范安全隱患。

3.構(gòu)建人工智能內(nèi)容安全標準體系

優(yōu)化我國人工智能內(nèi)容安全標準化組織建設(shè)，促進國家、行業(yè)和團體標準化組織聯(lián)合有序推進人工智能內(nèi)容安全標準出臺。在人工智能產(chǎn)品、應(yīng)用和服務(wù)等多個環(huán)節(jié)，制定內(nèi)容安全檢測評估方法和指標體系，通過檢測評估強化內(nèi)容安全與隱私保護。按照內(nèi)容安全承載模式分類，建立圖形/圖像內(nèi)容、文本內(nèi)容、視頻內(nèi)容、音頻內(nèi)容安全指標體系，按照內(nèi)容安全行為模式分類，建立智能鑒黃、暴恐涉政識別、敏感人臉識別、不良場景識別、廣告識別過濾、Logo識別、反垃圾等安全指標體系。

（三）開展面向內(nèi)容安全的人工智能技術(shù)創(chuàng)新

新形勢下的內(nèi)容安全面臨巨大挑戰(zhàn)，需要在技術(shù)層面進行創(chuàng)新突破，主要包括以下方面。

1.人機協(xié)同的混合增強智能

在內(nèi)容安全方面，很多時候當前的人工智能還無法獨立完成任務(wù)，如在視頻直播中識別非法活動。因此需要在人機協(xié)同、腦機協(xié)作、認知計算等技術(shù)上進行創(chuàng)新突破，充分融合人類智能和機器智能，實現(xiàn)人工智能的增強，同時基于人類的指導(dǎo)和反饋實現(xiàn)人工智能的持續(xù)改進。

2.知識驅(qū)動的內(nèi)容安全

基于人工智能的內(nèi)容安全復(fù)雜應(yīng)用需要知識的輔助，因此需要大力推進知識驅(qū)動的內(nèi)容安全創(chuàng)新。技術(shù)方向包括跨媒體知識獲取、內(nèi)容安全知識庫構(gòu)建、大規(guī)模知識庫的管理及知識演化、面向內(nèi)容安全的知識推理等。

3.高性能內(nèi)容安全分析

有害內(nèi)容一旦傳播出去，可能會造成國家和社會的重大損失，因此很多內(nèi)容監(jiān)管應(yīng)用要強調(diào)實時性。需要研究高性能的內(nèi)容分析算法，特別是在視頻直播這樣的場景下，需要處理海量視頻數(shù)據(jù)流，同時需要關(guān)聯(lián)多通道的歷史數(shù)據(jù)和知識。

4.對抗性機器學(xué)習

對抗性機器學(xué)習直接影響到人工智能的模型和算法安全，從而直接威脅到內(nèi)容安全。需要在數(shù)據(jù)投毒的防御、決策時攻擊的防御、深度學(xué)習模型和算法的魯棒性等方面進行技術(shù)創(chuàng)新。

5.可解釋人工智能

人工智能模型和算法的可解釋性直接影響內(nèi)容安全分析和監(jiān)管應(yīng)用的可信度。需要在可解釋機器學(xué)習模型、基于深度學(xué)習和可視化的模型解釋、基于推理的模型解釋等方面進行技術(shù)創(chuàng)新。

（四）完善內(nèi)容安全基礎(chǔ)設(shè)施

以技術(shù)創(chuàng)新促進基于人工智能的內(nèi)容安全發(fā)展，需要建立和完善一批國家重大基礎(chǔ)設(shè)施來滿足新技術(shù)實驗需要，以及監(jiān)管政策和策略評估的需要。

1.面向內(nèi)容攻防演練與研究的網(wǎng)絡(luò)靶場

構(gòu)建大規(guī)模、開放式、共享式、增長式的國家級內(nèi)容安全網(wǎng)絡(luò)靶場，為用戶提供內(nèi)容安全攻防體系驗證、應(yīng)用系統(tǒng)及安全產(chǎn)品安全性檢測、風險評估及應(yīng)急響應(yīng)等高端服務(wù)，創(chuàng)新突破復(fù)雜網(wǎng)絡(luò)屬性、行為、交互式動態(tài)等高度仿真，復(fù)雜業(yè)務(wù)模擬和節(jié)點重構(gòu)等大規(guī)模仿真，全景捕獲復(fù)現(xiàn)和應(yīng)激反制等對抗性仿真，多層次多維度攻擊效能效果的仿真評估等重難點技術(shù)，構(gòu)建大規(guī)模、高逼真、對抗性網(wǎng)絡(luò)靶場。并在技術(shù)驗證、戰(zhàn)略預(yù)判、內(nèi)容檢驗、情報分析，輿情預(yù)警等方面構(gòu)建攻防演練模型，通過靶場的系統(tǒng)性、基礎(chǔ)性、開拓性工作，使國家內(nèi)容安全能力得到實質(zhì)性提升。

2.面向輿情攻防演練與研究的大規(guī)模社會系統(tǒng)模擬裝置

模擬裝置以虛實結(jié)合的方式進行建設(shè)，用真實數(shù)據(jù)驅(qū)動虛擬模型，對虛實數(shù)據(jù)進行一體化分析?；谧钚氯斯ぶ悄芗夹g(shù)，建立智能擬合模型，實現(xiàn)大規(guī)模輿情攻防模擬推演交互式可視化分析。支持多用戶在模擬推演平臺開展實驗分析，支持對模擬系統(tǒng)運行進行實時干預(yù)，并提供可視化數(shù)據(jù)展示驗證效果。支持政府對輿情信息了解得更加全面、對輿論動態(tài)認識得更加深刻、對敏感變化捕捉得更加及時，增加理政治國的主動性、施政為民的科學(xué)性。