• 
    

    
    

      99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看

      ?

      “深度偽造”的刑法治理路徑

      2021-01-07 11:44:20李明魯
      科技與法律 2021年6期
      關(guān)鍵詞:個人信息保護(hù)

      李明魯

      摘? ? 要:人工智能深度偽造技術(shù)的應(yīng)用在醫(yī)療、教育、娛樂等多個領(lǐng)域具有進(jìn)步意義,但技術(shù)的濫用可能對國家、社會利益以及個人合法權(quán)益造成損害。刑法應(yīng)當(dāng)對深度偽造技術(shù)濫用行為予以規(guī)制,同時也要從風(fēng)險防控的角度,加強(qiáng)對公民個人信息安全的保護(hù)。提供深度偽造技術(shù)服務(wù)的行為逐漸發(fā)展成為網(wǎng)絡(luò)黑色產(chǎn)業(yè)鏈的一環(huán),運用傳統(tǒng)共犯理論難以回應(yīng)深度偽造技術(shù)濫用行為的不法認(rèn)定問題。對于這種“一對多”的犯罪幫助行為,刑法可以采取獨立罪名認(rèn)定的制裁思路。對于深度偽造內(nèi)容,網(wǎng)絡(luò)服務(wù)提供者應(yīng)當(dāng)依法履行信息網(wǎng)絡(luò)安全管理義務(wù),落實平臺監(jiān)管責(zé)任。

      關(guān)鍵詞:深度偽造;深度合成;生物識別信息;個人信息保護(hù);網(wǎng)絡(luò)服務(wù)提供者

      中圖分類號:D 924? ? 文獻(xiàn)標(biāo)志碼:A? ? ? ? 文章編號:2096?9783(2021)06?0040?08

      一、“深度偽造”的概念與技術(shù)原理

      常言道:“耳聽為虛,眼見為實?!钡?,深度偽造技術(shù)的出現(xiàn)可能讓這一說法不再適用?!吧疃葌卧焓峭ㄟ^人工智能技術(shù),以數(shù)字化方式創(chuàng)建或者修改視頻、音頻等內(nèi)容,最后的結(jié)果是偽造內(nèi)容里的人在做著或說著從未發(fā)生的事情?!盵1]隨著深度偽造技術(shù)的不斷發(fā)展和演進(jìn),偽造內(nèi)容的真實性也越來越高,以至于人們很難辨別內(nèi)容的真假??梢哉f,深度偽造技術(shù)自產(chǎn)生之日起,便具有欺騙性質(zhì)的濫用風(fēng)險,而了解深度偽造的特征與技術(shù)原理,對于下一步如何規(guī)制深度偽造技術(shù)的濫用行為十分必要。

      (一)“深度偽造”的概念源起

      “深度偽造”(deep fake)是指借助人工智能技術(shù)尤其是深度學(xué)習(xí)對音頻、視覺或文本內(nèi)容等進(jìn)行制造和修改,從而達(dá)到技術(shù)開發(fā)者或者技術(shù)使用者的某種特定目的?!吧疃葌卧臁币辉~最初是出現(xiàn)在2017年美國社交新聞網(wǎng)站紅迪網(wǎng)(Reddit)上,一個名為deepfakes的用戶利用人工智能算法將色情視頻中的主體換臉成明星,并上傳到Reddit網(wǎng)站,引發(fā)了廣泛的轉(zhuǎn)發(fā)和關(guān)注。自此,媒體開始使用deepfake一詞來形容深度偽造技術(shù)或者深度偽造內(nèi)容。

      深度偽造技術(shù)又稱人工智能合成內(nèi)容(AI?generated media)技術(shù),是人工智能發(fā)展到一定階段的產(chǎn)物,建立在能夠自主學(xué)習(xí)的深度學(xué)習(xí)算法模型的基礎(chǔ)之上。尤其是生成對抗網(wǎng)絡(luò)1 (generative adversarial networks,簡稱GAN)這一算法,使得人工智能在其控制下可以自動生成圖像、文字、視頻等信息內(nèi)容。“深度偽造的存在形式主要包括人臉合成、語音合成、人臉替換等,該項技術(shù)綜合運用了視頻合成、計算機(jī)視覺等多種人工智能技術(shù)?!盵2]

      (二)“深度偽造”與“深度合成”的關(guān)聯(lián)

      “深度合成”(deep synthesis)目前已成為人工智能領(lǐng)域應(yīng)用較為廣泛的一項技術(shù),依賴于能夠從大量數(shù)據(jù)中進(jìn)行深度學(xué)習(xí)的人工智能算法模型,對數(shù)據(jù)信息進(jìn)行生產(chǎn)或修改。對于深度偽造與深度合成,多數(shù)學(xué)者并未做嚴(yán)格區(qū)分,但也有觀點認(rèn)為,深度合成與深度偽造二者不應(yīng)混同,根據(jù)技術(shù)使用的目的是否正當(dāng),應(yīng)嚴(yán)格區(qū)分深度合成與深度偽造。該觀點主張深度偽造是基于某種不法目的而使用深度合成技術(shù)的行為,而深度合成則是價值無涉的技術(shù)概念詞匯。

      本文認(rèn)為,深度合成與深度偽造二者在純粹技術(shù)層面上并無本質(zhì)區(qū)別,或者可以說深度偽造行為本身就是利用人工智能深度合成技術(shù)對聲音、圖像、文本內(nèi)容進(jìn)行修改和加工,從而實現(xiàn)某種誤導(dǎo)效果。毫無疑問,技術(shù)本身是無罪的,法律需要規(guī)制的是那些利用該技術(shù)冒充他人實施詐騙,或者進(jìn)行虛假新聞傳播、色情視頻制作、政治選舉干擾等損害他人或者社會、國家利益的違法行為[3]。雖然有人提出,“如果以‘深度偽造’一詞指代全部人工智能合成技術(shù),是對人工智能合成技術(shù)的污名化,因為深度偽造容易讓人望文生義,從而使人們對于AI合成技術(shù)產(chǎn)生畏懼心理”[3]。但是,鑒于本文的主要研究對象為深度偽造技術(shù)的濫用行為,即利用人工智能深度偽造技術(shù)所實施的不法行為,所以文中使用“深度偽造”一詞并不與深度合成技術(shù)的中立性相矛盾。

      二、深度偽造技術(shù)的應(yīng)用與安全風(fēng)險

      隨著人工智能深度合成技術(shù)的發(fā)展與成熟,這一新興技術(shù)開始在商業(yè)領(lǐng)域大放異彩,并已經(jīng)逐漸滲透于社交、醫(yī)療、教育、影視等多個領(lǐng)域。例如,在影視領(lǐng)域中,通過深度合成技術(shù)可以減少因演員或場地而造成的拍攝局限,“由于主要演員在電影《速度與激情7》拍攝過程中意外去世,于是劇方運用AI換臉技術(shù),使該演員的形象得以貫穿于電影始終?!盵4]在教育領(lǐng)域,“通過人工智能合成歷史人物,再現(xiàn)歷史場景,可以使知識傳播更加富有趣味性。”[5]另外,在醫(yī)療領(lǐng)域,“語音合成軟件可以讓漸凍癥患者重新獲得‘說話’的能力。通過提前采集患者的個人語音數(shù)據(jù),然后利用語音合成技術(shù),最終生成接近患者原聲的語句。”[6]然而,技術(shù)是一把雙刃劍,對技術(shù)的正當(dāng)使用可以推動社會進(jìn)步,但技術(shù)的濫用則會給公民個人權(quán)利、社會公共秩序以及國家安全帶來諸多風(fēng)險挑戰(zhàn)。

      其一,深度偽造行為可能侵犯公民的人身、財產(chǎn)等權(quán)利。行為人通過深度偽造技術(shù)故意制作并散布虛假信息,敗壞他人名譽(yù)的,情節(jié)嚴(yán)重時將構(gòu)成誹謗罪;通過深度偽造的圖像或聲音冒充被害人的親友、同事、領(lǐng)導(dǎo)等,誘騙或者敲詐他人錢財?shù)模赡軜?gòu)成詐騙罪或敲詐勒索罪。除此之外,“深度偽造行為還可能構(gòu)成侵犯著作權(quán)罪”[7],因為深度偽造行為人在未獲得著作權(quán)人同意的情況下,對由他人創(chuàng)作的攝影作品、電影作品等作品進(jìn)行修改,將構(gòu)成對他人署名權(quán)、修改權(quán)等著作權(quán)的侵犯2。

      其二,深度偽造行為可能破壞社會公共秩序。例如,行為人以牟利為目的,利用深度偽造技術(shù)制作淫穢圖像、視頻等淫穢物品并加以傳播的,可能構(gòu)成制作、傳播淫穢物品牟利罪。還如,行為人通過深度偽造技術(shù)編造涉及險情、疫情、災(zāi)情、警情的虛假信息或者虛假恐怖信息并加以傳播,嚴(yán)重擾亂社會秩序的,則可能構(gòu)成編造、故意傳播虛假信息罪或者編造、故意傳播虛假恐怖信息罪。此外,深度偽造技術(shù)還可能被用于證據(jù)的偽造。如果行為人出于陷害他人或者隱匿罪證的目的,在對與案件有重要關(guān)系的情節(jié)上利用深度偽造技術(shù)制作虛假證明的,則構(gòu)成偽證罪。再如,行為人利用深度偽造技術(shù)制作有損他人商業(yè)信譽(yù)或商品聲譽(yù)的虛假內(nèi)容,并給他人造成重大損失的,則可能觸犯損害商業(yè)信譽(yù)、商品聲譽(yù)罪。

      其三,針對政治人物的深度偽造還具有危害國家安全的風(fēng)險。在國外,虛假新聞干擾正常政治選舉活動的事例在很早之前就已經(jīng)出現(xiàn)。例如,“在托馬斯·杰斐遜(Thomas Jefferson)反對約翰·亞當(dāng)斯(John Adams)的選舉中,一些報紙在不考慮真相的情況下,發(fā)布敗壞被選舉人聲譽(yù)的新聞”[8]。而在當(dāng)今這個大數(shù)據(jù)時代,互聯(lián)網(wǎng)的傳播速度和傳播范圍相比于傳統(tǒng)媒體更為迅速和廣泛,可想而知,如果濫用深度偽造技術(shù)制作虛假信息干擾政治選舉活動,被發(fā)布于網(wǎng)絡(luò)之上,其不利影響將迅速蔓延,不可逆轉(zhuǎn)。前些年美國的有關(guān)分析人員一致認(rèn)為,隨著深度偽造技術(shù)的進(jìn)一步發(fā)展,等到2020年美國第59屆總統(tǒng)大選,深度偽造技術(shù)干預(yù)政治選舉的問題將會更加嚴(yán)重[9]。正是在此背景之下,為了防止深度偽造技術(shù)制作的虛假信息可能對選舉活動造成的干擾,美國國會在2019年提出了《深度偽造責(zé)任法案》(DEEPFAKES Accountability Act)[10]。

      三、深度偽造濫用行為的刑法規(guī)制模式

      深度偽造技術(shù)的不當(dāng)使用,如冒用他人身份、敗壞他人名譽(yù)等,可能對個人法益和公共法益造成損害,進(jìn)而成為相應(yīng)的違法犯罪。刑法針對濫用深度偽造技術(shù)行為的規(guī)制大致可以分為兩種模式:一是事后保護(hù)模式,即對利用深度偽造技術(shù)實施的其他犯罪以及深度偽造行為本身所構(gòu)成的著作權(quán)犯罪進(jìn)行規(guī)制;二是風(fēng)險預(yù)防模式,即對于深度偽造行為之前的公民個人信息犯罪進(jìn)行規(guī)制。其中,事后保護(hù)模式著眼于深度偽造行為之后產(chǎn)生的法益侵害,而風(fēng)險預(yù)防模式則關(guān)注對深度偽造行為之前的公民個人信息保護(hù),從而避免因個人生物識別信息的深度偽造而對后續(xù)的具體法益造成侵害。

      (一)事后保護(hù)模式:強(qiáng)調(diào)對深度偽造行為實施后的具體法益保護(hù)

      利用人工智能技術(shù)實施深度偽造行為,侵害他人合法權(quán)益或者社會、國家利益的,在符合特定犯罪的構(gòu)成要件的條件下,可以對該深度偽造行為予以刑法規(guī)制。根據(jù)法益主體的不同,可以將利用深度偽造技術(shù)構(gòu)成的犯罪分為三類:侵犯公民個人權(quán)利的犯罪、破壞社會公共秩序的犯罪、危害國家安全的犯罪。

      雖然我國刑法規(guī)定針對濫用深度偽造技術(shù)而造成嚴(yán)重法益侵害的行為能夠提供一整套相對完備的制裁體系,但是這種刑法制裁思路存在以下不足之處:首先,事后保護(hù)模式只能在深度偽造行為已經(jīng)造成了法益侵害后果之后發(fā)揮作用,過于強(qiáng)調(diào)事后懲罰而忽視事前預(yù)防[10]。而對于信息網(wǎng)絡(luò)環(huán)境中的違法犯罪問題,考慮網(wǎng)絡(luò)媒介傳播速度快、影響范圍廣的特點,在產(chǎn)生傷害結(jié)果后才啟動刑法進(jìn)行規(guī)制的事后保護(hù)模式已經(jīng)不足以充分保護(hù)法益。其次,某些深度偽造技術(shù)濫用行為根據(jù)現(xiàn)有刑法規(guī)定卻無法定罪論處。例如,行為人利用AI換臉技術(shù)進(jìn)行交友詐騙,目的僅是騙取他人的感情,獲得內(nèi)心的滿足感,而不以騙財為目的,但卻給他人造成嚴(yán)重的精神損害或者嚴(yán)重破壞他人家庭的,對于此行為不能以詐騙罪或招搖撞騙罪定罪論處,該行為根據(jù)現(xiàn)行刑法規(guī)定并不構(gòu)成犯罪,雖然造成了嚴(yán)重的危害后果,也只能通過民事救濟(jì)和行政救濟(jì)途徑保護(hù)相關(guān)人的合法權(quán)益。

      由此可見,事后保護(hù)模式側(cè)重于對深度偽造行為之后造成的危害后果予以規(guī)制,卻沒有回應(yīng)深度偽造上游行為(非法獲取、非法出售、非法提供以及非法利用公民個人信息的行為)的不法問題??紤]到存在某些深度偽造技術(shù)濫用行為具有嚴(yán)重的危害性但卻不構(gòu)成犯罪的情形,為了更好地保護(hù)公民的人身、財產(chǎn)權(quán)益,深入打擊深度偽造濫用行為這種新型違法犯罪行為,有必要在對深度偽造技術(shù)濫用行為的治理問題上引入風(fēng)險預(yù)防模式。

      (二)風(fēng)險預(yù)防模式:強(qiáng)調(diào)對深度偽造實施前的公民個人信息保護(hù)

      刑法對于人工智能深度偽造的治理不僅需要關(guān)注深度偽造行為實施后的一系列相關(guān)犯罪,更應(yīng)當(dāng)重點關(guān)注深度偽造之前的個人信息安全的保護(hù)問題。對深度偽造的之前行為即侵犯公民個人信息行為的規(guī)制,有利于切斷深度偽造技術(shù)被濫用的風(fēng)險,加強(qiáng)對人工智能深度偽造技術(shù)的源頭治理。

      1.個人生物識別信息與公民個人信息的概念厘定

      《中華人民共和國數(shù)據(jù)安全法》第二十一條對數(shù)據(jù)實行分類分級的保護(hù)制度作出規(guī)定,同樣地,對于公民個人信息,也應(yīng)當(dāng)根據(jù)不同類別的公民個人信息之于公民人身和財產(chǎn)權(quán)益的重要性,對個人生物識別信息、身份信息和其他一般的公民個人信息實行梯次保護(hù)。其中,“生物識別信息這種緊密依附于身體、直接體現(xiàn)公民個人身體特征和行為特征,對人身具有直接指向性的特殊公民個人信息予以特別的保護(hù)?!盵12]對此,《中華人民共和國個人信息保護(hù)法》也有所回應(yīng),明確了“個人生物特征”屬于敏感個人信息的一種,將敏感個人信息與一般公民個人信息做出區(qū)分,并對敏感個人信息制定了更為嚴(yán)格的處理規(guī)則。

      個人生物識別信息包括面部、指紋、聲音、DNA、筆跡、步態(tài)等身份信息,之所以說生物識別信息是最為重要的公民個人信息,除了其具有高度的人身識別性之外,還由于生物識別信息的應(yīng)用廣泛性,如人臉識別、指紋識別等已經(jīng)成為進(jìn)入很多場所、登陸應(yīng)用軟件以及財產(chǎn)支付的方式。因此一旦公民的生物識別信息遭到泄露,不法行為人很可能通過深度偽造技術(shù)對生物識別信息進(jìn)行加工和修改,進(jìn)而利用深度偽造后的圖片、聲音等冒充其本人對其親友、熟人實施詐騙,使被害人陷入錯誤認(rèn)知并引誘其進(jìn)行轉(zhuǎn)賬或者匯款。不法分子在達(dá)到騙財目的之后,便會刪除被害人的聯(lián)系方式,從此銷聲匿跡。這都要歸因于個人信息的泄露,如今很多場合都需要人臉識別、刷臉支付,而人臉信息在被收集之后一旦被非法出售,便很可能被用于實施詐騙等違法犯罪行為。因此,規(guī)制深度偽造技術(shù)的濫用行為關(guān)鍵是從源頭管控侵犯公民個人信息的犯罪行為。

      2.國外規(guī)制深度偽造技術(shù)濫用行為的應(yīng)對之策

      對于規(guī)制深度偽造技術(shù)濫用行為是否需要制定專門的法律的問題,從國外的應(yīng)對之策來看,有些是選擇通過現(xiàn)有法律規(guī)定來懲治深度偽造技術(shù)濫用行為,“認(rèn)為新立法根本沒有必要,因為根據(jù)現(xiàn)有的著作權(quán)法、刑法和民事侵權(quán)法等法律規(guī)定能夠讓有害的深度偽造內(nèi)容的制作者承擔(dān)責(zé)任”[13],而且“除了打擊勒索和色情的刑法之外,其他侵權(quán)行為如侵犯隱私權(quán),造成情緒困擾,侵犯著作權(quán)等違法行為同樣能受到民事法律的規(guī)制”[14],可是也有國家選擇通過制定新的法律來打擊深度偽造技術(shù)濫用行為。

      歐盟通過保護(hù)可能被用于深度偽造的個人信息安全和強(qiáng)化互聯(lián)網(wǎng)平臺的審查義務(wù),來加強(qiáng)對于深度偽造技術(shù)濫用的治理,防御深度偽造行為可能造成的不法侵害?!皻W盟《通用數(shù)據(jù)保護(hù)條例(GDPR)》適用于對深度偽造中所使用的公民圖片等個人數(shù)據(jù)的保護(hù),以及換臉軟件和社交媒體軟件可能產(chǎn)生的隱私泄露問題?!盵15]另外,“歐盟于2018年出臺的《反虛假信息行為準(zhǔn)則(Code of Practice on Disinformation)》,主要是為了加強(qiáng)網(wǎng)絡(luò)運營者對其平臺內(nèi)容的審查,充分發(fā)揮平臺在治理網(wǎng)絡(luò)虛假信息方面的作用?!盵16]

      美國則出臺了一部專門的法律——《深度偽造責(zé)任法案》,用以規(guī)范深度偽造技術(shù)的應(yīng)用,防止虛假信息的傳播。《深度偽造責(zé)任法案》對于深度偽造內(nèi)容制作者的標(biāo)識義務(wù)(或披露義務(wù))作出具體規(guī)定:“深度偽造內(nèi)容制作者對于其制作的深度合成內(nèi)容應(yīng)當(dāng)嵌入文字、數(shù)字水印或者語音標(biāo)識,從而將內(nèi)容屬于利用深度偽造技術(shù)制作的事實予以披露?!盵17]同時法案還對于不履行披露義務(wù)的行為規(guī)定了民事責(zé)任甚至刑事責(zé)任。深度偽造內(nèi)容制作者依法履行標(biāo)識義務(wù),有利于他人對視頻、音頻、文字等內(nèi)容的真實性做出鑒別,從而不容易產(chǎn)生誤解而受騙,一定程度上可以有效抵御深度偽造可能對法益造成的損害。深度偽造內(nèi)容制作者履行標(biāo)識義務(wù),不僅有利于對法益的保護(hù),而且對于引導(dǎo)深度偽造技術(shù)的合理使用也具有規(guī)范意義,另外還能夠作為證明深度偽造內(nèi)容制作者主觀上不具有欺騙目的的依據(jù)。

      法律解決方案雖然可以懲罰和威懾犯罪行為人,但仍具有其自身的局限性和滯后性。在法律治理路徑之外,提高網(wǎng)絡(luò)用戶鑒別虛假信息的能力,增強(qiáng)公民對于虛假信息的防范意識,也是抵御深度偽造音頻、視頻的不良影響的可行之策。“公民可以成為對信息真實性的檢查者和對真理的最終保護(hù)者”[18],“烏克蘭已經(jīng)將媒體素養(yǎng)技術(shù)納入其公立學(xué)校課程中”[19],以幫助提高公民辨別深度偽造內(nèi)容的能力。

      3.我國規(guī)制深度偽造技術(shù)濫用行為的立法與司法實踐

      于2020年1月1日起施行的《網(wǎng)絡(luò)音視頻信息服務(wù)管理規(guī)定》(以下簡稱《規(guī)定》)第十一條對于深度偽造內(nèi)容制作者和網(wǎng)絡(luò)服務(wù)提供者均規(guī)定了標(biāo)識義務(wù),要求網(wǎng)絡(luò)音視頻信息服務(wù)的使用者和提供者都應(yīng)當(dāng)以顯著的方式對利用深度學(xué)習(xí)技術(shù)制作和發(fā)布的與真實信息不符的音頻或視頻加以標(biāo)識。但遺憾的是,該《規(guī)定》并沒有對違反標(biāo)識義務(wù)的行為做出懲罰性規(guī)定,“這就使得《規(guī)定》的宣示意義大于實踐價值,從而造成法律保護(hù)的缺位”[11]。

      在我國司法實踐中,已經(jīng)出現(xiàn)以AI換臉技術(shù)破解人臉識別進(jìn)而實施詐騙行為的案件——行為人張某、余某為了騙取支付寶的邀請新用戶紅包獎勵,先是非法批量購買公民個人身份信息,之后通過AI換臉技術(shù)將這些非法獲取的公民照片制作成3D頭像,以通過人臉識別認(rèn)證,最終獲取相應(yīng)的紅包獎勵。對于本案,法院判決行為人的行為成立侵犯公民個人信息罪與詐騙罪3。本案對于利用深度偽造技術(shù)從事不法行為的規(guī)制同時包含了事后規(guī)制與事前規(guī)制,其中對利用深度偽造內(nèi)容進(jìn)行騙財?shù)男袨榕刑幵p騙罪,即事后規(guī)制,而事前規(guī)制則表現(xiàn)為侵犯公民個人信息罪。深度偽造行為往往伴隨著侵犯公民個人信息的犯罪,因為深度偽造技術(shù)是以原始圖片、視頻、音頻等信息為基礎(chǔ),通過人工智能技術(shù)合成其他新的圖片、視頻、音頻等,從而進(jìn)一步實施詐騙、敲詐勒索、誹謗、傳播淫穢物品等相關(guān)犯罪。因此,必須重視并嚴(yán)厲打擊侵犯公民個人信息的違法犯罪活動,從而在源頭上遏制深度偽造技術(shù)的濫用[20]。但是,以侵犯公民個人信息罪規(guī)制濫用深度偽造技術(shù)的行為,雖然可以解決對于非法獲取、出售、提供個人生物識別信息行為的懲治問題,卻無法回應(yīng)以合法形式獲取最后被用于非法目的的行為模式。就深度偽造行為而言,行為本身其實就是一種對公民個人信息予以非法利用的情形,“深度偽造行為的不法在于對生物識別信息的濫用”[20]。下文將對于深度偽造這一非法利用公民個人信息的行為如何進(jìn)行刑法規(guī)制展開論述。

      四、深度偽造行為的不法認(rèn)定與刑事歸責(zé)

      當(dāng)下人臉識別已逐漸成為各類應(yīng)用軟件的支付方式、注冊方式,這時一些不法分子便意圖通過換臉“黑科技”進(jìn)行非法牟利。那么對于專門提供深度偽造技術(shù)服務(wù)的行為人,究竟是應(yīng)當(dāng)依據(jù)共犯的認(rèn)定思路,以其所幫助實施的犯罪的共犯論處,還是應(yīng)當(dāng)采取以獨立罪名定罪處罰的刑法制裁思路呢?

      (一)深度偽造行為的不法認(rèn)定

      如果將深度偽造黑色產(chǎn)業(yè)鏈劃分為三個階段:第一階段涉及深度偽造行為之前的公民個人信息的非法獲取、非法出售和非法提供;第二階段是非法使用深度偽造技術(shù)的行為;第三階段則是利用深度偽造內(nèi)容實施詐騙、誹謗等一系列違法犯罪行為。對第一階段的針對公民個人信息安全的犯罪,可以以侵犯公民個人信息罪進(jìn)行規(guī)制;對第三階段的后續(xù)犯罪行為,則直接以行為所構(gòu)成的特定犯罪定罪處罰即可。但是,對于第二階段也就是深度偽造這一行為本身,如果以下游犯罪的共犯定罪處罰,則存在以下疑問:一是,當(dāng)深度偽造技術(shù)處理一旦呈現(xiàn)出產(chǎn)業(yè)化發(fā)展態(tài)勢,那么提供深度偽造技術(shù)服務(wù)的行為人與利用深度偽造內(nèi)容實施下游犯罪的行為人之間缺乏犯罪意思聯(lián)絡(luò),提供技術(shù)服務(wù)的行為人可能并不知道其他犯罪行為人將要實施何種犯罪,所以也就不具有與其他犯罪行為人的共同犯罪故意。這種情況下,對于專門提供深度偽造技術(shù)服務(wù)的行為人,便不能以他人所實施的具體犯罪的共犯定罪論處。二是,根據(jù)通說的共犯限制從屬性理論,在正犯行為應(yīng)當(dāng)構(gòu)成要件并且具有違法性的前提下,共犯才有成立的可能。因此,如果下游行為依法尚不成立犯罪4,而只是構(gòu)成一般違法行為,那么對于專門提供深度偽造技術(shù)服務(wù)的行為人不能以共犯定罪處罰。

      既然共同犯罪理論難以完全回應(yīng)深度偽造的行為不法認(rèn)定問題,有學(xué)者便提出通過增設(shè)專門的“身份盜竊犯罪”[20]來規(guī)制深度偽造不法行為。這一觀點主張深度偽造行為具有相對于下游犯罪的獨立的違法性,而其獨立違法性來源于身份冒用行為,認(rèn)為“深度偽造的內(nèi)容在使用過程中雖然不構(gòu)成犯罪,但因深度偽造內(nèi)容具有身份冒用的可能性,為了防止后續(xù)詐騙等一系列具體犯罪的發(fā)生,因此有必要將深度偽造行為本身以身份盜竊犯罪獨立定罪處罰。”[11]而對此的反對觀點認(rèn)為,“偽造信息的行為本身不具有獨立的違法性,因為偽造行為的目的會被后續(xù)其他行為的目的所吸收,所以深度偽造的行為本身不應(yīng)成為我國刑法的歸責(zé)對象?!盵21]

      本文認(rèn)為,對于非法使用深度偽造技術(shù)的行為應(yīng)當(dāng)予以刑法規(guī)制,但卻不贊同現(xiàn)階段通過增設(shè)專門的罪名來規(guī)制深度偽造中的身份冒用行為。增設(shè)身份盜竊犯罪其實是一種預(yù)備行為實行行為化的立法觀點,但是我國刑法對于預(yù)備犯的處罰應(yīng)當(dāng)僅限于侵犯重大法益的犯罪行為,而并非對任意犯罪行為的預(yù)備行為均可以做出獨立的預(yù)備犯的立法規(guī)定,否則便違背了刑法的謙抑性原則,而且也與當(dāng)下國家大力推進(jìn)人工智能技術(shù)發(fā)展的政策要求背道而馳。此外,那種以對法益的提前保護(hù)為名,將濫用深度偽造技術(shù)的行為傾向于按照共犯理論認(rèn)定為其他犯罪預(yù)備犯的觀點亦為本文所不取。例如,行為人使用深度偽造技術(shù)制作具有身份冒用性質(zhì)的內(nèi)容,如果后續(xù)的犯罪行為尚未著手實施,那么就不能僅以制作者具有實施其他犯罪的目的為由,認(rèn)定深度偽造行為成立后續(xù)犯罪的預(yù)備犯。

      同時,本文也不贊同反對觀點,因為隨著深度偽造技術(shù)的不斷發(fā)展成熟,技術(shù)被濫用的風(fēng)險和由此造成的社會危害也會越來越大,所以刑法對深度偽造行為具有獨立規(guī)制的必要性。在網(wǎng)絡(luò)“換臉詐騙”中,網(wǎng)絡(luò)黑產(chǎn)從業(yè)者通過非法途徑獲取公民照片、手機(jī)號碼、身份證號碼等個人信息,然后將這些非法獲取的個人信息進(jìn)行深度偽造技術(shù)處理,冒用他人身份進(jìn)行人臉實名注冊,最后將虛假注冊的賬號販賣給違法犯罪團(tuán)伙[22]。在這條黑色產(chǎn)業(yè)鏈中,專門提供深度偽造技術(shù)服務(wù)的人員,為他人提供虛假注冊、刷臉支付等黑產(chǎn)服務(wù),幫助他人實施詐騙等違法犯罪活動。相對于傳統(tǒng)幫助犯罪,網(wǎng)絡(luò)犯罪幫助行為呈“一對多”的行為模式,這種幫助行為的社會危害性并不亞于被幫助的下游違法犯罪行為,因此應(yīng)當(dāng)根據(jù)“積量構(gòu)罪”[23]的理念,將這種產(chǎn)業(yè)化提供深度偽造技術(shù)服務(wù)的行為以非法利用信息網(wǎng)絡(luò)罪、幫助信息網(wǎng)絡(luò)犯罪活動罪等獨立罪名定罪論處。

      (二)網(wǎng)絡(luò)服務(wù)提供者的不作為責(zé)任邊界

      面對網(wǎng)絡(luò)虛擬空間中層出不窮的深度偽造導(dǎo)致的身份仿冒亂象,網(wǎng)絡(luò)服務(wù)提供者在技術(shù)治理過程中發(fā)揮著重要作用,應(yīng)當(dāng)依法承擔(dān)網(wǎng)絡(luò)安全監(jiān)管的主體責(zé)任,采取必要的技術(shù)措施維護(hù)網(wǎng)絡(luò)安全。如果深度偽造行為構(gòu)成不法,責(zé)任主體除了深度偽造內(nèi)容制作者外,網(wǎng)絡(luò)服務(wù)提供者也可能因未履行信息網(wǎng)絡(luò)安全管理義務(wù)而承擔(dān)相應(yīng)的不作為責(zé)任。避風(fēng)港原則是網(wǎng)絡(luò)服務(wù)提供者承擔(dān)責(zé)任和責(zé)任豁免的主要依據(jù),網(wǎng)絡(luò)服務(wù)提供者在收到侵權(quán)通知后,應(yīng)當(dāng)及時采取技術(shù)措施減少侵權(quán)內(nèi)容的不利影響。需要注意的是,雖然避風(fēng)港原則的主要內(nèi)容一般被認(rèn)為是“通知—刪除”規(guī)則,但是不應(yīng)僵化地將“通知—刪除”等同于避風(fēng)港原則。換言之,網(wǎng)絡(luò)服務(wù)提供者在經(jīng)通知后,應(yīng)當(dāng)針對其平臺中所發(fā)布的違法的深度偽造內(nèi)容采取技術(shù)措施,但該技術(shù)措施不僅僅限于刪除,還包括其他能夠用以減小危害結(jié)果的必要技術(shù)措施。比如,“在發(fā)現(xiàn)利用深度偽造技術(shù)制作的視聽作品未添加標(biāo)識時,應(yīng)當(dāng)對其添加標(biāo)識以提醒用戶知悉”[11]??傊?,對于不同的深度偽造內(nèi)容,網(wǎng)絡(luò)服務(wù)提供者應(yīng)當(dāng)采取不同的技術(shù)措施:內(nèi)容涉嫌違法的,應(yīng)當(dāng)及時予以刪除;對其他的一般深度偽造內(nèi)容,應(yīng)當(dāng)進(jìn)行標(biāo)識提醒。

      網(wǎng)絡(luò)服務(wù)提供者在經(jīng)權(quán)利人通知后,應(yīng)當(dāng)及時采取刪除、屏蔽等技術(shù)措施,阻止深度偽造內(nèi)容危害后果的進(jìn)一步擴(kuò)大。由于互聯(lián)網(wǎng)環(huán)境普遍的匿名性,深度偽造行為中的被害人尋找制作深度偽造內(nèi)容的行為人存在困難,從而缺乏法律追索途徑,在這種情況下,為了保護(hù)被害人的合法權(quán)益,被害人可以直接請求網(wǎng)絡(luò)平臺采取相應(yīng)的技術(shù)措施以避免損害的進(jìn)一步擴(kuò)大。隨著當(dāng)下國內(nèi)網(wǎng)紅經(jīng)濟(jì)的興起,一些短視頻平臺漸漸成為深度偽造內(nèi)容滋生的沃土。例如,“行為人通過AI換臉技術(shù)偽造明星靳東的頭像和身份,在抖音視頻軟件上與60歲大媽‘談戀愛’,以達(dá)到其銷售產(chǎn)品等目的。假靳東事件爆發(fā)之后,抖音平臺快速作出了反應(yīng):假靳東的相關(guān)賬號大規(guī)模減少,有些尚存在的賬號也將作品清零?!盵24]

      網(wǎng)絡(luò)服務(wù)提供者對于控制網(wǎng)絡(luò)空間中虛假信息的傳播具有重要作用,基于風(fēng)險控制理論,網(wǎng)絡(luò)服務(wù)提供者對于利用其所提供的網(wǎng)絡(luò)平臺等網(wǎng)絡(luò)服務(wù)所發(fā)布的深度偽造內(nèi)容應(yīng)當(dāng)承擔(dān)監(jiān)督管理義務(wù),真正發(fā)揮其作為網(wǎng)絡(luò)平臺的“守門功能”,從而防止虛假信息的大肆傳播。例如,“當(dāng)Reddit事件發(fā)生之后,不僅Reddit關(guān)閉了deepfakes論壇,Twitter等社交平臺也紛紛對此采取抵制措施,F(xiàn)acebook還專門研發(fā)出了一個機(jī)器學(xué)習(xí)模型用于鑒別深度偽造的視頻、圖片等?!盵25]需要注意的是,令網(wǎng)絡(luò)服務(wù)提供者對于深度偽造內(nèi)容承擔(dān)監(jiān)督管理義務(wù),并不是要求網(wǎng)絡(luò)服務(wù)提供者對于在其平臺所發(fā)布的信息逐一進(jìn)行事前審查,一是因為網(wǎng)絡(luò)信息數(shù)量過大,事前監(jiān)管的成本太高;二是因為如果要求所有信息內(nèi)容在經(jīng)過審查后才能發(fā)布,則不利于互聯(lián)網(wǎng)環(huán)境中的文化交流和信息傳播。

      避風(fēng)港原則為平衡網(wǎng)絡(luò)環(huán)境中的信息安全與信息應(yīng)用二者之間的緊張關(guān)系提供了科學(xué)合理的解決方案。避風(fēng)港原則在我國刑法第二百八十六條之一中也有所體現(xiàn),在經(jīng)監(jiān)管部門責(zé)令采取改正措施后,網(wǎng)絡(luò)服務(wù)提供者如果拒不改正的,這種情況下才需要承擔(dān)相應(yīng)的不作為責(zé)任。但是為避免“通知—刪除”規(guī)則成為網(wǎng)絡(luò)服務(wù)提供者逃避責(zé)任的擋箭牌,對于避風(fēng)港制度的立法初衷和具體內(nèi)容需要進(jìn)一步審視和明確。即要求網(wǎng)絡(luò)服務(wù)提供者在收到通知后,除了需要刪除相關(guān)侵權(quán)內(nèi)容,還應(yīng)提高注意義務(wù),采取技術(shù)措施防止同類侵權(quán)內(nèi)容在其平臺上傳,從而避免反復(fù)侵權(quán)現(xiàn)象的繼續(xù)發(fā)生。避風(fēng)港制度雖然為網(wǎng)絡(luò)服務(wù)提供者的責(zé)任豁免提供了依據(jù),但是網(wǎng)絡(luò)服務(wù)提供者不應(yīng)將避風(fēng)港原則作為自身怠于履行網(wǎng)絡(luò)安全監(jiān)管義務(wù)的理由,不應(yīng)把信息網(wǎng)絡(luò)安全管理義務(wù)僅限于通知后的刪除義務(wù),而是還應(yīng)包括提升網(wǎng)絡(luò)運行的安全性,有效防范網(wǎng)絡(luò)違法犯罪活動。

      最后,網(wǎng)絡(luò)服務(wù)提供者還應(yīng)積極研發(fā)針對深度偽造的識別技術(shù),主動回應(yīng)深度偽造行為的不法問題。美國《深度偽造責(zé)任法案》對于深度偽造技術(shù)的治理,提出了政府要成立研究深度合成內(nèi)容的專家小組,負(fù)責(zé)研發(fā)針對深度合成技術(shù)的檢測和反制技術(shù),并與企業(yè)、學(xué)術(shù)科研機(jī)構(gòu)展開合作,從而有效檢測識別與對抗虛假信息。目前,國內(nèi)外已經(jīng)有網(wǎng)絡(luò)平臺開始嘗試通過人工智能算法對深度偽造內(nèi)容進(jìn)行識別,可見人工智能技術(shù)雖然可能作為實施違法犯罪的工具,為網(wǎng)絡(luò)犯罪治理增加難度,但同時也可以被用以反制利用技術(shù)所實施的不法行為,即所謂的技術(shù)反向破解。在國外,美國紐約州立大學(xué)奧爾巴尼分校研究人員提出通過檢測眨眼頻率可以識別偽造的AI換臉視頻?!把芯恐赋霎?dāng)人在說話時,平均每分鐘眨眼26次,但是利用深度偽造技術(shù)制作的換臉主體在視頻中則完全不眨眼,以此可以識別視頻中的主體是否由深度偽造技術(shù)合成?!盵26]在我國,“借助活體人臉檢測技術(shù),如紅外人臉檢測5可以有效分辨真實的人臉和人臉的照片或者視頻?!盵27]除了鑒偽技術(shù)之外,溯源技術(shù)也能夠幫助追蹤、驗證內(nèi)容來源和打擊深度偽造不法行為?!皡^(qū)塊鏈技術(shù)可以完整記錄網(wǎng)絡(luò)空間所發(fā)布的信息內(nèi)容的流轉(zhuǎn)過程,任何篡改都會被記錄,包括由誰制作上傳和轉(zhuǎn)發(fā),均可以精準(zhǔn)追蹤到。”[28]于是,深度偽造內(nèi)容制作者便會謹(jǐn)慎考慮利用深度偽造技術(shù)實施不法行為的成本,也有利于監(jiān)管者審查和追溯信息來源,從而更有效打擊深度偽造不法行為。

      結(jié)? 語

      法律的作用應(yīng)當(dāng)重在疏解而非抑制,針對一項新興技術(shù)所產(chǎn)生的安全風(fēng)險,刑法的過度介入和嚴(yán)厲打擊將會嚴(yán)重挫傷技術(shù)研發(fā)的積極性,不利于技術(shù)發(fā)展和社會進(jìn)步。而且,法律治理手段是一種被動的事后救濟(jì),要想從事前主動降低深度偽造技術(shù)的安全風(fēng)險,必須依靠企業(yè)內(nèi)部治理和行業(yè)自律等多種治理路徑。可無論是法律的規(guī)制,還是網(wǎng)絡(luò)服務(wù)提供者的審查,都有可能出現(xiàn)管理過度或者審查過度的問題,而追求絕對的技術(shù)安全勢必會阻礙技術(shù)的開發(fā)與應(yīng)用,不利于文化交流和公民創(chuàng)作積極性的提高。因此,如何處理好技術(shù)研發(fā)應(yīng)用與個人信息保護(hù)之間的關(guān)系,值得理論界和實務(wù)界的共同關(guān)注和研究。在深度偽造技術(shù)的治理問題上,需要權(quán)衡人工智能技術(shù)的發(fā)展應(yīng)用與該項技術(shù)可能造成的法益侵害二者之間的關(guān)系。“用錘子殺人是非法的,但錘子本身并不是非法的?!盵29]法律所規(guī)制的是借助人工智能深度偽造技術(shù)故意侵害法益的行為,而非針對技術(shù)本身。總之,對于一項新興科學(xué)技術(shù)的應(yīng)用,因噎廢食的做法不應(yīng)該被提倡,在打擊深度偽造技術(shù)濫用行為的同時,發(fā)揮深度偽造技術(shù)對于社會的有益價值,“取其精華、去其糟粕”才是我們應(yīng)該保持的態(tài)度。

      參考文獻(xiàn):

      [1] Judge Herbert B. Dixon Jr. (Ret.). Deepfakes: More Frightening Than Photoshop On Steroids[J]. Judges' Journal,2019,58(3):35.

      [2] 張欽坤.“深度合成”技術(shù)應(yīng)用呼喚包容審慎、分類監(jiān)管[EB/OL].(2020?09?25)[2021?03?23].https://www.sohu.com/a/420864149_455313.

      [3] 曹建峰.為技術(shù)正名:深度合成≠深度偽造[EB/OL].(2020?05?29)[2021?03?25].https://www.sohu.com/a/398418909_353595.

      [4] AI換臉視頻惹爭議 究竟是技術(shù)的革新還是濫用[EB/OL].(2019?04?22)[2021?04?02].https://baijiahao.baidu.com/s?id=1631477732371261852&wfr=spider&for=pc.

      [5] Robert Chesney, Danielle Keats Citron. Deep Fakes: A Looming Challenge for Privacy, Democracy, and National Security[EB/OL].(2019?12?17)[2021?03?22]. https://papers.ssrn.com/sol3/papers.cfm?abstract_id=3213954.

      [6] 英國黃鉛筆獎公布,為失語漸凍人設(shè)計的語音合成項目拿到了最高榮譽(yù)[EB/OL].(2019?05?24)[2021?04?12].http://www.qdaily.com/articles/64017.html.

      [7] 王祿生.論“深度偽造”智能技術(shù)的一體化規(guī)制[J].東方法學(xué),2019(6):64.

      [8] Jill Lepore, Party Time[EB/OL].(2012?09?17)[2021?03?13].https://www.newyorker.com/magazine/2007/09/17/party?time.

      [9] Jeremy Hsu, Experts Bet on First Deepfakes Political Scandal[EB/OL].(2018?06?22)[2021?02?22].https://spectrum.ieee.org/tech?talk/robotics/artificial?intelligence/experts?bet?on?first?deepfakes?political?scandal.

      [10] Clarke introduces bill to combat high?tech altered videos[EB/OL].(2019?06?14)[2021?04?02].https://brooklyneagle.com/articles/2019/06/14/clarke?introduces?bill?to?combat?high?tech?altered?videos.

      [11] 李騰.“深度偽造”技術(shù)的刑法規(guī)制體系構(gòu)建[J].中州學(xué)刊,2020(10):57?61.

      [12] 王德政.針對生物識別信息的刑法保護(hù):現(xiàn)實境遇與完善路徑——以四川“人臉識別案”為切入點[J].重慶大學(xué)學(xué)報(社會科學(xué)版),2021(2):133.

      [13] Zachary Schapiro. Deep Fakes Accountability Act: Overbroad And Ineffective[J]. Boston College Intellectual Property & Technology Forum,2020,1:15.

      [14] Anna Yamaoka?Enkerlin. Disrupting Disinformation:Deepfakes And The Law[J].NYU Journal of Legislation and Public Policy,2019?2020,22 :740.

      [15] 李鵬飛.各國涉Deepfake等人工智能造假技術(shù)立法概況[EB/OL].(2020?02?19)[2021?03?23].https://mp.weixin.qq.com/s?__biz=MzI1OTExNDY1NQ==&mid=26515 40276&idx=1&sn=7346412c2efcd328f8ca67036062f77a &scene=21#wechat_redirect.

      [16] 史安斌,胡宇.向虛假信息宣戰(zhàn):歐盟的探索[J]青年記者,2018(34):76.

      [17] 曹建峰.深度偽造技術(shù)的法律挑戰(zhàn)及應(yīng)對[J].信息安全與通信保密,2019(10):37.

      [18] Dr. Antonios Kouroutakis.EU Action Plan Against Disinformation: Public Authorities, Platforms And The People[J]. International Lawyer,2020,53:277.

      [19] Sasha Ingber, Students In Ukraine Learn How To Spot Fake Stories, Propaganda And Hate Speech[EB/OL].(2019?03?22)[2021?02?21].https://www.npr.org/2019/03/22/705809811/students?in?ukraine?learn?how?to?spot?fake?stories?propaganda?and?hate?speech.

      [20] 李懷勝.濫用個人生物識別信息的刑事制裁思路——以人工智能“深度偽造”為例[J].政法論壇,2020(4):146?151.

      [21] 敬力嘉.作為行為不法類型的犯罪參與——兼論非法發(fā)布深度偽造信息的行為不法[J].華東政法大學(xué)學(xué)報,2020(6):84.

      [22] 照片活化瞞過人臉識別,冒用他人身份虛假注冊,深圳警方打掉一新型犯罪團(tuán)伙抓獲13人[EB/OL].(2020?07?31)[2021?04?12].https://www.sohu.com/a/410804526_161795.

      [23] 皮勇.論新型網(wǎng)絡(luò)犯罪立法及其適用[J].中國社會科學(xué),2018(10):126.

      [24]? “假靳東”鬧劇閱讀量超16億,“中老年粉絲”正在攻占短視頻?[EB/OL].(2020?10?14)[2021?04?01].https://view.inews.qq.com/a/20201014A0IGJS00.

      [25] CSIS報告:深度偽造 (Deepfake) 技術(shù)政策簡報[EB/OL].(2019?11?04)[2021?04?02].https://baijiahao.baidu.com/s?id=1649210824690842612&wfr=spider&for=pc.

      [26] Yuezun Li, Ming?Ching Chang and Siwei Lyu,In Ictu Oculi: Exposing AI Generated Fake Face Videos by Detecting Eye Blinking[EB/OL].(2018?06?11)[2021?04?03]. https://arxiv.org/pdf/1806.02877.pdf.

      [27] 刷臉時代我們的個人隱私或財產(chǎn)安全嗎?專家解讀[EB/OL].(2020?10?26)[2021?03?01].https://baijiahao.baidu.com/s?id=1681617875995927630&wfr=spider&for=pc.

      [28] 張收鵬.區(qū)塊鏈技術(shù)在傳媒業(yè)的創(chuàng)新應(yīng)用[J].新聞戰(zhàn)線,2018(23):120.

      [29] Douglas Harris.Deepfakes:False Pornography Is Here And The Law Cannot Protect You[J]. Duke Law & Technology Review,2019,17:127.

      The Criminal Law Approach to Deep Fake

      Li Minglu

      (School of Law, Wuhan University, Wuhan 430072, China)

      Abstract: The application of artificial intelligence deep fake technology has progressive significance in many fields such as medical treatment, education, entertainment, etc. However, the abuse of technology may cause damage to the interests of the country, society, and the legitimate rights and interests of individuals. The criminal law should regulate the abuse of deep fake technology, at the same time, strengthen the protection of citizens' personal information security from the perspective of risk prevention and control. The act of providing deep?fake technical services has gradually developed into a link in the network black industry chain. It is difficult to respond to the illegal identification of the abuse of deep?fake technology using traditional joint crime theories. For this kind of "one?to?many" criminal assistance behavior, the criminal law can adopt the sanctions based on independent crimes. For the content of deep fakes, the network service providers shall fulfill their information network security management obligations in accordance with the law and implement platform supervision responsibilities.

      Key words: deep fake; deep synthesis; biometric information; personal information protection; network service provider

      猜你喜歡
      個人信息保護(hù)
      互聯(lián)網(wǎng)+大數(shù)據(jù)模式下的個人信息保護(hù)
      智富時代(2017年8期)2017-10-18 08:07:06
      論網(wǎng)購環(huán)境下消費者的個人信息保護(hù)
      山東青年(2017年5期)2017-10-09 12:45:42
      大數(shù)據(jù)時代的網(wǎng)絡(luò)搜索與個人信息保護(hù)研究
      魅力中國(2017年21期)2017-06-16 16:25:46
      謹(jǐn)防電信詐騙的研究
      從徐玉玉案反思我國的個人信息保護(hù)問題
      如何做好法律領(lǐng)域的個人信息保護(hù)
      東方教育(2016年3期)2016-12-14 20:18:10
      我國大數(shù)據(jù)時代個人信息保護(hù)研究綜述
      個人信息保護(hù)中的自律與監(jiān)督
      移動互聯(lián)環(huán)境中個人信息保護(hù)的調(diào)查與分析—以大學(xué)生為例
      大數(shù)據(jù)時代個人信息管理與保護(hù)
      上思县| 西藏| 拜泉县| 贵溪市| 四会市| 澄江县| 长武县| 浦江县| 泸溪县| 巴塘县| 黑山县| 武宣县| 蕲春县| 宁乡县| 潼关县| 临漳县| 静海县| 沧源| 榆中县| 唐海县| 叶城县| 北票市| 武功县| 天台县| 晋城| 永福县| 开原市| 健康| 沾益县| 玉龙| 凤凰县| 庆城县| 长葛市| 南皮县| 柞水县| 澎湖县| 蒲江县| 上虞市| 资溪县| 渭南市| 罗平县|