• 
    

    
    

      99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

      ChatGPT沖擊下敏感個(gè)人信息的應(yīng)對(duì)與保護(hù)

      2023-11-12 17:06:09張煒羿
      關(guān)鍵詞:個(gè)人信息保護(hù)法人工智能

      摘 要:人工智能聊天機(jī)器人ChatGPT橫空出世,瞬間成為全世界關(guān)注的焦點(diǎn),全球用戶量激增的背后,也蘊(yùn)含了人們對(duì)于個(gè)人信息安全的擔(dān)憂,特別是對(duì)敏感個(gè)人信息的保護(hù)問(wèn)題。ChatGPT利用網(wǎng)絡(luò)爬蟲(chóng)采集互聯(lián)網(wǎng)數(shù)據(jù)引發(fā)合法性與合規(guī)性的爭(zhēng)議,算法黑箱的不透明性始終挑戰(zhàn)著數(shù)據(jù)處理透明化的原則,而深究沖突的本質(zhì),是人工智能時(shí)代下數(shù)據(jù)的自由流通、共享與敏感個(gè)人信息保護(hù)之間的矛盾。為此,在規(guī)范網(wǎng)絡(luò)爬蟲(chóng)的使用、提高人工智能算法透明度的同時(shí),也要加強(qiáng)對(duì)人工智能各個(gè)階段的監(jiān)管與問(wèn)責(zé)以提高ChatGPT和類ChatGPT系統(tǒng)保護(hù)敏感個(gè)人信息的安全性和可信性。

      關(guān)鍵詞:ChatGPT;人工智能;敏感個(gè)人信息;《個(gè)人信息保護(hù)法》

      2022年11月,美國(guó)人工智能公司Open AI推出了人工智能聊天機(jī)器人程序ChatGPT。ChatGPT在正式上線的第一周用戶數(shù)量便突破百萬(wàn),兩個(gè)月內(nèi)全球活躍用戶數(shù)量破億,打敗TikTok(抖音海外版)和Instagram(照片墻),成為史上用戶數(shù)增速最快的應(yīng)用程序,被譽(yù)為“繼2016年打敗人類圍棋冠軍的AlphaGo之后,人工智能的又一重要突破”。并迅速引領(lǐng)新一代人工智能發(fā)展的浪潮。2023年初,微軟成功將ChatGPT接入其搜索引擎Bing中,在短短14個(gè)小時(shí)內(nèi)被推上了美國(guó)iOS下載總榜的第23名;幾乎同一時(shí)間,谷歌CEO官宣了其對(duì)標(biāo)ChatGPT的產(chǎn)品——巴德(Bard);Meta首席執(zhí)行官馬克·扎克伯格表示,他的目標(biāo)是讓Meta成為內(nèi)容生成式人工智能的領(lǐng)導(dǎo)者。國(guó)內(nèi)層面,百度、阿里巴巴等科技公司也正在投入大量人力物力研發(fā)類ChatGPT系統(tǒng)。

      ChatGPT不僅代表了AIGC(AI Generated Content,人工智能內(nèi)容生成)技術(shù)的最新成果和當(dāng)前自然語(yǔ)言生成式AI發(fā)展的最高成就,而且?guī)?lái)了商業(yè)模式的創(chuàng)新和產(chǎn)業(yè)結(jié)構(gòu)的升級(jí);但同時(shí)以ChatGPT為代表的內(nèi)容生成式AI也在不斷挑戰(zhàn)著社會(huì)倫理的界限和數(shù)據(jù)安全的底線,ChatGPT需要在海量自然語(yǔ)言數(shù)據(jù)基礎(chǔ)上進(jìn)行訓(xùn)練,并使用機(jī)器學(xué)習(xí)算法生成與訓(xùn)練數(shù)據(jù)相似的新內(nèi)容。這些語(yǔ)料庫(kù)大部分來(lái)自互聯(lián)網(wǎng)抓取,原始數(shù)據(jù)的抓取是否合法?如何在人工智能時(shí)代實(shí)現(xiàn)數(shù)據(jù)的流通共享與個(gè)人信息的保護(hù)?本文將以ChatGPT的誕生、發(fā)展為切入口,探討ChatGPT沖擊之下如何保護(hù)敏感個(gè)人信息。

      一、ChatGPT的基本概念和技術(shù)架構(gòu)

      (一)何為ChatGPT

      ChatGPT全稱為“Chat Generative Pre-trained Transformed”,是一款基于GPT-3.5語(yǔ)言模型的聊天機(jī)器人。ChatGPT可以處理自然語(yǔ)言,與用戶進(jìn)行溝通,當(dāng)用戶輸入指令(Prompt)后,它可以準(zhǔn)確理解用戶意圖,根據(jù)指令生成或長(zhǎng)或短的回答,并可以與其他AIGC聯(lián)動(dòng),生成圖片、視頻等。ChatGPT不僅可以應(yīng)用于日常對(duì)話,還可以進(jìn)行語(yǔ)言翻譯、撰寫(xiě)商業(yè)計(jì)劃書(shū)、法律咨詢和編寫(xiě)代碼等活動(dòng),并且能夠敢于質(zhì)疑、承認(rèn)錯(cuò)誤、拒絕不合理請(qǐng)求,做到與人類流暢且?guī)缀鯚o(wú)差別的交流。20世紀(jì)50年代,英國(guó)數(shù)學(xué)家圖靈提出“圖靈測(cè)試”,即處于密閉小屋內(nèi)的測(cè)試者通過(guò)打字分別與兩個(gè)測(cè)試對(duì)象進(jìn)行對(duì)話,其中一個(gè)測(cè)試對(duì)象是計(jì)算機(jī),另一個(gè)則是活生生的人,測(cè)試者通過(guò)不斷提出問(wèn)題、接收測(cè)試對(duì)象的回答來(lái)判斷小屋外是人還是計(jì)算機(jī),如果計(jì)算機(jī)能夠非常好的模仿人類的回答而讓測(cè)試者產(chǎn)生了誤判,則代表通過(guò)了“圖靈測(cè)試”[1],ChatGPT被認(rèn)為是如今最接近“圖靈測(cè)試”的AI模型。

      從ChatGPT輸入和輸出的邏輯來(lái)看,ChatGPT是在生成式預(yù)訓(xùn)練變換模型(Generative Pre-Trained Transformer,GPT)的底層技術(shù)之上,經(jīng)由不斷迭代發(fā)展而來(lái)的。GPT-1、GPT-2、GPT-3以及ChatGPT都是采用Transformer為核心結(jié)構(gòu)的模型,2018年Open AI公司推出的GPT-1,其參數(shù)量為1.17億,預(yù)訓(xùn)練數(shù)據(jù)量約為5GB,而在2020年5月推出的GPT-3,參數(shù)量就已達(dá)到了驚人的1750億,預(yù)訓(xùn)練數(shù)據(jù)量約45TB,海量數(shù)據(jù)通過(guò)Transformer的“自注意力機(jī)制”(Self Attention)被GPT深度學(xué)習(xí),在無(wú)監(jiān)督訓(xùn)練模式下,得到通用的“預(yù)訓(xùn)練”版本模型。ChatGPT在GPT-3的基礎(chǔ)上,新加入RLHF(Reinforcement Learning from Human Feedback,人類反饋強(qiáng)化學(xué)習(xí)),通過(guò)人工對(duì)模型的多個(gè)回答進(jìn)行標(biāo)注排序,進(jìn)而形成了無(wú)限接近人類自身的回答。

      (二)ChatGPT的模型基礎(chǔ)

      1. 大規(guī)模語(yǔ)言模型

      近年來(lái),“大規(guī)模預(yù)訓(xùn)練+微調(diào)”已經(jīng)成為深度學(xué)習(xí)多領(lǐng)域處理目標(biāo)任務(wù)的新范式,預(yù)訓(xùn)練技術(shù)需要利用廣泛的文本數(shù)據(jù)訓(xùn)練深層網(wǎng)絡(luò)結(jié)構(gòu),并得到一個(gè)通用的大規(guī)模語(yǔ)言模型(Large Language Model,LLM)。語(yǔ)言模型是自然語(yǔ)言生成式AI的基礎(chǔ),它要求打造一個(gè)核心函數(shù)P,這個(gè)函數(shù)可以根據(jù)一個(gè)句子前面的所有單詞來(lái)計(jì)算下一個(gè)單詞出現(xiàn)的概率,把這些單詞的概率相乘,如果數(shù)值越大,則代表越接近人類的語(yǔ)言。自“神經(jīng)網(wǎng)絡(luò)”概念被提出以來(lái),AI研究人員一直試圖在計(jì)算機(jī)中打造類人腦神經(jīng)元的網(wǎng)絡(luò)結(jié)構(gòu),語(yǔ)言模型的提出讓人們開(kāi)始探索“神經(jīng)網(wǎng)絡(luò)語(yǔ)言模型”(Neural Network Language Model,NNLM)的可能性。

      2017年底,Google研究人員發(fā)表了里程碑式的論文:《Attention Is All You Need》,提出在機(jī)器翻譯上大量采用“自注意力機(jī)制”進(jìn)行深度學(xué)習(xí),“自注意機(jī)制”疊加所構(gòu)成的深度網(wǎng)絡(luò)也就是目前GPT和Bard等自然語(yǔ)言生成式AI的核心模型——Transformer?!白宰⒁饬C(jī)制”改變了過(guò)去人們?cè)贜NLM領(lǐng)域關(guān)注輸入要素與輸出要素之間關(guān)系的研究方向,將重點(diǎn)放在輸入要素或者輸出要素之間的內(nèi)在聯(lián)系機(jī)制上,以此為基礎(chǔ)的AI模型更能從邏輯上理解人類單詞之間的語(yǔ)義關(guān)系。同時(shí),正是因?yàn)門(mén)ransformer模型能夠計(jì)算出輸入元素之間的關(guān)聯(lián),它可以實(shí)現(xiàn)不需要標(biāo)注樣本的自我監(jiān)督式學(xué)習(xí),大大節(jié)省了預(yù)訓(xùn)練進(jìn)行人工標(biāo)注的金錢(qián)和時(shí)間成本。這也就是GPT能夠在短短幾年時(shí)間內(nèi)完成迭代,并將1750億參數(shù)作為其訓(xùn)練數(shù)據(jù)源的原因。

      2. 人類反饋強(qiáng)化學(xué)習(xí)

      GPT模型通過(guò)Transformer機(jī)制可以理解句子中各個(gè)單詞之間的邏輯關(guān)系,但是純粹基于Transformer機(jī)制來(lái)進(jìn)行學(xué)習(xí)未必能使AI了解人類Prompt真實(shí)的意圖,而且給出的答案也未必符合人類社會(huì)的公序良俗和語(yǔ)言習(xí)慣,Google-BERT和GPT-2就曾經(jīng)出現(xiàn)過(guò)生成有害答案的趨勢(shì),因此ChatGPT在GPT-3的基礎(chǔ)之上加入了新的訓(xùn)練方法——人類反饋強(qiáng)化學(xué)習(xí)(RLHF)。

      RLHF訓(xùn)練是通過(guò)人工標(biāo)注好的數(shù)據(jù)對(duì)GPT-3.5模型進(jìn)行微調(diào)(fine-tuned),對(duì)模型生成的答案進(jìn)行打分排序,高質(zhì)量的答案進(jìn)行獎(jiǎng)勵(lì)(reward)、反饋錯(cuò)誤的答案進(jìn)行懲罰,使ChatGPT可以模仿人類偏好,經(jīng)過(guò)反復(fù)迭代生成更高質(zhì)量的回答。因此,ChatGPT相較于其他問(wèn)答式AI有著更強(qiáng)的道德約束性,當(dāng)被詢問(wèn)到一些敏感或者超越道德邊界的問(wèn)題時(shí),ChatGPT基本都能察覺(jué)并且回避。但是,雖然ChatGPT通過(guò)RLHF進(jìn)行強(qiáng)化學(xué)習(xí),仍然存在生成錯(cuò)誤或者偏見(jiàn)性答案的情況,并且ChatGPT在前期大規(guī)模預(yù)訓(xùn)練中抓取來(lái)自不同國(guó)家、不同平臺(tái)的海量信息,對(duì)全球數(shù)據(jù)安全帶來(lái)不小的沖擊。

      二、敏感個(gè)人信息的概述和保護(hù)現(xiàn)狀

      (一)敏感個(gè)人信息概述

      1. 敏感個(gè)人信息的界定

      在《個(gè)人信息保護(hù)法》出臺(tái)之前,我國(guó)并沒(méi)有對(duì)敏感個(gè)人信息的保護(hù)作特別規(guī)定,也沒(méi)有在個(gè)人信息中區(qū)分一般個(gè)人信息和敏感個(gè)人信息?!睹穹ǖ洹返?034條原則性地規(guī)定了“自然人的個(gè)人信息受法律保護(hù)”,雖然沒(méi)有直接采用敏感個(gè)人信息的概念,但在第2款列舉的受法律保護(hù)的個(gè)人信息中,可以看到身份證件號(hào)碼、生物識(shí)別信息、健康信息、行蹤信息等實(shí)質(zhì)上屬于敏感個(gè)人信息;第3款對(duì)“私密信息”作出了規(guī)定,私密信息與敏感個(gè)人信息存在交叉,所以實(shí)質(zhì)上也增強(qiáng)了對(duì)敏感個(gè)人信息的保護(hù)?!墩餍艠I(yè)管理?xiàng)l例》第14條規(guī)定征信機(jī)構(gòu)不得采集個(gè)人宗教信仰、血型、基因等個(gè)人信息,并且在第2款規(guī)定不得采集個(gè)人收入、存款、有價(jià)證券等信息,除非信息主體同意;《最高人民法院關(guān)于審理使用人臉識(shí)別技術(shù)處理個(gè)人信息相關(guān)民事案件適用法律若干問(wèn)題的規(guī)定》從司法實(shí)踐的角度對(duì)人臉信息進(jìn)行保護(hù)。由此可見(jiàn),盡管《個(gè)人信息保護(hù)法》首次提出“敏感個(gè)人信息”的概念并作出了具體、全面的規(guī)定,但是之前已經(jīng)有了立法和實(shí)踐的經(jīng)驗(yàn),而且對(duì)敏感個(gè)人信息的保護(hù)一直秉持“告知+同意”的處理原則。

      《個(gè)人信息保護(hù)法》第28條通過(guò)“概括+列舉”的方式對(duì)敏感個(gè)人信息下定義,敏感個(gè)人信息是指一旦泄露或者被非法使用,容易導(dǎo)致自然人的人格尊嚴(yán)受到侵害或者人身、財(cái)產(chǎn)安全受到危害的個(gè)人信息,包括生物識(shí)別、宗教信仰、醫(yī)療健康等信息。該概念雖然是從敏感個(gè)人信息受到侵害時(shí)的認(rèn)定標(biāo)準(zhǔn)出發(fā)對(duì)敏感個(gè)人信息作出的界定,但也明確了敏感個(gè)人信息是與自然人的人格尊嚴(yán)或者人身財(cái)產(chǎn)安全具有密切聯(lián)系的個(gè)人信息[2],與一般個(gè)人信息進(jìn)行區(qū)分。

      2. 敏感個(gè)人信息的保護(hù)路徑

      (1)限定處理敏感個(gè)人信息的要件

      因?yàn)槊舾袀€(gè)人信息的特殊性,其處理一方面給信息主體帶來(lái)巨大風(fēng)險(xiǎn),另一方面又具有極高的利用價(jià)值和公共價(jià)值,因此幾乎沒(méi)有國(guó)家完全禁止個(gè)人信息處理者處理敏感個(gè)人信息,只是在立法價(jià)值上有所取舍。例如歐盟的《通用數(shù)據(jù)保護(hù)條例》(GDPR)和韓國(guó)的《個(gè)人信息保護(hù)法》都采用的是“一般禁止+例外”的模式;但是我國(guó)沒(méi)有采取這種模式,而是規(guī)定一般個(gè)人信息和敏感個(gè)人信息都可以處理,但是對(duì)敏感個(gè)人信息的處理作出特別規(guī)定,即必須滿足三要件——特定的目的、充分的必要性、采取嚴(yán)格保護(hù)措施。

      《個(gè)人信息保護(hù)法》第6條規(guī)定:處理個(gè)人信息應(yīng)當(dāng)具有明確、合理的目的。這是處理個(gè)人信息的一般原則性規(guī)定,但是處理敏感信息在此基礎(chǔ)上還要求具有“特定目的”。特定目的意味著,個(gè)人信息處理者的職業(yè)或者活動(dòng)決定了其能否為某一目的而處理該敏感個(gè)人信息[3],例如醫(yī)務(wù)人員只有在治療患者疾病時(shí)才能處理患者的醫(yī)療健康信息。

      充分的必要性要求信息處理者處理敏感個(gè)人信息是實(shí)現(xiàn)其特定目的不可或缺的、必不可少的。例如金融理財(cái)服務(wù)提供者只有掌握了金融賬戶信息才能開(kāi)展理財(cái)活動(dòng)。相反,如果可以在不收集敏感個(gè)人信息的情況下也能實(shí)現(xiàn)特定目的,則不滿足此項(xiàng)要求。

      敏感個(gè)人信息的不當(dāng)處理極易造成信息主體的人格權(quán)益和人身、財(cái)產(chǎn)權(quán)益受到侵害,因此在滿足特定目的、充分必要性的基礎(chǔ)之上,還需要對(duì)敏感個(gè)人信息進(jìn)行嚴(yán)格保護(hù)。所謂嚴(yán)格保護(hù)措施主要規(guī)定在《個(gè)人信息保護(hù)法》第五章中,個(gè)人信息處理者應(yīng)當(dāng)對(duì)一般個(gè)人信息和敏感個(gè)人信息進(jìn)行分類,并采取加密、去標(biāo)識(shí)化等安全技術(shù)措施,在處理敏感個(gè)人信息時(shí),應(yīng)當(dāng)事前進(jìn)行評(píng)估和記錄處理情況。

      (2)敏感個(gè)人信息處理中的“特別告知+單獨(dú)同意”規(guī)則

      處理個(gè)人信息一般應(yīng)遵循“告知+同意”規(guī)定,但是處理敏感個(gè)人信息時(shí),《個(gè)人信息保護(hù)法》為個(gè)人信息處理者強(qiáng)加了“特別告知”義務(wù)和取得信息主體“單獨(dú)同意”的規(guī)定。

      《個(gè)人信息保護(hù)法》第17條規(guī)定了個(gè)人信息處理者告知義務(wù)的“一般規(guī)定”,第30條規(guī)定處理敏感個(gè)人信息時(shí)還需要另行告知處理的必要性和對(duì)個(gè)人權(quán)益的影響。一是處理的必要性,并不能由信息處理者自行決定處理是否必要,而是應(yīng)當(dāng)要求處理者將信息處理的必要性告知個(gè)人,由個(gè)人判斷信息處理是否必要;二是對(duì)個(gè)人權(quán)益的理解,個(gè)人權(quán)益是指?jìng)€(gè)人享有的所有法律上賦予的權(quán)利,信息處理者在處理個(gè)人敏感信息時(shí)對(duì)個(gè)人權(quán)益帶來(lái)的或大或小的損害都應(yīng)及時(shí)告知,保障個(gè)人的知情權(quán)。

      “單獨(dú)同意”意味著敏感信息的處理同意不能歸入一攬子授權(quán)之中,而是應(yīng)該將敏感個(gè)人信息區(qū)分開(kāi)來(lái),單獨(dú)告知并取得同意,這才是所謂的“單獨(dú)同意”。如果信息處理者將敏感個(gè)人信息同意與其他授權(quán)進(jìn)行捆綁,則該同意無(wú)效。

      盡管法條對(duì)“告知+同意”有了明確規(guī)定,但是信息不對(duì)稱以及市場(chǎng)中消費(fèi)者與商家地位的不平等,實(shí)踐中的“單獨(dú)同意”多數(shù)情況下流于形式,個(gè)人很難理解敏感個(gè)人信息帶來(lái)的風(fēng)險(xiǎn)并做出選擇,“同意”的作用正在虛化和異化。目前必須針對(duì)大數(shù)據(jù)中越來(lái)越普遍的數(shù)據(jù)采集和信息爬取,完善“告知+同意”規(guī)則。

      (二)比較法視角下敏感個(gè)人信息的保護(hù)

      敏感個(gè)人信息的概念出現(xiàn)較早,20世紀(jì)70年代德國(guó)黑森州《個(gè)人資料保護(hù)法》和瑞典《資料法》中就曾出現(xiàn)過(guò)敏感資料的概念。但目前普遍認(rèn)為敏感個(gè)人信息的概念濫觴于1980年經(jīng)濟(jì)合作與發(fā)展組織(OECD)起草的《隱私保護(hù)與個(gè)人數(shù)據(jù)跨境流動(dòng)準(zhǔn)則》(Guidelines on the Protection of Privacy and Transborder Flows of Personal Data,以下簡(jiǎn)稱OECD《指南》)。OECD《指南》對(duì)敏感個(gè)人信息問(wèn)題進(jìn)行了探討,但是最終并沒(méi)有進(jìn)行特別規(guī)定,因?yàn)镺ECD專家組認(rèn)為數(shù)據(jù)的敏感性來(lái)源于其所處的環(huán)境,因此對(duì)何謂敏感數(shù)據(jù)無(wú)法達(dá)成共識(shí)。

      目前世界主要國(guó)家都對(duì)敏感個(gè)人信息作出特別保護(hù),歐盟GDPR使用“特殊類型數(shù)據(jù)”這一概念;日本《日本個(gè)人信息保護(hù)法》將其稱為“需注意的個(gè)人信息”;美國(guó)聯(lián)邦層面至今尚未出臺(tái)有關(guān)個(gè)人信息的專門(mén)立法[4],只在零散的州法規(guī)以及各個(gè)行業(yè)的軟法中出現(xiàn)。這可能是因?yàn)槊舾袀€(gè)人數(shù)據(jù)并不是一個(gè)達(dá)成普遍共識(shí)的法律術(shù)語(yǔ),而且因?yàn)樾骂愋兔舾袛?shù)據(jù)的層出不窮,其歸入與擇出標(biāo)準(zhǔn)也存在爭(zhēng)議[5]。

      歐盟GDPR對(duì)個(gè)人信息進(jìn)行了分層處理,一是對(duì)一般個(gè)人信息的規(guī)定,包括種族、政治觀點(diǎn)、宗教信仰等,這些數(shù)據(jù)可以處理,但是不得泄露;二是個(gè)人敏感數(shù)據(jù),包括個(gè)人基因信息、生物特征信息這種可以識(shí)別到特定主體的信息,原則上禁止以識(shí)別為目的的處理;三是關(guān)于健康數(shù)據(jù)、性生活、性取向信息原則上禁止處理[6]。美國(guó)加利福尼亞州于2020年11月通過(guò)《加州隱私法案》(California Privacy Rights Act of 2020,CPRA),將敏感個(gè)人信息作為新的個(gè)人信息類別并單獨(dú)監(jiān)管,還規(guī)定了企業(yè)如果計(jì)劃收集或使用任何敏感個(gè)人信息,必須對(duì)個(gè)人進(jìn)行特別通知,并且個(gè)人可以要求企業(yè)停止出售、共享和使用這些信息。并且在金融領(lǐng)域、通信領(lǐng)域、教育領(lǐng)域都出臺(tái)了特定敏感信息法案。

      由以上歐美立法經(jīng)驗(yàn)可知,相對(duì)于一般信息,主要國(guó)家和地區(qū)的立法中均對(duì)敏感個(gè)人信息實(shí)行強(qiáng)化保護(hù),這種強(qiáng)化保護(hù)是指信息處理者在處理有關(guān)敏感個(gè)人信息問(wèn)題時(shí),不僅要遵循法律關(guān)于一般個(gè)人信息使用的規(guī)定,而且還要提高注意義務(wù),遵守針對(duì)敏感個(gè)人信息保護(hù)的特別規(guī)定,在適用順序上,首先選擇適用敏感個(gè)人信息的保護(hù)規(guī)則。具體規(guī)范上,采用“一般禁止+例外”的立法模式,一方面,明確了禁止收集和處理的原則;另一方面,規(guī)定了嚴(yán)格限定的例外情形。

      三、現(xiàn)實(shí)沖擊,ChatGPT與敏感個(gè)人信息保護(hù)之間的矛盾

      (一)網(wǎng)絡(luò)爬蟲(chóng)造成的數(shù)據(jù)爬取合法合規(guī)性風(fēng)險(xiǎn)

      ChatGPT訓(xùn)練大型語(yǔ)言模型所使用的數(shù)據(jù)主要依靠網(wǎng)絡(luò)爬蟲(chóng)技術(shù)在互聯(lián)網(wǎng)爬取大量信息。根據(jù)OpenAI公司公開(kāi)的文檔顯示,ChatGPT的原始訓(xùn)練集有至少60%的數(shù)據(jù)來(lái)自互聯(lián)網(wǎng)抓取,其來(lái)源包括博客平臺(tái)、維基百科、獨(dú)立網(wǎng)站等,這些數(shù)據(jù)都是由網(wǎng)絡(luò)爬蟲(chóng)進(jìn)行技術(shù)支撐。網(wǎng)絡(luò)爬蟲(chóng)本質(zhì)上是一段計(jì)算機(jī)程序或腳本,它按照一定的邏輯和算法規(guī)則自動(dòng)爬取萬(wàn)維網(wǎng)信息,并可以自動(dòng)采集所有其能夠訪問(wèn)到的頁(yè)面數(shù)據(jù),還可以對(duì)采集到的數(shù)據(jù)進(jìn)行后續(xù)的挖掘分析[7]。目前,爬蟲(chóng)技術(shù)被廣泛地應(yīng)用于互聯(lián)網(wǎng)搜索引擎或其他網(wǎng)站,比如百度搜索引擎的爬蟲(chóng)叫百度蜘蛛、360的爬蟲(chóng)叫360Spider、搜狗的爬蟲(chóng)叫Sougouspider。

      但是,網(wǎng)絡(luò)爬蟲(chóng)有其固有的缺點(diǎn),特別是針對(duì)ChatGPT這種數(shù)據(jù)需求量巨大的AI模型,數(shù)據(jù)的采集難免會(huì)涉及個(gè)人信息,甚至可能是敏感個(gè)人信息,這些信息作為ChatGPT訓(xùn)練集的一部分,被反復(fù)迭代學(xué)習(xí),構(gòu)成對(duì)敏感個(gè)人信息的侵權(quán);而且這種大規(guī)模的采集數(shù)據(jù)也一般不可能滿足敏感個(gè)人信息“特別告知+單獨(dú)同意”的規(guī)定。盡管從OpenAI公開(kāi)策略來(lái)看,其收集信息還是會(huì)遵循Robots協(xié)議(Robots Exclusion Protocol,爬蟲(chóng)排除標(biāo)準(zhǔn)),但是Robots協(xié)議目前只是一種道德規(guī)范和行業(yè)標(biāo)準(zhǔn),并不具有法律效力,且OpenAI目前公布的隱私政策并沒(méi)有涉及它在數(shù)據(jù)采集階段如何保護(hù)個(gè)人敏感信息,因此ChatGPT收集的訓(xùn)練數(shù)據(jù)是否合法有待商榷。

      (二)算法黑箱與數(shù)據(jù)處理透明化之間的矛盾

      從一開(kāi)始,人們制定數(shù)據(jù)保護(hù)法的目的就是構(gòu)建和限制對(duì)個(gè)人數(shù)據(jù)的處理,并使其對(duì)數(shù)據(jù)主體透明。1977年《德國(guó)聯(lián)邦數(shù)據(jù)保護(hù)法》第3節(jié)已經(jīng)規(guī)定了除非有法定依據(jù)或者征得了個(gè)人的同意,原則上禁止處理個(gè)人信息。此后這一數(shù)據(jù)處理方式得以沿用,并體現(xiàn)在《通用數(shù)據(jù)保護(hù)條例》(GDPR)中。我國(guó)《個(gè)人數(shù)據(jù)保護(hù)法》在一定程度上借鑒了GDPR,并且在敏感個(gè)人信息的處理上有更為嚴(yán)格的規(guī)定:個(gè)人信息處理者不僅要有明確、特定的目的和處理敏感個(gè)人信息的充分必要性,還要告知個(gè)人處理敏感個(gè)人信息的相關(guān)事宜并取得個(gè)人的單獨(dú)同意??傊?,現(xiàn)行的數(shù)據(jù)保護(hù)法的傳統(tǒng)目標(biāo)是使數(shù)據(jù)處理合理化,即只允許在法定基礎(chǔ)上、為特定目的、以透明的方式處理個(gè)人數(shù)據(jù)。用漢堡大學(xué)馬里昂·阿爾伯斯(Marion Albers)教授的話說(shuō):“整個(gè)方式的指導(dǎo)思想是,行動(dòng)方針的決策過(guò)程幾乎完全可以通過(guò)法律手段加以預(yù)見(jiàn)、規(guī)劃和指導(dǎo)?!盵8]顯然,人工智能的發(fā)展與這一目標(biāo)相違背。

      當(dāng)前常規(guī)的基于機(jī)器學(xué)習(xí)的人工智能通常要求輸入大量用于訓(xùn)練和測(cè)試的數(shù)據(jù)進(jìn)行深度學(xué)習(xí),最后輸出結(jié)果。這種算法運(yùn)作雖然是由人類編寫(xiě),但是機(jī)器深度學(xué)習(xí)的過(guò)程卻是人類無(wú)法通過(guò)外部觀察獲知的,這也就是所謂的“算法黑箱”理論。算法應(yīng)用于生活的方方面面,算法黑箱作為難以消弭的弊端亦是接踵而來(lái),算法的不透明性和不可解釋性引發(fā)開(kāi)發(fā)者和消費(fèi)者之間的信息不對(duì)稱,并帶來(lái)算法歧視和偏見(jiàn)[9]。人工智能的開(kāi)發(fā)離不開(kāi)算法,因此算法黑箱帶來(lái)的影響不可避免的波及人工智能領(lǐng)域,其中一個(gè)重要體現(xiàn)就是當(dāng)前人工智能與現(xiàn)行數(shù)據(jù)保護(hù)法的基本理念發(fā)生了沖突,特別是ChatGPT采用“自注意力機(jī)制”進(jìn)行深度學(xué)習(xí),也就是無(wú)監(jiān)督學(xué)習(xí)的情況下,即使是程序員,也無(wú)法理解人工智能獲得其結(jié)果的過(guò)程。敏感個(gè)人信息處理所需要的透明度與算法黑箱截然相反,《個(gè)人信息保護(hù)法》關(guān)于敏感個(gè)人信息的保護(hù)面臨著人工智能的部分失控和完全不可控的挑戰(zhàn)。

      (三)數(shù)據(jù)開(kāi)放與敏感個(gè)人信息受保護(hù)之間的矛盾

      近年來(lái),隨著數(shù)字經(jīng)濟(jì)的繁榮,對(duì)數(shù)據(jù)的獲取、共享和使用已經(jīng)成為增強(qiáng)經(jīng)濟(jì)發(fā)展和社會(huì)福祉的核心驅(qū)動(dòng)力,數(shù)據(jù)的大規(guī)模流動(dòng)與傳輸,已經(jīng)成為經(jīng)濟(jì)全球化背景下每個(gè)經(jīng)濟(jì)部門(mén)不可或缺的組成部分。在云端儲(chǔ)存大量的個(gè)人信息,甚至是敏感信息或關(guān)鍵信息,是以信息網(wǎng)絡(luò)為主要載體的數(shù)字經(jīng)濟(jì)時(shí)代發(fā)展的必然趨勢(shì)。ChatGPT與敏感個(gè)人信息保護(hù)之間的沖突,集中體現(xiàn)在數(shù)據(jù)處理方式的沖突,而究其本質(zhì),是一種在數(shù)字經(jīng)濟(jì)時(shí)代,數(shù)據(jù)越來(lái)越頻繁地被采集、流通、共享與敏感個(gè)人信息需要受到特殊保護(hù)之間的矛盾。

      人工智能的發(fā)展要求數(shù)據(jù)傳輸?shù)目焖傩?、信息獲取的便捷性和調(diào)取的便利性。這一點(diǎn)也體現(xiàn)在ChatGPT對(duì)數(shù)據(jù)的采集和應(yīng)用中。而敏感個(gè)人數(shù)據(jù)保護(hù)則代表了一種信息領(lǐng)域的保守性。在信息技術(shù)和市場(chǎng)的雙重作用下,人們不可避免地被卷入數(shù)字的洪流,但是不能由此倒因?yàn)楣耐茢喑鋈藗冊(cè)敢鉃榱藬?shù)據(jù)的開(kāi)放犧牲自身的敏感信息[10],正相反的是,數(shù)字經(jīng)濟(jì)越發(fā)展,個(gè)人信息保護(hù)的問(wèn)題就越受到人們的關(guān)注與強(qiáng)調(diào)。實(shí)現(xiàn)信息開(kāi)放與信息保護(hù)之間的平衡,不僅需要ChatGPT提高信息處理的透明度,也有賴于相關(guān)立法政策的出臺(tái)以及政府的監(jiān)管。

      四、路徑探索,ChatGPT時(shí)代敏感個(gè)人信息的保護(hù)

      (一)規(guī)范ChatGPT網(wǎng)絡(luò)爬蟲(chóng)信息采集方式

      ChatGPT運(yùn)用網(wǎng)絡(luò)爬蟲(chóng)采集原始訓(xùn)練庫(kù)中的數(shù)據(jù),目前飽受合法性的爭(zhēng)議。筆者認(rèn)為,規(guī)范網(wǎng)絡(luò)爬蟲(chóng)信息采集行為,一方面需要OpenAI公司規(guī)范ChatGPT的網(wǎng)絡(luò)爬蟲(chóng)技術(shù);另一方面需要數(shù)據(jù)被爬取方,即數(shù)據(jù)權(quán)利方積極采用“反爬”策略。

      網(wǎng)絡(luò)爬蟲(chóng)作為一種利用邏輯和算法自動(dòng)爬取互聯(lián)網(wǎng)信息的計(jì)算機(jī)程序,想要保持其技術(shù)上的中立性,需要法律對(duì)其進(jìn)行合法性限定[11]。首先,網(wǎng)絡(luò)爬蟲(chóng)應(yīng)保證只針對(duì)開(kāi)放數(shù)據(jù)爬取,這不僅要求爬取對(duì)象上,網(wǎng)絡(luò)爬蟲(chóng)不能采集具有非公開(kāi)特性的敏感個(gè)人信息,也體現(xiàn)在技術(shù)手段上不能具有明顯的侵入性;其次,使用網(wǎng)絡(luò)爬蟲(chóng)應(yīng)當(dāng)基于明確、合理的目的,ChatGPT官方可以公開(kāi)其信息采集的目的、方式、手段、采集到的信息如何利用、保護(hù)等,在證明其網(wǎng)絡(luò)爬蟲(chóng)技術(shù)符合法律規(guī)定的同時(shí),緩解公眾對(duì)于信息安全問(wèn)題的擔(dān)憂。

      當(dāng)然,避免敏感個(gè)人信息被不當(dāng)爬取不僅需要數(shù)據(jù)爬取方規(guī)范網(wǎng)絡(luò)爬蟲(chóng)的應(yīng)用,也需要數(shù)據(jù)被爬取方積極運(yùn)用“反爬”策略。其一,因?yàn)镺penAI公司表示其會(huì)遵從Robots協(xié)議,因此可能會(huì)被ChatGPT網(wǎng)絡(luò)爬蟲(chóng)爬取的網(wǎng)站、特別是內(nèi)含敏感個(gè)人信息的網(wǎng)站,可以充分利用Robots協(xié)議,引導(dǎo)或限制網(wǎng)絡(luò)爬蟲(chóng)的爬取行為。其二,利用User-Agent限制網(wǎng)絡(luò)爬蟲(chóng),User-Agent指的是用戶在訪問(wèn)網(wǎng)站時(shí)所使用的客戶端種類和版本[12],相當(dāng)于客戶端向網(wǎng)站站點(diǎn)表明身份的一種標(biāo)識(shí),知名的爬蟲(chóng)都有其固定的User-Agent,可以通過(guò)設(shè)置User-Agent黑名單來(lái)限制網(wǎng)絡(luò)爬蟲(chóng)的訪問(wèn)。

      (二)打開(kāi)黑箱,提高ChatGPT數(shù)據(jù)處理透明度

      過(guò)去幾年,人工智能的不透明性已經(jīng)成為一個(gè)顯要的政治和社會(huì)議題。隨著人工智能對(duì)社會(huì)的影響逐步加深,公眾越發(fā)認(rèn)為那些監(jiān)管、使用或受人工智能影響的人們應(yīng)該對(duì)這項(xiàng)技術(shù)有足夠的了解。打開(kāi)黑箱對(duì)于識(shí)別侵犯用戶敏感個(gè)人信息、發(fā)現(xiàn)偏見(jiàn)和防止其他潛在危害是必不可少的。目前各國(guó)紛紛出臺(tái)政策和立法文件,確立人工智能透明度的目標(biāo)。然而,我們也應(yīng)該認(rèn)識(shí)到的是,“完全”透明是不可能的、也不可取的。提高人工智能透明度的價(jià)值在于產(chǎn)生知識(shí)和引發(fā)有關(guān)技術(shù)的辯論,激發(fā)個(gè)人對(duì)基于人工智能的決策提出疑問(wèn),并從長(zhǎng)遠(yuǎn)來(lái)看將加強(qiáng)社會(huì)對(duì)新技術(shù)的接受[11]。

      從這個(gè)角度出發(fā),我們應(yīng)該對(duì)透明度有一個(gè)更廣度的認(rèn)知。科里亞斯(Cary Coglianese)認(rèn)為算法透明包含兩種:“魚(yú)缸型透明”(fishbowl transparency)和“原因型透明”(reasoned transparency),前者是指公開(kāi)數(shù)據(jù)的源代碼、數(shù)據(jù)訓(xùn)練集等;后者指公開(kāi)算法工作的原理,強(qiáng)調(diào)公開(kāi)信息的實(shí)用性,在實(shí)踐中,公開(kāi)算法原理更具有可行性,它既可以提高公眾對(duì)于人工智能的了解,又能保護(hù)公司的知識(shí)產(chǎn)權(quán)。其二,將算法披露與解釋權(quán)結(jié)合起來(lái),這種解釋是一種嵌入制度環(huán)境中的社會(huì)實(shí)踐,即公民可以了解到人工智能決策的依據(jù)、產(chǎn)生的影響、以及明確可以啟動(dòng)司法程序捍衛(wèi)自己的權(quán)利。

      打開(kāi)黑箱對(duì)于識(shí)別侵犯用戶敏感個(gè)人信息的行為是必不可少的,ChatGPT引發(fā)的對(duì)侵犯敏感個(gè)人信息的質(zhì)疑和恐慌一定程度上來(lái)源于社會(huì)普遍對(duì)于人工智能興起的無(wú)知和被剝奪公民權(quán)的感受。因此,一方面,為了消除這些不利影響,ChatGPT官方應(yīng)當(dāng)定期公布其保護(hù)敏感信息的隱私政策,包括信息保護(hù)算法原理、實(shí)踐情況以及用戶反饋,并根據(jù)現(xiàn)實(shí)情況不斷進(jìn)行調(diào)整;另一方面,ChatGPT官方以及各國(guó)行政或司法機(jī)關(guān)也應(yīng)及時(shí)告知公民可以依據(jù)ChatGPT侵犯公民敏感個(gè)人信息的行為提起司法訴訟,保障公民的敏感個(gè)人信息保護(hù)權(quán)得到救濟(jì)。

      (三)建立全鏈條監(jiān)管和問(wèn)責(zé)機(jī)制

      ChatGPT的沖擊暴露了現(xiàn)實(shí)中敏感個(gè)人信息保護(hù)的不足,一方面體現(xiàn)在對(duì)人工智能監(jiān)管的缺失,無(wú)法從事前和事中避免人工智能給敏感個(gè)人信息帶來(lái)的不利影響;另一方面則體現(xiàn)在法條理論與實(shí)踐的脫節(jié),法條內(nèi)容流于形式,無(wú)法很好地指導(dǎo)實(shí)踐。

      首先,從國(guó)家層面,需要建立事前、事中和事后的全鏈條監(jiān)管。具體而言:第一,確立對(duì)人工智能事前監(jiān)管模式。歐盟最早將人工智能的監(jiān)管由理論邁向?qū)嵺`,2021年4月,歐盟委員會(huì)頒布全球首部《人工智能法案》,確立以技術(shù)風(fēng)險(xiǎn)分級(jí)為核心的監(jiān)管模式[13],對(duì)于高風(fēng)險(xiǎn)的人工智能,歐盟要求供應(yīng)商在投入市場(chǎng)前提交評(píng)估報(bào)告,如果提交的目的或性質(zhì)有根本改變則需要重新評(píng)估[14];目前我國(guó)沒(méi)有針對(duì)人工智能的專門(mén)立法,關(guān)于數(shù)據(jù)算法或者人工智能的主要規(guī)定分散在《網(wǎng)絡(luò)安全法》《數(shù)據(jù)安全法》《個(gè)人信息保護(hù)法》以及一些零散的政策文件中,因此可以借鑒歐盟的立法路徑,建立專門(mén)的人工智能法案,規(guī)定涉及敏感信息安全問(wèn)題的人工智能投入市場(chǎng)前進(jìn)行評(píng)估備案。第二,對(duì)人工智能進(jìn)行事中、事后監(jiān)管,可以參考《個(gè)人信息保護(hù)法》中第六章的規(guī)定,國(guó)家網(wǎng)信部門(mén)負(fù)責(zé)敏感個(gè)人信息保護(hù)監(jiān)管工作,完善敏感個(gè)人信息保護(hù)投訴、舉報(bào)機(jī)制,對(duì)風(fēng)險(xiǎn)較大的個(gè)人信息處理者進(jìn)行約談①。目前,ChatGPT并沒(méi)有進(jìn)入中國(guó)市場(chǎng),但是諸如阿里巴巴、百度等國(guó)內(nèi)互聯(lián)網(wǎng)公司已開(kāi)始著手研發(fā)類ChatGPT系統(tǒng)。建立全生命周期監(jiān)管機(jī)制,不僅可以預(yù)防有朝一日ChatGPT進(jìn)入中國(guó)后帶來(lái)的問(wèn)題,也可以避免投入市場(chǎng)的類ChatGPT系統(tǒng)脫離法治軌道。

      其次,建立問(wèn)責(zé)評(píng)估體系,使法條規(guī)定能夠落實(shí)到實(shí)踐,例如“特別告知+單獨(dú)同意”規(guī)則的完善。告知義務(wù)是信息主體知情權(quán)的基礎(chǔ),告知義務(wù)后續(xù)的責(zé)任應(yīng)貫穿于信息收集和使用的全部環(huán)節(jié)[15]。目前被合法獲取的敏感個(gè)人信息可能被ChatGPT采集并“二次使用”,但卻并沒(méi)有取得信息主體的同意,這也是目前該規(guī)則飽受爭(zhēng)議的重要原因。對(duì)此,應(yīng)加強(qiáng)對(duì)初步信息處理者的問(wèn)責(zé)制度,防止其在履行完特別告知義務(wù)后進(jìn)入“免責(zé)”狀態(tài),或者在發(fā)生敏感個(gè)人信息泄露事件時(shí)將責(zé)任轉(zhuǎn)嫁第三方;同時(shí),也可以加入獨(dú)立的第三方機(jī)構(gòu)進(jìn)行評(píng)估,確保敏感個(gè)人信息處理者在合乎規(guī)范的閾值內(nèi)運(yùn)行。

      五、結(jié)語(yǔ)

      人工智能的前進(jìn)與發(fā)展已然勢(shì)不可擋,在ChatGPT發(fā)布短短幾個(gè)月后,2023年3月15日凌晨,GPT-4橫空出世,它擁有比ChatGPT更強(qiáng)大的圖片識(shí)別能力和推理能力,使科技的發(fā)展邁向了不可預(yù)測(cè)的新階段。我們必須認(rèn)識(shí)到,內(nèi)容生成式AI的發(fā)展不可能被按下暫停鍵或倒退鍵,但它們帶來(lái)的敏感個(gè)人信息安全問(wèn)題卻不可能在短時(shí)間內(nèi)消弭,而這些沖突的背后是大數(shù)據(jù)時(shí)代不可避免的數(shù)據(jù)流通與信息保護(hù)之間的矛盾,因此需要不斷平衡技術(shù)創(chuàng)新與傳統(tǒng)信息保護(hù)領(lǐng)域之間的關(guān)系。這一方面要求規(guī)范網(wǎng)絡(luò)爬蟲(chóng)信息采集行為、提高人工智能透明度以滿足法律和社會(huì)倫理的需要;另一方面也要建立全生命周期的監(jiān)管和問(wèn)責(zé)制度,警惕人工智能的失控。使未來(lái)人工智能的發(fā)展不是潘多拉的魔盒,而是通往未來(lái)世界的一把鑰匙。

      注 釋:

      ① 參見(jiàn)《個(gè)人信息保護(hù)法》第60條、62條、64條。

      參考文獻(xiàn):

      [1] 馮志偉,張燈柯,饒高琦.從圖靈測(cè)試到ChatGPT——人機(jī)對(duì)話的里程碑及啟示[J].語(yǔ)言戰(zhàn)略研究,2023,8(2):20-24.

      [2] 王利明.敏感個(gè)人信息保護(hù)的基本問(wèn)題——以《民法典》和《個(gè)人信息保護(hù)法》的解釋為背景[J].當(dāng)代法學(xué),2022,36(1):3-14.

      [3] 程嘯.個(gè)人信息保護(hù)法理解與適用[M].北京:中國(guó)法制出版社,2021:267.

      [4] 楊合慶.中華人民共和國(guó)個(gè)人信息保護(hù)法釋義[M].北京:法律出版社,2022:85.

      [5] 王苑.敏感個(gè)人信息的概念界定與要素判斷——以《個(gè)人信息保護(hù)法》第28條為中心[J].環(huán)球法律評(píng)論,2022,44(2):85-99.

      [6] 中國(guó)信息通訊研究院互聯(lián)網(wǎng)法律研究中心.個(gè)人信息保護(hù)立法研究[M].北京:中國(guó)法制出版社,2021:222.

      [7] 賈寧.大數(shù)據(jù)爬取、清洗與可視化教程[M].北京:中國(guó)工信出版集團(tuán),2021.

      [8] [德]托馬斯·威施邁耶,蒂莫·拉德馬赫,編,韓至旭,李輝,等,譯.人工智能與法律的對(duì)話[M].上海:上海人民出版社,2020:39.

      [9] 吳椒軍,郭婉兒.人工智能時(shí)代算法黑箱的法治化治理[J].科技與法律(中英文),2021,1(1):19-28.

      [10] 彭岳.跨境數(shù)據(jù)隱私保護(hù)的貿(mào)易法維度[J].法律適用,2022(6):16-28.

      [11] 蘇青.網(wǎng)絡(luò)爬蟲(chóng)的演變及其合法性限定[J].比較法研究,2021,175(3):89-104.

      [12] 胡俊瀟,陳國(guó)偉.網(wǎng)絡(luò)爬蟲(chóng)反爬策略研究[J].科技創(chuàng)新與應(yīng)用,2019(15):137-138+140.

      [13] 劉軒,陳海彬.人工智能監(jiān)管:理論、模式與趨勢(shì)[J/OL].[2023-03-17].情報(bào)理論與實(shí)踐:1-9http://kns.cnki.net/kcms/detail/11.1762.G3.20230316.0934.002.html.

      [14] 鄧建鵬,朱懌成.ChatGPT模型的法律風(fēng)險(xiǎn)及應(yīng)對(duì)之策[J/OL].[2023-03-17].新疆師范大學(xué)學(xué)報(bào)(哲學(xué)社會(huì)科學(xué)版),2023(5):1-11.

      [15] 范海潮,顧理平.探尋平衡之道:隱私保護(hù)中知情同意原則的實(shí)踐困境與修正[J].新聞與傳播研究,2021,28(2):70-85+127-128.

      作者簡(jiǎn)介:張煒羿(1999- ),女,山東濰坊人,對(duì)外經(jīng)濟(jì)貿(mào)易大學(xué)法學(xué)院碩士研究生,研究方向?yàn)閿?shù)據(jù)法學(xué)、個(gè)人信息保護(hù)法。

      猜你喜歡
      個(gè)人信息保護(hù)法人工智能
      2019:人工智能
      商界(2019年12期)2019-01-03 06:59:05
      人工智能與就業(yè)
      個(gè)人信息的法律保護(hù)
      法制博覽(2018年1期)2018-02-24 22:53:17
      個(gè)人信息保護(hù)法在大數(shù)據(jù)時(shí)代的適用和域外效力
      數(shù)讀人工智能
      小康(2017年16期)2017-06-07 09:00:59
      個(gè)人信息保護(hù)法域外效力研究
      下一幕,人工智能!
      論個(gè)人信息權(quán)
      商情(2016年11期)2016-04-15 07:59:05
      鄂托克旗| 武冈市| 渑池县| 江城| 聂拉木县| 莲花县| 宿松县| 浦北县| 保山市| 印江| 互助| 即墨市| 陆河县| 宕昌县| 海伦市| 金乡县| 五常市| 信丰县| 荣成市| 沽源县| 元江| 方城县| 柘荣县| 宁海县| 扶余县| 佛教| 瓮安县| 淳安县| 巴林左旗| 广西| 赤壁市| 繁昌县| 凤山市| 花垣县| 井研县| 洪洞县| 丹寨县| 永登县| 宜丰县| 扶风县| 满洲里市|