法律規(guī)制：數(shù)據(jù)爬蟲(chóng)的懸頂之劍

吳菊萍上海市人民檢察院第二分院第三檢察部副主任、三級(jí)高級(jí)檢察官、法學(xué)博士，華東政法大學(xué)兼職教授，上海市優(yōu)秀公訴人、全國(guó)檢察機(jī)關(guān)網(wǎng)絡(luò)犯罪檢察人才，上海檢察機(jī)關(guān)網(wǎng)絡(luò)犯罪專(zhuān)業(yè)化辦案團(tuán)隊(duì)召集人

沒(méi)有法律規(guī)制的數(shù)據(jù)爬蟲(chóng)，很可能變異為“害蟲(chóng)”。高懸達(dá)摩克利斯之劍，才能確保數(shù)據(jù)爬蟲(chóng)在推動(dòng)數(shù)字經(jīng)濟(jì)發(fā)展中發(fā)揮正向價(jià)值。

數(shù)據(jù)作為數(shù)字經(jīng)濟(jì)的重要生產(chǎn)要素，必須充分流動(dòng)和利用起來(lái)。數(shù)據(jù)爬蟲(chóng)技術(shù)推動(dòng)了數(shù)據(jù)的分享與利用，也引發(fā)了市場(chǎng)的惡性競(jìng)爭(zhēng)，帶來(lái)了技術(shù)濫用的法律風(fēng)險(xiǎn)?，F(xiàn)象層面的“技術(shù)中立”，涉及科學(xué)技術(shù)倫理判斷，基于一定的動(dòng)機(jī)、目的使用爬蟲(chóng)技術(shù)的行為，則更涉及利用技術(shù)的行為人及其行為的規(guī)范評(píng)價(jià)。探究數(shù)據(jù)爬蟲(chóng)的技術(shù)邏輯，給出相關(guān)行為的合法界限與非法判斷標(biāo)準(zhǔn)，是當(dāng)下數(shù)據(jù)行為立法與司法的重點(diǎn)課題，也是推動(dòng)數(shù)字經(jīng)濟(jì)發(fā)展的題中應(yīng)有之義。

隨著數(shù)字經(jīng)濟(jì)的發(fā)展，我們將迎來(lái)一個(gè)數(shù)據(jù)、勞動(dòng)力、資本和技術(shù)共同驅(qū)動(dòng)的新時(shí)代?！皵?shù)據(jù)”成了其中全新的變量。2017年12月，習(xí)近平總書(shū)記在主持中共中央政治局學(xué)習(xí)時(shí)指出，“要構(gòu)建以數(shù)據(jù)為關(guān)鍵要素的數(shù)字經(jīng)濟(jì)”。2019年10月，黨的十九屆四中全會(huì)作出決定，“健全勞動(dòng)、資本、土地、知識(shí)、技術(shù)、管理、數(shù)據(jù)等生產(chǎn)要素由市場(chǎng)評(píng)價(jià)貢獻(xiàn)、按貢獻(xiàn)決定報(bào)酬的機(jī)制”。2020年4月，中共中央、國(guó)務(wù)院發(fā)布了《關(guān)于構(gòu)建更加完善的要素市場(chǎng)化配置體制機(jī)制的意見(jiàn)》，明確將土地、勞動(dòng)力、資本、技術(shù)和數(shù)據(jù)并列為五大要素。

隨著數(shù)據(jù)成為經(jīng)濟(jì)發(fā)展的“新石油”，數(shù)據(jù)之爭(zhēng)日趨激烈，數(shù)據(jù)的權(quán)利歸屬以及獲取、利用數(shù)據(jù)的行為規(guī)則尚未達(dá)成共識(shí)。與數(shù)據(jù)的獲取和利用最直接相關(guān)的一項(xiàng)技術(shù)——網(wǎng)絡(luò)爬蟲(chóng)，從一項(xiàng)中立的技術(shù)逐漸演變成侵權(quán)甚至犯罪的工具，引發(fā)了諸多法律爭(zhēng)議。

網(wǎng)絡(luò)爬蟲(chóng)（Web Crawler），又稱(chēng)“網(wǎng)絡(luò)蜘蛛（Web Spider）”或“網(wǎng)絡(luò)機(jī)器人（Web Robot）”，是一項(xiàng)在互聯(lián)網(wǎng)時(shí)代普遍運(yùn)用的網(wǎng)絡(luò)信息搜索技術(shù)。它的基本原理是：根據(jù)搜索目的建立待爬取的URL隊(duì)列，并將其取出，對(duì)該URL所對(duì)應(yīng)的網(wǎng)頁(yè)進(jìn)行解析。當(dāng)爬蟲(chóng)訪問(wèn)整個(gè)網(wǎng)頁(yè)時(shí)，會(huì)自動(dòng)識(shí)別網(wǎng)頁(yè)中所有的URL并將其添加為待爬取URL，如此循環(huán)往復(fù)，直到URL隊(duì)列中所有URL全部爬取完畢或滿足一定要求為止。換言之，網(wǎng)絡(luò)爬蟲(chóng)就是一個(gè)高效的下載系統(tǒng)，能夠?qū)⒑Ａ康木W(wǎng)頁(yè)數(shù)據(jù)傳送到本地，在本地形成互聯(lián)網(wǎng)網(wǎng)頁(yè)的鏡像備份。網(wǎng)絡(luò)爬蟲(chóng)的運(yùn)行模式是：獲取網(wǎng)頁(yè)——解析網(wǎng)頁(yè)——存儲(chǔ)數(shù)據(jù)，即按照一定的規(guī)則自動(dòng)抓取互聯(lián)網(wǎng)信息的程序或者腳本。

有業(yè)內(nèi)人士稱(chēng)，互聯(lián)網(wǎng)50%以上，甚至更高的流量其實(shí)都是爬蟲(chóng)貢獻(xiàn)的。對(duì)某些熱門(mén)網(wǎng)頁(yè)，爬蟲(chóng)的訪問(wèn)量甚至可能占據(jù)了該頁(yè)面總訪問(wèn)量的90%以上。

當(dāng)前網(wǎng)絡(luò)爬蟲(chóng)的應(yīng)用場(chǎng)景主要有：新聞資訊的搜索、分類(lèi)、排序及動(dòng)態(tài)推送，如“今日頭條”等聚合媒體、“新浪微博”等網(wǎng)絡(luò)信息平臺(tái)等;電商平臺(tái)的商品瀏覽、銷(xiāo)售、評(píng)價(jià)等數(shù)據(jù)的市場(chǎng)調(diào)研與分析;政務(wù)公開(kāi)數(shù)據(jù)的優(yōu)化及商業(yè)使用，如對(duì)“裁判文書(shū)網(wǎng)”海量判決文書(shū)的搜索及數(shù)據(jù)優(yōu)化后推出付費(fèi)版數(shù)據(jù)庫(kù)，又如對(duì)工商、稅務(wù)、司法等信息搜索及數(shù)據(jù)優(yōu)化后推出企業(yè)信息查詢;等等。

網(wǎng)絡(luò)爬蟲(chóng)也被一些不法分子用來(lái)大量下載文字作品、音頻視頻等轉(zhuǎn)售牟利;用來(lái)竊取競(jìng)爭(zhēng)對(duì)手的商業(yè)數(shù)據(jù)進(jìn)行不正當(dāng)競(jìng)爭(zhēng);更有甚者，用網(wǎng)絡(luò)爬蟲(chóng)爬取各類(lèi)公民個(gè)人信息，成為網(wǎng)絡(luò)賭博、電信詐騙等犯罪的黑產(chǎn)。即使目的正當(dāng)，如果爬蟲(chóng)整日無(wú)休地、自動(dòng)持續(xù)地大量訪問(wèn)網(wǎng)站，對(duì)于那些小網(wǎng)站或者技術(shù)實(shí)力弱的網(wǎng)站，還可能因服務(wù)器無(wú)法承受激增的流量，導(dǎo)致網(wǎng)站崩潰。

網(wǎng)絡(luò)爬蟲(chóng)運(yùn)行模式圖

綜上，爬蟲(chóng)技術(shù)本身沒(méi)有善惡之分，但是基于一定的動(dòng)機(jī)、目的使用爬蟲(chóng)技術(shù)的行為，必然面臨是非善惡的價(jià)值評(píng)判，以及由此產(chǎn)生的法律責(zé)任評(píng)價(jià)。

誠(chéng)然，并不是所有的互聯(lián)網(wǎng)場(chǎng)景都排斥數(shù)據(jù)爬蟲(chóng)，有些網(wǎng)站和應(yīng)用希望被搜索以提高曝光率，但是大多數(shù)網(wǎng)站基于服務(wù)器的承受能力、風(fēng)險(xiǎn)以及對(duì)商業(yè)數(shù)據(jù)的保密等原因，并不希望被爬取數(shù)據(jù)。后者會(huì)制定相應(yīng)的策略，采取一定的技術(shù)手段，來(lái)防止爬蟲(chóng)對(duì)數(shù)據(jù)的抓取。

常見(jiàn)的應(yīng)對(duì)策略是在網(wǎng)站根目錄下放置Robots協(xié)議（也稱(chēng)Robots.txt），該協(xié)議由荷蘭工程師馬丁·科斯特（Martijn Koster）在1994年編寫(xiě)，由于簡(jiǎn)單高效，當(dāng)前Robots協(xié)議已成為解決爬取方和被爬取方之間關(guān)于爬取意愿的通用且被遵守的技術(shù)規(guī)范，對(duì)于維護(hù)互聯(lián)網(wǎng)的正常秩序與當(dāng)事人合法權(quán)益具有重要意義。Robots協(xié)議通常會(huì)告訴網(wǎng)絡(luò)搜索引擎的漫游器，此網(wǎng)站中的哪些內(nèi)容是不應(yīng)被搜索引擎的漫游器獲取的，哪些是可以被漫游器獲取的。2012年中國(guó)互聯(lián)網(wǎng)協(xié)會(huì)發(fā)布的《中國(guó)互聯(lián)網(wǎng)行業(yè)自律公約》也將遵守Robots協(xié)議認(rèn)定為“國(guó)際通行的行業(yè)管理與商業(yè)規(guī)則”。

但是，Robots協(xié)議更像“君子協(xié)議”，只能起到告示作用。有的爬蟲(chóng)會(huì)通過(guò)“模擬真人訪問(wèn)”“協(xié)議破解”等方法來(lái)爬取數(shù)據(jù)。于是，很多網(wǎng)站和應(yīng)用不得不采用反爬蟲(chóng)技術(shù)攔截手法。爬蟲(chóng)、反爬機(jī)制、反反爬機(jī)制，如此無(wú)休止的攻防對(duì)抗，造成了大量的社會(huì)資源浪費(fèi)。

Robots協(xié)議文件的作用

爬蟲(chóng)與反爬機(jī)制攻防對(duì)抗的實(shí)質(zhì)是數(shù)據(jù)之爭(zhēng)。在數(shù)據(jù)已成為經(jīng)濟(jì)社會(huì)的重要生產(chǎn)要素、是互聯(lián)網(wǎng)企業(yè)核心競(jìng)爭(zhēng)力的當(dāng)下，數(shù)據(jù)爬蟲(chóng)首先引發(fā)了許多競(jìng)爭(zhēng)法范疇的糾紛。在競(jìng)爭(zhēng)法視野下，司法裁判一般考慮兩方面利益權(quán)衡：一方面，要遵從契約精神，既然設(shè)置了Robots協(xié)議，那么在競(jìng)爭(zhēng)過(guò)程中就應(yīng)當(dāng)遵守競(jìng)爭(zhēng)規(guī)范，確保有序的市場(chǎng)秩序;另一方面，要防止市場(chǎng)壟斷，避免因Robots協(xié)議對(duì)爬蟲(chóng)的限制而形成數(shù)據(jù)孤島，從而構(gòu)成數(shù)據(jù)壟斷。數(shù)據(jù)作為重要的生產(chǎn)要素，只有在流通過(guò)程中才能產(chǎn)生價(jià)值。數(shù)據(jù)壟斷對(duì)握有數(shù)據(jù)的經(jīng)營(yíng)者而言會(huì)產(chǎn)生競(jìng)爭(zhēng)優(yōu)勢(shì)，但是長(zhǎng)遠(yuǎn)來(lái)說(shuō)，對(duì)社會(huì)經(jīng)濟(jì)可能帶來(lái)負(fù)面影響。

數(shù)據(jù)爬蟲(chóng)的不斷發(fā)展變異還引發(fā)了刑事風(fēng)險(xiǎn)。在刑法視野下，司法裁判主要考慮以下因素：一是數(shù)據(jù)是否公開(kāi)。通常認(rèn)為，數(shù)據(jù)犯罪所侵害的法益為數(shù)據(jù)安全，包括數(shù)據(jù)的保密性、完整性、可用性。二是手段是否具備“侵入性”。在數(shù)據(jù)權(quán)利人采取了協(xié)議、反爬機(jī)制等手段的情況下，通過(guò)反反爬技術(shù)繼續(xù)爬取數(shù)據(jù)的行為，就具備了較為明顯的侵入性。三是行為是否具有社會(huì)危害性。社會(huì)危害性是犯罪的本質(zhì)特征，如果一個(gè)行為沒(méi)有社會(huì)危害性，或是社會(huì)危害性不明顯，也沒(méi)有必要啟動(dòng)刑事追責(zé)。

從當(dāng)前的刑事判例來(lái)看，數(shù)據(jù)爬蟲(chóng)涉刑的主要罪名有：破壞計(jì)算機(jī)信息系統(tǒng)罪，非法侵入計(jì)算機(jī)信息系統(tǒng)罪，非法獲取計(jì)算機(jī)信息系統(tǒng)數(shù)據(jù)罪，提供侵入與非法控制計(jì)算機(jī)程序、工具罪，侵犯著作權(quán)罪，侵犯公民個(gè)人信息罪，傳播淫穢物品牟利罪，開(kāi)設(shè)賭場(chǎng)罪，盜竊罪，詐騙罪等。在這些刑事案件中，網(wǎng)絡(luò)爬蟲(chóng)突破了其原有的中立技術(shù)的內(nèi)涵，目的也從高效的搜索、下載，延伸至竊取他人信息進(jìn)而非法牟利。

那么，合法使用網(wǎng)絡(luò)爬蟲(chóng)技術(shù)的邊界又在哪里呢？我們認(rèn)為，網(wǎng)絡(luò)爬蟲(chóng)要體現(xiàn)并保持技術(shù)的中立性，可以從以下三個(gè)方面進(jìn)行合法性限定：其一，就爬取對(duì)象來(lái)說(shuō)，應(yīng)當(dāng)限定為公開(kāi)數(shù)據(jù)。其二，就技術(shù)手段來(lái)說(shuō)，網(wǎng)絡(luò)爬蟲(chóng)不應(yīng)具有侵入性。是否具有侵入性應(yīng)當(dāng)從技術(shù)本身是否具有侵入性和數(shù)據(jù)爬取行為是否遵守爬蟲(chóng)協(xié)議與合同約定兩個(gè)方面來(lái)判定。其三，從爬取的目的來(lái)說(shuō)，要具有正當(dāng)性、合理性、公平性。

數(shù)據(jù)爬蟲(chóng)從誕生至今，經(jīng)歷了中立技術(shù)到一般違法，再到刑事犯罪的演變過(guò)程，其中不僅有爬蟲(chóng)技術(shù)本身的變異，也有人們認(rèn)識(shí)深入、觀念變化的原因。法律要規(guī)范的并非技術(shù)本身，除非該技術(shù)本身就有倫理問(wèn)題。法律要調(diào)整的是由于技術(shù)運(yùn)用而帶來(lái)的當(dāng)事人之間的利益分配問(wèn)題，要傳遞的是公平合理的價(jià)值追求。

編輯：黃靈? yeshzhwu@foxmail.com