文銘 劉博

摘要：網(wǎng)絡(luò)爬蟲是依據(jù)一定算法運行程序?qū)θf維網(wǎng)進行所需數(shù)據(jù)的提取技術(shù)。爬蟲技術(shù)雖然給人們生活帶來了極大便利，但也存在惡意掠奪資源的行為，嚴重攪亂了互聯(lián)網(wǎng)社會網(wǎng)絡(luò)秩序，也侵犯了公民的隱私。不正當?shù)呐廊⌒畔⑿袨椋o企業(yè)、政府造成極大的資源浪費，同時也威脅到公民的信息安全。所以在數(shù)據(jù)時代，我們亟需明確技術(shù)發(fā)展邊界，確定數(shù)據(jù)性質(zhì)和訪問秩序，并運用法律來捍衛(wèi)正當使用信息、數(shù)據(jù)的權(quán)利。當前應(yīng)從立法建議、政府規(guī)制和商業(yè)保護三個維度對惡意爬取行為進行規(guī)制，結(jié)合技術(shù)發(fā)展前景和網(wǎng)絡(luò)爬蟲配置信息資源背景，在不損害公民權(quán)益和公共利益基礎(chǔ)上，保衛(wèi)公民的隱私安全，力求發(fā)揮法律預(yù)測和規(guī)范作用，達到法律保障科技和諧進步的目的。

關(guān)鍵詞：網(wǎng)絡(luò)爬蟲;個人信息;隱私權(quán);反不正當競爭;技術(shù)中立

中圖分類號：D9 ? 文獻標志碼：A ? ?文章編號：1009-3605（2021）04-0043-10

引言

雖然大眾不了解網(wǎng)絡(luò)爬蟲，但這一技術(shù)早已應(yīng)用在日常生活中，如搜索引擎、出行搶票、購物比價等軟件，這些都是利用網(wǎng)絡(luò)爬蟲得以實現(xiàn)。而換取這種便利的代價便是個人信息更容易被企業(yè)以及不法分子獲取。通過搜索記錄、平臺點贊和喜好關(guān)注等行為，可以輕易獲取用戶網(wǎng)絡(luò)痕跡以及個人偏好，使得公民隱私暴露在互聯(lián)網(wǎng)中，從而被企業(yè)用于諸如廣告精準推送等商業(yè)獲利行為，甚至更有不法分子還將爬取到的信息進行販賣、實行欺詐等。

現(xiàn)在規(guī)制爬蟲技術(shù)主要依賴于道德協(xié)議——Robots協(xié)議，這是當今社會為實現(xiàn)爬取方和被爬取方技術(shù)溝通而設(shè)定在互聯(lián)網(wǎng)內(nèi)通用的一種信息程序。Robots協(xié)議提示網(wǎng)絡(luò)機器人哪些網(wǎng)頁不應(yīng)被抓取，而哪些網(wǎng)頁可以抓取[1]。在如今信息就是財富的時代，互聯(lián)網(wǎng)企業(yè)利用公民對于網(wǎng)絡(luò)的依賴，通過采集、挖掘等途徑利用網(wǎng)絡(luò)爬蟲技術(shù)獲取個人信息，并將信息轉(zhuǎn)化為企業(yè)自身數(shù)據(jù)性財產(chǎn)。如淘寶蘇安徽美景（參見杭州鐵路運輸法院（2017）浙8601民初4034號民事判決書）和大眾點評訴百度地圖（參見上海知識產(chǎn)權(quán)法院（2016）滬73民終242號民事判決書）等案件，說明了企業(yè)利用網(wǎng)絡(luò)爬蟲采集信息，進而分析市場近期發(fā)展趨勢、競爭對手動態(tài)和獲取盈利線索。信息分析和采集能力都是發(fā)展的決勝關(guān)鍵，但信息不像傳統(tǒng)財產(chǎn)一樣具有可視性，而以無形、可共享及可傳輸為主要形式[2]，所以，在面對“隱形”不法侵害時，應(yīng)以有力的法律武器捍衛(wèi)自身權(quán)益。

一、網(wǎng)絡(luò)爬蟲技術(shù)概述

（一）網(wǎng)絡(luò)爬蟲的誕生

網(wǎng)絡(luò)爬蟲（web crawler）是指按照一定的規(guī)則，自動地抓取萬維網(wǎng)信息的程序或者腳本[3]。但在互聯(lián)網(wǎng)早期并不提供搜索信息的服務(wù)，互聯(lián)網(wǎng)僅是一個大型的文件傳輸協(xié)議（FTP）的“匯集地”，使用互聯(lián)網(wǎng)用戶僅能通過各個網(wǎng)站（匯集點）中的導(dǎo)航來尋找自己所需要的文件或信息。隨著技術(shù)不斷發(fā)展，網(wǎng)絡(luò)端口越來越多，互聯(lián)網(wǎng)中大型數(shù)量級網(wǎng)頁層出不窮，因其內(nèi)含種類豐富（包含各種文本資料、圖片、視頻和音頻等），網(wǎng)頁變成了向公眾開放的數(shù)據(jù)匯集地。大量網(wǎng)頁的公開使得人們無法在海量分散的信息中精準找到自己需要的信息，而當時網(wǎng)站為了增加用戶的訪問，并非都會給用戶提供下載信息的鏈接，手動檢索效率極其低下并乏味。為了方便用戶查找互聯(lián)網(wǎng)上分散的信息和數(shù)據(jù)，技術(shù)人員創(chuàng)建了一個自動抓取程序，它可以通過你的關(guān)鍵詞來檢索全網(wǎng)分布的信息并抓取互聯(lián)網(wǎng)上所有與之有關(guān)的網(wǎng)頁，并將這些網(wǎng)頁上的信息復(fù)制到后臺數(shù)據(jù)庫中制成搜索“書簽”，這就是早期爬蟲的網(wǎng)絡(luò)搜索引擎——JumpStation[4]。當時因為技術(shù)發(fā)展所限，早期的網(wǎng)絡(luò)爬蟲能檢索的網(wǎng)頁規(guī)模十分有限，僅能抓取和復(fù)制萬維網(wǎng)特定公開的數(shù)據(jù)，比如政府公開信息、企業(yè)部分開放數(shù)據(jù)等。

（二）網(wǎng)絡(luò)爬蟲的作用

伴隨著科學技術(shù)進步，互聯(lián)網(wǎng)得以飛速發(fā)展，人們越來越頻繁和網(wǎng)絡(luò)發(fā)生互動。而且每一次用戶進行“網(wǎng)上沖浪”時都會不可避免地使用爬蟲技術(shù)來獲取自己需要的信息。當我們需要從網(wǎng)頁上獲得非結(jié)構(gòu)型量化數(shù)據(jù)時就要利用爬蟲技術(shù)，而單一的爬蟲技術(shù)不可能精準抓取網(wǎng)頁數(shù)據(jù)，現(xiàn)實發(fā)展的需要使得今天的爬蟲技術(shù)是多種技術(shù)融合的產(chǎn)物。

1.爬蟲技術(shù)構(gòu)成網(wǎng)絡(luò)搜索引擎系統(tǒng)。利用聚焦爬蟲技術(shù)可以最大效率地發(fā)現(xiàn)與之搜索關(guān)鍵詞或主題關(guān)聯(lián)度最高的網(wǎng)頁，而通用爬蟲可以給人們提供搜索入口，如創(chuàng)建快照或快捷鏈接等。利用爬蟲技術(shù)搜索系統(tǒng)可以更加高效快捷地為用戶提供精確的內(nèi)容。

2.建立大型信息數(shù)據(jù)庫。爬蟲技術(shù)獲取信息的關(guān)鍵在于必須擁有大型信息數(shù)據(jù)庫。建立信息數(shù)據(jù)庫可以幫助企業(yè)分析網(wǎng)絡(luò)用戶的愛好、行為以及了解到競爭對手的近期動態(tài);也可以幫助政府收集公民或行業(yè)信息，以便制定合理政策并分析行業(yè)發(fā)展趨勢;學者也可以利用爬蟲收集的數(shù)據(jù)和信息進行合理的學術(shù)研究等。

（三）網(wǎng)絡(luò)爬蟲運行機制

網(wǎng)絡(luò)爬蟲整體爬取流程簡言之是用戶通過網(wǎng)絡(luò)發(fā)起爬取信息Request（瀏覽器發(fā)送消息給網(wǎng)址所在的服務(wù)器，這個過程就叫做HTPP Request），當網(wǎng)絡(luò)服務(wù)器中的爬蟲系統(tǒng)檢查到用戶的請求時，為了Response（其內(nèi)容便是所要獲取的頁面內(nèi)容，類型可能是HTML，Json字符串，二進制數(shù)據(jù)如圖片或者視頻等類型）用戶的請求，爬蟲利用數(shù)據(jù)信息庫所儲備的信息在內(nèi)部進行數(shù)據(jù)檢索并解析信息，最后將解析后的信息保存在數(shù)據(jù)庫內(nèi)，同時將解析后匯總的信息輸出給發(fā)起Request的用戶。

二、網(wǎng)絡(luò)爬蟲應(yīng)用中存在的問題

（一）網(wǎng)絡(luò)爬蟲的應(yīng)用

在日常生活里爬蟲技術(shù)不僅應(yīng)用在搜索系統(tǒng)中，還應(yīng)用于很多領(lǐng)域。

1.輿情監(jiān)測。通過對網(wǎng)絡(luò)上散布于各種介質(zhì)中如搜索引擎、新聞網(wǎng)頁、微視頻、博客、論壇帖子、電子報刊、微信等相關(guān)輿情信息，利用大數(shù)據(jù)采集并篩選，從而有效準確地發(fā)現(xiàn)民眾發(fā)表關(guān)于社會的輿論情況，幫助政府或企業(yè)及時采取應(yīng)對措施并將負面輿論的危害減到最小。

2.比價、搶票類APP。大數(shù)據(jù)家維克托·邁爾舍恩伯格曾經(jīng)說過：世界的本質(zhì)是數(shù)據(jù)。如今信息冗雜、平臺眾多，針對用戶想在眾多電商中挑選到最高性價比商品的心理，便催生出比價APP——返利網(wǎng)、拼多多等。這些APP利用爬蟲技術(shù)監(jiān)控各大電商平臺的商品價格設(shè)置系統(tǒng)爬取數(shù)據(jù)進行匯總，并對商品種類、價格、型號、配置等數(shù)據(jù)采集，然后再實現(xiàn)數(shù)據(jù)的整合、分析并反饋給用戶，出行類搶票APP亦然。各大電商平臺對于比價爬蟲深惡痛絕，因為其導(dǎo)致平臺工作量大大增加，但卻沒有給平臺帶來任何流量和經(jīng)濟效益。同時，電商平臺還不能設(shè)置過于復(fù)雜驗證碼來防止爬蟲侵擾，因為一旦驗證碼過于復(fù)雜就會損失大量真實客戶，所以通常采取手動拉取滑塊到指定位置等驗證方式來減少一些低級爬蟲侵擾，但對于采用pytesser、PIL技術(shù)的爬蟲系統(tǒng)則可以輕易破解“滑塊”這類驗證碼。

3.虛擬貨幣套利。因為時差和匯率的變動，而虛擬貨幣是跨境交易，所以受時差、匯率、費率以及國家政策影響，不同交易平臺的售價是有差異的，虛擬貨幣的投資者為了使其自身利益獲得最大化，可以利用爬蟲技術(shù)設(shè)置運行程序自動監(jiān)測不同平臺虛擬貨幣的價格變動，以期在最佳價格及時拋出虛擬貨幣從而賺取豐盈差價。

4.儲備信息、知識等資料。網(wǎng)絡(luò)爬蟲掃描、分析和保存信息，幫助識別和提取數(shù)據(jù)以供分析，匯總來自不同來源的信息，如通過知網(wǎng)、萬方等學術(shù)網(wǎng)站檢索關(guān)鍵詞來獲取學術(shù)報告、文獻、期刊;通過小說網(wǎng)站下載電子小說;通過音頻網(wǎng)站收聽有聲小說、廣播劇等都是爬蟲技術(shù)的應(yīng)用。

（二）網(wǎng)絡(luò)爬蟲應(yīng)用中存在的問題

現(xiàn)如今互聯(lián)網(wǎng)中早已經(jīng)爬滿了“爬蟲”，而且越是與用戶利益和信息相關(guān)的地方，就是“爬蟲”越喜歡的地方。但這些爬蟲善惡不同、心思各異。而搶占公共資源、爬取用戶隱私、商業(yè)秘密的“壞爬蟲”，則應(yīng)該進行規(guī)制。

1.搶占公共資源。因為惡意爬蟲違背了Robots協(xié)議，爬取大量信息、甚至攻擊企業(yè)網(wǎng)站，使得網(wǎng)站不能正常運行，嚴重會造成大量人力財力的浪費。如搶票軟件應(yīng)用中，當爬蟲利用虛假客源但卻用真實的身份信息成功搶票時，便已破壞了社會公平秩序并且消耗了大量的網(wǎng)絡(luò)資源，且不產(chǎn)生有效收益，造成社會資源的浪費。

2.網(wǎng)絡(luò)安全問題。（1）個人信息泄露。部分政府職能部門或企業(yè)機構(gòu)為了減少民眾的奔波之苦，如繳納社保、公積金查詢、企業(yè)信息核查在互聯(lián)網(wǎng)或APP上就可以完成。但這些個人和商業(yè)秘密信息都存在被不法機構(gòu)利用爬蟲技術(shù)獲取的風險。甚至爬蟲技術(shù)還可以進行更高級別的密碼破解。雖然隨著反爬蟲技術(shù)不斷發(fā)展，簡單爬蟲并不能破解包含動態(tài)驗證碼等密碼程序，但若利用其他機構(gòu)服務(wù)或設(shè)置破解、識別復(fù)雜驗證碼的算法讓爬蟲進行學習，爬蟲識別后自動輸入驗證碼則可繼續(xù)爬取數(shù)據(jù)[6]。（2）過度爬取信息。金融貸款機構(gòu)等平臺，利用爬蟲繞過反爬蟲設(shè)置或主動爬取超過軟件使用目的范圍的信息，甚至侵害企業(yè)法益。訪問地理位置、人臉照片、通訊錄訪問等非必要信息。信息獲取之后，商家有的收為己用，有的則進行非法販賣交易。不僅侵害了商業(yè)秘密還損害了個人財產(chǎn)利益[7]，甚至是違反了不正當競爭的規(guī)定。（3）平臺不正當競爭。用戶或運營方在協(xié)議中也鮮少提及個人信息是否會被用在公司的商業(yè)化運營中，是否個人信息會被企業(yè)用于商業(yè)輸出等細節(jié)，而目前現(xiàn)狀則是，沒有下限采集、抓取用戶信息，如金融平臺保存的用戶個人身份號碼、家庭詳細住址;交流平臺儲存的用戶偏好;電商平臺留存的銀行卡信息和消費限度等個人信息，也是企業(yè)的商業(yè)秘密。平臺利用用戶習慣吸引更多的用戶從而掌握更多的信息，而平臺利用滾雪球式的網(wǎng)絡(luò)效應(yīng)將掌握的數(shù)據(jù)視為競爭中的核心資產(chǎn)，從而在殘酷競爭的網(wǎng)絡(luò)時代獲得有利地位和詳盡的信息。微博訴脈脈（參見北京知識產(chǎn)權(quán)法院（2016）京73、淘寶蘇民終588號民事判決書）案中利用爬蟲技術(shù)抓取微博網(wǎng)站中的高價值信息和用戶數(shù)據(jù)，脈脈將爬蟲技術(shù)轉(zhuǎn)化成其利益輸送的工具。數(shù)據(jù)協(xié)議僅是個人與運營方雙方之間的協(xié)議，缺乏平臺之間“搭便車”的監(jiān)管，對于協(xié)議是否公平，是否合規(guī)，不僅需要反爬蟲技術(shù)進行實時監(jiān)控，還需要第三方機構(gòu)或政府部門進行監(jiān)督審查。

3.“數(shù)據(jù)壁壘”。互聯(lián)網(wǎng)公司憑借早期的發(fā)展積累了大量用戶并且掌握眾多用戶信息，擁有龐大的個人信息數(shù)據(jù)庫。但對大公司掌握的數(shù)據(jù)不能共享，使得新興的互聯(lián)網(wǎng)公司為了快速取得市場，則利用爬蟲技術(shù)設(shè)定爬取某些公司網(wǎng)站源代碼程序，從而竊取商業(yè)秘密?；蛘呃玫谌綑C構(gòu)程序來監(jiān)控部分企業(yè)網(wǎng)站變化，爬取用戶信息變?yōu)橐延?。因為現(xiàn)在網(wǎng)絡(luò)信息、資源的不平衡形成的“數(shù)據(jù)壁壘”使得利用爬蟲技術(shù)獲取不當利益的行為日益增多，這需要政府來保障行業(yè)資源平衡分配從而給予小企業(yè)生存空間，但更應(yīng)該從法律源頭杜絕爬蟲技術(shù)非法爬取信息破壞行業(yè)競爭秩序。

三、國內(nèi)外關(guān)于爬蟲爬取個人信息的法律規(guī)定

（一）域外的法律規(guī)定

通過表一可以看出，目前針對爬蟲技術(shù)僅有美國設(shè)置專項法律條文進行規(guī)制，而其余國家則是從保護個人信息角度出發(fā)間接進行規(guī)制。美國趨向于利用其網(wǎng)絡(luò)技術(shù)審核、檢測系統(tǒng)保障爬蟲技術(shù)發(fā)展，并且以明確的法律歸責條款，減低運營機構(gòu)入罪標準。而日本和歐盟則要求對于采集到的信息進行“匿名化”處理來保障信息安全，從而減少爬蟲爬取個人信息的危害。德國采取默示使用原則，認為不及時采取措施就是允許，對爬蟲發(fā)展采取極大寬容的規(guī)定。比利時則相反，采取授權(quán)使用原則。可見全世界針對爬蟲爬取信息的法律規(guī)定并無統(tǒng)一規(guī)制標準，但卻都一致認為，爬蟲僅為行為人為達到其目的而采用一種技術(shù)手段而已，各國都并不限制爬蟲技術(shù)的發(fā)展。同時，各國都在通過加強自身數(shù)據(jù)控制力、重視自身網(wǎng)絡(luò)空間安全建設(shè)和減少自身數(shù)據(jù)泄露發(fā)生等維度來完善自身信息安全的保護。

（二）國內(nèi)的法律規(guī)定

我國目前并無具體法律對網(wǎng)絡(luò)爬蟲進行規(guī)制，但是相關(guān)法律中某些條文從個人信息保護、網(wǎng)絡(luò)運營者權(quán)責以及市場運行秩序等多個維度進行了規(guī)定，從而限制“惡意爬蟲”的行為。（見表2）

我國針對網(wǎng)絡(luò)爬蟲獲取信息的法律規(guī)定分散。現(xiàn)行法律并未對爬蟲性質(zhì)和爬蟲抓取信息的行為進行性質(zhì)界定和技術(shù)識別，而是采取統(tǒng)一罪名認定，這導(dǎo)致針對爬蟲的罪責處罰范圍較大：僅依據(jù)數(shù)量和結(jié)果造成嚴重后果時才認定犯罪，顯得過于片面和死板。同時，我國現(xiàn)在關(guān)于網(wǎng)絡(luò)安全的立法較為單薄且并未針對數(shù)據(jù)權(quán)屬進行專項規(guī)定，使得法律難以界定爬蟲獲取信息侵害的不同法益。另外，現(xiàn)在數(shù)據(jù)種類眾多，但是我國法律并未規(guī)定明確的“數(shù)據(jù)權(quán)”，使得關(guān)于確定爬蟲爬取信息罪責更是難上加難。我國法律應(yīng)該逐步建立個人信息的全面保護，對數(shù)據(jù)爬取的違法行為進行全覆蓋，才能有效保護不同法益。

四、網(wǎng)絡(luò)爬蟲爬取個人信息的法律規(guī)制建議

爬蟲技術(shù)是我國科技網(wǎng)絡(luò)發(fā)展的重要技術(shù)，完善法律規(guī)范更應(yīng)使其成為科技發(fā)展的堅強保障。若當網(wǎng)絡(luò)用戶的權(quán)益受到爬蟲侵害時，僅有Robots協(xié)議并不能完全規(guī)制爬蟲非法獲取信息的行為，所以樹立明確的行業(yè)標準，建立健全法律規(guī)制刻不容緩，堅決做到有法可依，保衛(wèi)公民的合法權(quán)益。

（一）加強頂層設(shè)計，完善立法保障

在網(wǎng)絡(luò)時代數(shù)據(jù)即金錢，而技術(shù)則是決定互聯(lián)網(wǎng)發(fā)展方向和前景的關(guān)鍵因素。法律不應(yīng)限制科技的發(fā)展，更應(yīng)鼓勵技術(shù)創(chuàng)新。不過，也要考慮適度原則，若過度保護技術(shù)則可能會導(dǎo)致行業(yè)壟斷、數(shù)據(jù)資源不平衡等問題。法律應(yīng)尋求技術(shù)發(fā)展和保護用戶權(quán)益之間的平衡點。

1.堅持技術(shù)中立發(fā)展的方向。從法律角度看，技術(shù)本身無錯，談何規(guī)制技術(shù)使用？關(guān)鍵在于持有、利用技術(shù)的人是從何種心思、目的來應(yīng)用它。所以，應(yīng)從技術(shù)利用者的目的、行為判斷是否與法律規(guī)定相沖突，確定其是要承擔相應(yīng)的法律責任還是應(yīng)認定為合理使用。若其行為破壞社會正常運行秩序，不利于市場正常競爭，侵擾個人合法權(quán)益等則認定為惡意利用技術(shù)行為，應(yīng)受到法律強制力的制裁。確定技術(shù)行為的重要性在于，這是判斷是否構(gòu)成犯罪的標準之一。另外，法律也應(yīng)明確技術(shù)使用方應(yīng)注意的義務(wù)，使得提供技術(shù)方在法律的框架內(nèi)實現(xiàn)技術(shù)創(chuàng)新。

2.建立綜合法律治理體系。我國需要建立健全網(wǎng)絡(luò)時代法律體系：明確網(wǎng)絡(luò)數(shù)據(jù)的權(quán)利屬性、確定電子信息法益。建立以網(wǎng)絡(luò)安全為主導(dǎo)，綜合民事、刑事、行政等法律融合的治理體系，完善我國網(wǎng)絡(luò)安全的刑事責任、民事責任和民事賠償制度。實現(xiàn)公民權(quán)益和技術(shù)發(fā)展的和諧。做到在一定范圍內(nèi)法律既保護信息流通，又保全網(wǎng)絡(luò)用戶的合法權(quán)益，從而依法鼓勵技術(shù)不斷創(chuàng)新。用法律來維持網(wǎng)絡(luò)空間發(fā)展秩序，自由不應(yīng)以失去自由代價。

3.界定惡意爬蟲罪行性質(zhì)。網(wǎng)絡(luò)商業(yè)環(huán)境的錯綜復(fù)雜和行業(yè)更新?lián)Q代頻率日益加快，使得更加難以定性爬蟲爬取信息行為性質(zhì)。由于我國目前的法律規(guī)定難以對惡意爬蟲爬取個人信息進行準確的罪行認定，就會造成一些不法分子難以被法律懲戒，或者處罰過于輕微難以達到教育目的。爬取方可能利用法律漏洞，從而給自身披上“合法外套”來獲取個人隱私信息、政府重要數(shù)據(jù)、商業(yè)秘密等，但不同種類的信息危害社會、法律秩序的程度不同，其行為侵害的法益也不同。建議立法者應(yīng)從法律層面界定不同爬蟲行為的危害程度來確立不同罪名，實現(xiàn)有效規(guī)制惡意爬蟲。

（二）強化政府職能，營造法治環(huán)境

1.創(chuàng)造和諧的發(fā)展環(huán)境。政府在面對新技術(shù)發(fā)展背景下，應(yīng)擺脫“一刀切”規(guī)制方法，采取有限度的自由發(fā)展策略激勵企業(yè)進行技術(shù)創(chuàng)新，維護企業(yè)的經(jīng)濟效益。同時，針對利用技術(shù)進行破壞市場合理競爭秩序的行為進行嚴厲打擊，開展專項打擊網(wǎng)絡(luò)違法犯罪、販賣個人信息的“黑灰”產(chǎn)業(yè)活動，給企業(yè)創(chuàng)造一個安定有序的發(fā)展環(huán)境。

2.加強政府監(jiān)督職能。政府應(yīng)定期檢測網(wǎng)絡(luò)行業(yè)的技術(shù)設(shè)備、安全設(shè)施系統(tǒng)，確立訪問數(shù)據(jù)規(guī)則界限，以保障公民信息安全。同時也應(yīng)建立第三方監(jiān)測系統(tǒng)，監(jiān)測企業(yè)不法利用爬蟲技術(shù)行為。一經(jīng)發(fā)現(xiàn)則及時采取措施中止爬取信息的行為，并對相關(guān)企業(yè)進行警告，造成嚴重的后果的應(yīng)采取強制措施，造成不可逆損害的應(yīng)對其進行相應(yīng)經(jīng)濟懲罰。

3.打破數(shù)據(jù)壁壘?，F(xiàn)在互聯(lián)網(wǎng)企業(yè)不可能依靠單一爬蟲技術(shù)來支持運營，而是應(yīng)用多種爬蟲模式收集、整合各類數(shù)據(jù)，并結(jié)合自身信息庫進行有效運營。因為數(shù)據(jù)具有不可取代性，對于商家來說若稀缺性的數(shù)據(jù)不能及時獲取就會失去大量商機。為了避免陷入壟斷危機，立法者應(yīng)引入“必要設(shè)施理論”，使稀缺數(shù)據(jù)持有人承擔開放數(shù)據(jù)義務(wù)，力促打破數(shù)據(jù)壁壘，實現(xiàn)資源共享，促進企業(yè)和互聯(lián)網(wǎng)技術(shù)和諧有序發(fā)展，維護三方的權(quán)益。

4.公共信息增值開發(fā)。政府公開信息是共享的，但是這些信息分布零散且冗雜，不易直接使用。政府可將這些共享信息進行增值開發(fā)，減少社會資源分配不均問題的產(chǎn)生。采取“誰使用誰付費”的原則，向數(shù)據(jù)使用者收費。有利于減少數(shù)據(jù)擁堵的發(fā)生，同時還可以減輕政府對信息增值和信息個性化加工支出的費用，并有利于矯正爬蟲行為的負外部效應(yīng)。

（三）強化行業(yè)責任，減少不正當競爭

爬蟲爬取信息而窮盡網(wǎng)頁資源（如圖3）。現(xiàn)互聯(lián)網(wǎng)行業(yè)制定自律公約——《互聯(lián)網(wǎng)搜索引擎服務(wù)自律公約》（下文簡稱公約），其作為行業(yè)公約限制惡意爬蟲的作用十分有限，因為爬蟲獲取信息并不僅限于搜索引擎而已經(jīng)擴展到其他互聯(lián)網(wǎng)的領(lǐng)域，則《公約》顯得心有余而力不足了。所以應(yīng)從源頭進行規(guī)制，限制其訪問源，并設(shè)置嚴格的反爬蟲措施來防范爬蟲的侵擾。

1.保障網(wǎng)絡(luò)空間安全。（1）嚴格把控信息。源頭黑客技術(shù)、惡意竊取信息技術(shù)屢禁不止，為了從根本上保護信息安全，最重要的是從源頭截斷一切可能入侵的行徑。對源頭數(shù)據(jù)進行技術(shù)加密，并對數(shù)據(jù)本身進行加密處理。即使信息在傳輸、儲存、整合的過程中被爬蟲爬取了信息，只要沒有掌握數(shù)據(jù)加密的運算程序，就不可能破解數(shù)據(jù)所包含的信息。應(yīng)使信息加密成為行業(yè)必備的保護信息的手段之一，保衛(wèi)網(wǎng)絡(luò)空間的安全。（2）限制爬蟲訪問源。在信息日益膨脹的時代，要愈加重視信息的保護。設(shè)置有效的技術(shù)手段防止爬蟲爬取用戶信息，如網(wǎng)頁反作弊措施。而針對網(wǎng)絡(luò)中公民公開的信息，平臺應(yīng)堅持適度使用原則，尊重用戶意愿，打破“行業(yè)壁壘”，堅持數(shù)據(jù)共享理念，實現(xiàn)有序發(fā)展。（3）構(gòu)建專業(yè)反爬蟲平臺。因為爬蟲變化多端，所以反爬蟲技術(shù)需要復(fù)雜的技術(shù)支持和專業(yè)團隊及時更新系統(tǒng)，費時又費力。建議行業(yè)應(yīng)統(tǒng)一構(gòu)建專業(yè)的反爬蟲平臺，可以實時監(jiān)控爬蟲技術(shù)的變化，提高各企業(yè)應(yīng)對惡意爬蟲的反應(yīng)速度，同時減少各企業(yè)應(yīng)對惡意爬蟲的經(jīng)濟成本，有利于各行業(yè)的應(yīng)對策略迅速發(fā)揮作用。

2.搭建產(chǎn)權(quán)保護平臺。大企業(yè)應(yīng)承擔相應(yīng)社會責任，推行網(wǎng)絡(luò)運營平臺、技術(shù)服務(wù)的信用評分系統(tǒng)，以身作則接受全社會的監(jiān)督。杜絕深度鏈接和加框鏈接等不正當截取信息的行為，以誠實信用原則作為行為的依據(jù)，維護用戶、平臺雙方利益。尊重用戶意愿，行業(yè)應(yīng)分化“搭便車”和侵權(quán)權(quán)益，建立數(shù)據(jù)使用、流通的平臺，應(yīng)不斷調(diào)整獲取信息的規(guī)則，避免日新月異的發(fā)展中格式化和機器化。搭建產(chǎn)權(quán)保護平臺也應(yīng)充分調(diào)動用戶的積極性，發(fā)揮用戶和輿論的監(jiān)督作用。

3.落實平臺監(jiān)督管理責任。各行業(yè)應(yīng)樹立自身主體意識，落實舉報監(jiān)督核查體系，確保監(jiān)督工作的可操作性。行業(yè)應(yīng)積極促使行業(yè)規(guī)范和相關(guān)法律法規(guī)的有機結(jié)合和無縫對接。平臺應(yīng)采取多種渠道監(jiān)督，如網(wǎng)絡(luò)監(jiān)測、運算程序重點排查、及時糾錯等形式，定期梳理平臺的信息，防止爬蟲抓取信息，有利于企業(yè)保護自身商業(yè)數(shù)據(jù)，提升平臺發(fā)展前景。平臺應(yīng)定期允許第三方機構(gòu)檢測爬蟲爬取信息行為是否違反行業(yè)秩序或法律規(guī)定，盡到平臺管理責任，保證商家合法運營。同時也促使商家用高質(zhì)量的服務(wù)贏得用戶，保持良性網(wǎng)絡(luò)行業(yè)的發(fā)展。

結(jié)語

爬蟲技術(shù)不應(yīng)為人類的不正當使用行為“背鍋”。我們應(yīng)從數(shù)據(jù)用途和使用渠道來規(guī)避其侵害產(chǎn)權(quán)，但物競天擇，正當競爭造成的損害是有益于進步的，也會激勵創(chuàng)新，而惡意利用網(wǎng)絡(luò)爬蟲技術(shù)則破壞了市場秩序，它竊取用戶信息、企業(yè)商業(yè)秘密等行為打破了用戶、運營者和作者三方的平衡。我們應(yīng)發(fā)揮爬蟲技術(shù)的中立性，實現(xiàn)互聯(lián)網(wǎng)塑造融合開放共享的理念，保護用戶權(quán)益，推動網(wǎng)絡(luò)的繁榮發(fā)展，促使技術(shù)和法律和諧發(fā)展。我們應(yīng)發(fā)揮法律的預(yù)測作用，不斷調(diào)整法律使之適應(yīng)社會的快速發(fā)展，否則在未來，網(wǎng)絡(luò)世界可能面臨著無所不在的信息安全隱患問題。

參考文獻：

[1]李帥.網(wǎng)絡(luò)爬蟲行為對數(shù)據(jù)資產(chǎn)確權(quán)的影響[J].財經(jīng)法學，2020（1）：25-34.

[2]劉金瑞.數(shù)據(jù)財產(chǎn)保護的權(quán)利進路初探[J].中國信息安全，2017（12）：37-39.

[3]楊定中，趙剛，王泰.網(wǎng)絡(luò)爬蟲在 Web 信息搜索與數(shù)據(jù)挖掘中應(yīng)用[J].計算機工程與設(shè)計，2009（24）：5658-5662.

[4]Kimmel-Smith-S.Robot-generated databases on the World Wide Web[J].Database，1996，19（1）：N /A.

[5]騰訊云鼎實驗室發(fā)布《2018上半年互聯(lián)網(wǎng)惡意爬蟲分析》[EB/OL].（2018-09-12）[2020-08-01]https：//cloud.tencent.com/developer/article/1336209.

[6]張曄，孫光光，徐洪云，等.國外科技網(wǎng)站反爬蟲研究及數(shù)據(jù)獲取對策研究[J].競爭情報，2020（1）：24-28.

[7]王燃.論網(wǎng)絡(luò)開放平臺數(shù)據(jù)利益分配規(guī)則[J].電子知識產(chǎn)權(quán)，2020（8）：45-55.

[8]劉曉春. 數(shù)據(jù)抓取的邊界在哪里？[N].人民法院報，2020-03-19（07）.

責任編輯：周育平