搜索引擎在信息搜集過程中的信息倫理問題研究

譚哲 李詣斐

關鍵詞 信息倫理 搜索引擎 研究

1引言

在搜索引擎企業(yè)高速發(fā)展、搜索引擎企業(yè)對社會影響越來越大的同時，搜索引擎企業(yè)所爆發(fā)出來的信息倫理問題也越來越多[1] ，與社會的矛盾也越來越尖銳。搜索引擎的信息行為主要包括信息搜集、信息加工、信息提供、信息使用四個流程。其中，信息搜索是第一步。2013 年，在百度與360 之間展開的3B 大戰(zhàn)中具有信息倫理內(nèi)核和行業(yè)倫理準則性質(zhì)的Robots協(xié)議成為判決的關鍵。這對我們解決搜索引擎在信息搜集中的倫理問題起到了啟示作用。

2搜索引擎在信息搜索過程中的信息倫理問題案例

2.1案例選擇———3B 大戰(zhàn)案中對Robots 協(xié)議的使用

在搜索引擎的信息搜集中，盡管搜索引擎可以開發(fā)其他的產(chǎn)品，通過各種形式搜集信息，但采集網(wǎng)頁卻是搜索引擎的基礎和重點———哪些網(wǎng)頁應該采集、哪些網(wǎng)頁不應該采集、萬一有網(wǎng)頁不愿意被采集。Robots 協(xié)議是行業(yè)內(nèi)的軟協(xié)議，不具備法律效力，只具備倫理約束效力。Robots 協(xié)議到底存在怎樣的信息倫理內(nèi)涵？ 我們一探究竟。

3B 大戰(zhàn)是搜索引擎行業(yè)的著名案例，360 違背百度設置的Robots 協(xié)議、不遵守行業(yè)規(guī)范也是案件判決的依據(jù)，下文將通過這個案例進行分析。

2.2案例回顧

2012 年年初，百度宣傳360 通過360 瀏覽器故意竄改、仿照百度搜索結果，進行惡意、不良競爭。同年8 月，360 宣布推出“360 綜合搜索”，正式進入搜索引擎市場，整個互聯(lián)網(wǎng)行業(yè)為之震驚，百度的市場壟斷地位或有望遭到動搖。360 將其瀏覽器的內(nèi)置搜索引擎改為自主的360 搜索，替換了原來的Google 內(nèi)核。

2012 年8 月28 日，百度又公開宣稱360 侵犯了其Robots 協(xié)議，違背行業(yè)道德倫理規(guī)范，除對百度數(shù)據(jù)庫進行了未被允許的抓取外，還對包括百度百科、百度知道在內(nèi)的多項產(chǎn)品內(nèi)容進行了抓取。360 的行為侵犯了百度的用戶隱私和知識產(chǎn)權，百度單方面宣布用重置盜鏈的方式對360 進行反制：百度實行搜索結果中的跳轉(zhuǎn)URL 動態(tài)加密，在使用一些瀏覽器時，用戶搜索諸如關鍵詞等行為也不會被記錄。這樣的強制手段旨在對網(wǎng)站和用戶的信息進行保護，阻止搜索引擎的爬蟲違背Robots 協(xié)議抓取本站數(shù)據(jù)，很多網(wǎng)站都曾采取這種方式，并非百度首創(chuàng)。

盡管這樣的方式能阻止360 違背Robots 協(xié)議抓取信息[2] ，但360 見招拆招，采用了網(wǎng)頁快照的方式進行反擊。通過360 瀏覽器會被直接跳轉(zhuǎn)至載有提示用戶該頁面系360 儲存及具體儲存時間的網(wǎng)頁快照頁面。

2012 年9 月，雙方的惡意斗爭終于引起了相關部門的關注。相關部門為避免再次發(fā)生3Q 大戰(zhàn)中傷及用戶的“二選一”現(xiàn)象，要求雙方停止惡意斗爭，不要再炒作。然而，事件并沒有因此而平息，百度啟用釣魚策略，用“鬼節(jié)捉鬼”的手段證實了360 瀏覽器不僅抄襲其他瀏覽器的搜索結果，而且還用其360 瀏覽器記錄用戶的信息，嚴重侵犯用戶隱私，造成用戶的信息安全隱患。此外，百度還搜集證據(jù)，試圖通過法律途徑解決問題，同時呼吁用戶對360 軟件進行卸載。

2013 年4 月，法院判決百度訴360 不正當競爭和商標侵權案中360 不正當競爭行為成立。360 當即上訴。2013 年11 月法院駁回了360 的上訴。2014 年8月，北京市中級人民法院就此案做出一審判決，認為360 違反不正當競爭法，判決360 賠償百度70 萬元，同時駁回了關于百度申請禁止360 抓取其網(wǎng)頁數(shù)據(jù)的行為。

法院認為，Robots 協(xié)議是搜索引擎業(yè)內(nèi)的公認規(guī)則，屬于倫理道德的范疇，行業(yè)企業(yè)需要遵守，360 搜索引擎沒有遵守百度設置的Robots 協(xié)議，構成了不正當競爭。同時，法院也認為設置Robots 協(xié)議時要有充分的理由，百度對360 的針對性設置并不公平，因此駁回了百度的其他請求。

3案例分析———信息存取權問題

3.1 Robots 協(xié)議對搜索引擎信息存取權的影響

（1） 結果論分析：以上文案例為例，上述違反Robots 的情況將會導致搜索引擎企業(yè)為了獲取更大的商業(yè)利益和贏得競爭而抓取網(wǎng)站保護數(shù)據(jù)以優(yōu)化搜結果、抄襲同行對手的數(shù)據(jù)庫及產(chǎn)品[3] 、濫用Robots 協(xié)議排擠競爭者等現(xiàn)象日益增多。搜索引擎可以為了降低成本而抄襲其他搜索引擎的搜索結果，搜索引擎也可能會為了獲取更多的信息而侵犯一些網(wǎng)站不想被抓取的信息，這些信息可能對信息隱私和信息產(chǎn)權、信息安全有著極大的影響。

這樣的行為會侵害網(wǎng)站、用戶權益和公共利益。

最終打破搜索行業(yè)利益平衡，打亂行業(yè)秩序。從結果來說，違反Robots 協(xié)議是不利于結果論所追求“人類最大福祉”的。

（2）義務論分析：康德把義務理解為對普遍法則的尊重，就像網(wǎng)球俱樂部的會員需要遵守網(wǎng)球俱樂部的規(guī)則，而Robots 協(xié)議則可以看作是搜索引擎行業(yè)的普遍法則。Robots 協(xié)議是互聯(lián)網(wǎng)網(wǎng)站的站長和搜索引擎服務商兩者的共同協(xié)商之下于1994 年誕生的，其以Robots.txt 的形式實現(xiàn)，它可以引導搜索引擎的爬蟲如何抓取本網(wǎng)站的信息，也可以告訴爬蟲哪些信息可以抓取，哪些信息不能抓取，還能指定哪些搜索引擎可以抓取，哪些搜索引擎不可抓取。

Robots 協(xié)議的意義非凡，它的主要目的是保護網(wǎng)站中的敏感數(shù)據(jù)和信息，也可以保護網(wǎng)站用戶的隱私，同時對網(wǎng)站的服務器也有保護作用，因為過高頻率的抓取會給服務器帶來巨大的壓力。因此，Robots協(xié)議一經(jīng)發(fā)布便被大部分的搜索引擎遵守。

在國內(nèi)，《互聯(lián)網(wǎng)搜索引擎服務自律公約》便有明文規(guī)定行業(yè)內(nèi)成員要自覺遵守Robots 協(xié)議[4] ，在搜索引擎企業(yè)簽署這一協(xié)議后，Robots 協(xié)議已上升為搜索引擎行業(yè)的信息倫理層面，應當普遍遵守。因此，違反Robots 協(xié)議是不符合義務論倫理的。gzslib202204022344

（3）美德論分析：Robots 協(xié)議并非命令，它是網(wǎng)站為防止被別人肆意抓取站內(nèi)數(shù)據(jù)信息的警告，依賴搜索引擎自覺遵守。尊重是傳統(tǒng)美德，同時中國儒家傳統(tǒng)美德中也有“ 己所不欲勿施于人” 一說。違反Robots 協(xié)議也會違反公平、平等、誠實信用等美德。從美德論的角度來說，作為搜索引擎企業(yè)也需遵守Robots 協(xié)議。

3.2前移動互聯(lián)網(wǎng)時代搜索引擎對信息的掌控

在國內(nèi)，曾經(jīng)很多人打開瀏覽器后的第一個步驟便是進入百度頁面，以獲取網(wǎng)絡信息。

CNNIC 基于《2016.12～2017.06 中國網(wǎng)民各類互聯(lián)網(wǎng)應用使用率》報告認為搜索引擎位列中國網(wǎng)民互聯(lián)網(wǎng)應用使用率的第二位（表一）。在一般人都是用電腦使用瀏覽器瀏覽互聯(lián)網(wǎng)信息的時候，搜索引擎對于網(wǎng)絡中的信息有著極大的控制權。這時搜索引擎就成為網(wǎng)絡世界的把關者，其可以決定讓用戶優(yōu)先看到哪些網(wǎng)站，對信息的獲取起到關鍵性影響。搜索引擎由此可以對信息資源進行掌控，用戶想接觸網(wǎng)絡信息需要經(jīng)由搜索引擎這道門，網(wǎng)站想讓用戶被看到也要通過搜索引擎這道門。

百度一下和Google it 兩個搜索引擎的企業(yè)名直接成為搜索的代名詞，也成為獲得信息的代名詞。

3.3移動互聯(lián)網(wǎng)時代搜索引擎信息存取遭遇挑戰(zhàn)

在這個移動互聯(lián)網(wǎng)時代，更多的人選擇通過手機上網(wǎng)。第40 次《中國互聯(lián)網(wǎng)絡發(fā)展狀況統(tǒng)計報告》就指出搜索引擎的營收遭到挑戰(zhàn)。

隨著互聯(lián)網(wǎng)的發(fā)展，越來越多的網(wǎng)站并不希望通過搜索引擎讓用戶找到，它們開始拒絕被搜索引擎抓取，搜索引擎也越來越難以存取、獲得所有信息[5] 。

雖然搜索引擎應用在手機互聯(lián)網(wǎng)應用中排名前三（表2），但搜索引擎這一產(chǎn)品似乎漸漸從底層瓦解，同時搜索引擎這門生意漸漸被分散，不再是一門集中網(wǎng)絡資源的好生意。