Robots協(xié)議（也稱為爬蟲協(xié)議、機(jī)器人協(xié)議等）的全稱是“網(wǎng)絡(luò)爬蟲排除標(biāo)準(zhǔn)”，網(wǎng)站通過Robots協(xié)議告訴搜索引擎哪些頁面可以抓取，哪些頁面不能抓取。該協(xié)議尊重信息提供者的意愿，并維護(hù)其隱私權(quán)；保護(hù)其使用者的個人信息和隱私不被侵犯。而日前，百度以奇虎360違反Robots協(xié)議為由一紙?jiān)V狀將其告上法庭，一審要求360賠付百度相關(guān)損失70萬元。

      我們做SEO時，為了讓網(wǎng)站更好的運(yùn)行經(jīng)常會應(yīng)用robots文件，它相當(dāng)于給網(wǎng)站加上一層保護(hù)網(wǎng)，對網(wǎng)站而言絕對的有利的。而本次Robots協(xié)議事件，讓我們不得不再次將Robots提上網(wǎng)站安全的文案。

      有法律專家表示，Robots協(xié)議如果被破壞，對整個行業(yè)可謂滅頂之災(zāi)。然而，作為行業(yè)慣例的robots協(xié)議卻因?yàn)椴⒎前准埡谧值姆蓷l文，成了一些無節(jié)操互聯(lián)網(wǎng)公司惡意違反robots協(xié)議搞不正當(dāng)競爭的借口。那么，不是法律條文的robots協(xié)議，在全行業(yè)普遍遵守的習(xí)慣下，違反者難道不應(yīng)該為此承擔(dān)法律責(zé)任嗎？

      “慣例也好,習(xí)慣也好,都是一種行為模式,是為了要達(dá)到一定的利益訴求。通常它是既有利于自己的利益,同時又與其他利益攸關(guān)者的正當(dāng)利益不相沖突。在這個前提下,慣例是一種經(jīng)濟(jì)上節(jié)約,法律上又合法的行為模式。這樣一種行為模式,只要符合前面說的這兩條就是合法的。”

      由此來看，我們只需要搞清楚Robots協(xié)議是不是一種切切實(shí)實(shí)存在的行業(yè)慣例或習(xí)慣，就可以對違反Robots協(xié)議如何定性這個問題做到至少心中有數(shù)。

      robots協(xié)議由荷蘭籍網(wǎng)絡(luò)工程師Martijn Koster 于1994年首次提出，robots協(xié)議是國際互聯(lián)網(wǎng)界通行的道德規(guī)范，網(wǎng)站通過robots協(xié)議告訴搜索引擎哪些頁面可以抓取，哪些頁面不能抓取。其目的是保護(hù)網(wǎng)站數(shù)據(jù)和敏感信息、確保用戶個人信息和隱私不被侵犯。有統(tǒng)計(jì)資料顯示，目前國內(nèi)設(shè)置robots協(xié)議的網(wǎng)站超過4億，中國大的網(wǎng)站也均都設(shè)置了robots協(xié)議：淘寶網(wǎng)、騰訊、CCTV、人民網(wǎng)、網(wǎng)易、新浪、太平洋在線、優(yōu)酷等，百度和360也都在各自站點(diǎn)中設(shè)置了robots協(xié)議。

     不僅如此，國際排名前1000左右的網(wǎng)站中，F(xiàn)acebook、Twitter、Alexa、 LinkedIn 等國際知名網(wǎng)站，均采用白名單制設(shè)置robots，只允許robots.txt文件中聲明的搜索引擎抓取，禁止其他搜索引擎抓取，例如Facebook網(wǎng)站允許baiduspider、Googlebot、msnbot、naverbot、 Eznambot、Slurp、teoma、Yandex等搜索引擎爬蟲收錄使用網(wǎng)站特定內(nèi)容，禁止包含360等在內(nèi)的其他搜索引擎抓取。TWITTER網(wǎng)站部分內(nèi)容只允許Googlebot、Slurp、Yandex 、msnbot搜索引擎爬蟲抓取，對于其他搜索引擎不允許抓取。

      實(shí)際上，不可計(jì)數(shù)的中小網(wǎng)站也大多在使用robots文件來保護(hù)后臺登陸地址、數(shù)據(jù)存檔目錄等敏感信息，以保護(hù)網(wǎng)站及其用戶的隱私安全。

      綜合這些情況來看，robots協(xié)議確實(shí)一種行業(yè)慣例，是全行業(yè)用來保護(hù)知識產(chǎn)權(quán)、信息安全和隱私內(nèi)容的一種慣用方法。

      然而，在實(shí)際的行業(yè)市場中，卻偏偏存在不按常規(guī)出牌的公司，比如360公司自2012年8月推出獨(dú)立搜索以來，一直無視robots協(xié)議這一國際通行規(guī)范，在未獲得百度等公司允 許的情況下，違反業(yè)內(nèi)公認(rèn)的Robots協(xié)議，擅自抓取網(wǎng)站Robots文件中明文禁止的內(nèi)容，即便在互聯(lián)網(wǎng)協(xié)會出面調(diào)解，簽署了《互聯(lián)網(wǎng)搜索引擎服務(wù)自律公約》后，仍然明知故犯，實(shí)乃不把行業(yè)慣例放在眼里。

      有專家指出，Robots協(xié)議代表一種契約精神，互聯(lián)網(wǎng)企業(yè)只有遵守這一規(guī)則，才能保證網(wǎng)站及用戶的隱私數(shù)據(jù)不被侵犯?？梢哉f，無論從保護(hù)網(wǎng)民隱私還是尊重版權(quán)內(nèi)容的角度，遵守robots協(xié)議都應(yīng)該是正規(guī)互聯(lián)網(wǎng)公司的默之舉，任何違反robots協(xié)議的行為都應(yīng)該為此付出代價。

     Robots協(xié)議為網(wǎng)站安全保駕護(hù)航，一旦違反協(xié)議要求很多商業(yè)性網(wǎng)站可能會蒙受巨大損失。我們不想知道如此慣例是否有罪，重要的是維護(hù)網(wǎng)絡(luò)環(huán)境和諧讓網(wǎng)絡(luò)User可以放心是每位站長的共同心愿。