正常情況下網(wǎng)站上線后，百度通過(guò)對(duì)網(wǎng)站核查后就會(huì)對(duì)網(wǎng)站進(jìn)行收錄，之后會(huì)根據(jù)網(wǎng)站的質(zhì)量對(duì)網(wǎng)站進(jìn)行爬行評(píng)分，然后匹配排名。而如果網(wǎng)站的某些頁(yè)面或者針對(duì)某些搜索引擎的特殊要求不希望被其爬行收錄的話，我們也可使用robot文件等操作方式來(lái)屏蔽搜索引擎蜘蛛的爬行。那么，搜索引擎之于網(wǎng)站的爬行是依照什么原理來(lái)進(jìn)行的呢？這就是今天筆者小丹和大家一起來(lái)探究的問(wèn)題了。

    robots.txt文件是為了告訴百度哪些頁(yè)面你可以爬行但是不可以留存快照，或者說(shuō)你不可以爬行。而收錄快照則是百度需要對(duì)網(wǎng)站頁(yè)面進(jìn)行評(píng)分，且用如果我們的網(wǎng)站打不開(kāi)了，用戶也可以通過(guò)快照打開(kāi)。正確的理解就是百度快照就是百度抓取網(wǎng)站頁(yè)面后，保存在自己數(shù)據(jù)庫(kù)中的我們的網(wǎng)站數(shù)據(jù)。為了減少百度資源浪費(fèi)，抓取的快照有時(shí)候無(wú)法完全保存你的整個(gè)頁(yè)面，例如大圖和動(dòng)態(tài)特效位置就無(wú)法保存。

    百度爬行網(wǎng)站，更新的捏快照，其實(shí)并不百分百是爬行了網(wǎng)站頁(yè)面，也有可能是爬行了百度的數(shù)據(jù)庫(kù)快照索引，這樣可以增加百度爬行速度，減少百度蜘蛛資源浪費(fèi)。那么不允許百度保存你的快照的作用就是每一次來(lái)人，每一次百度評(píng)分你的頁(yè)面，那么百度都必須去完全的分析你的頁(yè)面，而不是去分析你的百度數(shù)據(jù)庫(kù)保存的老頁(yè)面，這樣幫助你的網(wǎng)站頁(yè)面實(shí)時(shí)獲得最新的評(píng)分。告訴百度不允許爬行某個(gè)頁(yè)面的命令來(lái)源于robots文件，百度爬到這個(gè)文件的時(shí)候不會(huì)給這個(gè)頁(yè)面權(quán)重，但是如果百度從別的頁(yè)面進(jìn)入這個(gè)網(wǎng)站這個(gè)頁(yè)面依然可以獲得權(quán)重。

    同樣的，第二個(gè)可以達(dá)到屏蔽抓取的就是nofollow標(biāo)簽，當(dāng)我們?cè)诰W(wǎng)站中任何位置給某一個(gè)鏈接添加了nofollow標(biāo)簽屬性的時(shí)候，就是告訴百度這個(gè)鏈接將不會(huì)獲得我的網(wǎng)站的任何權(quán)重。如，首頁(yè)域名的帶www域名本身極少內(nèi)容頁(yè)和欄目頁(yè)，所有欄目做二級(jí)域名，首頁(yè)的外部指向鏈接做nofollow不給其權(quán)重而自己的二級(jí)域名不做nofollow則本身帶www頁(yè)面無(wú)欄目、無(wú)內(nèi)容、權(quán)重有限，就一個(gè)單獨(dú)的網(wǎng)站頁(yè)面，所有的二級(jí)域名網(wǎng)站整站傳遞權(quán)重給帶www的頁(yè)面，則帶www頁(yè)面只給部分二級(jí)域名站內(nèi)容頁(yè)和二級(jí)域名站首頁(yè)傳遞權(quán)重，這樣帶www的網(wǎng)站首頁(yè)依然獲得比傳出去多得多的權(quán)重，累計(jì)權(quán)重排名。

    當(dāng)然上面講到的操作方式適合大型網(wǎng)站站點(diǎn)的集權(quán)操作，而小型站點(diǎn)則不必。因?yàn)樾⌒途W(wǎng)站尤其是普通的企業(yè)站點(diǎn)欄目分類本來(lái)就很少，如果我們做成網(wǎng)站二級(jí)域名的形式則我們二級(jí)站點(diǎn)域名傳遞給主站的權(quán)重就會(huì)很少，這樣不但不能夠幫助主站提上權(quán)重排名，還會(huì)影響二級(jí)域名站點(diǎn)的獨(dú)立成長(zhǎng)，得不償失。

    (轉(zhuǎn)載請(qǐng)注明轉(zhuǎn)自：gafsjz.com，謝謝!珍惜別人的勞動(dòng)成果，就是在尊重自己!）