來源:gafsjz.com 作者:筆者小丹 時(shí)間:2019-01-09 16:30:33 瀏覽:2261次
我們?cè)谶M(jìn)行網(wǎng)站優(yōu)化的時(shí)候首先會(huì)通過網(wǎng)站根目錄放置幾個(gè)文件,像robots.txt文件,sitemap.xml文件等等都是為了之后網(wǎng)站優(yōu)化操作時(shí)能夠有比較不錯(cuò)的蜘蛛爬行記錄。同時(shí),我們也發(fā)現(xiàn)很多站點(diǎn)上是不存在robots文件的,所以很多碰喲開始問了,網(wǎng)站到底需不需要制作robots文件呢?或者說robots文件的存在確實(shí)必須不可嗎?
首先我們要了解一下什么是robots文件,其實(shí)它也是互聯(lián)網(wǎng)上的一種協(xié)議,我們可以認(rèn)為是爬蟲協(xié)議,是搜索引擎蜘蛛之間的訪問權(quán)限所在,我們認(rèn)識(shí)當(dāng)搜索引擎蜘蛛進(jìn)入網(wǎng)站后它第一個(gè)爬行的文件不是首頁(yè)而是robots文件,當(dāng)robots沒有時(shí)它才會(huì)按照網(wǎng)站權(quán)重頁(yè)面的比例分布來進(jìn)行探索爬行,所以很多人認(rèn)為這個(gè)文件存在的必要性幾乎為零。但是,如果我們給一個(gè)站的鏈接進(jìn)行了robots,但是百度沖另外的別的站進(jìn)入了你的這個(gè)鏈接依然可以爬行,只有從robots進(jìn)來的 才有可能不去爬行。如果我們對(duì)全站進(jìn)行了拒絕robots百度爬行,那么,一般來說,只有權(quán)重最高的首頁(yè)會(huì)被收錄標(biāo)題,但是不會(huì)保存快照,其他頁(yè)面不會(huì)保存標(biāo)題,但是偶爾會(huì)因?yàn)槟承﹥?nèi)部頁(yè)面的權(quán)重很高,而收錄。
robots文件,一旦拒絕搜索引擎對(duì)頁(yè)面進(jìn)行抓取,就是告訴搜索引擎這個(gè)頁(yè)面不予許給予抓取,一般來說也是說不給這個(gè)頁(yè)面權(quán)重,一般來說這個(gè)頁(yè)面是沒有排名的,但是如果有別的網(wǎng)站可以連接到這個(gè)頁(yè)面,那么搜索引擎則依然會(huì)給這個(gè)頁(yè)面權(quán)重。多數(shù)情況下,白帽站點(diǎn)我們是建議在站點(diǎn)中制作 robots文件文件的,而如果是灰帽、黑帽用robots為了獲得更快的全站評(píng)分操作就要謹(jǐn)慎使用咯!
robots文件常見的內(nèi)容有:User-agent: * (允許哪些蜘蛛進(jìn)入,后面加*是說所有蜘蛛);Disallow: 不允許搜索引擎爬行的頁(yè)面;Allow: 定義允許搜索引擎收錄的地址以及Sitemap:(后面的內(nèi)容標(biāo)注的是網(wǎng)站地圖的路徑)。
其中我們最常用到的就是不允許抓取和sitemap這個(gè),為的是第一讓搜索引擎不要抓取一些不必要的或者是網(wǎng)站私密性的文件,以免造成網(wǎng)站一些重要信息泄露,尤其是針對(duì)谷歌搜索引擎的robots文件這個(gè)一定要寫明確了,第二個(gè)是為了讓搜索引擎蜘蛛進(jìn)入網(wǎng)站后能夠首先進(jìn)入網(wǎng)站地圖來獲得更多的頁(yè)面抓取的可能性,增加網(wǎng)站頁(yè)面收錄的幾率。所以筆者小丹說這兩個(gè)是在robots文件中最常用到的標(biāo)識(shí)了。
上面說到了robots文件中拒絕搜索引擎爬行頁(yè)面,這是為什么呢?其實(shí)主要還是為了網(wǎng)站的安全考慮,比如說后臺(tái)頁(yè)面后者用戶注冊(cè)會(huì)員頁(yè)面,有可能也會(huì)形成收錄,會(huì)導(dǎo)致形成收錄,會(huì)導(dǎo)致內(nèi)部資源泄露。再者像后臺(tái)登陸這樣的頁(yè)面本身的頁(yè)面質(zhì)量度是極差的,如果被收錄了很有可能會(huì)降到網(wǎng)站頁(yè)面的整體評(píng)分,得不償失。而robots文件中拒絕了爬行的頁(yè)面剩下的頁(yè)面就是允許被爬行的,如果我們同時(shí)希望搜索引擎能夠主動(dòng)地爬行某些我們希望的頁(yè)面和鏈接,我們可以在這個(gè)文件中,主動(dòng)寫允許爬行的鏈接—Allow:。
(轉(zhuǎn)載請(qǐng)注明轉(zhuǎn)自:gafsjz.com,謝謝!珍惜別人的勞動(dòng)成果,就是在尊重自己!)
上一篇:網(wǎng)站外鏈為什么不收錄
下一篇:為什么要制作404頁(yè)面
24小時(shí)服務(wù)熱線:400-1180-360
業(yè)務(wù) QQ: 444961110電話: 0311-80740308
渠道合作: 444961110@qq.com
河北供求互聯(lián)信息技術(shù)有限公司(河北供求網(wǎng))誕生于2003年4月,是康靈集團(tuán)旗下子公司,也是河北省首批從事網(wǎng)站建設(shè)、電子商務(wù)開發(fā),并獲得國(guó)家工業(yè)和信息化部資質(zhì)認(rèn)證的企業(yè)。公司自成立以來,以傳播互聯(lián)網(wǎng)文化為已任, 以高科技為起點(diǎn),以網(wǎng)絡(luò)營(yíng)銷研究與應(yīng)用為核心,致力于為各企事業(yè)單位提供網(wǎng)絡(luò)域名注冊(cè)、虛擬主機(jī)租用、網(wǎng)站制作與維護(hù)、網(wǎng)站推廣和宣傳、網(wǎng)站改版與翻譯、移動(dòng)互聯(lián)網(wǎng)營(yíng)銷平臺(tái)開發(fā)與運(yùn)營(yíng)、企業(yè)郵局、網(wǎng)絡(luò)支付、系統(tǒng)集成、軟件開發(fā)、電子商務(wù)解決方案等優(yōu)質(zhì)的信息技術(shù)服務(wù),與中國(guó)科學(xué)院計(jì)算機(jī)網(wǎng)絡(luò)信息中心、騰訊、百度、阿里巴巴、搜狗、360、電信、聯(lián)通、中國(guó)數(shù)據(jù)、萬(wàn)網(wǎng)、中資源、陽(yáng)光互聯(lián)、點(diǎn)點(diǎn)客、北龍中網(wǎng)、電信通等達(dá)成戰(zhàn)略合作伙伴關(guān)系。
版權(quán)所有 ? 河北供求互聯(lián)信息技術(shù)有限公司-優(yōu)秀的石家莊網(wǎng)站建設(shè)公司,為您提供石家莊網(wǎng)站建設(shè)、網(wǎng)站推廣等優(yōu)質(zhì)服務(wù).
服務(wù)熱線:400-1180-360 增值電信業(yè)務(wù)經(jīng)營(yíng)許可證:冀B2-20105159 冀ICP備09010972號(hào)
掃一掃
贈(zèng)送神秘大禮
全國(guó)免費(fèi)服務(wù)熱線
400-1180-360