如果我們希望搜索引擎正確抓取我們的網(wǎng)站并將其編入索引，則需要使用robots元指令。但如果我們不熟悉robots元標記，可能就不知道從哪里開始。這就是筆者要分享該篇文字的原因了，下面我們就一起來看看那如何幫助我們實施用于搜索引擎優(yōu)化目的的機器人標簽。

    首先我們來了解一個概念，即什么是機器人元指令？簡單來說，機器人元指令也可以稱為機器人元標記，它其實就是一段代碼，可為搜索引擎爬蟲提供有關(guān)如何爬網(wǎng)和索引我們的網(wǎng)站的指導(dǎo)。這些標簽對于確保正確的頁面被編入索引以顯示在搜索結(jié)果中至關(guān)重要。在繼續(xù)之前要提到的一個重要區(qū)別是robots.txt與robots元指令。當查看這兩者時，它們似乎在做同樣的事情并且在某種程度上它們確實如此，但有一個關(guān)鍵區(qū)別。Robots.txt提供有關(guān)如何抓取我們網(wǎng)站上的頁面并將其編入索引的建議。它更像是對搜索引擎如何進行的建議。另一方面，機器人元指令對如何抓取和索引我們的網(wǎng)站的說明更加堅定。

    我們可以在頁面上設(shè)置兩種類型的元指令用以幫助搜索引擎抓取我們的頁面并將其編入索引。簡單來介紹它們：

    1、元機器人標簽

    我們可以實施的第一種用于SEO的機器人標簽是元機器人標簽。元機器人標簽可讓我們在頁面級別控制索引行為。我們將此代碼實施到我們網(wǎng)站的標題中。代碼：<metaname="robots"content="[參數(shù)]">當我們使用這個標簽時，我們可以在標簽中實現(xiàn)多個參數(shù)，只要它是針對同一個機器人的。

    2、X-robots-標簽

    我們可以創(chuàng)建的第二種機器人元指令是x-robots-tag。此標記使我們能夠控制頁面級別和特定頁面元素的索引編制。我們還將此標記實施到我們網(wǎng)站的標題中。標記：標題（“X-Robots-Tag：[參數(shù)]”，真）；總的來說，x-robots-tag比元機器人標簽提供了更多的靈活性。

    當我們設(shè)置機器人元指令時，我們需要在代碼中設(shè)置參數(shù)。這些參數(shù)幫助搜索引擎爬蟲了解如何對頁面進行爬取和索引。以下是需要了解的11個關(guān)鍵參數(shù)：

參數(shù)名稱	描述
全部	索引的快捷方式
跟隨	爬蟲應(yīng)該跟蹤所有鏈接并將鏈接資產(chǎn)傳遞給頁面
關(guān)注	搜索引擎不應(yīng)將任何權(quán)益?zhèn)鬟f給鏈接到的頁面
指數(shù)	爬蟲應(yīng)該索引頁面
無索引	爬蟲不應(yīng)索引頁面
無圖片索引	爬蟲不應(yīng)索引頁面上的任何圖片
最大片段	將最大字符數(shù)設(shè)置為搜索結(jié)果的文本片段
沒有任何	noindex、nofollow的快捷方式
無緩存	當該頁面出現(xiàn)在搜索結(jié)果中時，搜索引擎不應(yīng)顯示該頁面的緩存鏈接
沒有片段	搜索引擎不應(yīng)在搜索結(jié)果中顯示頁面的片段（如元描述）
不可用_after	搜索引擎不應(yīng)在設(shè)定日期之后索引頁面

    這些是我們在實施機器人元指令和告訴搜索引擎如何索引我們的網(wǎng)站時將使用的參數(shù)。那么是否每個搜索引擎都支持所有參數(shù)呢？答案是否定的。在我們上面列出的11個參數(shù)中并不是每個搜索引擎在索引我們的網(wǎng)站時都會支持它們。其中Google是唯一識別所有共享參數(shù)的站點，當然它會因搜索引擎而異。比如說Bing可以識別許多標簽，但它無法識別的標簽是noimageindex。因此，如果我們打算將robots元標記用于其他搜索引擎，我們可能需要進行一些研究以了解哪些標記有效。同樣的疑問，我們是否需要同時使用元機器人標簽和x-robots標簽?zāi)兀窟@個其實也是沒有必要的。使用兩種類型的元標記是多余的。我們可以選擇最適合我們網(wǎng)站需求的任何一種。

    我們可以在第三方網(wǎng)站上實施機器人元指令嗎？有這么多企業(yè)使用WordPress等第三方網(wǎng)站來托管他們的網(wǎng)站，許多人想知道他們是否可以實施機器人元標記。簡而言之，是的。許多第三方主機使我們能夠?qū)崿F(xiàn)站點所需的機器人元指令。我們?nèi)绾螌嵤┧鼈儗⒁蛘军c主機而異。例如，使用WordPress，我們可以使用YoastSEO插件添加元指令。對于像Squarespace這樣的網(wǎng)站建設(shè)者，我們可以更改我們的頁面設(shè)置或使用代碼注入來添加我們需要的標簽。

    為什么機器人元指令很重要？在了解了robots元指令后，我們可能想知道為什么此功能很重要。為什么在我們的網(wǎng)站上實施此代碼如此重要？我們希望在我們的網(wǎng)站上實施機器人元標記有兩個重要原因：

    它可以幫助我們控制搜索結(jié)果中的排名：實施這些標簽可以讓我們更好地控制搜索引擎如何抓取和索引我們的頁面。它最終允許我們引導(dǎo)搜索引擎正確抓取我們最有價值的頁面，以便它們可以排名。

    它可以防止價值不大的頁面被索引：一些頁面如管理頁面，對我們的業(yè)務(wù)排名幾乎沒有價值。通過實施機器人元指令，我們可以防止搜索引擎在這些頁面上浪費抓取預(yù)算。

    如果我們對為SEO實施機器人標簽感到不知所措，也不必緊張，可以去嘗試編輯站點的后端可能是一項艱巨的任務(wù)，尤其是在我們不熟悉編碼的情況下。