上篇文章筆者和大家介紹了關于panda算法中關于重復內容的說明，但是想必依然有朋友不是特別了解到底怎樣頁面算是重復文字頁面。由此下面的文章我們來介紹一些在我們SEO優(yōu)化中會常遇到的重復文字頁面的形式。其中或許是為了SEO優(yōu)化達到某種效果而刻意為之，也有的是我們無意而為的。不過不論是怎樣形式詞重復文字頁面都是我們以后在SEO需要注意的。

    1、“www”與非www

    對于站點范圍內的重復內容，這可能是最大的罪魁禍首。無論我們的內部路徑錯誤還是吸引了指向錯誤URL的鏈接提及，我們都為URL的“www”版本和非www（根域名）版本建立了索引。在大多數(shù)情況下，301重定向是我們的最佳選擇。這是一個常見的問題，對于這種情況，Google擅長執(zhí)行重定向。我們可能還需要在Google網(wǎng)站站長工具中設置我們的首選地址。在站點配置>設置下，我們應該看到一個名為“首選域名”的部分（百度這邊一般我們會通過根目錄或則服務器來做好重定向進行提交）。我們需要為網(wǎng)站的“www”和非www版本創(chuàng)建GWT配置文件才能設置首選域名。如果我們遇到主要的規(guī)范化問題，建議我們這樣來操作。如果不是，那么我們可以任由其任，讓Google確定首選域名。

    2、登陸服務器

    盡管不如根域名重定向常見，但此問題通常也是由子域引起的。在典型情況下，我們正在設計新網(wǎng)站以進行重新啟動，網(wǎng)站設計人員會為新網(wǎng)站設置了一個子域，而他們無意中將其開放給抓取工具。我們最終得到的是兩組索引化的URLS。這樣我們最好的選擇是通過使用Robots.txt阻止登陸站點來防止此問題發(fā)生。但是，如果我們發(fā)現(xiàn)登陸站點已建立索引，則可能需要對這些頁面進行301重定向或對它們進行Meta Noindex。

    3、尾部斜杠（“/”）

    盡管這不是搜索引擎優(yōu)化問題，但是它曾經(jīng)是一個人們經(jīng)常會質疑的問題。從技術上講，在原始的HTTP協(xié)議中，帶斜杠的URL和不帶斜杠的URL是不同的URL?，F(xiàn)在幾乎所有瀏覽器都會在幕后自動添加斜線并以相同方式解析兩個版本。

    4、安全（https）頁面

    如果我們的站點具有安全頁面由“https：”協(xié)議指定，則可能會發(fā)現(xiàn)安全版本和非安全版本都已建立索引。當來自安全頁面的導航鏈接也由于最終路徑相對安全而最終被保護時。理想情況下，這些問題可以由站點體系結構本身解決。在許多情況下，最好使用Noindex安全頁面在搜索索引中沒有位置。不過，我們最好的選擇是301重定向，要謹慎對待所有站點范圍的解決方案。如果我們將所有“https：”頁面301重定向到其“http：”版本，則最終可能會完全取消安全性。

    5、主頁重復項

    雖然問題前三種形式都可以創(chuàng)建主頁重復項，但是主頁有一些獨特的問題。最典型的問題是根域和實際的首頁文檔名稱都會被索引。盡管可以使用301重定向解決此問題，但通常最好在首頁上放置一個規(guī)范標簽。主頁受到重復的唯一影響，而主動的規(guī)范標簽可以防止很多問題。當然，也要與我們的內部路徑保持一致，這一點很重要。如果我們希望網(wǎng)址的根版本是規(guī)范的，但隨后鏈接到導航中的“/index.htm”，則每次爬網(wǎng)程序訪問時，我們都會向Google發(fā)送混合信號。

    6、會話ID

    一些網(wǎng)站尤其是電子商務平臺使用跟蹤參數(shù)標記每個新用戶。有時，該參數(shù)最終出現(xiàn)在URL中并被索引，實際上，我們可以為每個建立索引的會話ID和頁面組合添加一個副本。URL中的會話ID可以輕松將1000個重復的頁面添加到索引中。如果可能，在我們的網(wǎng)站/平臺上，最好的選擇是從URL中完全刪除會話ID，并將其存儲在Cookie中。創(chuàng)建這些URL的理由很少，也沒有讓機器人抓取它們的理由。如果這樣做不可行，那么最好在整個網(wǎng)站上實施規(guī)范代碼。如果我們確實遇到問題，可以在Google網(wǎng)站管理員工具中阻止該參數(shù)。

    7、復制路徑

    網(wǎng)站頁面上有重復的路徑是完全可以的，但是當重復的路徑生成重復的URL時，就會出現(xiàn)問題。在這里，可以通過類別欄目和一個用戶生成的標簽來訪問產(chǎn)品頁面。用戶生成的標簽尤其成問題，因為它們在理論上可以產(chǎn)生頁面的無限版本。我們則完全不應創(chuàng)建這些基于路徑的URL。無論頁面被導航到哪個頁面，它僅應具有一個用于SEO的URL?；蛟S有朋友會說，在URL中包含導航路徑對于站點用戶來說是一個積極的提示，但是即使是具有可用性背景的人，我們認為此處的缺點幾乎總是比缺點更重要。如果我們已經(jīng)為變體建立了索引，那么301重定向或規(guī)范標記可能是我們的最佳選擇。在很多情況下，實現(xiàn)規(guī)范標簽會更加容易，因為可能會有太多的變化而無法輕松重定向。從長遠來看，我們需要重新評估我們的網(wǎng)站架構。

    8、功能參數(shù)

    功能參數(shù)是URL參數(shù)，它們會稍微改變頁面，但沒有搜索價值，實際上是重復的。我們最好的選擇是根本不使用Meta Noindex之類的索引，但也可以使用規(guī)范標記合并這些頁面。

    9、國際重復

    當我們擁有共享同一語言的不同國家/地區(qū)的內容時，這些重復項就會出現(xiàn)，所有內容都托管在同一根域名當然也可能是子文件夾或子域名中。這時候Google會很好地處理它，并在適當?shù)膰?地區(qū)對適當?shù)膬热葸M行排名。在其他情況下，即使采用適當?shù)牡乩砦恢枚ㄎ?，他們也不會這樣做。定位語言本身通常要比針對國家/地區(qū)更好，但是出于合理的原因，可以將針對特定國家/地區(qū)的內容分開。如果我們的國際內容確實被視為重復內容，則沒有簡單的答案。如果我們進行301重定向，則會丟失用戶頁面。如果我們使用規(guī)范標簽，則Google只會對頁面的一種版本進行排名。正確的解決方案可能是非常情況的，并且實際上取決于風險與收益的權衡。

    10、搜索類別

    到目前為止，我們例舉的所有形式都是真實的存在于網(wǎng)絡的網(wǎng)站案例。筆者想介紹一些接近重復的示例，因為該概念有點模糊。內部搜索引擎會彈出一些常見示例，這些示例往往會衍生出許多變體-可排序結果，過濾器和分頁結果是最常見的問題。每當排序創(chuàng)建單獨的URL時，都會彈出搜索排序重復項。盡管兩個排序的結果在技術上是不同的頁面，但它們不會為搜索索引增加任何附加值，并且包含相同的內容，只是順序不同。在大多數(shù)情況下，最好是完全阻止可排序的版本，通常是在有該參數(shù)的網(wǎng)頁上選擇性地添加Meta Noindex。緊急情況下，我們可以在Google Webmaster Tools中阻止sort參數(shù)。

    11、搜索過濾器

    搜索過濾器用于縮小內部搜索范圍可以是價格，顏色，功能等。過濾器在銷售各種產(chǎn)品的電子商務網(wǎng)站上非常普遍。在許多情況下，搜索過濾器網(wǎng)址看起來很像搜索排序,那么我們就不要索引過濾器。只要Google擁有明確的產(chǎn)品途徑，索引每個變體通常會弊大于利。

    12、搜索分頁

    頁面分頁是一個容易描述的問題，并且是一個難以解決的難題。每次將內部搜索結果分成單獨的頁面時，我們都具有分頁內容。盡管結果本身有所不同，但頁面的許多重要功能標題，元描述，標題，副本，模板等都是相同的。此外，Google并不是搜索內搜索的忠實擁護者。Google曾說過讓他們對分頁進行分類，可問題是他們做得還不夠好。之后Google推出了Rel= Prev和Rel=Next，最初的數(shù)據(jù)表明這些標簽有效，但是我們沒有太多數(shù)據(jù)來證實它的有效性。