正如你所知道的，你不能總是依賴蜘蛛引擎在訪問或者索引你的網(wǎng)站時能夠十分有效的運作。完全依靠他們自己的端口，蜘蛛會產生許多重復內容，把一些重要頁面當成垃圾，索引本不應該展示給用戶的鏈接入口，還會有其他的問題。有一些工具可以讓我們能夠充分控制蜘蛛在網(wǎng)站內部的活動，如meta robots標簽，robots.txt、canonical標簽等。
今天，我講一下機器人控制技術使用的局限。為了讓蜘蛛不抓取某一個頁面，站長們有時會使用多個機器人控制技術， 來禁止搜索引擎訪問某個網(wǎng)頁。不幸的是，這些技術能有時互相抵觸：從另一方面說這樣的限制會把某些死鏈給隱藏掉了。
那么，當一個頁面的robots文件中被禁止訪問，或者被使用noindex tag 和 canonical tag時會發(fā)生什么？
快速復習
在我們進入主題之前，讓我們看一下那些主流的robots的一些限制技巧吧：
元機器人標簽
元機器人標簽（Meta Robots Tag）為搜索引擎機器人建立頁面等級說明。元機器人標簽應放在HTML文件的頭部。
規(guī)范標簽（canonical tag）
規(guī)范標簽（canonical tag）是一個位于網(wǎng)頁HTML頭部的頁面等級的元標簽。它告訴搜索引擎哪一個URL的顯示是規(guī)范的。它的目的是不讓搜索引擎抓取重復內容，同時將重復頁面的權重集中在規(guī)范的那一個頁面上。
X機器人標簽
自2007年以來，谷歌和其他搜索引擎已經支持把X-Robots-Tag作為一種方法來告訴蜘蛛爬行和索引的優(yōu)先順序，X-Robots-Tag位于HTTP頭部，曾用于通知蜘蛛爬行和索引文件而用。該標簽對控制那些非HTML文件的索引是很有用的，如PDF文件。
機器人標簽
robots.txt允許一些搜索引擎進入網(wǎng)站內部，但是它并不能保證具體某個頁面會不會被抓取和索引。除非出于SEO的原因，否則只有當確實有必要或者在站點上有需要屏蔽的robots時robots.txt才確實值得使用。我總是推薦使用元數(shù)據(jù)標簽“noindex”來代替它。
避免沖突
同時利用兩種方法來限制robot入口是不明智的：
· Meta Robots ‘noindex‘ （元機器人標簽“noindex”）
· Canonical Tag （when pointing to a different URL） （標準標簽）
· Robots.txt Disallow
· X-Robots-Tag（x機器人標簽）
盡管你很想去保持頁面的搜索結果，但是一個辦法總是比兩個好。讓我們來看看當在一個單一的URL中有很多robots路徑控制技術時會發(fā)生什么。
Meta Robots ’noindex‘ 和 Canonical標簽
如果你的目標是一個URL的權重傳遞給另一個URL，而你卻沒有其他的更好辦法的時候，那就只能用Canonical標簽。不要用元機器人標簽的“noindex”來給自己添麻煩。如果你使用兩個robot的方法，搜索引擎可能根本看不到你的Canonical標簽。權重傳遞的效用將會被忽略，因為機器人的noindex標簽會使它看不到Canonical標簽！
Meta Robots ’noindex‘ & X-Robots-Tag ’noindex‘
這些標簽是多余的。這兩個標簽放置在同一個頁面我只能看到的是給SEO造成的不良影響。如果你能在元機器人‘noindex’中改變頭文件，你就不應該使用x機器人標簽吧。
Robots.txt Disallow &Meta Robots ’noindex‘
這是我看過的最常見的沖突：
我之所以青睞Meta Robots“noindex”的原因是因為它可以有效的阻止一個頁面被索引，同時它還還是可以傳遞權重到連接這個頁面的更深層次的頁面。這是一個雙贏的方法。
robots.txt文件不允許完全限制搜索引擎查看頁面上的信息（以及其中有價值的內部鏈接），特別是不能限制url被索引。有什么好處？我曾經單獨寫過一篇關于這個主題的文章。
如果兩個標簽都使用，robots.txt保證會使Meta Robots ‘noindex’ 不被蜘蛛看到。你會受到robots.txt中disallow的影響并且錯過了所有的Meta Robots‘noindex’帶來的所有好處。
推薦閱讀
騰訊公布最新的數(shù)據(jù)顯示，手機 QQ 瀏覽器月 PV 超過了 1200 億，這也是首個 PV 破千億的第三方手機瀏覽器，而易觀數(shù)據(jù)顯示，手機 QQ 瀏覽器市場份額首次超越 UC 瀏覽器，位居市場第一。雖然不是下載量也不是安裝量，>>>詳細閱讀
本文標題：避免蜘蛛爬行和索引錯誤的技巧:繞開沖突
地址：http://www.brh9h.cn/a/34/20110915/11791.html
網(wǎng)友點評
精彩導讀
科技快報
品牌展示