每小我都有自己的隱私，網站也是這樣，網站中也有不但愿被蜘蛛看到的工具，好比會員密碼等等，而想要隱瞞住這部門隱私，一般情形下站長城市在第一時刻想到Robots.txt。沒錯，Robots.txt文件的使用簡直可以給蜘蛛指明道路，告訴它什么處所該去，什么處所不應去，也恰是因為這點原因，良多站長都熱衷于用Robots.txt，可是巨匠真的會用Robots.txt嗎?對于它的編寫軌則巨匠又知道若干好多呢?本人不才，但對于這方面總歸有點經驗，在這分享出來，讓巨匠有個參考，當然老鳥可以飛過了。
Robots.txt編寫的挨次問題
舉個最簡單的例子，如不美觀你想讓自己a文件中的b.html被抓取，那么你怎么編寫呢?是
Allow:/a/b.html Disallow:/a/ 仍是Disallow:/a/ Allow:/a/b.html這樣？
在Robots.txt編寫軌則中，它并不執行樹狀剖析結構，換句話說編寫時并不應該把母文件夾放在最前，而是遵循一種就近原則，如不美觀我們把母文件夾放在前面，蜘蛛會認為這個路子被封鎖了，不能訪謁，而我們最終的目的卻是訪謁，這樣一來，方針和現實就年夜相逕庭了。
Robots.txt編寫的開放性問題
良多站長，尤其是新手站長對于Robots.txt的理解過清客面，他們認為既然Robots.txt可以劃定蜘蛛的訪謁路子，那我們何須不開放，把所有文件都設置成可訪謁，這樣一來網站的收錄量不久當即上升了，其實問題遠遠沒有我們想象的簡單，巨匠都知道網站一一些固定的文件是不必傳送給搜索引擎訪謁的，如不美觀我們把網站“全方位開放”，后不美觀就是加年夜網站處事器負載，降低訪謁速度，減緩蜘蛛的爬行率，對于網站收錄沒有一點用處，所以對于固定不需要訪謁的文件，我們直接Disallow失蹤就可以了。
一般情形下，網站不需要訪謁的文件有后臺打點文件、軌范劇本、附件、數據庫文件、等等。
Robots.txt編寫的一再性問題
我們天天都在寫著原創內容，然后更新到自己的網站中，巨匠想過沒有我們這樣做的目的是什么?當然是為了討搜索引擎的好，巨匠都知道搜索引擎很垂青原創內容，對于原創內容的收錄很快，相反，如不美觀你的網站中充溢著年夜量的復制內容，那么我只能遺憾的告訴你，網站的前途一片渺茫。不外這也年夜另一個方面告訴我們要積極的操作robots文件禁止一再頁面的代碼，降低頁面的一再度，可是在編寫robots文件時必然要記得
在User-agent后插手某個搜索引擎，例如User-agent:BaiduSpider Disallow:/，如不美觀沒有插手，編寫成User-agent: * Disallow: /形式，則是對網站所有內容的“屏障”。
Robots.txt編寫的meta問題
在 Robots.txt編寫軌則中，有一個取最強參數法例，而且如不美觀網站以及頁面標簽上同時呈現robots.txt文件和meta標簽，那么搜索引擎就會年夜命兩個軌則中較為嚴酷的一個，即禁止搜索引擎對于某個頁面的索引，當然如不美觀robots.txt文件和meta標簽不是呈現一個文件中，那么搜索引擎就會遵循就近原則，就會索引meta標簽前的所有文件。
Robots.txt編寫的細節性問題
1.反斜杠的插入
仍是以Disallow:/a/b.html為例，在編寫該語句的時辰，如不美觀健忘插手了反斜杠，則是對全數內容進行開放，這與編心暌癸句的設法相悖，因為反斜杠的意義是根目錄。
2.空格的呈現
空格的呈現就很好理解了，因為搜索引擎對于這個非凡符號的呈現并不識別，它的插手只會使語句失蹤饒暌功有的效用。
此刻巨匠理解我為什么說有人知道robots.txt文件，可是少有人知道該怎么正確編寫了robots.txt文件了吧。其實robots.txt文件中還會其他的細節以及注重問題，在往后的時刻里我會繼續和說一下robots.txt文件編寫中涉及到的目錄巨細、user-agent的數目等問題。
推薦閱讀 比來我在GA帳戶里建樹了一些自界說過濾器以期圖解seomoz在曩昔12個月的流量： seomoz曩昔12個月的流量來歷分布圖 以下按照各流量來歷占總流量百分比排序： * 搜索流量(谷歌，雅虎，必應，百度等)：36.0% * 直接流量(>>>詳細閱讀 本文標題：Robots.txt編寫似雷區 稍有不慎“毒害甚深”（一） 地址：http://www.brh9h.cn/a/34/20120406/48691.html
網友點評
精彩導讀
科技快報
品牌展示