今天中午百度站長社區平臺更新了一條公告，如下：
尊敬的各位用戶，親愛的站長們，大家好：
近期，我們收到一些對Crawl-delay用法的詢問，現明確百度對網站訪問頻率不再參考該設置，即不支持Crawl-delay配置，如果您希望配置網站針對百度spider的訪問頻率，建議您使用百度站長平臺的抓取壓力反饋工具，先查詢網站在百度近一個月的天級抓取量趨勢圖，可調節百度spider每天訪問您網站的抓取壓力上限，供百度參考，避免百度spider對站點抓取壓力過大，造成網站服務器負載及抓取異常。
相信很多人都不清楚什么是Crawl-delay，筆者也是才知道有這個東西，通過搜索，筆者了解到Crawl-delay翻譯成中文意思是抓取延遲的意思。那么Crawl-delay到底干什么用的呢?用在什么地方呢?筆者在一番查詢之后整理出來，與大家分享：
要談到Crawl-delay的用途，還需要提及大家都比較熟悉的Robots協議，網站通過robots協議告訴搜索引擎哪些頁面可以抓取，哪些頁面不能抓取。而通過Crawl-delay我們可以設置一個讓蜘蛛有較低的抓取請求頻率，這樣就可以降低了服務器的壓力，而設置Cralw-delay的大小應該根據服務器能夠承受的壓力和機器人的數量來確定。例如你希望yahoo的機器人每2秒來一次，就應該先查看訪問服務器的yahoo的機 器人有多少個，假如有40個yahoo機器人，這個參數就應該設置為2*40=80。但如果40多個爬蟲恰好都在同一個時間段內采集，即便每只間隔100秒，40只先后腳的來爬，到最后一只 爬完后，第一只的間隔時間又到了，造成的壓力很大了，不過這可能是最“理想”狀態下才會發生的。
接下來展示一個 Crawl-delay的應用實例：
大家可以看到Crawl-delay 后面的數值100表示告訴蜘蛛程序，以秒為單位的最低延時。如果crawler頻率對您的服務器是一個負擔，您可以將這個延時設定為任何您認為恰當的數字，每間隔100s來爬行一次。這個設置似乎只針對于大站，小站很少見，設置Crawl-delay注要原因是蜘蛛程序爬的過快，會給服務器照成負擔，影響正常的網站展示速度。
百度此次特地發出聲明說不支持Crawl-delay設置，并不代表從此Crawl-delay設置無用武之地。目前支持這個參數的搜索引擎有Slurp(yahoo和altaVista的機器人)、MSN使用的微軟機器人，Googlebot還沒有使用“Crawl-delay”參數，現在百度也沒有，那么我們可以反過來想，如果我們主要是以百度搜索為主要推廣手段以其他搜索引擎為輔助的話，我們可以在服務器條件不好的情況下，通過設置Crawl-delay降低其他搜索引擎的抓取頻率，這樣就可以合理的減少服務器壓力，從影響優化因素的角度來講也是一個好消息!
所以，不管百度怎么變，宗旨是不會變的，我們在圍繞百度做優化的同時，合理的采取一些小技巧，也許會收到意想不到的收獲!
文章編輯由南昌胃腸檢查http://www.86818330.com/獨家編撰，轉載請勿刪除源地址!
網友點評
精彩導讀
科技快報
品牌展示