超碰8_亚洲国产高清视频_黄频视频_欧美午夜影院_亚洲高清在线视频_成人精品久久久

利用蜘蛛爬取跟蹤分析網(wǎng)站整體信息

作者:whose01 來源: 2012-04-25 14:59:27 閱讀 我要評論 直達商品

做網(wǎng)站的基本都知道蜘蛛是什么,其實蜘蛛就是一個搜索引擎的爬取程序,用來收錄網(wǎng)站,然后在搜索引擎里面搜索呈現(xiàn)出來的頁面。利用搜索引擎蜘蛛的爬取跟蹤我們可以從中得到很多意想不到的信息從而更利于我們優(yōu)化網(wǎng)站。

 
1、 利用蜘蛛告訴我們死鏈接
 
死鏈接對于網(wǎng)站的危害是非常大的,我們都知道,可以使用robots.txt來對其進行屏蔽,但如何找出這些鏈接成為我們很頭疼的問題,而搜索引擎蜘蛛會告訴我們哪些是真正的死鏈接,當(dāng)蜘蛛爬取到一個死鏈接網(wǎng)頁的時候,會在IIS日志里返回一個404狀態(tài)碼,這個時候就是告訴我們,這個網(wǎng)面是不可訪問的,是一個死鏈接,所以我們只要查看IIS日志我們就知道搜索引擎蜘蛛提示我們網(wǎng)站有哪些死鏈接,然后我們再用robots.txt屏蔽掉即可,這樣就不會讓死鏈接對我們的網(wǎng)站造成影響了。
 
2、利用蜘蛛爬取的數(shù)量詳細分析網(wǎng)站整體情況
 
我們可以通過IIS日志查詢每天搜索引擎蜘蛛訪問我們網(wǎng)站的次數(shù),并且可以知道它訪問了我們哪些頁面,我們可以根據(jù)蜘蛛每天的爬取量就可以算出每個月蜘蛛的平均抓取量,這樣我們就可以進行對比。
提升蜘蛛爬取量有以下兩個因素
 
1)外部鏈接質(zhì)量和數(shù)量增加
外鏈數(shù)量越多,蜘蛛爬取次數(shù)也就越多,同樣外鏈的質(zhì)量和權(quán)重越高,蜘蛛抓取網(wǎng)站的次數(shù)也就會越多了。
 
2)網(wǎng)站文章質(zhì)量和更新頻率
網(wǎng)站文章質(zhì)量越好,蜘蛛來爬取后放出文章的通過率就會越高,蜘蛛爬取的次數(shù)就會增加,同樣的道理,更新頻率越快,蜘蛛爬取的頻率也會增加。
  
從以上可以得出,如果網(wǎng)站每個月蜘蛛的爬取量是增加的,那我們就可以判斷出來是由哪個因素引起的,也可以肯定網(wǎng)站權(quán)重也是隨著蜘蛛爬取量上長而上升的,反之,蜘蛛的爬取量減少了,也可以確定,網(wǎng)站權(quán)重會隨之下降。所以每天都要記錄IIS日志的蜘蛛爬取量,然后根據(jù)這個來做網(wǎng)站優(yōu)化的調(diào)整。
 
3、根據(jù)IIS日志的蜘蛛爬取分析服務(wù)器的穩(wěn)定性
 
蜘蛛爬取我們的網(wǎng)站,如果網(wǎng)站不穩(wěn)定,訪問出了問題,蜘蛛就會返回503或500這樣的狀態(tài)碼,并且也會出現(xiàn)200 0 64 這樣的狀態(tài)碼,如果出現(xiàn)這種情況,首先要確定是什么時間產(chǎn)生的,需要馬上聯(lián)系服務(wù)器商或空間商,這樣就可以馬上解決我們所存在的問題。
 
4、 利用IIS日志蜘蛛爬取深入分析
 
搜索引擎在爬取我們網(wǎng)站內(nèi)容的時候,經(jīng)常會出現(xiàn)有一些目錄他在爬取之后就不再去重復(fù)爬取了,而有些目錄甚至一些內(nèi)頁會重復(fù)的不斷爬取,對于此我們可以根據(jù)IIS日志中蜘蛛的爬取情況作珍上整體分析或是對比,看那些爬取差的頁面是因為什么原因造成的。比如有一個案例,用IIS日志發(fā)現(xiàn)蜘蛛喜歡不斷抓取網(wǎng)站的新聞目錄,而產(chǎn)品目錄抓取得少,究其原因,發(fā)現(xiàn)這兩個頁面之間的相似程度達到了90%以上,像這樣的重復(fù)性很高的頁面就要注意了,一定要添加原創(chuàng)性內(nèi)容,避免頁面的相似程度過高而導(dǎo)致蜘蛛不來抓取。
 
從以上我們可以看出,我們非常有必要每天都要下載網(wǎng)站的IIS日志進行查看,以及時的發(fā)現(xiàn)問題并解決問題,以保證我們的優(yōu)化不受影響。

      以上由 http://www.102guke.cn/  網(wǎng)站運營人員整理發(fā)布。轉(zhuǎn)載請注明!


  推薦閱讀

  如何避免錯誤使用SEO站長工具導(dǎo)致優(yōu)化過度

各類seo站長工具可能是泛博站長天天都要去訪謁和操作的一個工具。我們都知道使用seo工具一般來說會輔佐站長完成以下的工作: 1. 監(jiān)控網(wǎng)站數(shù)據(jù)情形,以便做到seo過程中的有的放矢; 2. 刷外鏈,發(fā)生一些緩存外鏈,而這>>>詳細閱讀


本文標題:利用蜘蛛爬取跟蹤分析網(wǎng)站整體信息

地址:http://www.brh9h.cn/a/34/20120425/54852.html

樂購科技部分新聞及文章轉(zhuǎn)載自互聯(lián)網(wǎng),供讀者交流和學(xué)習(xí),若有涉及作者版權(quán)等問題請及時與我們聯(lián)系,以便更正、刪除或按規(guī)定辦理。感謝所有提供資訊的網(wǎng)站,歡迎各類媒體與樂購科技進行文章共享合作。

網(wǎng)友點評
我的評論: 人參與評論
驗證碼: 匿名回答
網(wǎng)友評論(點擊查看更多條評論)
友情提示: 登錄后發(fā)表評論,可以直接從評論中的用戶名進入您的個人空間,讓更多網(wǎng)友認識您。
自媒體專欄

評論

熱度

主站蜘蛛池模板: 看全色黄大色黄大片4033 | www.久久久久久久久久 | 亚洲精品www. | 红桃视频入口成免费人入口 | 一区二区免费视频 | 日本一区二区成人 | 亚洲无限乱码一二三四麻 | www.saobi| 亚洲操操操 | 国产精品亚洲二区在线观看 | 人人做人人干 | 狠狠gao| 91精品91久久久中777 | 四虎在线观看视频 | 日韩精品视频一区二区在线观看 | 久久久这里有精品 | 日本一区中文字幕 | 国内偷拍一区 | 女人18毛片一级毛片在线 | 色综合久久88色综合天天免费 | 国产一区免费看 | 精品久久久精品 | 99久久国产综合 | 高清一区在线观看 | 日韩视频在线观看免费 | 天天躁日日躁狠狠躁喷水软件 | 秋霞一级 | 成人性生交大片免费看96 | 中文字幕日韩在线 | wwwav| 天天躁日日躁狠狠躁喷水软件 | 国产一区视频在线播放 | 黄色在线免费电影 | 天天综合91| 免费观看亚洲视频 | 亚洲久草在线 | 日韩最新av | 夜夜操天天操 | 色综合久久久久 | 色吊丝中文字幕 | 亚洲一区二区三区乱码aⅴ蜜桃女 |