搜索引擎面對海量的網(wǎng)頁，他們并不是平行的抓取每一個網(wǎng)頁，因為無論搜索引擎數(shù)據(jù)庫怎么擴張，都是無法跟上網(wǎng)頁的增長速度，搜索引擎會優(yōu)先抓取最重要的網(wǎng)頁，一方面節(jié)省數(shù)據(jù)庫，一方面對普通的用戶也是有幫助的，因為，對用戶來說，他們并不需要海量的結(jié)果，只需要最重要的結(jié)果。所以說一個好的搜集策略是優(yōu)先搜集重要的網(wǎng)頁，以便能夠在最短的時間內(nèi)把最重要的網(wǎng)頁抓取過來。
那么搜索引擎如何首先抓取最重要的網(wǎng)頁?
通過對海量的網(wǎng)頁特征分析，搜索引擎認為重要的網(wǎng)頁有如下的基本特征，雖然不一定完全準確，但是大多數(shù)時候確實是這樣的：
1) 網(wǎng)頁被其他的網(wǎng)頁鏈接的特點，如果被鏈接的次數(shù)多或者被重要的網(wǎng)頁所鏈接，則是很重要的網(wǎng)頁;
2) 某網(wǎng)頁的父網(wǎng)頁被鏈接的次數(shù)多或者被重要的網(wǎng)頁所鏈接，比如一個網(wǎng)頁是一個網(wǎng)站的內(nèi)頁，但是其首頁被鏈接的次數(shù)多，而首頁也鏈接了這個網(wǎng)頁，則說明這個網(wǎng)頁也比較重要;
3) 網(wǎng)頁的內(nèi)容被轉(zhuǎn)載傳播的廣。
4) 網(wǎng)頁的目錄深度小，易于用戶瀏覽到。 這里定義“URL 目錄深度”為：網(wǎng)頁 URL 中除去域名部分的目錄層次，即URL 為http://www.domain.com，則目錄深度為 0;如果是 http://www.domain.com/cs，則目錄深度為 1，一次類推。需要說明的是，URL 目錄深度小的網(wǎng)頁并非總是重要的，目錄深度大的網(wǎng)頁也并非全不重要，有些學(xué)術(shù)論文的網(wǎng)頁 URL 就有很長的目錄深度。多數(shù)重要度高的網(wǎng)頁會同時具有上述 4 個特征。
5)優(yōu)先收集網(wǎng)站首頁，并賦予首頁高的權(quán)重值。網(wǎng)站數(shù)目遠小于網(wǎng)頁數(shù)，并且重要的網(wǎng)頁也必然是從這些網(wǎng)站首頁鏈接過去的，因此搜集工作應(yīng)當優(yōu)先獲得盡可能多的網(wǎng)站首頁。
這里問題就隨之出現(xiàn)，搜索引擎開始抓取網(wǎng)頁的時候，可能既不知道網(wǎng)頁被鏈接的情況也不知道被轉(zhuǎn)載的情況，換句話說，最開始的時候他并不能知道前面3項的特征，這些因素只能在獲得網(wǎng)頁或幾乎所有的 Web 鏈接結(jié)構(gòu)之后才能夠知道。那么怎么解決這個問題呢?那就是特征4和5是可以在抓取的時候就能知道的，只有特征 4 是不需要知道網(wǎng)頁的內(nèi)容(沒有抓取網(wǎng)頁之前)就可以確定某個 URL 是否符合“重要”的標準，而且網(wǎng)頁 URL 目錄深度的計算就是對字符串的處理，統(tǒng)計結(jié)果表明一般的 URL 長度都小于 256 個字符，這使得 URL 目錄深度的判別易于實現(xiàn)。所以對于搜集策略的確定，特征 4 和5是最值得考慮的指導(dǎo)因素。
但是，特征 4 和5具有局限性，因為鏈接的深度并不能完全表明這個網(wǎng)頁的重要程度。那么怎么解決這個問題?搜索引擎采用如下的辦法：
1) URL 權(quán)值的設(shè)定：根據(jù) URL 的目錄深度來定，深度是多少，權(quán)值就減少多少，權(quán)值最小為零。
2) 設(shè)定 URL 初始權(quán)值為 一個固定的數(shù)值 。
3) URL 中出現(xiàn)字符”/”，”?” ，或”&” 1 次, 則權(quán)值減 一個數(shù)值 ，出
現(xiàn)”search”，”proxy”，或”gate” 1 次，則權(quán)值減一個數(shù)值;最多減到零。(包含”?”，
或”&” 的URL 是帶參數(shù)的形式，需要經(jīng)過被請求方程序服務(wù)獲得網(wǎng)頁，不是搜索引擎系統(tǒng)側(cè)重的靜態(tài)網(wǎng)頁，因此權(quán)值相應(yīng)降低。包含”search”，”proxy”，或”gate” ，說明該網(wǎng)頁極大可能是搜索引擎中檢索的結(jié)果頁面，代理頁面，因此要降低權(quán)值)。
4) 選擇未訪問 URL 的策略。因為權(quán)值小不一定說明不重要，所以有必要
給一定的機會搜集權(quán)值小的未訪問 URL 。選擇未訪問 URL 的策略可以采用輪流的方法進行，一次按照權(quán)值排序取，一次隨機取;或者 N次隨機選取。
當搜索引擎抓取了大量的網(wǎng)頁的時候，然后進入到一個階段，對網(wǎng)頁進行前面3個特征的判讀，再通過大量的算法判斷網(wǎng)頁的質(zhì)量，然后給予相對的排名。
本文由51荷葉茶http://www.51heyecha.com/站長原創(chuàng)提供
網(wǎng)友點評
精彩導(dǎo)讀
科技快報
品牌展示