此文接上文百度算法總結(jié)詳細(xì)請(qǐng)點(diǎn)擊：蔣鑫鵬:百度算法總結(jié)
一、關(guān)于中文分詞：
1.中文分詞難度分析
首先要說(shuō)明下的是：普通用戶(hù)的搜索與做SEO或者更大說(shuō)熟悉網(wǎng)絡(luò)搜索用戶(hù)的搜索習(xí)慣是非常不一樣的，而恰巧普通搜索用戶(hù)是百度搜索的基礎(chǔ)力量。在開(kāi)頭贅述 這一點(diǎn)是蔣鑫鵬為了表達(dá)其對(duì)于百度搜索算法中的中文分詞的重視。因?yàn)椋瑢?duì)于百度google這樣的第二代搜索引擎來(lái)說(shuō)，采用的檢索技術(shù)主要是依靠關(guān)鍵字來(lái) 匹配的，而用戶(hù)對(duì)于關(guān)鍵詞的理解與機(jī)器程序?qū)τ陉P(guān)鍵詞的理解是有很大距離的。
在中文分詞方面百度勝過(guò)了Google，這是baidu取勝google的關(guān)鍵因素之一，中文的分詞比英文要復(fù)雜得多(同樣與中文分詞一樣麻煩的重要語(yǔ)言 還有日語(yǔ)、韓語(yǔ)、俄語(yǔ)，這也是Google沒(méi)辦法在這幾個(gè)地區(qū)取勝的原因之一)，蔣鑫鵬在這里因?yàn)槠蛔鲑樖觯信d趣的朋友可以研究一下拉丁語(yǔ)系(以英 文為例)的造句與中文造句的區(qū)別，中文造句不僅近義詞很多，而且語(yǔ)序變化無(wú)常，副詞太多(主謂賓之外的定狀補(bǔ)，嘆詞等等)。
簡(jiǎn)單舉個(gè)例子“百度如何排名”“百度是如何排名的”“百度怎么排名”“百度是怎么排名的”“百度如何排位”“百度怎么排位”“百度按什么排名”“百度靠什 么排名”“百度的搜索是怎么排位的”……這幾個(gè)短語(yǔ)短句至少都包含一個(gè)意思“百度搜索結(jié)果的排名是什么規(guī)則(原理)”，除此之外，每個(gè)句子都有其他的含 義，如這些句子還包含有“怎么做百度排名(實(shí)現(xiàn)這個(gè)目標(biāo)的方法)”“百度是怎么進(jìn)行搜索排名的(原理實(shí)現(xiàn)的過(guò)程)”……
拿上面的例子來(lái)說(shuō)：當(dāng)用戶(hù)輸入以上短句時(shí)(大多數(shù)情況下，普通用戶(hù)把百度當(dāng)做是萬(wàn)能的，所以才搜索SEO開(kāi)來(lái)這么不符合規(guī)則的搜索行為)，百度要迅速的響應(yīng)出用戶(hù)需要的結(jié)果，這個(gè)時(shí)候，百度面臨的核心問(wèn)題是：
A.首先要知道用戶(hù)是要搜什么(語(yǔ)義分析，見(jiàn)“二”);
B.其次因?yàn)榘俣鹊臋z索方式目前仍然以關(guān)鍵詞匹配技術(shù)為主，所以要對(duì)用戶(hù)的搜索進(jìn)行分詞(下一段將分析百度如何分詞);
C.然后百度要通過(guò)分詞分出的結(jié)果，去數(shù)據(jù)庫(kù)中檢索匹配的快照;
D.上一步只是檢索出來(lái)，還要進(jìn)行第四部的排名，這個(gè)時(shí)候已經(jīng)不是挑戰(zhàn)百度的難題了(雖然在SEO看來(lái)，這一步確實(shí)是非常艱難的)
E.第五步要將得到的結(jié)果返回到搜索頁(yè)面給用戶(hù)使用，并且要完成其廣告的投放(百度競(jìng)價(jià)廣告)，并要適當(dāng)推廣自己的產(chǎn)品(百度知道、百度文庫(kù)……)寫(xiě)的有點(diǎn)亂，SEO顧問(wèn)蔣鑫鵬在此致歉，沒(méi)找到更好的陳述方式，望朋友們整理發(fā)揚(yáng)光大。
2.百度中文分詞方式：
百度對(duì)于中文的分詞不僅是大量的用戶(hù)搜索(這點(diǎn)不同于Google，百度畢竟是植根于中國(guó)文化的，對(duì)中文更了解)，而且還有龐大的中文詞典數(shù)據(jù)庫(kù)作支撐， 并且動(dòng)態(tài)加入了搜索熱詞，搜索行為造詞等技術(shù)，【從近期百度算法的調(diào)整看，百度比以前更加尊重用戶(hù)的搜索行為，就是用戶(hù)的輸入為首要，百度糾正次要，這點(diǎn) 那很重要哦】下面以實(shí)例來(lái)說(shuō)，用戶(hù)搜索“百度如何排名?”時(shí)的分詞：
A.自然分割：包括標(biāo)點(diǎn)符號(hào)、空格引起的分割，這是首要因素，比如或者“百度 如何排名”這樣的搜索行為會(huì)被百度首先劃分為“百度”、“如何排名”，這一點(diǎn)是肯定的，要理解用戶(hù)搜索的行為意圖，首先是要尊重用戶(hù)的搜索行為;(這是 SEO顧問(wèn)蔣鑫鵬根據(jù)實(shí)戰(zhàn)中的觀察總結(jié)出的，做SEO的很多朋友可能沒(méi)注意到，在此提個(gè)醒)
B.中文詞庫(kù)分割：不難理解，“百度如何排名”將被分為“百度”“如何”“排名”這幾個(gè)詞，因?yàn)檫@是中文詞典里存在的詞，百度有龐大的中文詞典庫(kù)支撐，這個(gè)不是難度;
C.分詞組合分詞：B中的分詞顯然是不夠的，要更能理解用戶(hù)意圖，必須保證語(yǔ)義連貫，那么那三個(gè)詞可以組合成“百度如何排名”;“百度如何”+“排名”; “百度排名”+“如何”;“如何排名”+“百度”以及這幾個(gè)詞顛倒的組合，重要程度按照順序優(yōu)先原則，緊接著是倒序和雙向序列的分詞組合，分析切分有個(gè)基 本的原則就是最少的切分。
以上三點(diǎn)是通常意義上的分詞，除此之外，還有更麻煩的分詞需要百度處理，見(jiàn)后幾點(diǎn)。
D.分字：如果用戶(hù)搜索“百 度 如 何 排名”的時(shí)候，百度也是無(wú)可奈何的，因?yàn)槟悴荒芘袛喑鰜?lái)用戶(hù)就是在搜索“百度 如何 排名”，還得尊重用戶(hù)搜索行為，所以，不得不進(jìn)一步將中文詞進(jìn)行分字：“百”“度”“如”“何”“排名”，然后在進(jìn)行組合分詞，組成不同的詞組去數(shù)據(jù)庫(kù)中 匹配。
E.別音字/錯(cuò)別字：如有人搜索“白度如何排名”實(shí)際上是誤將“百度”打成“白度”，那么百度還要糾正這種錯(cuò)誤，但近期的調(diào)整看，百度不像以前通過(guò)詞庫(kù)近 義匹配來(lái)進(jìn)行糾錯(cuò)【而更多的是以用戶(hù)搜索后瀏覽的行為積累的數(shù)據(jù)來(lái)為糾錯(cuò)做準(zhǔn)備】(如搜索“白度”的很多用戶(hù)最后花更多時(shí)間在“百度”關(guān)鍵詞頁(yè)面上，那么 百度以后對(duì)于“白度”的搜索糾錯(cuò)會(huì)偏重到“百度”上!
當(dāng)然，這個(gè)詞是蔣鑫鵬舉例說(shuō)明，實(shí)際上百度搜索“白度”不是這樣的，例子可以參看百度的“美規(guī)車(chē)”查看，百度會(huì)提示或者說(shuō)試探你“您要找的是不是: 美規(guī)車(chē)”)，此外，百度對(duì)于糾錯(cuò)通過(guò)搜索下拉框相關(guān)詞推薦、搜索頁(yè)面底部“相關(guān)搜索”、百度知道(用戶(hù)量很大，是百度搜索的重要補(bǔ)充)來(lái)進(jìn)行糾錯(cuò)數(shù)據(jù)的統(tǒng) 計(jì)與糾錯(cuò)引導(dǎo)。
F.新詞：新詞的來(lái)源一般有兩種：a.近期流行語(yǔ)造成，這個(gè)百度的數(shù)據(jù)庫(kù)會(huì)根據(jù)用戶(hù)搜索行為積累的數(shù)據(jù)以及網(wǎng)絡(luò)熱詞監(jiān)測(cè)數(shù)據(jù)來(lái)進(jìn)行調(diào)整補(bǔ)充到詞庫(kù);b.語(yǔ)言新詞/用戶(hù)造詞，這個(gè)主要是靠搜索行為累積的數(shù)據(jù)調(diào)整，也針對(duì)部分語(yǔ)言新詞人工作補(bǔ)充。
推薦閱讀
中申科技的網(wǎng)站優(yōu)化是否采用了低級(jí)作弊手段
大家好，我是哈爾濱虛實(shí)網(wǎng)站設(shè)計(jì)，最近一直在給客戶(hù)做優(yōu)化，感覺(jué)以前用的一些方式，好像有點(diǎn)過(guò)時(shí)吧，過(guò)不過(guò)時(shí)大家?guī)臀铱聪掳桑抑饕褪窃跇?biāo)題和關(guān)鍵詞描述中作弊，另外就是關(guān)鍵詞的錨文點(diǎn)，還有不自然的加一些關(guān)鍵>>>詳細(xì)閱讀
本文標(biāo)題：蔣鑫鵬:百度搜索算法總結(jié)—關(guān)鍵詞分詞算法
地址：http://www.brh9h.cn/a/34/20120513/59571.html
網(wǎng)友點(diǎn)評(píng)
精彩導(dǎo)讀
科技快報(bào)
品牌展示