經由過程在robots.txt文件中禁止復制內容被搜索引擎抓取，也能有用的解決網址一再問題。
一再內容的風險
凡是來說，在網站的培植過程中，一再內容的發生很難避免，可是一再內容在很年夜水平上會影響網站在搜索引擎中的默示。今天和巨匠切磋的內容就是一再內容發生的原因以及解決體例。
發生一再內容的首要原因
網址規范化問題搜羅主域名的規范化和頁面URL地址規范化兩個方面，主域名的規范化需要規范化。此外是內頁URL的規范化，凡是為了讓搜索引擎能夠更好的抓取網站內容，我們會將URL進行偽靜態措置，而一般的網站偽靜態之后，原始的動態URL依然存在并能夠訪謁，這樣就造成了多個URL訪謁不異網址。
3，網站結構
良多網站在結構設計之初并沒考慮seo方面的身分，結不美觀是導致造成各類頁面版本，好比產物按價錢，評論，時刻排序等，出格是一些電子商務網站，這種頁面一再現象尤為嚴重。
4，URL肆意加字符仍是返回200狀況碼。
3，canonical標簽
canonical標簽是由谷歌，雅虎在2009年配合發布的一個新的標簽，今朝百度也暗示撐持canonical標簽，這個標簽也可以用于解決網址一再的問題。
一些網站是因為網站軌范和手藝的原因，用戶在URL參數后面隨意加上一些字符都能夠正常訪謁，而且頁面是和沒加之前的完全一再。
搜檢頁面是否有一再版本有一個斗勁簡單的體例，就是將內容隨機選擇一句話加雙引號后進行搜索，年夜結不美觀中就可以看到有若干好多個一再的頁面。因為凡是來說隨機選一句話進行搜索完全生命的機率是斗勁小的。
良多網站除了供給正常的版本之外還供給一些其它的瀏覽版本，好比打印版本或者簡版，卻并沒有禁止搜索引擎去抓取這些頁面，而這些頁面也是以釀成了一再內容頁面。
良多做seo的存在一個誤區，那就是認為如不美觀網站上有一再內容就會被搜索引擎賞罰，其實倒沒有這么嚴重，搜索引擎會在所有的一再頁面中選擇一個認為最佳的版本去介入排名，其它相似的內容不會同時擁有排名。
那么問題也就來了，第一，搜索引擎若何去判定哪個頁面是最正版的，是否和網站打點員想舉薦的頁面一致，如不美觀搜索引擎判定失蹤誤，把原創的頁面當成磷拼制內容，復制頁面當成了原創頁面，而你在進行推廣的過程中卻是原版，那就是做了無用功。此外統一個網站內的頁面存在多個復制內容會分手頁面權重，既然頁面在網站上呈現了，就必然會有鏈接鏈向這個頁面，而如不美觀鏈接是統一的，那以全數的權重都可以進行集中，同時不異頁面的收錄在必然水平上也占用了搜索引擎蜘蛛的抓取精神，削減了原本真正需要進行抓取頁面的收錄機率。
消弭復制內容的體例
1，301重定向
網址規范化問題最好的體例是一個頁面只對應一個URL，不要呈現多個分歧的版本，網站所有鏈接都指向這個URL。當然有些時辰因為水平原本或者其它原因，無法完全統一為一個URL，那么我們可以采用以下三種體例進行集中權重。
301能夠傳遞頁面的權重，今朝來說主流搜索引擎都撐持301重定向，可以將復制內容的頁面全數經由過程301永遠重定向的體例跳轉到原版頁面。
2，robots文件禁止
1，網址規范化問題。
2，內容的其他版本
添加了以上標簽后，也就相當于告訴搜索引擎哪個網址是最規范原創的版本，其它復制內容都是指向章矣閩獨一的網址，有一點頁面301傳遞權重的意思，可是301是頁面直接跳轉了，而加這個標簽后，頁面仍是勾留在原始地址。首發a5，文章來歷御泥坊的面膜怎么樣http://www.afu-tmall.com/，尊再版權!
網友點評
精彩導讀
科技快報
品牌展示