添加時間:2017/10/25 15:13:35 編輯:奇億網站建設公司
01.網頁為何要去重?
對于搜索引擎來說,希望呈現給用戶的是新穎且吸引人的內容,是高質量的文章,而不是大量的“換湯不換藥”的套話;我們在做SEO優化,要進行內容編輯時,難免會參考其他同類的文章,而這篇文章或許被多人采集過,這就導致了網絡上的相關信息大量的重復。
如果一個網站存在大量的惡劣采集內容,不僅會影響用戶體驗,還會造成搜索引擎直接屏蔽該網站。之后網站上的內容,蜘蛛再難抓取了。
02.搜索引擎工作原理
搜索引擎是指根據一定的策略、運用特定的計算機程序從互聯網上搜集信息,在對信息進行組織和處理后,為用戶提供檢索服務,將用戶檢索相關的信息展示給用戶的系統。
搜索引擎的工作原理:
第一步:爬行
搜索引擎是通過一種特定規律的軟件跟蹤網頁的鏈接,從一個鏈接爬到另外一個鏈接,像蜘蛛在蜘蛛網上爬行一樣,所以被稱為“蜘蛛”也被稱為“機器人”。搜索引擎蜘蛛的爬行是被輸入了一定的規則的,它需要遵從一些命令或文件的內容。
第二步:抓取存儲
搜索引擎是通過蜘蛛跟蹤鏈接爬行到網頁,并將爬行的數據存入原始頁面數據庫。其中的頁面數據與用戶瀏覽器得到的HTML是完全一樣的。搜索引擎蜘蛛在抓取頁面時,也做一定的重復內容檢測,一旦遇到權重很低的網站上有大量抄襲、采集或者復制的內容,很可能就不再爬行。
第三步:預處理
搜索引擎將蜘蛛抓取回來的頁面,進行各種步驟的預處理。
除了HTML 文件外,搜索引擎通常還能抓取和索引以文字為基礎的多種文件類型,如 PDF、Word、WPS、XLS、PPT、TXT 文件等。我們在搜索結果中也經常會看到這些文件類型。 但搜索引擎還不能處理圖片、視頻、Flash 這類非文字內容,也不能執行腳本和程序。
第四步:排名
用戶在搜索框輸入關鍵詞后,排名程序調用索引庫數據,計算排名顯示給用戶,排名過程與用戶直接互動的。但是,由于搜索引擎的數據量龐大,雖然能達到每日都有小的更新,但是一般情況搜索引擎的排名規則都是根據日、周、月階段性不同幅度的更新。
03.網頁去重的代表性方法
搜索引擎包括全文索引、目錄索引、元搜索引擎、垂直搜索引擎、集合式搜索引擎、門戶搜索引擎與免費鏈接列表等。 去重的工作一般在分詞之后索引之前,搜索引擎會在頁面已經分出的關鍵詞中,提取部分具有代表性的關鍵詞進行計算,從而得出一個該網站關鍵詞的特征。
目前, 網頁去重代表性方法有3種。
1)基于聚類的方法。該方法是基于網頁文本內容以6763個漢字作為向量的基, 文本中某組或某個漢字所出現的頻率就構成了代表網頁的向量, 通過計算向量的夾角確定是否是相同的網頁。
2)排除相同URL方法。各種元搜索引擎去重主要采用此方法。它分析來自不同搜索引擎的網頁URL, URL 相同, 即被認為是相同的網頁, 可將其去除。
3)基于特征碼的方法。這種方法利用標點符號多數出現在網頁文本的特點, 以句號兩邊各5 個漢字作為特征碼來唯一地表示網頁。
三種方法中,第一種和第三種大多數還是基于內容來判定,所以很多時SEO人員會通過偽原創工具來修改文章內容,但是很多時候偽原創工具會將原文改的不通順,這樣也不利于排名與收錄。
也有網站利用搜索引擎的漏洞,比如權重高的網站進行惡劣采集,因為權重高的網站蜘蛛會優先抓取,所以這種做法會不利于一些權重低的網站。