今天就跟大家聊聊有關(guān)Google優(yōu)化蜘蛛爬取和索引的技巧有哪些,可能很多人都不太了解,為了讓大家更加了解,小編給大家總結(jié)了以下內(nèi)容,希望大家根據(jù)這篇文章可以有所收獲。
由于google掌控者搜索市場的大部分的份額,所以應(yīng)時(shí)時(shí)關(guān)注和聽取它的一些動(dòng)態(tài)。“Google發(fā)表了一篇叫做優(yōu)化蜘蛛爬取和索引的技巧”,是不是該引起我們的注意呢?
文中內(nèi)容高度強(qiáng)調(diào)可以提高你站點(diǎn)爬取的能力的一些技巧,下面是陳列的關(guān)于URL的具體的例子。
“互聯(lián)網(wǎng)是個(gè)大世界,時(shí)時(shí)刻刻都有新的內(nèi)容被發(fā)表,創(chuàng)造,”Google 分析師Susan Moskwa說到。“Google 擁有無限的資源,所以當(dāng)它面臨幾乎無限的在線的可利用的資源時(shí),google的蜘蛛只有能力去找尋和爬取一部分的內(nèi)容,而面對已經(jīng)爬取了的內(nèi)容,我們又只能索引一部分。”
Moskwa說:“URL就像一座連接你站點(diǎn)和搜索引擎蜘蛛之間的橋梁,蜘蛛需要能夠找到并通過這座橋梁(IE,找到并爬取你的URL)到達(dá)你的網(wǎng)站內(nèi)容頁,如果你的URL地址過于復(fù)雜或是太冗余,蜘蛛就要花費(fèi)很多時(shí)間去跟蹤并反跟蹤自己爬取的腳印,如果URL地址被很好的組織著,并直接指向相關(guān)區(qū)域的內(nèi)容,這樣就不會(huì)爬取到空白或是重復(fù)的內(nèi)容頁了。”
如果你想被Google更好的索引,你必須刪除URL地址中用戶具體信息。具體情況可瀏覽幻燈片。基本上URL的參數(shù)時(shí)不會(huì)改變網(wǎng)頁的內(nèi)容,所以這些參數(shù)應(yīng)該要?jiǎng)h除或是放入cookie中。這樣就會(huì)減少很多URL指向同一個(gè)內(nèi)容的數(shù)量,加快檢索。(這里應(yīng)該指的就是盡量使用靜態(tài)地址,少產(chǎn)生一些用戶自帶的參數(shù)的重復(fù)URL)
Google說漫無目的的無限的空間和廣度其實(shí)很浪費(fèi)時(shí)間,所以對于那些是地址的不管是過去的還是將來的url地址,好有一個(gè)時(shí)間標(biāo)志。例如example/2009/08//11/title
告訴Google那些網(wǎng)頁可以忽略它不需要爬取。包括一些登陸的頁面,聯(lián)系方式,購物車和其他的頁面,類似于要求用戶去執(zhí)行的行為,蜘蛛是無法識(shí)別操作的。可以通過使用robots.txt文件來實(shí)現(xiàn)。
最后,盡可能避免重復(fù)的內(nèi)容。Google希望每一個(gè)內(nèi)容頁面都對應(yīng)一個(gè)的地址。當(dāng)然他們不可能全部的識(shí)別出來,因此會(huì)有一些典型鏈接因素存在讓你去鑒別哪些特定內(nèi)容網(wǎng)頁的URL更被人們喜愛。
看完上述內(nèi)容,你們對Google優(yōu)化蜘蛛爬取和索引的技巧有哪些有進(jìn)一步的了解嗎?如果還想了解更多知識(shí)或者相關(guān)內(nèi)容,請關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道,感謝大家的支持。
本文題目:Google優(yōu)化蜘蛛爬取和索引的技巧有哪些-創(chuàng)新互聯(lián)
文章網(wǎng)址:http://www.chinadenli.net/article45/ccidei.html
成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供靜態(tài)網(wǎng)站、域名注冊、網(wǎng)站導(dǎo)航、移動(dòng)網(wǎng)站建設(shè)、全網(wǎng)營銷推廣、網(wǎng)頁設(shè)計(jì)公司
聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請盡快告知,我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場,如需處理請聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時(shí)需注明來源: 創(chuàng)新互聯(lián)
猜你還喜歡下面的內(nèi)容