wordpress如何設置最佳robots.txt

Robots協(xié)議(也稱為爬蟲協(xié)議、機器人協(xié)議等)的全稱是“網(wǎng)絡爬蟲排除標準”(Robots Exclusion Protocol)，網(wǎng)站通過Robots協(xié)議告訴搜索引擎哪些頁面可以抓取，哪些頁面不能抓取。Robots協(xié)議是國際互聯(lián)網(wǎng)界通行的道德規(guī)范，尊重信息提供者的意愿維護其隱身，正如08年淘寶網(wǎng)屏蔽蜘蛛，11年京東的一淘網(wǎng)屏蔽了爬蟲，都是體現(xiàn)robots.txt的規(guī)范互聯(lián)網(wǎng)的原則，遵從民主自由。話題有點偏了，回到wordpress如何設置最佳robots.txt。

創(chuàng)新互聯(lián)專注于企業(yè)成都全網(wǎng)營銷、網(wǎng)站重做改版、沽源網(wǎng)站定制設計、自適應品牌網(wǎng)站建設、H5開發(fā)、成都做商城網(wǎng)站、集團公司官網(wǎng)建設、外貿營銷網(wǎng)站建設、高端網(wǎng)站制作、響應式網(wǎng)頁設計等建站業(yè)務，價格優(yōu)惠性價比高，為沽源等各大城市提供網(wǎng)站開發(fā)制作服務。

Robots.txt是搜索引擎蜘蛛進站的第一個胃口，首要檢查的文件，網(wǎng)站有很多內容例如js，style，插件，圖片是無需爬蟲去抓取的，對博客網(wǎng)站來說文章才是重中之重，把所有力氣放在文章，一點擊破，而不是浪費資源做無用功，而wordpress默認的robots.txt是：

User-agent: * Disallow: /wp-admin/ Disallow: /wp-includes/

這只是其中的一小部分，對不懂優(yōu)化的人來說，屏蔽這些應該已經(jīng)足夠，但對SEO來說，就是追求完美，沒有最好只有更好，那么要屏蔽那些，如何屏蔽呢

1.動態(tài)頁面對搜索引擎不友好，搜索引擎的口味是靜態(tài)頁面，所以可以屏蔽動態(tài)頁面，前提是網(wǎng)站要偽靜態(tài)，

Disallow: /*?* 限制動態(tài)頁面 /%post_id%.html 偽靜態(tài)設置

2.管理員登錄界面，既然是管理員就沒必要給爬蟲抓取，登錄界面對用戶也沒用

Disallow: /wp-admin/ 限制管理員登陸頁面

3.插件、模板、js文件這些是網(wǎng)站的后臺程序代碼，也可以屏蔽

Disallow: /wp-content/plugins/ 限制插件文件

Disallow: /wp-content/themes/ 限制模板文件

Disallow: /wp-includes/ 限制js文件

4.feed，不知道站長們對這個熟悉嗎，這個是網(wǎng)站的訂閱文件，原本漳州網(wǎng)站建設也不知道，只知道有RSS訂閱，在網(wǎng)站域名后加個feed你就清楚了，這個也可以屏蔽。

Disallow: /feed

5.網(wǎng)站的評論，評論被抓取會導致文章的重復，不利于觀察分析，用戶體驗，但這個視具體情況，個人愛好不一。

Disallow: /comments 限制評論

Disallow: /*?replytocom* 限制每一個評論頁面

設置完Robots.txt后，為保險起見，最好用百度站長工具檢查一下，漳州網(wǎng)站建設就被robots.txt解禁困擾過，花了很長時間才把它搞定。插個小曲，robots.txt不僅可以禁止爬蟲爬取網(wǎng)站結構，也可以禁止 404頁面，搜索蜘蛛非常喜歡網(wǎng)站地圖，sitemap可以為搜索引擎蜘蛛指路，增加網(wǎng)站重要內容頁面的收錄，也有利于用戶體驗，所以最后一點就是加入網(wǎng)站地圖。

如何通過sitemap網(wǎng)站地圖來吸引蜘蛛爬行

通過sitemap網(wǎng)站地圖吸引蜘蛛爬行的方式主要有以下幾點：

1、什么是 sitemap

簡單理解：sitemap 就是網(wǎng)站地圖，它通過可視化的形式，展示網(wǎng)站的主要結構比如：列表頁、分類頁、tag 頁，以及內容頁面。

網(wǎng)站地圖的主要形式包括：sitemap.html、sitemap.xml、sitemap.txt，通常情況下這三種形式的

sitemap網(wǎng)站地圖，主要被存放在：

① 網(wǎng)站前端頁面

通常眾多站長喜好將 sitemap.html

類型的網(wǎng)站地圖，存放在前端頁面，經(jīng)常被放在網(wǎng)站導航中，用于向訪客清晰的展示網(wǎng)站的結構框架，突出眾多欄目。

在頁面相對較多的網(wǎng)站，理論上它會出現(xiàn)多個 sitemap.html 用于展現(xiàn)不同專題的內容結構。

② 網(wǎng)站 Robots.txt 中

理論上 sitemap.xml 與 sitemap.txt 經(jīng)常被存放在 Robots.txt

文件中，用于百度蜘蛛快速抓取，當然也可以做百度網(wǎng)址提交，加快頁面收錄。

具體有關 sitemap 配置的方法，你可以參考百度官方《平臺工具使用幫助》中，鏈接提交的說明。

2、網(wǎng)站地圖制作方法：

網(wǎng)站地圖制作的方法有很多，通常來講主要包括如下幾個方面：

① 程序插件

一般情況下，知名的 cms 系統(tǒng)，都會配有 sitemap 網(wǎng)站地圖生成插件，你需要在相應的應用市場去查詢相關插件，并開啟他們，比如：wordpress

插件、zblog 插件和 dedecms 織夢插件等，當然你也可以聘用技術人員，獨立開發(fā)一個插件，性價比還是蠻高的。

② sitemap 生成器

目前市面上有很多在線生成 sitemap 的網(wǎng)站，以及客戶端，比如：愛站網(wǎng)的 SEO 工具包，對于一些技術能力不強的小伙伴，還是很有幫助。

③ 手動生成

如果你在操作一個獨立博客，每日更新的內容并不是特別多，比如在 10 篇以下，那么你完全可以手動添加 sitemap，如果你想在簡單一點，你只需要選擇

sitemap.txt，把 URL 網(wǎng)址復制到這個文本文件中就可以。

3、如何提交網(wǎng)站地圖

通常向百度提交 sitemap 網(wǎng)站地圖的方法很簡單，你只需要登錄百度搜索資源平臺，你就會在：

網(wǎng)站支持-數(shù)據(jù)引用-鏈接提交中

如何讓各大搜索引擎搜索收錄到剛建的wordpress網(wǎng)站

讓各大搜索引擎搜索收錄到剛建的wordpress網(wǎng)站方法如下：

一、提交入口（這里以百度舉例）

打開百度站長

2.鏈接提交

3.手動提交

4.填寫網(wǎng)址，提交即可

二、外鏈建設

可以通過去各個論壇發(fā)布帶有網(wǎng)址的文本，讓搜索引擎蜘蛛爬行網(wǎng)站，從而收錄。查看外鏈的方法如圖：

wordpress中怎樣設置不讓搜索引擎搜索

wordpress系統(tǒng)本身是對搜索引擎友好的，如果網(wǎng)站的內容比較私密不希望蜘蛛爬取，可以能過以下方法實現(xiàn)：

1、進入wordpress "設置"? - "閱讀"? - 然后勾選“建議搜索引擎不索引本站點”，再點擊 “保存更改”。這樣搜索引擎就不會收錄和索引網(wǎng)站了。

2、還可以通過配置“robots.txt”來告訴搜索引擎，不要收錄/索引網(wǎng)站的內容；

步驟：

1)，新建一個文本文檔，重命名為“robots.txt”；

2)，在文本文件貼入以下內容并保存：

User-agent: *

Disallow: /

3)，將設置好的“robots.txt”上傳至網(wǎng)站的根目錄。

文章標題：wordpress引蜘蛛 網(wǎng)站怎么引蜘蛛
本文鏈接：http://www.chinadenli.net/article42/ddopdec.html

成都網(wǎng)站建設公司_創(chuàng)新互聯(lián)，為您提供移動網(wǎng)站建設、服務器托管、網(wǎng)頁設計公司、網(wǎng)站維護、Google、網(wǎng)站建設

廣告

聲明：本網(wǎng)站發(fā)布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經(jīng)允許不得轉載，或轉載時需注明來源： 創(chuàng)新互聯(lián)