如果網(wǎng)站一些頁(yè)面不想被搜索引擎抓取和收錄，我們會(huì)用到robots文件，里面設(shè)置搜索引擎的抓取規(guī)則。這種情況常用于新網(wǎng)站上線并處于測(cè)試階段或者網(wǎng)站頁(yè)面新增。

專注于為中小企業(yè)提供成都做網(wǎng)站、成都網(wǎng)站制作、成都外貿(mào)網(wǎng)站建設(shè)服務(wù),電腦端+手機(jī)端+微信端的三站合一,更高效的管理,為中小企業(yè)上林免費(fèi)做網(wǎng)站提供優(yōu)質(zhì)的服務(wù)。我們立足成都，凝聚了一批互聯(lián)網(wǎng)行業(yè)人才，有力地推動(dòng)了1000+企業(yè)的穩(wěn)健成長(zhǎng)，幫助中小企業(yè)通過網(wǎng)站建設(shè)實(shí)現(xiàn)規(guī)模擴(kuò)充和轉(zhuǎn)變。

有些人可能會(huì)有疑問，搜索引擎蜘蛛爬行url頁(yè)面，頁(yè)面需要有內(nèi)容呈現(xiàn)出來反饋給到蜘蛛，才有可能會(huì)被收錄。那么，robots屏蔽搜索引擎后，為什么還是被收錄？

先來說說robots協(xié)議到底是在做什么？既然是協(xié)議，那肯定是雙方同意、認(rèn)可的規(guī)矩。這個(gè)甲乙自然就是網(wǎng)站和搜索引擎（或者說搜索引擎蜘蛛）之間的協(xié)議。robots文件會(huì)放在根目錄下，蜘蛛進(jìn)入網(wǎng)站會(huì)第一時(shí)間訪問這個(gè)文件，然后看看協(xié)議里面有沒有禁止了那些頁(yè)面不能抓取，如果禁止了就不會(huì)再去抓取。

個(gè)頁(yè)面想要去搜索引擎索引（收錄），收錄要有蜘蛛爬行和抓取，既然不抓取，理所當(dāng)然的就會(huì)被認(rèn)為這個(gè)頁(yè)面是不會(huì)被收錄。這樣的思維是錯(cuò)誤的，不抓取也是可以被索引（收錄）。如淘寶就是一個(gè)典型的案例，網(wǎng)站添加了禁止協(xié)議，最后還是被收錄。原因在于，百度從其它渠道平臺(tái)推薦的外部鏈接了解到這個(gè)網(wǎng)站，雖然被禁止抓取，但從標(biāo)題和推薦鏈接的數(shù)據(jù)里還是可以判斷出與該頁(yè)面相應(yīng)的內(nèi)容信息。

好了，關(guān)于robots的知識(shí)分享就和大家說到這里。可能有些人還有疑問，比如說：robots既然不能夠阻止頁(yè)面被收錄，有沒有辦法禁止索引（收錄）呢？肯定是有的。至于如何禁止，使用操作方法如何看下百度關(guān)于robots文件的講解：https://ziyuan.baidu.com/college/courseinfo?id=267&page=12#h2_article_title28

網(wǎng)頁(yè)名稱：通過robots文件屏蔽搜索引擎，但還是被收錄，什么原因？
鏈接URL：http://www.chinadenli.net/article8/sspop.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供企業(yè)建站、建站公司、商城網(wǎng)站、網(wǎng)頁(yè)設(shè)計(jì)公司、營(yíng)銷型網(wǎng)站建設(shè)、品牌網(wǎng)站建設(shè)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)