txt 下面是內(nèi)容 UseragentDisallow 以上可以直接復(fù)制，表示所有搜索引擎，禁止抓取本站任何內(nèi)容 風(fēng)險使用屏蔽后，就算刪除該文件，網(wǎng)站也會長時間不收錄，至少半年 做完robotstxt用FTP上傳到網(wǎng)站服務(wù)器的根目錄。

所以我們要屏蔽這樣的動態(tài)頁面，從而降低我們網(wǎng)頁的重復(fù)頁面那么我們只要在robotstxt文件里面，加上這樣的代碼就行了quotDisallow*？*”這個代碼的意思是根目錄下個所有動態(tài)禁止搜索引擎訪問。

您可以在您的網(wǎng)站中創(chuàng)建一個robotstxt，在文件中聲明該網(wǎng)站中不想被搜索引擎收錄的部分或者指定搜索引擎只收錄特定的部分請注意，僅當(dāng)您的網(wǎng)站包含不希望被搜索引擎收錄的內(nèi)容時，才需要使用robotstxt文件如果您希望搜索。

方法一1 第一種方法需要我們使用robotstxt屏蔽百度蜘蛛抓取下圖所示頁面2 屏蔽效果如下圖所示3 除此以外，我們也可以通過使用robotsMeta標(biāo)簽，屏蔽搜索引擎抓取，在頭部加入下圖紅框所圈代碼即可4 屏蔽代碼如。

取消百度收錄，你的意思是不想被百度收錄網(wǎng)站么，直接robots編寫拒絕全站收錄，如同淘寶一樣將robots文件放到根目錄百度就不會收錄和抓取網(wǎng)頁了UseragentDisallow robots用法使用說明。

你可以通過設(shè)置根目錄下的robotstxt 文件來限制百度收入robotstxt必須放置在一個站點的根目錄下，而且文件名必須全部小寫robotstxt文件的格式 Useragent 定義搜索引擎的類型 Disallow 定義禁止搜索引擎收錄的地址 Allo。