同時(shí)還會(huì)創(chuàng)建網(wǎng)站的robotsTXT文件，將以下代碼寫入該文件1 Useragent *2 Disallow 這個(gè)代碼的作用是阻止網(wǎng)絡(luò)爬蟲對(duì)你的網(wǎng)頁(yè)進(jìn)行索引但是還取決于搜索引擎是否接受這個(gè)指令所以，雖然大多數(shù)搜索引擎會(huì)尊重這個(gè)請(qǐng)求。

1通過(guò) robotstxt 文件屏蔽 可以說(shuō) robotstxt 文件是最重要的一種渠道能和搜索引擎建立直接對(duì)話，給出以下建議Useragent Baiduspider Disallow Useragent Googlebot Disallow Useragent Googlebot。

可使用robots協(xié)議建立robotstxt 文件，上傳至網(wǎng)站根目錄屏蔽所有搜索引擎爬取網(wǎng)站的語(yǔ)法UseragentDisallow 允許所有搜索引擎爬取網(wǎng)站所有內(nèi)容 UseragentDisallow只禁止百度抓取你網(wǎng)站的內(nèi)容 Useragent。

4然后找到“建議搜索引擎不索引本站點(diǎn)”前面的框框，然后勾選這個(gè)框框，然后點(diǎn)擊“保存更改”即可 二上傳robots文件的方式 1先在本地創(chuàng)建一個(gè)robots文件robotstxt 2然后在robots文件里面寫入靜止搜索引擎抓取的代碼 3。

1被robotstxt文件阻止 可以說(shuō)robotstxt文件是最重要的渠道可以和搜索引擎建立直接對(duì)話，給出以下建議用戶代理Baiduspider 不允許 用戶代理Googlebot 不允許 用戶代理谷歌機(jī)器人手機(jī) 不允許 用戶代理谷歌機(jī)。

一Useragenet用來(lái)定義搜索引擎寫法如Useragent*或者搜索引擎的蜘蛛的名字二Disallow 是禁止語(yǔ)法，用來(lái)定義禁止蜘蛛爬取的頁(yè)面或者目錄如Disallow文件夾目錄 或者是 Disallow文件夾名稱。

robots文件的寫法新建一個(gè)TXT文檔，命名為robots，雙擊打開，輸入以下內(nèi)容保存Useragent Baiduspider Disallow 擴(kuò)展Baiduspider是指百度蜘蛛，不讓百度抓取，如果是不希望所有的搜索引擎比如還有360，搜狗，谷歌等。

可以將該內(nèi)容添加nofollow標(biāo)簽，格式如下內(nèi)容。

Useragent * 這里的*代表的所有的搜索引擎種類，*是一個(gè)通配符 Disallow admin 這里定義是禁止爬尋admin目錄下面的目錄 Disallow require 這里定義是禁止爬尋require目錄下面的目錄 Disallow ABC 這里定義是禁止。

五設(shè)定某種類型文件禁止被某個(gè)搜索引擎蜘蛛抓取，設(shè)置代碼如下UseragentDisallow *htm 說(shuō)明其中“htm”，表示禁止搜索引擎蜘蛛抓取所有“htm”為后綴的文件六充許所有搜索引擎蜘蛛訪問(wèn)以某個(gè)擴(kuò)展名為后綴的。

Disallowyang 補(bǔ)充說(shuō)明你是針對(duì)百度還是所有搜索引擎上面是針對(duì)所有搜索引擎禁止抓取yang目錄如果只針對(duì)百度，那么就把Useragent*改為Useragentspider另外據(jù)說(shuō)360搜索違反robots協(xié)議，不知真假，如果yang目錄。