1、可以設(shè)置只需要讓你的建站者加密代碼，讓別人無(wú)法收集和復(fù)制你的文章如何拒絕所有蜘蛛抓取我網(wǎng)站的內(nèi)容禁止所有搜索引擎訪問(wèn)網(wǎng)站的任何部分Useragent*Disallow以上兩段代碼放入robotstxt就可解決 采集其它網(wǎng)站的小說(shuō)。

2、1如果你站點(diǎn)中的所有文件，都可以讓蜘蛛爬取收錄的話，那么語(yǔ)法這樣寫Useragent *Disallow當(dāng)然，如果你網(wǎng)站中全部的文件都可以讓搜索引擎索引的話，你也可以不管這個(gè)文件2完全禁止搜索引擎來(lái)訪的Robotstxt文件寫法。

3、1 第一種方法需要我們使用robotstxt屏蔽百度蜘蛛抓取下圖所示頁(yè)面2 屏蔽效果如下圖所示3 除此以外，我們也可以通過(guò)使用robotsMeta標(biāo)簽，屏蔽搜索引擎抓取，在頭部加入下圖紅框所圈代碼即可4 屏蔽代碼如下圖所示。

4、4登陸百度自己的“百度快照”帖吧和“百度投訴”帖吧，發(fā)個(gè)帖子，表明刪除網(wǎng)頁(yè)收錄網(wǎng)站快照的原因，當(dāng)百度管理人員，看到會(huì)給予處理如何禁止Google搜索引擎收錄抓取網(wǎng)站內(nèi)容 1編輯robotstxt文件，設(shè)計(jì)標(biāo)記為Useragent。

5、下面是一些阻止主流搜索引擎爬蟲蜘蛛抓取索引收錄網(wǎng)頁(yè)的思路注全網(wǎng)站屏蔽，盡可能屏蔽主流搜索引擎的所有爬蟲蜘蛛1被robotstxt文件阻止 可以說(shuō)robotstxt文件是最重要的渠道可以和搜索引擎建立直接對(duì)話，給出。

6、在網(wǎng)站根目錄下 設(shè)置robotstxt文件，輸入以下代碼UseragentDisallow admin Useragent MSNbot Disallow。

7、1robots 文件 搜索引擎蜘蛛訪問(wèn)網(wǎng)站時(shí)，會(huì)先查看網(wǎng)站根目錄下有沒(méi)有一個(gè)命名為 robotstxt 的純文本文件，它的主要作用是制定搜索引擎抓取或者禁止網(wǎng)站的某些內(nèi)容useragent* 適用于所有蜘蛛 Disallowupload Disallow。

8、下面的代碼將禁止蜘蛛抓取以 html 為后綴的URL UseragentDisallow html 通配符告訴蜘蛛匹配任意一段字符，是任意一段字符，我想像你那兩種設(shè)置應(yīng)該都可以例如，下面一段代碼將禁止蜘蛛抓取所有html文件Useragent。

9、用js加密內(nèi)容防止了抓取，但是這樣就會(huì)導(dǎo)致所有的蜘蛛機(jī)器人抓取內(nèi)容都是加密，對(duì)搜索引擎優(yōu)化不好全站Flash同上全站Ajax同上 這些方法只能組織正規(guī)蜘蛛的訪問(wèn)，不能達(dá)到阻止非人類行為抓取數(shù)據(jù)，允許指定的搜索。

10、這個(gè)從某個(gè)程度上說(shuō)是一個(gè)小黑帽手法了2如果你是不想讓蜘蛛抓取某些頁(yè)面的話，可以通過(guò)robotstxt來(lái)控制，這個(gè)是一個(gè)搜索引擎協(xié)議，告訴搜索引擎不要抓取網(wǎng)站的這些內(nèi)容，寫好robotstxt文件，放到網(wǎng)站根目錄下即可，具體。

11、Robotstxt 是存放在站點(diǎn)根目錄下的一個(gè)純文本文件雖然它的設(shè)置很簡(jiǎn)單，但是作用卻很強(qiáng)大它可以指定搜索引擎蜘蛛只抓取指定的內(nèi)容，或者是禁止搜索引擎蜘蛛抓取網(wǎng)站的部分或全部?jī)?nèi)容使用方法Robotstxt 文件應(yīng)該放在網(wǎng)站。

12、比如，要啟用一個(gè)新的域名做鏡像網(wǎng)站，主要用于PPC 的推廣，這個(gè)時(shí)候就要想辦法屏蔽搜索引擎蜘蛛抓取和索引我們鏡像網(wǎng)站的所有網(wǎng)頁(yè)因?yàn)槿绻R像網(wǎng)站也被搜索引擎收錄的話，很有可能會(huì)影響官網(wǎng)在搜索引擎的權(quán)重以下列舉了屏蔽。

13、二在模版的headerphp的文件時(shí)添加一段代碼，因?yàn)橹┲雭?lái)到你的網(wǎng)站是由上到下訪問(wèn)的，所以剛開(kāi)始訪問(wèn)到的肯定是從headerlt頂部開(kāi)始抓取所以如果我們?cè)陧敳坷镌O(shè)置好屏蔽蜘蛛的訪問(wèn)代碼后，蜘蛛也會(huì)跟第一條一樣遵守協(xié)議返。

14、二上傳robots文件的方式 1先在本地創(chuàng)建一個(gè)robots文件robotstxt 2然后在robots文件里面寫入靜止搜索引擎抓取的代碼 3寫入完成后，然后通過(guò)FTP文件上傳工具將robotstxt文件上傳到網(wǎng)站的根目錄中 三利用服務(wù)器中的“。

15、允許所有搜索引擎蜘蛛抓取以某個(gè)擴(kuò)展名為后綴的網(wǎng)頁(yè)地址，代碼如下UseragentAllow htm$ 說(shuō)明其中“htm”，表示充許搜索引擎蜘蛛抓取所有”htm”為后綴的文件，注意，這里并不包括以”html”為后綴的文件例2設(shè)。

16、如果你確實(shí)不想讓百度蜘蛛抓取js和css，可以通過(guò)robotstxt進(jìn)行屏蔽新建一個(gè)robotstxt放在網(wǎng)站根目錄，內(nèi)容為 如果禁止所有搜索引擎抓取js和css文件，將下面的Useragent baiduspider改為Useragent *Useragent。