现在位置:主页 > SEO技术分享 > 搜索引擎真的遵守robots.txt协议吗?

搜索引擎真的遵守robots.txt协议吗?

阿里瑞SEO2020年03月07日SEO技术分享

简介    我们都知道文件是搜索引擎遵守的一个抓取协议,但是是不是真的有效果呢?     搜索引擎真的会遵循这个协议吗...

搜索引擎真的遵守robots.txt协议吗?

共享

搜索引擎真的遵守robots.txt协议吗?

评价

搜索引擎真的遵守robots.txt协议吗?

赞0

众所周知文档是搜索引擎遵守的一个抓取协议,可是是否确实有实际效果呢?


搜索引擎确实会遵照这一协议吗?


我们一起最先讨论一下


下边这一段 [这就是我南昌市seo网站的设定:容许GG 百度搜索、ALEXA 抓取,屏蔽了别的一切模块严禁!]


User-agent:Googlebot


Disallow:


User-agent:baiduspider


Disallow:


User-agent:ia_archiver


Disallow:


User-agent:*


Disallow:/


从基础理论上而言 那样的设定就屏蔽了别的一切模块,可事实上这类方式 并不可以彻底屏蔽掉SOSO YAHOO MSN这类的爬虫,在YAHOO上键入site:還是能够看见內容及其数据库索引的! 遵守robots协议是否自然是由她们自身来定的!因此要想彻底屏蔽掉搜索引擎的爬虫,必须在.htaccess中添加限定句子才行,这儿人们详细介绍2种有效的方法: 1:


RewriteEngine on RewriteCond %{HTTP_USER_AGENT} ^MSNBOT [NC] RewriteRule .* - [F]


2:


SetEnvIfNoCase User-Agent "^MSNBOT" bad_bot


<Limit GET POST> Order Allow,Deny Allow from all Deny from env=bad_bot </Limit>


注:MSNBOT 为MSN蜘蛛机器人编码 ,假如要想真实屏蔽掉某一搜索引擎 把在其中的鲜红色一部分[MSNBOT] 换为你要想屏蔽掉的蜘蛛机器人编码就可以! 请不必随便添写 不然导致损害与自己不相干! seo小泉公布,转截请标明出自:江西省南昌seo


上一篇:借助外部链接的总数得到不错的排行 下一篇:2018年百度搜索优化排名SEO的实际操作构思

搜索引擎真的遵守robots.txt协议吗?

热门推荐

评价(0人参加,0条评价)

公布评价

福州市SEO

评论

说点什么吧
  • 全部评论(0
    还没有评论,快来抢沙发吧!