SEO工具

[seo优化技术]蜘蛛爬行robots文件奇妙之处

作者:admin 2019-04-01 我要评论

seo优化技术中robots是一个文件,而不是一个参数,大家不要混淆。 robots.txt文件主要的作用告诉搜索引擎的蜘蛛爬行的...

seo优化技术中robots是一个文件,而不是一个参数,大家不要混淆。
robots.txt文件主要的作用告诉搜索引擎的蜘蛛爬行的范围,应该去爬行的目录和禁止爬行的目录。一般是在根目录下。

蜘蛛爬行robots文件奇妙之处 图
seo优化技术中Robots文件在什么时候用比较合理那。
其一:我们遇到网站升级,老版本很多网页,在新版本的一些页面下不存在,在这种情况下可以通过 Robots文件告诉蜘蛛不再抓取这些已经被去掉的页面了。
网站重复页面过多,比如同时生产了动态和静态两种页面,重复页面过多,占用蜘蛛大量的爬行时间,我们为了解决这个问题,就可以用Robots文件中禁止蜘蛛抓取动态页面。
其二:网站的内容不便于公开,但是我们为了以后查看方便,这种情况,可以用Robots文件告诉蜘蛛不要爬取。
 
Robots详解文件的写法:
User-agent:  *          示意:允许搜索引擎抓取
Allow:      /anc/see
Allow:      /tmp/hi
Allow:      /joe/256
Disallow:    /cgi-bin/
Disallow :    /tmp/
Disallow:    /peixun/
 
如果网站都允许搜索引擎抓取写法:
User-agent: *Allow: /   示意:允许搜索引擎抓取所有内容
 
Alow是允许蜘蛛爬行的页面,而 Disallow后面则是不允许蜘蛛访问的路径和文件
 
Robots 特殊网站案例:
 
(1)仅允许访问某目录下某个后缀的文件。这里仅允许访问带“$”符号的网址,如下。
User-agent:*
Allow: .htm$
Disallow:/
 
(2)禁止索引网站中所有的动态页面。这里是限制访问带“?”的网址,例如, index. asp?id=1
User-agent:*
Disallow : /*?*
 
(3)使用“*”,限制访问带某个后缀的域名。这里是禁止访问 admin目录下所有htm文件,如下。
User-agent:*
Disallow: /admin/*.htm

 

1.本站(SEO指南)遵循行业规范,任何转载的稿件都会明确标注作者和来源;2.本站的原创SEO文章,请转载时务必注明文章作者和来源,不尊重原创的行为我们将追究责任;3.作者投稿可能会经我们编辑修改或补充。

相关文章
  • [清镇SEO]谷歌SEO优化了什么?两年海外推广经验:

    [清镇SEO]谷歌SEO优化了什么?两年海外推广经验:

  • [峨眉山SEO]Etsy商店SEO及四个主要车站内外的交通

    [峨眉山SEO]Etsy商店SEO及四个主要车站内外的交通

  • [临沧SEO]电子邮件营销真的和seo无关吗?那么你亏

    [临沧SEO]电子邮件营销真的和seo无关吗?那么你亏

  • [攀枝花SEO]如何在SEO中选择关键字

    [攀枝花SEO]如何在SEO中选择关键字