SEO教程

附子seo视频教程:Robots.txt写法详解

作者:[db:出处] 2020-06-24

Robots 协议是蜘蛛访问网站的开关,决定蜘蛛可以抓取哪些内容,不可以抓取哪些内容。卓趣科技quhr.cn从网站管理者的...

Robots 协议是蜘蛛浏览网站的电源开关,决策蜘蛛能够 抓取什么內容,不能抓取什么內容。卓趣高新科技quhr.cn从网站管理人员的视角,大家根据 robots 的书写,能够 决策让蜘蛛抓取什么文档,而不抓取什么文档,进而更有益于网站的提升。

文件目录:

1.robots协议剖析、书写标准和书写方式

2.robots协议是啥?它有什么作用?

专业知识拓展:Nofollow 与 Disallow 的差别

1.robots协议剖析、书写标准和书写方式

Robots 就是指网站与百度搜索引擎中间的协议1.Robots 是储放在网站网站根目录

3.robots.txt 文件夹名称改的是不能修2.Robots.txt 是放到网站网站根目录4.Robots 也是百度蜘蛛抓取网站优先最大的

2、robots 方式及界定:User-agent: Baiduspider (界定全部的百度蜘蛛)Disallow: /User-ag附子seo视频教程:ent: 界定全部的蜘蛛Baiduspider: 百度蜘蛛Googlebot: 谷歌机器人MSNBot: msn 设备Baiduspider-image:百度图片Disallow: 界定这些文档能够 抓取,这些文档不能抓取

例如下边这个是 discuz 社区论坛的全是不允许蜘蛛抓取User-agent: *Disallow: /api/Disallow: /data/Disallow: /source/Disallow: /install/Disallow: /template/Disallow: /config/Disallow: /uc_client/Disallow: /uc_server/附子seo视频教程:Disallow: /static/Disallow: /admin.phpDisallow: /search.phpDisallow: /member.phpDisallow: /api.phpDisallow: /misc.phpDisallow: /connect.phpDisallow: /forum.php?mod=redirect*Disallow: /forum.php?mod=post*Disallow: /home.php?mod=spacecp*Disallow: 附子seo视频教程:/userapp.php?mod=app&*Disallow: /*?mod=misc*Disallow: /*?mod=attachment*Disallow: /*mobile=yes*

//不愿网站文档被抓取状况下,那麼依照这一文件格式后边提升自身所必须的文档就可以

自然,还可以用使用通配符*严禁某一类网页页面被抓取。Allow:容许

//容许百度搜索引擎搜抓取格式文件

总结:网站提升务必要有 robots,robots 文件格式区别尺寸的SEO工具,区别英文大小写文件格式为:Disallow 首写务必是英文大写的,在当地在建文本文档编写时必须留意的是不必写出”disallow” 关键开头是英文大写字母 D

2. robots协议是啥?它有什么作用?

Robots 是网站与 spider 沟通交流的关键方式,网站根据 robots 文档申明该网站中不愿被百度搜索引擎百度收录的一部分或是特定百度搜索引擎只百度收录特殊的一部分。一定要注意,仅当您的网站包括不期待被百度搜索引擎百度收录的內容时,才必须应用 robots.txt 文档。针对网站站长来讲,出自于对 SEO 的规定,根据必须根据书写 robots 协议来限定蜘蛛抓取一些不参加排行或不利排行的文档。在一些状况下,如果不限定蜘蛛抓取特殊的文档,有可能造成网站信息保密信息内容的泄露。以前有一个高等院校网站由于沒有设定好 robots 协议,造成学生电子档案被蜘蛛抓取而发布到在网上。如果是盈利性网站,会员资料被公布被网站不良影响是十分比较严重的。由于大家网站站长在管理方法网站的全过程中,要留意 robots 协议的书写。

3.专业知识拓展:Nofollow 与 Disallow 的差别

Robots 是网站与 spider 沟通交流的大关,蜘蛛在浏览网站以前,最先要寻找 robots.txt 协议,根据阅读文章 robots 决策抓取什么內容,不抓取什么內容。自然,这一协议必须百度搜索引擎多方遵循才行,不然写的再好的 robots.txt 也是白瞎。

disallow 彻底严禁某一网页页面被抓取,也就是不容易被百度收录和传送权重值。而 nofollow 是某一连接的特性,一个网页页面如果有好几个连接导进,要是有一个沒有带 nofollow,那麼它仍然会被传送权重值。但是一般大家所见到的 robots 里边全是 disallow,假如我们要严禁百度搜索抓取,那麼就 user-agent:baiduspider 那样,

假如严禁Google抓取,那麼就 user-agent:googlebot。而假如要严禁因此百度搜索引擎抓取  User-agent:* Disallow:/自然,一般网站內容大家都期待抓取,那样能够 根据文本题目的长尾词引进许多总流量。而百度收录针对网站排行而言,现阶段沒有什么有力的直接证据表明这一点。例如淘宝网,百度搜索就只百度收录了一个首页,可是总流量和排行大伙儿能够 自身看一下。而假如你的网站內容是遭受版权法,一些产品简介,或是是新闻报道类,可是在其他网站转截回来的,那麼即便百度收录了,假如反复网页页面过多,对自身的网站仍然不太好,因此还可以严禁抓取。

1.本站(SEO指南)遵循行业规范,任何转载的稿件都会明确标注作者和来源;2.本站的原创SEO文章,请转载时务必注明文章作者和来源,不尊重原创的行为我们将追究责任;3.作者投稿可能会经我们编辑修改或补充。

相关文章
  • 搜索引擎优化公司/感兴趣url中的特殊字符教程

    搜索引擎优化公司/感兴趣url中的特殊字符教程

  • 百度优化kaka教你企业网站URL优化教程注意事项?

    百度优化kaka教你企业网站URL优化教程注意事项?

  • 促进页面收录批量提交url方式的四种教程

    促进页面收录批量提交url方式的四种教程

  • 淮安百度搜索引擎优化/静态/动态URL的不同教程

    淮安百度搜索引擎优化/静态/动态URL的不同教程