SEO技术

如何通过seo 技术引流: 网站RobotS是什么以及

作者:[db:出处] 2020-05-08

[db:简要]...

Robots.txt是网站上最简单的文件之一,但它也是最容易弄乱的文件之一。只有一个字符不正确可能会对您的SEO造成严重破坏,并阻止搜索引擎访问您网站上的重要内容。这就是为什么r黑帽SEO教程obots.txt错误配置非常普遍的原因,即使在经验丰富的SEO专业人员中也是如此。

robots

什么是robots.txt文件?

robots.txt文件会告诉搜索引擎在您的网站上可以或不能去的地方。

首先,它列出了您想让搜索引擎抓取以及不想抓取的所有内容。其次它可以规定哪些搜索引擎可以抓取,哪些不能。比如指定百度可以抓取,谷歌不能。

但并不是所有搜索引擎都遵循robots.txt协议,即使屏蔽了还肆意抓取。

robo如何通过seo 技术引流:ts.txt文件是什么样的?

无如何通过seo 技术引流:名SEO的robots文件设置如下图:

robots文件截图

访问地址为:www.lwyseo.com/robots.txt

搜索引擎蜘蛛

每个搜索引擎用不同的蜘蛛标识自己。 您可以在robots.txt文件中为每个设置自定义说明。 这里有一些对SEO有用的蜘蛛:

  • Google: Googlebot
  • Google Images: Googlebot-Image
  • Bing: Bingbot
  • Yahoo: Slurp
  • Baidu: Baiduspider
  • DuckDuckGo: DuckDuckBot
  • Toutiao : Bytespider

您还可以使用星号(*)通配符将指令分配给所有蜘蛛。 例如,假设您要阻止除Googlebot之外的所有蜘蛛抓取您的网站。这是您的处理方式:

User-agent: *
Disallow: /
User-agent: Googlebot
Allow: /

指令

指令是您希望声明的用户代理遵循的规则。

支持的指令

以下是百度当前支持的指令及其用法。

不允许

使用此指令来指示搜索引擎不要访问属于特定路径的文件和页面。例如,如果您想阻止所有搜索引擎访问您的php文件,则robots.txt文件可能如下所示:

User-agent: *
Disallow: /.php$

注意如果您在disallow指令后未能定义路径,搜索引擎将忽略它。

允许

使用此指令可允许搜索引擎搜寻子目录或页面,即使在本来不允许的目录中也是如此。例如,如果您想防止搜索引擎访问网站除文章以外的所有页面,那么robots.txt文件可能如下所示:

    User-agent: * 
Disallow: /news

在此示例中,搜索引擎可以访问除文章以外的所有页面,但无法访问以下目录:

  /news/seo
  /news/sem

这些news下的所有目录。当然具体链接因网站设定而异。这里举例叫作news。

如果您在allow指令之后未能定义路径,搜索引擎将忽略它。

有关规则冲突的说明

除非您小心,否则禁止和允许指令很容易彼此冲突。在下面的示例中,我们禁止访问/news/ 并允许访问/news

   User-agent: *
Disallow: /news/
Allow: /news

在这种情况下,URL /news/seo/  似乎既被禁止也被允许。那么哪个赢?

对于搜索引擎规则是字符最多的指令获胜。这是不允许的指令。

  Disallow: /news/ (6个字符)
  Allow: /news (5个字符)

如果allow和disallow指令的长度相等,则限制性最小的指令获胜。

网站地图

使用此指令可以指定站点地图在搜索引擎中的位置。如果您不熟悉站点地图,它们通常会包含您希望搜索引擎进行爬网和编制索引的页面。

这是使用sitemap指令的robots.txt文件的示例:

 Sitemap: https://www.domain.com/sitemap.xml

您是否需要robots.txt文件?

对于许多网站,尤其是小型网站,拥有robots.txt文件并不是至关重要的。

就是说,没有充分的理由不这样做。它使您可以更好地控制搜索引擎可以在您的网站上访问以及不能在网站上访问,这可以帮助您解决以下问题:

1.防止重复内容的爬行;
2.将网站的各个部分(例如您的登台站点)保持私密性;
3.防止抓取内部搜索结果页面;
4.防止服务器过载;
5.防止蜘蛛浪费“ 抓取预算”。
6.防止不相关文件出现在Google搜索结果中。
请注意,尽管搜索引擎通常不会为robots.txt中被阻止的网页编制索引,但是无法保证使用robots.txt文件将其排除在搜索结果之外。

就像Google所说的那样,如果内容是从网络上的其他地方链接到的,则它可能仍会出现在Google搜索结果中。

如何创建robots.txt文件

如果您还没有robots.txt文件,则创建它很容易。只需打开一个空白的.txt文档并开始输入指令即可。例如,如果您想禁止所有搜索引擎检索/admin/目录:

User-agent: *
Disallow: /admin/

继续建立指令,直到对所拥有的东西满意为止。将文件另存为“ robots.txt”。

将robots.txt文件放在何处

将robots.txt文件放置在其所应用的子域的根目录中。例如,要控制domain.com上的爬网行为,应该可以在domain.com/robots.txt上访问robots.txt文件。

如果要控制在 Blog.domain.com之类的子域上进行爬网,则应该可以在blog.domain.com/robots.txt上访问robots.txt文件。

使用“ $”指定URL的结尾

包括“ $”符号以标记URL的结尾。例如,如果您想防止搜索引擎访问您网站上的所有.php文件,则robots.txt文件可能如下所示:

User-agent: *
Disallow: /*.php$

检查ROBOT文件

您可以通过站长平台或者爱站工具进行检测,爱站检测效果如下:

检测地址:https://tools.aizhan.com/robots/

常见问题

以下是收集的一些常见问题:

robots.txt文件的最大大小是多少?

500 KB(大约)。

WordPress中的robots.txt在哪里?

相同位置:domain.com/robots.txt。

如何在WordPress中编辑robots.txt?

可以手动,也可以使用许多WordPressSEO插件(例如Yoast)之一,让您从WordPress后端编辑robots.txt。

相关阅读:什么是抓取错误?

1.本站(SEO指南)遵循行业规范,任何转载的稿件都会明确标注作者和来源;2.本站的原创SEO文章,请转载时务必注明文章作者和来源,不尊重原创的行为我们将追究责任;3.作者投稿可能会经我们编辑修改或补充。

相关文章
  • [seo技术分享]SEO标题是什么,SEO标题优化怎么做呢

    [seo技术分享]SEO标题是什么,SEO标题优化怎么做呢

  • [学习seo技术]助力关键词排名进入搜索前20位

    [学习seo技术]助力关键词排名进入搜索前20位

  • [seo文章技术]1分钟打造一篇推荐量10W+的头条号文

    [seo文章技术]1分钟打造一篇推荐量10W+的头条号文

  • [seo文章技术]搜索引擎是如何判断一个网站的内容

    [seo文章技术]搜索引擎是如何判断一个网站的内容

SEO交流站长信息
站长:SEO指南
擅长:从事SEO培训十余年,擅长白帽和黑帽SEO技术。
QQ交流群:516029201
进群可免费获得SEO教程,十多款SEO神器!



精品推荐精品推荐
[seo技术分享]SEO标题是什么,SEO标题

今天卡卡老师收到朋友咨询问SEO标题是什么,S

[学习seo技术]助力关键词排名进入搜

学习seo技术,在我们努力了一段时间将关键词提升

[seo文章技术]1分钟打造一篇推荐量

seo文章技术,要想通过新媒体营销就要撰写符合新

[seo文章技术]搜索引擎是如何判断一

seo文章技术,搜索引擎是如何判断一个网站的内

[SEO站内优化]seo指南四处一词是SEO的

四处一词是最基本的SEO理论,正确是理解和使用

[seo文章技术]百度(baidu)从哪些方面判

只有对用户来说有价值的文章才是百度(baidu)喜

[seo技术团队]卡卡老师团队做seo排名

知道了当时做SEO的基本方法:站内内容优化,外

[seo推广技术]网站外链建设的六大注

随着百度算法的不断升级,seo推广技术,很多站

[学习seo技术]域名中包含关键词主关

学习seo技术,之前的文章中卡卡老师已经提到域

[seo文章技术]网站seo文章技术需要考

网站seo文章技术的印象是网站seo文章技术只写文