SEO教程

朋少seo教程:为什么网站添加了robots禁止协议还能

作者:seo指南 2020-06-28

SEO的一些基础上的东西总是容易被人忽略,比方说robots文件。喜子之前的文章有多次提到过这份文件的重要性,网站...

SEO的一些基本上的物品一直非常容易被别人忽视,比如说robots文件。喜子姜堰SEO以前的文章内容有数次提及过这一份文档的必要性,网址优化诊断的在其中一项便是查验有没有做这一份文档,是不是标准。以前的文章内容有提及过那么一句:假如网址的robots协议书文档禁止了搜索引擎蜘蛛,那麼不管你怎么优化都不容易被收录。

借着写本文,给这话做下改正,请大伙儿用心阅读文章而且了解。以下:

假如你的网址加上了robots协议书文档,而且设定了禁止搜索引擎蜘蛛的命令,那麼你的网站内容将不容易被抓取,但有可能会被收录(数据库索引)。

有的人将会会有疑问,搜索引擎蜘蛛爬取url页面,页面必须有內容展现出去意见反馈给到蜘蛛,才有可能会被收录。那麼,假如內容都被禁止了还会继续被收录吗?这代表什么意思呢?这个问题这儿喜子先无需多言,大伙儿先看一下下面的照片吧。

淘宝的收录状况

如下图所示,之上是site淘宝网站域名出現被收录的結果。从site結果里边能够 清晰地见到,这儿收录了许多淘宝网站的页面,显示信息收录結果为两亿6159万只页面。可是大伙儿不清楚有木有发觉一个难题,这种页面抓取的叙述內容全是提醒了那样一段文字:因为该网址的robots.txt文件存有限定命令(限定搜索引擎抓取),系统软件没法出示该页面的內容叙述。下列是截屏:

robots文件禁止抓取叙述內容

robots禁止搜索引擎蜘蛛后怎么会被收录呢?

这儿有一个认知能力上的不正确,也可能是惯性力思维逻辑的不正确思索。大家都觉得蜘蛛不可以抓取內容就不容易收录,事实上爬取、抓取、数据库索引(收录)是不一样的定义。很多人学习培训SEO的情况下,习惯性的对一些SEO的定义混肴不清,造成在后面的SEO提升全过程之中并不可以充分发挥出非常好的实际效果。

還是先而言说robots协议书到底是在干什么?即然是协议书,那肯定是协商一致、认同的规定。这一甲乙当然便是网址和搜索引擎(换句话说搜索引擎蜘蛛)中间的协议书。robots文件会放到根目录下,蜘蛛进入网站会第一时间浏览这一文档,随后看一下协议书里边有木有禁止了什么页面不可以抓取,假如禁止了就不容易再去抓取。

robots协议书文档

一个页面要想去搜索引擎数据库索引(收录),收录要有蜘蛛爬取和抓取,即然不抓取,理所应当的便会被觉得这一页面是不容易被收录。那样的逻辑思维是不正确的,不抓取也是能够 被数据库索引(收录)。如淘宝网便是一个典型性的实例,网址加上了禁止协议书,最终還是被收录。缘故取决于,百度搜索从其他方式服务平台强烈推荐的外链掌握到这一网址,尽管被禁止抓取,但从题目和强烈推荐连接的数据信息里還是能够 分辨出与该页面相对的內容信息内容。

好啦,有关robots的各种朋少seo教程:知识分享喜子就和大伙说到这儿。将会有的人也朋少seo教程:有疑惑,例如:robots即然不能够阻拦页面被收录,有木有方法禁止数据库索引(收录)呢?肯定是有的。对于怎样禁止,应用操作步骤怎样,大伙儿能够 多关心喜子SEO(白帽技术网)事后的升级,还可以和喜子学习交流哦。

1.本站(SEO指南)遵循行业规范,任何转载的稿件都会明确标注作者和来源;2.本站的原创SEO文章,请转载时务必注明文章作者和来源,不尊重原创的行为我们将追究责任;3.作者投稿可能会经我们编辑修改或补充。

相关文章
  • 重庆企业seo教程影响网站关键词优化链接设置方

    重庆企业seo教程影响网站关键词优化链接设置方

  • 苏州seo排名优化系统网站链接教程2大错误观点

    苏州seo排名优化系统网站链接教程2大错误观点

  • 佛山seo网站推广电子商务链接优化质量教程诀窍

    佛山seo网站推广电子商务链接优化质量教程诀窍

  • 上海seo优化网站中内外/死链/友链作用教程

    上海seo优化网站中内外/死链/友链作用教程