SEO教程

朋少seo教程:为什么网站添加了robots禁止协议还能

作者:seo指南 2020-06-28

SEO的一些基础上的东西总是容易被人忽略,比方说robots文件。喜子之前的文章有多次提到过这份文件的重要性,网站优化诊断的其中一项就是检查有无做这...

SEO的一些基本上的物品一直非常容易被别人忽视,比如说robots文件。喜子姜堰SEO以前的文章内容有数次提及过这一份文档的必要性,网址优化诊断的在其中一项便是查验有没有做这一份文档,是不是标准。以前的文章内容有提及过那么一句:假如网址的robots协议书文档禁止了搜索引擎蜘蛛,那麼不管你怎么优化都不容易被收录。

借着写本文,给这话做下改正,请大伙儿用心阅读文章而且了解。以下:

假如你的网址加上了robots协议书文档,而且设定了禁止搜索引擎蜘蛛的命令,那麼你的网站内容将不容易被抓取,但有可能会被收录(数据库索引)。

有的人将会会有疑问,搜索引擎蜘蛛爬取url页面,页面必须有內容展现出去意见反馈给到蜘蛛,才有可能会被收录。那麼,假如內容都被禁止了还会继续被收录吗?这代表什么意思呢?这个问题这儿喜子先无需多言,大伙儿先看一下下面的照片吧。

淘宝的收录状况

如下图所示,之上是site淘宝网站域名出現被收录的結果。从site結果里边能够 清晰地见到,这儿收录了许多淘宝网站的页面,显示信息收录結果为两亿6159万只页面。可是大伙儿不清楚有木有发觉一个难题,这种页面抓取的叙述內容全是提醒了那样一段文字:因为该网址的robots.txt文件存有限定命令(限定搜索引擎抓取),系统软件没法出示该页面的內容叙述。下列是截屏:

robots文件禁止抓取叙述內容

robots禁止搜索引擎蜘蛛后怎么会被收录呢?

这儿有一个认知能力上的不正确,也可能是惯性力思维逻辑的不正确思索。大家都觉得蜘蛛不可以抓取內容就不容易收录,事实上爬取、抓取、数据库索引(收录)是不一样的定义。很多人学习培训SEO的情况下,习惯性的对一些SEO的定义混肴不清,造成在后面的SEO提升全过程之中并不可以充分发挥出非常好的实际效果。

還是先而言说robots协议书到底是在干什么?即然是协议书,那肯定是协商一致、认同的规定。这一甲乙当然便是网址和搜索引擎(换句话说搜索引擎蜘蛛)中间的协议书。robots文件会放到根目录下,蜘蛛进入网站会第一时间浏览这一文档,随后看一下协议书里边有木有禁止了什么页面不可以抓取,假如禁止了就不容易再去抓取。

robots协议书文档

一个页面要想去搜索引擎数据库索引(收录),收录要有蜘蛛爬取和抓取,即然不抓取,理所应当的便会被觉得这一页面是不容易被收录。那样的逻辑思维是不正确的,不抓取也是能够 被数据库索引(收录)。如淘宝网便是一个典型性的实例,网址加上了禁止协议书,最终還是被收录。缘故取决于,百度搜索从其他方式服务平台强烈推荐的外链掌握到这一网址,尽管被禁止抓取,但从题目和强烈推荐连接的数据信息里還是能够 分辨出与该页面相对的內容信息内容。

好啦,有关robots的各种朋少seo教程:知识分享喜子就和大伙说到这儿。将会有的人也朋少seo教程:有疑惑,例如:robots即然不能够阻拦页面被收录,有木有方法禁止数据库索引(收录)呢?肯定是有的。对于怎样禁止,应用操作步骤怎样,大伙儿能够 多关心喜子SEO(白帽技术网)事后的升级,还可以和喜子学习交流哦。

1.本站(SEO指南)遵循行业规范,任何转载的稿件都会明确标注作者和来源;2.本站的原创SEO文章,请转载时务必注明文章作者和来源,不尊重原创的行为我们将追究责任;3.作者投稿可能会经我们编辑修改或补充。

相关文章
  • seo系统教程:百度快照不更新哪方面导致的!

    seo系统教程:百度快照不更新哪方面导致的!

  • [外贸seo教程]如何确定外贸网站的目标关键词?

    [外贸seo教程]如何确定外贸网站的目标关键词?

  • 遇到网上平台不给出款.如何合理解决

    遇到网上平台不给出款.如何合理解决

  • 优化流量站seo系统教程,10点你知道吗?

    优化流量站seo系统教程,10点你知道吗?

SEO交流站长信息
站长:SEO指南
擅长:从事SEO培训十余年,擅长白帽和黑帽SEO技术。
QQ交流群:516029201
进群可免费获得SEO教程,十多款SEO神器!



精品推荐精品推荐
seo系统教程:百度快照不更新哪方面

seo系统教程,如果无法打开某个搜索结果,或者

[外贸seo教程]如何确定外贸网站的目

卡卡seo,简单地说目标关键词就是经过分析筛选

遇到网上平台不给出款.如何合理解决

不给出款这种情况遇到了就是,一个让人很头疼

优化流量站seo系统教程,10点你知道

SEO的实质问题不是一个,而是千万个!在这里就

网上平台赢了不给取款怎么办。周全

在平台在您如果赢了的话,平台如果用各种理由

[seo优化教程]你知道关键词优化研究

转眼间博客已经整整一年没更新了。seo卡卡老师

网络平台不给取款处理办法.三种方案

网络越来越普及的时代背景下,很多把赚钱的念

seo系统教程:网站优化挑选关键词和标

一个网站关键词的选择,我们要明白不是我们自

博客seo优化,优化博客不可缺少的三要

时间过的很快,转眼间做seo已经有了两年的时间

canonical标签在seo优化的作用和使用方

canonical标签是页面html代码head部分的一个标签,卡