SEO教程

贵州百度seo教程:robots.txt禁止收录协议写法{完整

作者:[db:出处] 2020-06-24

1. 什么是robots.txt?  robots.txt 是网站和搜索引擎的协议的纯文本文件。当一个搜索引擎蜘蛛来访问站点时,它首先爬...

1. 什么叫robots.txt?  robots.txt 是网站和搜索引擎的协议书的纯文本文档。当一个搜索引擎搜索引擎蜘蛛来浏览网站时,它最先爬取来查验该网站根目录下是不是存有robots.txt,假如存有,依据文档內容来明确浏览范畴,要是没有,搜索引擎蜘蛛就顺着连接爬取。robots.txt 放到新项目的根目录下。2. robots.txt英语的语法

百度收录协议书写法

1) 容许全部搜索引擎浏览网站的全部一部分 robots.txt写法以下: User-agent: * Disallow: 或是 User-agent: * Allow: / 留意: 1. 第一个英文要英文大写,灶具是英语情况下,灶具后边有一个空格,这几个方面一定不可以填错。 2) 禁止全部搜索引擎浏览网站的全部一部分 robots.txt写法以下: User-agent: * Disallow: / 3) 只必须禁止搜索引擎蜘蛛浏览某一文件目录,例如禁止aseo监控dmin、css、images等文件目录被数据库索引 robots.txt写法以下: User-agent: * Disallow: /css/ Disallow: /admin/ Disallow: /images/

百度收录协议书写法

留意:相对路径后边有斜线和沒有斜线的差别:例如Disallow: /images/ 有斜线是禁止爬取images全部文件夹名称,Disallow: /images 沒有斜线意思是但凡相对路径里边有/images关键字的都是被屏蔽 4)屏蔽掉一个文件夹名称/templets,可是又能爬取在其中一个文档的写法:/templets/main robots.txt写法以下: User-agent: * Disallow: /templets Allow: /main 5) 禁止浏览html/文件目录下的全部以”.php”为后缀名的URL(包括根目录) robots.txt写法以下: User-agent: * Disallow: html/*.php 6) 仅容许浏览某文件目录下某一后缀名的文档,则应用“$” robots.txt写法以下: User-agent: * Allow: .html$ Disallow: / 7)禁止数据库索引网站中全部的动态性网页页面 例如这儿限定贵州百度seo教程:的是有“?”的网站域名,比如index.php?id=1 robots.txt写法以下: User-agent: * Disallow: /*?* 8) 禁止搜索引擎爬取大家网站上的全部图片(假如你的网站应用别的后缀名的图片名字,在这儿还可以立即加上) 贵州百度seo教程: 一些情况下,大家以便节约服务器空间,必须禁止各种搜索引擎来数据库索引大家网站上的图片,这儿的方法除开应用“Disallow: /images/”那样的立即屏蔽掉文件夹名称的方法以外,还 能够 采用立即屏蔽掉图片文件后缀名的方法。 robots.txt写法以下: User-agent: * Disallow: .jpg$ Disallow: .jpeg$ Disallow: .gif$ Disallow: .png$ Disallow: .bmp$贵州百度seo教程:

百度收录协议书写法

写robots.txt要留意的地区1. 第一个英文要英文大写,灶具是英语情况下,灶具后边有一个空格,这几个方面一定不可以填错。  2. 斜线:/ 意味着全部网站  3.假如“/”后边多了一个空格,则屏蔽掉全部网站  4.不必禁止一切正常的內容  5.起效时间几日到两月

文章内容来源于:http://www.yxi6.com/seo/94.html

为仅愿意切勿转截!

1.本站(SEO指南)遵循行业规范,任何转载的稿件都会明确标注作者和来源;2.本站的原创SEO文章,请转载时务必注明文章作者和来源,不尊重原创的行为我们将追究责任;3.作者投稿可能会经我们编辑修改或补充。

相关文章
  • 跨境电商站点SEO行业三步走

    跨境电商站点SEO行业三步走

  • 多语言外贸seo网站优化教程7大注意事项

    多语言外贸seo网站优化教程7大注意事项

  • seo系统外贸网站模板建设教程

    seo系统外贸网站模板建设教程

  • seo技术教程中搜索引擎优化有哪些步骤和环节

    seo技术教程中搜索引擎优化有哪些步骤和环节