Robots.txt 是什么/有什么用/怎么写

名站网址导航为大家提供网站seo优化的教程。

本篇文章的具体介绍如下

1. Robots.txt是什么？

我们都知道txt后缀的文件是纯文本文档，robots是机器人的意思，所以顾名思义，robots.txt文件也就是给搜索引擎蜘蛛这个机器人看的纯文本文件。robots.txt是搜索引擎公认遵循的一个规范文档，它告诉Google、百度网站等搜索引擎哪些网页允许抓取、索引并在搜索结果中显示，哪些网页是被禁止收录的。搜索引擎蜘蛛spider(Googlebot/Baiduspider)来访问你的网站站点页面的时候，首先会查看你的网站站点根目录下是否有robots.txt文件，如果有则按照里面设置的规则权限对你网站站点页面进行抓取和索引。

如淘宝网就通过设置robots.txt屏蔽百度网站搜索引擎：
User-agent: Baiduspider
Disallow: /
User-agent: baiduspider
Disallow: /

2. robots.txt有什么作用？

robots.txt文件至少有下面两方面的作用：

通过设置屏蔽搜索引擎访问不必要被收录的网站站点页面，可以大大减少因spider抓取页面所占用的网站站点带宽，小网站站点不明显，大型网站站点就很明显了。
设置robots.txt可以指定google或百度网站不去索引哪些网址，比如我们通过url重写将动态网址静态化为永久固定链接之后，就可以通过robots.txt设置权限，阻止Google或百度网站等搜索引擎索引那些动态网址，从而大大减少了网站站点重复页面，对网站seo优化优化优化起到了很明显的作用。

3. robots.txt 怎么写？

关于如何写robots.txt文件，在下面我们会以WordPress博客来作更具体举例说明。这里先提示几点robots.txt写法中应该注意的地方。如robots.txt文件里写入以下代码：

User-agent: *
Disallow:
Allow: /

robots.txt必须上传到你的网站站点根名录下，在子目录下无效；
robots.txt，Disallow等必须注意大小写，不能变化；
User-agent，Disallow等后面的冒号必须是英文状态下的，冒号后面可以空一格，也可以不空格。网上有人说冒号后面必须有空格，其实没有也是可以的。
请看谷歌中文网站站点管理员博客的设置就是这样：http://www.googlechinawebmaster.com/robots.txt ；
User-agent表示搜索引擎spider：星号“*”代表所有spider，Google的spider是“Googlebot”，百度网站是“Baiduspider”；
Disallow:表示不允许搜索引擎访问和索引的目录；
Allow:指明允许spider访问和索引的目录，Allow: / 表示允许所有，和Disallow: 等效。