robots文件是什么？怎样写网站的robots文件

名站网址导航为大家提供网站seo优化的教程。

本篇文章的具体介绍如下

robots.txt这个文件的意思是什么?它有什么作用?它该如何设置?在这里给大家介绍下robots.txt相关的知识。

　　我们在seo优化优化操作的时候，有时候会遇到过不想让蜘蛛爬行和抓取网站站点的一些页面，或者新建网站站点上线，由于种种原因暂时不想让搜索机器人程序抓取网站站点内容，我们该怎么办呢?方法很简单，这里就要用到robots.txt了，这个robots.txt文件是搜索蜘蛛进入一个网站站点后首先要爬行的文件，它的作用就是告诉搜索机器人，网站站点那些页面可以爬行抓取，哪些页面不可以抓取。它是一个最简单的，文本形式的TXT格式文件，一般情况下都默认放在网站站点程序的根目录里，现在常用的CMS系统如：dede、discuz、74cms、帝国cms、phpcms等等网站站点内容管理系统，都自带的有这个文件，如果是自己开发的一些网站站点内容管理系统，可以在程序根目录自行创建这个文本文件。

　　最关键的就是这个robots文件里面的内容改如何写，写法及注意事项如下：

　　1、如果你的网站站点没要需要屏蔽的内容，那么这个文件里面就是空白

　　2、这个文件必须命名为：robots.txt ，必须是小写字母。

　　3、这个文件必须放在网站站点根目录下，例如：通过http://www.mzdh.net/robots.txt 这个路径可以正常访问到，就说明放置正确。

　　4、一般情况下，robots.txt里只写着两个函数：User-agent(允许)和 Disallow(不允许抓取)

　　5、至少要有一个Disallow函数，如果都允许收录，则写: Disallow: ，如果都不允许收录，则写:Disallow: / (注：只是差一个斜杆)。

　　6、还要放你的网站站点地图的路径地址，因为这个文件时蜘蛛访问你的网站站点时首先爬行的页面，所以网站站点地图地址放进去会有利于收录。