robots, txt, 文件, 放在, 在哪

robots.txt文件应该放置在网站站点根目录下。举例来说，当spider访问一个网站站点（比如 http://www.abc.com）时，首先会检查该网站站点中是否存在http://www.abc.com/robots.txt这个文件，如果 Spider找到这个文件，它就会根据这个文件的内容，来确定它访问权限的范围。

名站网址导航 于 2020-7-22 20:56 移动 @版权声明 名站网址导航声明： 1.该文观点仅代表作者本人，名站网址导航系信息发布平台，名站网址导航仅提供信息存储空间服务。 2.名站网址导航所发布的一切资源、破解补丁、注册机和注册信息及软件的解密分析文章等仅限用于学习和研究目的；不得将上述内容用于商业或者非法用途，否则，一切后果请用户自负。本站信息来自网络，版权争议与本站无关。您必须在下载后的24个小时之内，从您的电脑中彻底删除上述内容。如果您喜欢该网站程序，请支持正版软件，购买注册，得到更好的正版服务。 3.如有侵权请邮件与咱们联系删除或处理（邮箱：[email 988365@gmail.com]），本站将立即改正，谢谢。

好东西，要分享，地球上最便宜的COM域名!HjGAIChat_企业网址导航_网址分类目录_企业黄页网址提交查询专业网站！

HjGAIChat_企业网址导航_网址分类目录_企业黄页网址提交查询专业网站！