Welcome to the website navigation,本站只接受合法正规的企业网站,欢迎站长们提交你的网站获得展示和流量有任何问题请联系站长,欢迎大家加入本站。

                
提交网站
  • 网站:76083
  • 待审:5
  • APP:577
  • 文章:304411
  • 会员:56004
文字内链包年1000元 文字内链包年1000元 文字内链包年1000元 AI办公网站 AI绘画工具 AIchat

名站网址导航为大家提供网站seo优化的教程。

  • 本篇文章的具体介绍如下

1. Robots.txt是什么?

我们都知道txt后缀的文件是纯文本文档,robots是机器人的意思,所以顾名思义,robots.txt文件也就是给搜索引擎蜘蛛这个机器人看的纯文本文件。robots.txt是搜索引擎公认遵循的一个规范文档,它告诉Google百度网站等搜索引擎哪些网页允许抓取、索引并在搜索结果中显示,哪些网页是被禁止收录的。 搜索引擎蜘蛛spider(Googlebot/Baiduspider)来访问你的网站站点页面的时候,首先会查看你的网站站点根目录下是否有robots.txt文件,如果有则按照里面设置的规则权限对你网站站点页面进行抓取和索引。ZUlAIChat_企业网址导航_网址分类目录_企业黄页网址提交查询专业网站!

如淘宝网就通过设置robots.txt屏蔽百度网站搜索引擎:
User-agent: Baiduspider
Disallow: /
User-agent: baiduspider
Disallow: /ZUlAIChat_企业网址导航_网址分类目录_企业黄页网址提交查询专业网站!

2. robots.txt有什么作用?

robots.txt文件至少有下面两方面的作用:ZUlAIChat_企业网址导航_网址分类目录_企业黄页网址提交查询专业网站!

通过设置屏蔽搜索引擎访问不必要被收录的网站站点页面,可以大大减少因spider抓取页面所占用的网站站点带宽,小网站站点不明显,大型网站站点就很明显了。
设置robots.txt可以指定google或百度网站不去索引哪些网址,比如我们通过url重写将动态网址静态化为永久固定链接之后,就可以通过robots.txt设置权限,阻止Google或百度网站等搜索引擎索引那些动态网址,从而大大减少了网站站点重复页面,对网站seo优化优化优化起到了很明显的作用。ZUlAIChat_企业网址导航_网址分类目录_企业黄页网址提交查询专业网站!

3. robots.txt 怎么写?

关于如何写robots.txt文件,在下面我们会以WordPress博客来作更具体举例说明。这里先提示几点robots.txt写法中应该注意的地方。如robots.txt文件里写入以下代码:ZUlAIChat_企业网址导航_网址分类目录_企业黄页网址提交查询专业网站!

User-agent: *
Disallow:
Allow: /ZUlAIChat_企业网址导航_网址分类目录_企业黄页网址提交查询专业网站!

robots.txt必须上传到你的网站站点根名录下,在子目录下无效;
robots.txt,Disallow等必须注意大小写,不能变化;
User-agent,Disallow等后面的冒号必须是英文状态下的,冒号后面可以空一格,也可以不空格。网上有人说冒号后面必须有空格,其实没有也是可以的。
请看谷歌中文网站站点管理员博客的设置就是这样:http://www.googlechinawebmaster.com/robots.txt ;
User-agent表示搜索引擎spider:星号“*”代表所有spider,Google的spider是“Googlebot”,百度网站是“Baiduspider”;
Disallow:表示不允许搜索引擎访问和索引的目录;
Allow:指明允许spider访问和索引的目录,Allow: / 表示允许所有,和Disallow: 等效。ZUlAIChat_企业网址导航_网址分类目录_企业黄页网址提交查询专业网站!

4. 特殊案例情况:robots.txt与子目录绑定的问题

如果forum用的是绑定子目录的方式,而实际使用的是比如是forum.hcm602.cn这样的二级域名,那么就要避免 www.cmhello.com/forum/这样的url被搜索引擎收录,可以在主目录中的robots.txt中加入:
User-agent: *
Disallow: /forum/ZUlAIChat_企业网址导航_网址分类目录_企业黄页网址提交查询专业网站!

说说Robots.txt限制收录与Google网站站点管理员工具ZUlAIChat_企业网址导航_网址分类目录_企业黄页网址提交查询专业网站!

ZUlAIChat_企业网址导航_网址分类目录_企业黄页网址提交查询专业网站!

关于网站seo优化的教程相关的知识就说到这里希望可以能够帮助大家。,Robots.txt,建站技巧

分享到:

  admin

注册时间:

网站:0 个   APP:3 个  文章:0 篇

  • 76083

    网站

  • 577

    APP

  • 304411

    文章

  • 56004

    会员

赶快注册账号,推广您的网站吧!
文章分类
热门网站
最新入驻APP小程序

宝贝市场2023-02-08

宝贝市场——买手和卖家商品展示

夺宝助手2023-02-08

夺宝助手小程序,查看每日快夺宝平

查诚信2023-02-08

查诚信是一款免费的商业查询工具

车价天天报2023-02-08

快速连接汽车销售,获知汽车最新报

考勤助理小程序2023-02-08

上班签到考勤,实时定位,后台轻松

汽车报价大全查询2023-02-08

汽车报价大全查询提供最新汽车市