不清楚您的网站日志中是否有出现过一个不太常见的CC蜘蛛,访问名称为:CCBot/2.0,下面我们具体来了解一下CCbot是什么蜘蛛?68mAIChat_企业网址导航_网址分类目录_企业黄页网址提交查询专业网站!
一. CCbot是什么蜘蛛?68mAIChat_企业网址导航_网址分类目录_企业黄页网址提交查询专业网站!
CCbot,全称为Common Crawl Bot,是一个非营利性基金会致力于提供可以被所有人访问和分析的Web爬网数据的开放存储库。68mAIChat_企业网址导航_网址分类目录_企业黄页网址提交查询专业网站!
二. 你如何处理CCbot蜘蛛?68mAIChat_企业网址导航_网址分类目录_企业黄页网址提交查询专业网站!
方法1. 使用robots.txt68mAIChat_企业网址导航_网址分类目录_企业黄页网址提交查询专业网站!
使用robots.txt文件来允许或禁止蜘蛛访问页面的权限。robots.txt是放在网站根目录中,蜘蛛来访问时会先查找并查看robots.txt文件,并遵守robots协议来访问网站上的内容,允许访问则访问,不允许访问蜘蛛则离开。68mAIChat_企业网址导航_网址分类目录_企业黄页网址提交查询专业网站!
①. 不允许任何蜘蛛访问您站点的任何部分68mAIChat_企业网址导航_网址分类目录_企业黄页网址提交查询专业网站!
User-agent:*68mAIChat_企业网址导航_网址分类目录_企业黄页网址提交查询专业网站!
Disallow:/68mAIChat_企业网址导航_网址分类目录_企业黄页网址提交查询专业网站!
②. 允许任何蜘蛛访问您站点的任何部分68mAIChat_企业网址导航_网址分类目录_企业黄页网址提交查询专业网站!
User-agent:*68mAIChat_企业网址导航_网址分类目录_企业黄页网址提交查询专业网站!
Disallow:68mAIChat_企业网址导航_网址分类目录_企业黄页网址提交查询专业网站!
③. 不允许CCbot蜘蛛访问网站的任何部分68mAIChat_企业网址导航_网址分类目录_企业黄页网址提交查询专业网站!
User-agent:ccbot68mAIChat_企业网址导航_网址分类目录_企业黄页网址提交查询专业网站!
Disallow:/68mAIChat_企业网址导航_网址分类目录_企业黄页网址提交查询专业网站!
④. 允许CCbot蜘蛛访问您站点的任何部分68mAIChat_企业网址导航_网址分类目录_企业黄页网址提交查询专业网站!
User-agent:ccbot68mAIChat_企业网址导航_网址分类目录_企业黄页网址提交查询专业网站!
Disallow:68mAIChat_企业网址导航_网址分类目录_企业黄页网址提交查询专业网站!
⑤. 允许CCbot蜘蛛访问您站点,但不允许CCbot访问“wp-admin”文件夹68mAIChat_企业网址导航_网址分类目录_企业黄页网址提交查询专业网站!
User-agent:ccbot68mAIChat_企业网址导航_网址分类目录_企业黄页网址提交查询专业网站!
Disallow:/wp-admin68mAIChat_企业网址导航_网址分类目录_企业黄页网址提交查询专业网站!
方法2. 使用元标记68mAIChat_企业网址导航_网址分类目录_企业黄页网址提交查询专业网站!
可以在页面中使用元标记来帮助控制搜索引擎蜘蛛对您网站的访问权限。如果您为所有页面使用模板,则可以在和之间添加元标记, 它将适用于使用该模板的所有页面。如果要控制特定页面,可以在和之间的各个页面上添加元标记 。68mAIChat_企业网址导航_网址分类目录_企业黄页网址提交查询专业网站!
①. 允许所有蜘蛛访问您的页面68mAIChat_企业网址导航_网址分类目录_企业黄页网址提交查询专业网站!
②. 允许所有蜘蛛访问您的网页并跟踪页面上的链接68mAIChat_企业网址导航_网址分类目录_企业黄页网址提交查询专业网站!
③. 允许所有蜘蛛访问您的网页,但不允许他们跟踪链接68mAIChat_企业网址导航_网址分类目录_企业黄页网址提交查询专业网站!
④. 不允许任何蜘蛛访问您的网页68mAIChat_企业网址导航_网址分类目录_企业黄页网址提交查询专业网站!
⑤. 允许CCbot访问您的网页68mAIChat_企业网址导航_网址分类目录_企业黄页网址提交查询专业网站!
⑥. 不允许CCbot访问您的页面68mAIChat_企业网址导航_网址分类目录_企业黄页网址提交查询专业网站!
⑦. 允许CCbot访问您的页面并跟踪更多页面的链接68mAIChat_企业网址导航_网址分类目录_企业黄页网址提交查询专业网站!
如果你在网站日志中也发现了CCbot,不要惊慌,你接下来需要做的就是是允许它继续爬行还是禁止爬行?May个人觉得这类蜘蛛没有多大的意义,一旦发现这类蜘蛛爬行比较频繁,最好的方式就是禁止这些蜘蛛继续访问我们的网站。68mAIChat_企业网址导航_网址分类目录_企业黄页网址提交查询专业网站!
原创:MAY的SEO博客 https://may90.com/share/ccbot.html 未经允许,请勿转载!68mAIChat_企业网址导航_网址分类目录_企业黄页网址提交查询专业网站!
68mAIChat_企业网址导航_网址分类目录_企业黄页网址提交查询专业网站!
68mAIChat_企业网址导航_网址分类目录_企业黄页网址提交查询专业网站!