Googlebot抓取的错误，robots.txt限制

抓取, 错误, robots, txt, 限制

如何解决Google网站站点管理员工具的抓取错误
“抓取错误”是 Google网站站点管理员工具(Webmaster Tools)中最受欢迎的工具之一。它可以帮助您检查错误的链接，不仅仅是URL链接，还包行DNS解析失败、网站站点的服务器链接、robots.txt 文件等问题，几乎所有网站站点都会出现抓取错误。
　　网站站长工具将错误分为两类：网站站点错误(site errors)和链接地址错误(URL errors)。如果在一个网站站点上出现多个抓取错误，那么您的网站站点信任度会下降，甚至会影响到排名，当然这工具对于百度优化同样有效。那么应当如何解决 Google网站站点管理员工具的抓取错误呢。
　通过Googlebot抓取的错误分类就看知道是什么导致抓取错误的原因了。
　　一、HTTP的错误
　　当一个网站站点上的网页(例如，当用户在浏览器中访问您的网页或Googlebot抓取页面时)到您的网站站点的服务器发出请求，网站站点的服务器返回HTTP状态码响应请求。
　　如果出现403状态，可以不用理睬，这表明是您的主机阻止了Googlebot抓取。对于所有HTTP状态码的列表文件，可以参考Google HTTP状态码帮助页面。
　　二、Sitemap中的错误
　　Sitemap错误往往会造成404错误页面，或在当前地图返回一个404错误页面，如果出现404错误页面请检查Sitemap中所有的链接，
　　Google会不断抓取您已经删除的Sitemap，这点很郁闷，但也有办法解决：确保旧的Sitemap已经在管理员工具中被删除。如果不想被抓取，确保旧Sitemap出现404或者重新定向到新的Sitemap。
　　来自Google员工Susan Moskwa解释道：
　　阻止Googlebot的爬行，最好的办法是使这些网址(例如旧的sitemaps)出现404，当咱们看到一个URL多次出现404后，Googlebot会停止爬行。
　　三、重定向错误
　　有些错误是因为301从定向引起的，执行重定向后要注意什么：
　　1：确保他们返回到正确的HTTP状态码。
　　2：确保没有任何循环重定向。
　　3：确保重定向指向有效的网页，而不是404页，或其他错误页，如503(网站站点的服务器错误)或403(禁止抓取)
　　4：确保重定向不是指向一个空页面。
　　四、404错误
　　404错误可能会出现在以下几个方面：
　　1：删除了网站站点上的网页;
　　2：改变了网页的名称;
　　4：链接到了一个不存在的页面;
　　5：其他网站站点链接到您网站站点上一个不存在的页面;
　　6：网站站点迁移到一个新的域名不完全匹配的网站站点。
　　五、受robots.txt限制
　　还有一个原因是robots.txt文件阻止了Googlebot的抓取，如果出现大量抓取错误，第一步应该检查robots.txt
　　六、软404错误
　　通常情况下，当有人请求的页面不存在，网站站点的服务器将返回一个404(未找到)错误。除了在响应请求的页面不存在返回404具体代码如下，网站站点的服务器也将显示一个404页。这可能是一个标准的“未找到文件”的消息，或旨在提供更多信息的用户，它可能是一个自定义页面。页的内容是由网站站点的服务器返回的HTTP响应完全无关。仅仅因为一个页面显示404文件未找到消息并不意味着它是一个404页。
　　
　七、超时
　　网站站点超时也是出现抓取错误的原因之一，如果出现超时现象，Googlebot会停止抓取。超时的错误类型有：
　　1：DNS超时，可以使用Nslookup 命令检测DNS，出现DNS超时最大的因素是域名服务商的DNS网站站点的服务器不稳定。
　　2：网址超时，在某一个特定页面，而不是整个域的错误。
　　3：robots.txt超时，如果您网站站点有robots.txt，但网站站点的服务器超时，Googlebot会假定该文件不存在。网站站点 , 百度优化 , Google , 链接地址

名站网址导航于 2020-7-22 20:56 移动 @版权声明名站网址导航声明： 1.该文观点仅代表作者本人，名站网址导航系信息发布平台，名站网址导航仅提供信息存储空间服务。 2.名站网址导航所发布的一切资源、破解补丁、注册机和注册信息及软件的解密分析文章等仅限用于学习和研究目的；不得将上述内容用于商业或者非法用途，否则，一切后果请用户自负。本站信息来自网络，版权争议与本站无关。您必须在下载后的24个小时之内，从您的电脑中彻底删除上述内容。如果您喜欢该网站程序，请支持正版软件，购买注册，得到更好的正版服务。 3.如有侵权请邮件与咱们联系删除或处理（邮箱：[email 988365@gmail.com] ），本站将立即改正，谢谢。