Welcome to the website navigation,本站只接受合法正规的企业网站,欢迎站长们提交你的网站获得展示和流量有任何问题请联系站长,欢迎大家加入本站。

                
提交网站
  • 网站:76083
  • 待审:5
  • APP:577
  • 文章:304411
  • 会员:56004
文字内链包年1000元 文字内链包年1000元 文字内链包年1000元 AI办公网站 AI绘画工具 AIchat

站长之家注:死链直接关系到网站的抓取收录和流量转化,因而对站长们而言至关重要。近日,百度站长学院针对BaiduSpider及站点死链的相关问题做出了一系列的解答……z8SAIChat_企业网址导航_网址分类目录_企业黄页网址提交查询专业网站!

具体内容如下:z8SAIChat_企业网址导航_网址分类目录_企业黄页网址提交查询专业网站!

问:robots屏蔽对阻止百度抓取死链是否有效z8SAIChat_企业网址导航_网址分类目录_企业黄页网址提交查询专业网站!

答:当然有效,百度严格遵守robots协议,若发现百度依然抓取,先确认是否为Baiduspider,若确认,可以通过反馈中心进行投诉。z8SAIChat_企业网址导航_网址分类目录_企业黄页网址提交查询专业网站!

如何正确识别Baiduspider移动ua?z8SAIChat_企业网址导航_网址分类目录_企业黄页网址提交查询专业网站!

新版移动ua:z8SAIChat_企业网址导航_网址分类目录_企业黄页网址提交查询专业网站!

Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;)AppleWebKit/534.46 (KhTML,like Gecko) Version/5.1 MobileSafari/10600.6.3 (compatible; Baiduspider/2.0;+https://www.baidu.com/search/spider.html)
z8SAIChat_企业网址导航_网址分类目录_企业黄页网址提交查询专业网站!

PC ua:z8SAIChat_企业网址导航_网址分类目录_企业黄页网址提交查询专业网站!

Mozilla/5.0 (compatible; Baiduspider/2.0; +https://www.baidu.com/search/spider.html)
z8SAIChat_企业网址导航_网址分类目录_企业黄页网址提交查询专业网站!

之前通过“+https://www.baidu.com/search/spider.html”进行识别的网站请注意!您需要修改识别方式,新的正确的识别Baiduspider移动ua的方法如下:  
z8SAIChat_企业网址导航_网址分类目录_企业黄页网址提交查询专业网站!

1. 通过关键词“Android”或者“Mobile”来进行识别,判断为移动访问或者抓取。  z8SAIChat_企业网址导航_网址分类目录_企业黄页网址提交查询专业网站!

2. 通过关键词“Baiduspider/2.0”,判断为百度爬虫。z8SAIChat_企业网址导航_网址分类目录_企业黄页网址提交查询专业网站!

另外需要强调的是,对于robots封禁,如果封禁的agent是Baiduspider,会对PC和移动同时生效。即,无论是PC还是移动Baiduspider,都不会对封禁对象进行抓取。之所以要强调这一点,是发现有些代码适配站点(同一个url,PC ua打开的时候是PC页,移动ua打开的时候是移动页),想通过设置robots的agent封禁达到只让移动Baiduspider抓取的目的,但由于PC和移动Baiduspider的agent都是Baiduspider,这种方法是非常不可取的。z8SAIChat_企业网址导航_网址分类目录_企业黄页网址提交查询专业网站!

如何识别为百度spider?z8SAIChat_企业网址导航_网址分类目录_企业黄页网址提交查询专业网站!

百度蜘蛛对于站长来说可谓上宾,可是我们曾经遇到站长这样提问:我们如何判断疯狂抓我们网站内容的蜘蛛是不是百度的?其实站长可以通过DNS反查IP的方式判断某只spider是否来自百度搜索引擎。根据平台不同验证方法不同,如linux/windows/os三种平台下的验证方法分别如下:z8SAIChat_企业网址导航_网址分类目录_企业黄页网址提交查询专业网站!

1、在linux平台下,您可以使用host ip命令反解ip来判断是否来自Baiduspider的抓取。Baiduspider的hostname以 *.baidu.com 或 *.baidu.jp 的格式命名,非 *.baidu.com 或 *.baidu.jp 即为冒充。z8SAIChat_企业网址导航_网址分类目录_企业黄页网址提交查询专业网站!

z8SAIChat_企业网址导航_网址分类目录_企业黄页网址提交查询专业网站!

2、在windows平台或者IBM OS/2平台下,您可以使用nslookup ip命令反解ip来 判断是否来自Baiduspider的抓取。打开命令处理器 输入nslookup xxx.xxx.xxx.xxx(IP地 址)就能解析ip, 来判断是否来自Baiduspider的抓取,Baiduspider的hostname以*.baidu.com 或*.baidu.jp 的格式命名,非 *.baidu.com 或 *.baidu.jp 即为冒充。z8SAIChat_企业网址导航_网址分类目录_企业黄页网址提交查询专业网站!

3、 在mac os平台下,您可以使用dig 命令反解ip来 判断是否来自Baiduspider的抓取。打开命令处理器 输入dig xxx.xxx.xxx.xxx(IP地 址)就能解析ip, 来判断是否来自Baiduspider的抓取,Baiduspider的hostname以 *.baidu.com 或*.baidu.jp 的格式命名,非 *.baidu.com 或 *.baidu.jp 即为冒充。z8SAIChat_企业网址导航_网址分类目录_企业黄页网址提交查询专业网站!

问:已被百度抓取的死链,可以通过robots屏蔽的方式让百度删除吗?z8SAIChat_企业网址导航_网址分类目录_企业黄页网址提交查询专业网站!

答:不建议你这样做,最快最有效的方法是通过百度站长平台死链提交工具(地址:https://zhanzhang.baidu.com/badlink/)进行处理z8SAIChat_企业网址导航_网址分类目录_企业黄页网址提交查询专业网站!

问:我已经通过死链工具进行提交了,可是通过日志发现百度还是在抓我们的死链z8SAIChat_企业网址导航_网址分类目录_企业黄页网址提交查询专业网站!

答:您提交规则后,spider为了验证链接是否真的死掉,需要抓一部分回来验证。z8SAIChat_企业网址导航_网址分类目录_企业黄页网址提交查询专业网站!

问:百度对死链的抓取,对正常文章抓取的影响会有多大。z8SAIChat_企业网址导航_网址分类目录_企业黄页网址提交查询专业网站!

答:这个没有统一的标准,如果你没有设置robots也没有向百度提交,死链量还特别巨大的时候,有可能会占用你网站大量抓取配额,导致正常内容无法抓取。如果仅仅是spider为了验证死链规则抓一部分,那么对正常内容不会造成影响。z8SAIChat_企业网址导航_网址分类目录_企业黄页网址提交查询专业网站!

问:百度对死链的要求是什么?怎么设置死链效果最好?z8SAIChat_企业网址导航_网址分类目录_企业黄页网址提交查询专业网站!

答:目前百度支持协议死链、内容死链和跳转死链,其中最效果最好的是协议死链。z8SAIChat_企业网址导航_网址分类目录_企业黄页网址提交查询专业网站!

百度标准死链官方文档:z8SAIChat_企业网址导航_网址分类目录_企业黄页网址提交查询专业网站!

几乎所有网站都会出现不再需要展现的网页,如何处理这样的网页也成为站长经常谈论的话题。为此,百度站长学院专访了负责死链识别处理的工程师,了解到百度眼中的死链其实包括三种:协议死链、内容死链、跳转死链,每种都有门道哦,同时了解到目前比较流行的“个性化死链”对百度并不友好(后面会有详细介绍)。在此我们向各位站长呼吁,尽可能全面地通过百度站长平台死链提交工具提交协议死链、内容死链和跳转死链,网站在百度搜索引擎的可访性和价值得到提升,以获得更高的用户评价。z8SAIChat_企业网址导航_网址分类目录_企业黄页网址提交查询专业网站!

第一,协议死链:  z8SAIChat_企业网址导航_网址分类目录_企业黄页网址提交查询专业网站!

协议死链是指通过https协议状态码明确表示网页已无阅读价值。https协议状态码很多,但百度协议死链首推404,即未找到文件。请尽量不要用其它状态码来代表死链。z8SAIChat_企业网址导航_网址分类目录_企业黄页网址提交查询专业网站!

第二,内容死链:  z8SAIChat_企业网址导航_网址分类目录_企业黄页网址提交查询专业网站!

内容死链主要是由网站自身变化引起的,网页可以正常打开未发生跳转,但页面内容对爬虫来说没有收录价值,对用户来说也没有参考价值,如帖子被删除、内容已转移、空间被关闭、信息已过期、交易已关闭等。在这样无有价值信息的网页上,网站应该在明显位置直接给予提示文字,如:  z8SAIChat_企业网址导航_网址分类目录_企业黄页网址提交查询专业网站!

·页面不存在(网页不存在)  z8SAIChat_企业网址导航_网址分类目录_企业黄页网址提交查询专业网站!

·内容已转移  z8SAIChat_企业网址导航_网址分类目录_企业黄页网址提交查询专业网站!

·帖子已删除  z8SAIChat_企业网址导航_网址分类目录_企业黄页网址提交查询专业网站!

·域名过期或出售  z8SAIChat_企业网址导航_网址分类目录_企业黄页网址提交查询专业网站!

·空间被关闭  z8SAIChat_企业网址导航_网址分类目录_企业黄页网址提交查询专业网站!

·网站要备案  z8SAIChat_企业网址导航_网址分类目录_企业黄页网址提交查询专业网站!

·信息已过期  z8SAIChat_企业网址导航_网址分类目录_企业黄页网址提交查询专业网站!

·交易已关闭z8SAIChat_企业网址导航_网址分类目录_企业黄页网址提交查询专业网站!

在给各位站长看标准内容死链的典型范例之前,先说一个对百度不友好的做法:现在很多网站追求个性化和用户体验,在页面内容失效后并未做协议死链处理,也就是说返回状态码依然是200,仅仅是在页面上做了一个有趣的个性化图片,通过图片告诉用户这个页面没有有价值内容——百度不会认为这是一个内容死链,不提倡大家这样做。z8SAIChat_企业网址导航_网址分类目录_企业黄页网址提交查询专业网站!

典型范例1:z8SAIChat_企业网址导航_网址分类目录_企业黄页网址提交查询专业网站!

z8SAIChat_企业网址导航_网址分类目录_企业黄页网址提交查询专业网站!

以下便是内容死链的典型范例,大家感受一下,需要着重强调的是:站长在申请取消闭站保护的时候,百度除了检测站内协议死链外,还会同时检查内容死链的比例和数量。即使您不使用闭站保护功能,百度也提倡大家踊跃提交内容死链,以保证站点评级的稳定。典型范例2:z8SAIChat_企业网址导航_网址分类目录_企业黄页网址提交查询专业网站!

z8SAIChat_企业网址导航_网址分类目录_企业黄页网址提交查询专业网站!

典型范例3:z8SAIChat_企业网址导航_网址分类目录_企业黄页网址提交查询专业网站!

z8SAIChat_企业网址导航_网址分类目录_企业黄页网址提交查询专业网站!

典型范例4:z8SAIChat_企业网址导航_网址分类目录_企业黄页网址提交查询专业网站!

z8SAIChat_企业网址导航_网址分类目录_企业黄页网址提交查询专业网站!

典型范例5:z8SAIChat_企业网址导航_网址分类目录_企业黄页网址提交查询专业网站!

z8SAIChat_企业网址导航_网址分类目录_企业黄页网址提交查询专业网站!

典型范例6:z8SAIChat_企业网址导航_网址分类目录_企业黄页网址提交查询专业网站!

z8SAIChat_企业网址导航_网址分类目录_企业黄页网址提交查询专业网站!

典型范例7:z8SAIChat_企业网址导航_网址分类目录_企业黄页网址提交查询专业网站!

z8SAIChat_企业网址导航_网址分类目录_企业黄页网址提交查询专业网站!

典型范例:8:z8SAIChat_企业网址导航_网址分类目录_企业黄页网址提交查询专业网站!

z8SAIChat_企业网址导航_网址分类目录_企业黄页网址提交查询专业网站!

第三,跳转死链  z8SAIChat_企业网址导航_网址分类目录_企业黄页网址提交查询专业网站!

跳转死链是指网站将无阅读价值的页面统一跳转到某一个页面,如前一级目录面、首页等等,跳转前后的两个网页主体内容不同,不存在可替代的关系。除了404协议死链和内容死链外,站长还需要向百度提交跳转死链。典型范例9:z8SAIChat_企业网址导航_网址分类目录_企业黄页网址提交查询专业网站!

z8SAIChat_企业网址导航_网址分类目录_企业黄页网址提交查询专业网站!

典型范例10:z8SAIChat_企业网址导航_网址分类目录_企业黄页网址提交查询专业网站!

z8SAIChat_企业网址导航_网址分类目录_企业黄页网址提交查询专业网站!

问:百度站长平台是否有工具帮助我们发现网站内的未知死链?z8SAIChat_企业网址导航_网址分类目录_企业黄页网址提交查询专业网站!

答:可以通过链接分析工具中的死链分析功能(地址:https://zhanzhang.baidu.com/inbound/deadlink),还有抓取异常工具(地址:https://zhanzhang.baidu.com/crawl/index)进行发现分析z8SAIChat_企业网址导航_网址分类目录_企业黄页网址提交查询专业网站!

注:相关网站建设技巧阅读请移步到建站教程频道。z8SAIChat_企业网址导航_网址分类目录_企业黄页网址提交查询专业网站!

z8SAIChat_企业网址导航_网址分类目录_企业黄页网址提交查询专业网站!

z8SAIChat_企业网址导航_网址分类目录_企业黄页网址提交查询专业网站!

标签:

分享到:

  admin

注册时间:

网站:0 个   APP:3 个  文章:0 篇

  • 76083

    网站

  • 577

    APP

  • 304411

    文章

  • 56004

    会员

赶快注册账号,推广您的网站吧!
文章分类
热门网站
最新入驻APP小程序

宝贝市场2023-02-08

宝贝市场——买手和卖家商品展示

夺宝助手2023-02-08

夺宝助手小程序,查看每日快夺宝平

查诚信2023-02-08

查诚信是一款免费的商业查询工具

车价天天报2023-02-08

快速连接汽车销售,获知汽车最新报

考勤助理小程序2023-02-08

上班签到考勤,实时定位,后台轻松

汽车报价大全查询2023-02-08

汽车报价大全查询提供最新汽车市