必应爬虫概述(用户代理)Overview of Bing crawlers (user-agents)

0oD三一o0

Bing目前运营着五个主要的爬虫:

爬虫名称说明user-agents
BingbotBingbot 是我们的标准爬虫,可以处理我们每天的大部分爬虫需求。Bingbot 使用不同类型的用户代理字符串。
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm) Chrome/

Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
W.X.Y.Z Safari/537.36

Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36  (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
 	
我们定期将网页渲染引擎更新为 Microsoft Edge 的最新稳定版本。因此,“WXYZ”将替换为我们正在使用的最新 Microsoft Edge 版本,例如“80.0.345.0”。
AdIdxBotAdIdxBot 是 Bing Ads 使用的爬网程序。AdIdxBot 抓取广告并跟踪这些广告中的网站以进行质量控制。就像 Bingbot 一样,AdIdxBot 也有“桌面”和“移动”变体。
	Mozilla/5.0 (compatible; adidxbot/2.0; +http://www.bing.com/bingbot.htm)	
Mozilla/5.0 (iPhone; CPU iPhone OS 7_0 like Mac OS X) AppleWebKit/537.51.1 (KHTML, like Gecko) Version/7.0 Mobile/11A465 Safari/9537.53 (compatible; adidxbot/2.0; +http://www.bing.com/bingbot.htm)	
Mozilla/5.0 (Windows Phone 8.1; ARM; Trident/7.0; Touch; rv:11.0; IEMobile/11.0; NOKIA; Lumia 530) like Gecko (compatible; adidxbot/2.0; +http://www.bing.com/bingbot.htm)	
	
BingPreviewBingPreview 为 Bing 生成页面快照。您可以在此处找到有关 BingPreview 的更多详细信息请注意,BingPreview 有“桌面”和“移动”变体。
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm) Chrome/W.X.Y.Z Safari/537.36	
Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36  (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
MicrosoftPreviewMicrosoftPreview 生成 Microsoft 产品的页面快照。请注意,MicrosoftPreview 有“桌面”和“移动”变体。
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; MicrosoftPreview/2.0; +https://aka.ms/MicrosoftPreview) Chrome/W.X.Y.Z Safari/537.36	
Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36  (compatible; MicrosoftPreview/2.0; +https://aka.ms/MicrosoftPreview)

验证真实性

你可以使用用户代理字符串识别 Bing 爬虫。但是,用户代理字符串很容易被伪造,因此并非每个带有这些用户代理字符串的请求都来自真正的 Bing 爬虫。要确定请求是否来自 Bing 爬虫,请查找用户代理字符串,但请记住,用户代理字符串可能被伪造。要确保 IP 地址是真实的,请了解我们提供的所有Bing bot验证方法

抓取频率

要控制我们的爬虫与你的网站抓取频率,你有两个选择:

  • 可以配置 Robots.txt 文件来告诉 Bing 爬虫如何抓取你的网站内容。

  • 使用 Bing Webmaster Tools 爬虫预设,你可以使用抓取控制工具按小时控制抓取速度。

反馈问题

如果你发现 Bingbot 或我们的任何其他爬虫存在抓取问题,请按照“如何反馈 Bingbot 问题”中概述的步骤操作。


免责声明:本文来自必应站长平台,不代表0oD三一o0的观点和立场,如有侵权请联系本平台处理。

发表评论

快捷回复: 表情:
AddoilApplauseBadlaughBombCoffeeFabulousFacepalmFecesFrownHeyhaInsidiousKeepFightingNoProbPigHeadShockedSinistersmileSlapSocialSweatTolaughWatermelonWittyWowYeahYellowdog
评论列表 (有 2207 条评论,51289人围观)
取消
微信二维码
微信二维码
支付宝二维码