Bing目前运营着五个主要的爬虫:
爬虫名称 | 说明 | user-agents |
---|---|---|
Bingbot | Bingbot 是我们的标准爬虫,可以处理我们每天的大部分爬虫需求。Bingbot 使用不同类型的用户代理字符串。 | Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm) Chrome/ Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm) W.X.Y.Z Safari/537.36 Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)我们定期将网页渲染引擎更新为 Microsoft Edge 的最新稳定版本。因此,“WXYZ”将替换为我们正在使用的最新 Microsoft Edge 版本,例如“80.0.345.0”。 |
AdIdxBot | AdIdxBot 是 Bing Ads 使用的爬网程序。AdIdxBot 抓取广告并跟踪这些广告中的网站以进行质量控制。就像 Bingbot 一样,AdIdxBot 也有“桌面”和“移动”变体。 | Mozilla/5.0 (compatible; adidxbot/2.0; +http://www.bing.com/bingbot.htm) Mozilla/5.0 (iPhone; CPU iPhone OS 7_0 like Mac OS X) AppleWebKit/537.51.1 (KHTML, like Gecko) Version/7.0 Mobile/11A465 Safari/9537.53 (compatible; adidxbot/2.0; +http://www.bing.com/bingbot.htm) Mozilla/5.0 (Windows Phone 8.1; ARM; Trident/7.0; Touch; rv:11.0; IEMobile/11.0; NOKIA; Lumia 530) like Gecko (compatible; adidxbot/2.0; +http://www.bing.com/bingbot.htm) |
BingPreview | BingPreview 为 Bing 生成页面快照。您可以在此处找到有关 BingPreview 的更多详细信息。请注意,BingPreview 有“桌面”和“移动”变体。 | Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm) Chrome/W.X.Y.Z Safari/537.36 Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm) |
MicrosoftPreview | MicrosoftPreview 生成 Microsoft 产品的页面快照。请注意,MicrosoftPreview 有“桌面”和“移动”变体。 | Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; MicrosoftPreview/2.0; +https://aka.ms/MicrosoftPreview) Chrome/W.X.Y.Z Safari/537.36 Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; MicrosoftPreview/2.0; +https://aka.ms/MicrosoftPreview) |
验证真实性
你可以使用用户代理字符串识别 Bing 爬虫。但是,用户代理字符串很容易被伪造,因此并非每个带有这些用户代理字符串的请求都来自真正的 Bing 爬虫。要确定请求是否来自 Bing 爬虫,请查找用户代理字符串,但请记住,用户代理字符串可能被伪造。要确保 IP 地址是真实的,请了解我们提供的所有Bing bot验证方法。
抓取频率
要控制我们的爬虫与你的网站抓取频率,你有两个选择:
可以配置 Robots.txt 文件来告诉 Bing 爬虫如何抓取你的网站内容。
使用 Bing Webmaster Tools 爬虫预设,你可以使用抓取控制工具按小时控制抓取速度。
反馈问题
如果你发现 Bingbot 或我们的任何其他爬虫存在抓取问题,请按照“如何反馈 Bingbot 问题”中概述的步骤操作。
免责声明:本文来自必应站长平台,不代表0oD三一o0的观点和立场,如有侵权请联系本平台处理。
发表评论