Bing搜索爬虫抓取错误代码列表

温馨提示：这篇文章已超过934天没有更新，请注意相关的内容是否还可用！

抓取错误列表

下表描述了当我们在抓取您的网站时发现大量或显着增加的问题时向通知中心发送的各种抓取错误警报。

问题类别	特定类型	警报	行动讯息	评论
400-499	401（未经授权）	我们遇到大量返回以下状态的请求：401（未授权）	您的服务器拒绝访问您的页面并需要其他信息，例如登录名和密码。检查您是否无意中在登录名和密码后面阻止了您的页面。如果这是故意的，您可以考虑在您的 robots.txt 中添加 disallow : 规则，以便我们不再尝试抓取您的网页。	当您的服务器以状态代码 401（未授权）响应我们的请求时，这可能意味着我们正在尝试抓取您网站的受密码保护的区域，并且我们需要额外的身份验证。在“抓取信息”工具中检查此错误的一些示例 URL，以查看这是否是预期的，或者您是否不小心将密码保护区域中的内容隔离了。如果这是意料之中的，您可以考虑在您的robots.txt文件中添加一个所谓的 disallow: 指令，这样我们就不会花费时间（和带宽）来抓取这些受保护的 URL。
400-499	403（禁止）	我们遇到了大量返回以下状态的请求：403 (Forbidden)	您的服务器拒绝 Bingbot 访问您的页面。检查您是否无意中阻止了服务器上的部分或全部 Bingbot 请求。	您的服务器可能已配置为仅接受来自 Bingbot 来自特定 IP 范围的请求。由于 Bingbot IP 范围可能会随时间变化，因此您可能会以这种方式意外阻止有效的 Bingbot 请求。您应该检查您的服务器代码，看看是否是这种情况。要查看 Bingbot 请求是否真的来自 Bing 机器，而不是来自欺骗 Bingbot 用户代理的可疑爬虫，请使用如何验证 Bingbot中描述的方法。请注意，您始终可以使用 robots.txt 指令来阻止 Bingbot 抓取您网站的某些部分。如果您觉得我们在工作时间对您进行了过多的抓取，请考虑使用抓取控制工具设置每小时抓取率，而不是通过这种方式阻止请求。
500-599	5xx（所有服务器错误的汇总）	我们遇到了导致服务器错误的请求数量增加。	您的服务器报告了大量服务器错误，无法满足我们的请求。这可能是由临时问题引起的，但也可能指向服务器上的代码错误或配置错误。	如果我们发现整体服务器错误显着增加，则会触发此警报。这些问题的原因可能会有所不同，但您应该检查您的服务器日志以查看这些问题是否是系统性的。
500-599	500内部服务器错误）	我们遇到大量返回以下状态的请求：500（内部服务器错误）	您的服务器报告了内部服务器错误，无法满足我们的请求。这可能表明您网站的代码存在问题或配置错误。	此响应代码通常表明服务器上存在问题，没有更多细节。它可以指向代码问题或配置问题。您应该在Crawl Information工具中检查一些遭受此问题的 URL，并检查服务器日志以获取更多线索。
500-599	503服务不可用）	我们遇到了大量返回以下状态的请求：503 （服务不可用）	您的服务器报告它无法处理我们的请求。这可能是一个临时问题，但您检查日志和脚本是否存在与性能相关的问题。	由于服务器不可用，可能已发出此响应代码。也许它当时超载或停机进行维护。这应该是一个暂时的问题，但您应该检查抓取信息工具中的示例（请参阅 500-599 部分）以查看问题是否仍然存在。
500-599	509（超出带宽）	我们遇到大量返回以下状态的请求：509 （超出带宽）	您的服务器报告超出带宽，无法处理我们的请求。请检查您的服务器配置。	当您的服务器以 HTTP 状态 509（超出带宽）响应请求时，可能表明吞吐量问题，或者您的服务器可能限制了 Bingbot 允许使用的带宽。不解决这个问题可能会导致全面性和新鲜度问题。控制 Bingbot 每小时抓取您网站的速度的推荐方法是使用网站管理员工具中的抓取控制功能。
爬行礼貌	爬行延迟设置	robots.txt 中的抓取延迟设置会阻止必应有效抓取。	请从您的 robots.txt 中删除抓取延迟设置。此外，请确保您在必应网站管理员工具抓取设置页面上配置了最佳抓取速度设置。	Bing 遵循 robots.txt 文件中的 crawl-delay 指令。如果您指定的抓取延迟阻止我们有效抓取您的网站，您将收到此警报。如果可能，请完全删除 crawl-delay 指令，并改用网站管理员工具中的 Crawl Control功能来控制爬取行为。
爬行礼貌	提高抓取速度	您网站的当前抓取设置阻止 Bing 有效抓取。	请确保您已在必应网站管理员工具抓取设置页面上配置了提高抓取速度设置。	此警报表示我们希望更有效地抓取您的网站，但您当前的抓取控制设置阻止我们这样做。您可以通过网站管理员工具中的抓取控制功能来提高抓取速度。
DNS 问题	大量 DNS 故障	在尝试抓取您的网站时，我们遇到了大量 DNS 故障。	在尝试抓取您的网站时，我们遇到了 DNS 故障。这些可能是服务器或 DNS 配置错误的结果。	在某些情况下，负责您网站的 DNS 服务器可能配置错误。一个常见问题是设置为 0 的 TTL（生存时间）设置。在其他情况下，DNS 服务可能会过滤掉来自 Bingbot 的请求。您可能可以使用URL 检查工具来检查它，它会告诉您它是否无法解析 DNS。
连接问题	大量连接问题	由于连接错误，Bingbot 无法访问您的网站。	这可能是一个临时问题，但您应该检查您的服务器日志以查看您是否正在丢弃请求。	在某些情况下，您的服务器可能会在过载时开始停止响应。为确保您没有主动拒绝来自 Bingbot 的请求的连接，请使用URL 检查工具。