Bing搜索Robots.txt文件检测工具

robots.txt 文件检测工具

转到 robots.txt 文件检测器

机器人排除协议或 Robots.txt 是网站管理员用来规范机器人如何抓取其网站的标准。网站管理员通常很难理解和遵循与 robots.txt 相关的所有必要格式和语法。这会导致机器人的次优抓取，这对搜索引擎（因为它降低了 SERP 的全面性和新鲜度）或网站管理员（减少其网站的流量）都是不利的。BWT Robots.txt 测试器可帮助网站管理员分析他们的 robots.txt 文件并突出显示会阻止他们被 Bing 和其他机器人以最佳方式抓取的问题。

另一种情况是在搜索任何网站时，如果弹出此结果 -

这意味着 Bing 无法显示有关页面的描述，因为网站的 robots.txt 文件不允许这样做。可以在此处找到有关可以采取的行动（作为财产所有者/用户）的详细信息。

要测试和验证您的 robots.txt，或检查 URL 是否被阻止、哪个语句正在阻止它以及针对哪个用户代理，应在“测试 URL”选项中输入需要检查的网站属性的 URL，然后选择测试。有一个选项可以在 Bingbot 和 AdIdxbot 之间切换（可以在此处找到有关爬虫机器人的更多信息）。

这里的测试功能会根据编辑器的内容检查我们提交的 URL，因此，一旦在编辑器中进行更改，可以再次单击测试以立即检查 URL 是否有错误。系统检查各个用户代理的允许/禁止语句，并在编辑器中显示 robots.txt 文件，其中包含 4 个变体，即 http://、https://、http://www、https://www。网站管理员可以编辑 txt 文件和/或下载相同的文件以离线更新。如果在其他地方对 Robots 文件进行了更改并进行了更新，则网站管理员可以使用 Fetch latest 选项来获取属性的最新 Robots 文件。

下载选项提供了更新文件的分步过程，包括下载编辑后的文件、将其上传到域根目录（可以检查实时版本）以及最后请求 Bing 更新相同的文件。

注意：Robots.txt 文件应始终位于根目录 - https://www.example.com/robots.txt。有关更多详细信息，请联系我们的支持团队。