搜索引擎

如何判断Naver搜索引擎爬虫代表用户访问网页的 S/W 在User-Agent中指定自己的名称。不仅网络浏览器而且搜索引擎爬虫都有自己的用户代理，Naver 搜索引擎爬虫使用了 Yeti 这个名字。许多网站运行防火墙以防止某些恶意访问。如果我的站点无法被收集，需要检查指定为 Yeti 的 Naver 搜索引擎爬虫是否因防火墙策略而被阻止访问该站点。Naver的搜索引擎爬虫有两种分类方式：一种是使用User-Ag...

适配关系正则说明PC站点下以目录站点作为移动端站点时，作这种行为对搜索引擎极不友好，主流搜索引擎一直不赞成不鼓励这种建站方式。为了满足该需求，头条站长平台移动适配工具提供满足此需求的功能。移动端适配功能的添加有助站点链接被收录。适配规则：1）规则适配：PC地址和移动端地址存在对应关系时候，可以添加PC和移动端的适配规则表达式，进行适配（如PC页面https://www.toutiao.com/i700129315...

什么是抓取频次　　抓取频次是搜索引擎在单位时间内（天级）对网站服务器抓取的总次数，如果搜索引擎对站点的抓取频次过高，很有可能造成服务器不稳定，Baiduspider会根据网站内容更新频率和服务器压力等因素自动调整抓取频次。什么情况下可以进行抓取频次上限调整首先，Baiduspider会根据网站服务器压力自动进行抓取频次调整。其次，如果Baiduspider的抓取影响了网站稳定性，站长可以通过此工具调节Baidus...

如何提交Sitemap到神马搜索引擎Sitemap（站点地图）是一种文件，站长可通过该文件列出网站上的网页，将网站内容的组织结构告知搜索引擎。神马等搜索引擎网页抓取工具会读取此文件，以便更加智能地抓取网站内容理想状况下，如果您的网站网页间关联得当，神马的网页抓取工具便能够发现其中的大多数网页。即便如此，提交站点地图仍有助于搜索引擎更加有效地抓取网站，尤其是当网站符合以下某个条件时：1.网站为新建网站且指向该网站的...