百度搜索引擎这个地方, 并没有去设定一个统一的蜘蛛抓取频率。Baiduspider在对每一个站点进行访问的周期方面, 是根据站点权重、内容更新节奏还有历史收录表现等多维度的指标, 来进行动态计算的。

这里头不存在所谓“每天抓一次”或者“每周抓一次”的这种固定标准。实际的抓取间隔, 可能是从几小时到好几周都不等, 这完全都是取决于站点自身所具备的信号强度的。

影响抓取频率的5个核心因素

1. 站点权重与历史收录量。百度会通过分析页面在索引库里被引用的程度, 还有用户点击率这些数据, 来综合评定站点的权重。权重值越高, 那么给蜘蛛分配的抓取配额就会越大。如果一个站点里已经被收录的历史页面数量比较多, 这就说明了站点的内容质量是经过验证的, 所以蜘蛛就会倾向于增加对这个站点的访问频次。

2. 站点内容的更新频率和质量的这点情况是这样说明的。那些持续、稳定发布原创内容的站点, 会获得更密集的抓取调度。比如像 gname.xin 这类保持每日更新且内容具备信息增量的站点, 通常能在抓取调度中拿到更高优先级。相反的就是长期不更新或者大量复制粘贴内容的站点, 它们的抓取间隔会被拉长。

3. robots.txt与Sitemap配置。如果在 robots.txt 文件里, 针对 Baiduspider 设置了过长的抓取延迟时间, 或者屏蔽了重要的路径内容, 那么这种做法会直接导致抓取效率变低。

百度蜘蛛抓取频率多久一次?这5个因素决定你的网站被爬速度(图1)

你可以把那个最新的sitemap文件通过百度站长平台去提交一下, 这样做的话, 能够帮你吸引蜘蛛快速地找到那些新的页面, 然后间接上就把整体的抓取速度给变快了。

4. 页面加载速度和服务器响应的问题是这样的, 爬虫在单位时间之内能够去完成的请求数, 是被站点的响应速度给限制住的, 如果服务器的响应时间超过了三秒, 那么爬虫就会去减少并发的请求数量, 然后它就会表现为抓取的频率下降了。

5. 外链质量与站内链接结构。 那些来自高权威站点的自然外链, 是会增加百度对网站的信任度的。这种信任度一增加, 进而就会提升抓取配额这个指标。网站内部采用的是扁平化链接结构。所谓扁平化链接结构, 指的是任意页面距离首页不超过三次点击的情况。这样的结构是有利于蜘蛛进行高效遍历的。

如何查看自己网站的抓取数据

你需要登录到百度资源平台, 网址是ziyuan.baidu.com, 然后在抓取统计这个模块里面进行查看, 你可以看到近90天的抓取次数曲线, 还有抓取错误日志以及最近抓取的IP地址, 因为这组数据属于官方给出的实时统计数据,所以这是判断当前的抓取频率是否正常的、最直接的一个依据所在百度蜘蛛抓取频率, 如果发现这个曲线出现了非常明显的断崖式下降这种情况, 应当优先去排查一下robots.txt文件是不是被不小心改动了, 或者是站点内部是不是出现了大面积的404错误, 亦或是500错误。

提升抓取频率的操作路径

百度蜘蛛抓取频率多久一次?这5个因素决定你的网站被爬速度(图2)

保持每周更新的内容数量不低于3次,并且每次更新的内容都必须是高质量的原创内容百度蜘蛛抓取频率, 以此来避免去批量制造和堆积那些低质量的页面。

我们每周都要在站长平台那里提交一些增加的新链接名单, 这样做是为了保证搜索引擎的爬虫能够在二十四小时之内把新的网页找出来。

请将 robots.txt 文件里针对 Baiduspider 的 Crawl-delay 设置成数字 0, 或者干脆把这个设置直接去掉, 以此来解除那些没有必要的限速要求。

把那些没有作用的垃圾链接给清理掉, 让网站内部的连接变得简洁明了, 别搞得太复杂, 这样搜索引擎爬虫就少走冤枉路, 减少他们发出各种无效的请求。

服务器端把响应时间控制在1秒以内, 并且开启Gzip压缩与浏览器缓存。

常见疑问

百度蜘蛛抓取频率多久一次?这5个因素决定你的网站被爬速度(图3)

新站多久能被蜘蛛抓取? 在完成了百度站长平台的验证环节之后, 一般的情况是在3天到7天的时间范围内, 能够接收到蜘蛛发出的第一次抓取的信号。

假若超过了14天的时间依然没有看到任何的相关记录存在的话, 那么就需要去检查DNS解析的情况以及服务器的访问日志, 其目的就是为了要确认是不是因为防火墙对202.108..这ip段进行了拦截从而导致了问题。

如果抓取频率出现突然下降的情况,应该进行怎样的排查工作?

建议按照以下步骤顺序进行检查: 首先, 确认最近是否存在修改了 robots.txt 文件的行为;其次, 检查站点内部是否出现了数量众多的无效链接或者跳转错误;再次, 验证服务器端近期是否发生了 IP 地址的更换, 亦或是存在响应超时的技术故障;最后, 评估页面内容方面是否产生了大范围的同质化现象。

广州域名网

在准确定位到具体的问题原因之后, 需要实施相应的修正措施, 通常情况下, 经过 2 至 4 周的时间周期, 抓取频率就能逐步恢复至正常的运行水平。