百度蜘蛛(Baiduspider)这个抓取频率, 它是根据网站质量、更新频率、链接权重这几个因素, 然后由百度系统自动分配的。站长, 不能直接“设置”那个频率数值。但是, 可以用下面的这6个实操方法, 有效地影响并且提升蜘蛛对你的网站的抓取频次。

核心机制说明

百度蜘蛛在进行抓取操作的时候, 是要遵循所谓的品质优先、更新驱动以及链接引导这样三个基本原则的。相关的系统会周期性地对网站的内容新鲜程度、页面的质量得分以及一些外链的质量等等这些指标进行评估。

根据评估的结果, 系统会动态地调整那些分配给具体站点所能抓取的配额数量。所以提升抓取频率的本质意义是什么? 那就是要通过实际的行为来向这个系统证明你的网站是具备值得被更加频繁抓取的资格的。

6个实操步骤

步骤1:保持高频、高质量内容更新

你需要保持每天更新的频率, 确保每一天的更新量都至少是1到3篇的原创内容, 并且每一篇文章的字数都要达到800字及以上的长度, 同时要在内容里面包含图片。

你要把那个明确分好级别的标题头儿、还有指过去的相关链接, 以及给眼睛看的那个代替文字的属性, 这些东西全部都得塞进去。

为了防止系统生成那些质量非常低的文章, 平台方面的策略是把你的权重给降低掉, 同时也会减少对你网站内容的抓取频率。

在更新操作完成以后, 需要在不到十分钟的时间段内部把那个网址给提交上去, 具体的操作方法可以参考第二个步骤。

步骤2:使用百度搜索资源平台批量提交URL

百度蜘蛛抓取频率调整方法:6个实操步骤让蜘蛛多来你的网站(图1)

你需要登录 百度搜索资源平台, 在页面中进入“普通收录”, 然后点击“普通收录批量提交”。

每次提交的不超过10000条的URL, 其格式为纯的URL列表。

我们建议采用API接口这种方式, 当然您需要在平台上获取AuthToken, 从而实现每天自动地进行推送。

在大家把相关内容提交过去的七十二个小时之内, 要随时观察一下那些蜘蛛程序有没有重新爬过来, 如果这些蜘蛛到最后都没有再爬回来的话, 就需要去检查一下相关的网址链接是不是可以成功访问得到的, 也就是要看一看返回的状态码是不是等于二百。

步骤3:配置并维护Sitemap

生成包含全站有效URL的sitemap.xml,格式遵循Google Sitemap协议

在robots.txt中声明:Sitemap: https://www.yourdomain.com/sitemap.xml

用户可以在百度搜索引擎资源平台里的那个叫做普通收录的环节当中, 去把sitemap这个文件的地址给提交了。

每当有一批新的内容被增加之后, 就要马上对sitemap文件进行更新操作, 以此来维持该文件的时效性状态。

步骤4:构建高质量内链与外链结构

在每个页面里面, 一定要放上链接, 这种链叫做内链, 数量最少要3条百度蜘蛛抓取频率调整,最多可以有5条, 目的是链接到其他的相关页面。

百度蜘蛛抓取频率调整方法:6个实操步骤让蜘蛛多来你的网站(图2)

外链的情况是, 每周获得数量在两条到五条之间的站外链接。这些链接需要来自PR值大于或等于三级的相关网站。同时, 要防止去群发这样的链接, 也要避免通过买卖这种途径来获取。

保持首页指向栏目页, 栏目页指向文章页的这样一个清晰结构在里边的存在。同时避免那些深层页面出现, 所谓的深层页面在这里的定义是层级数量等于或者超过四层的情况。

外链页面应该能够被蜘蛛正常访问, 不能是纯JS渲染出来的, 同时也不设置登录墙的阻碍。

步骤5:优化技术层面对蜘蛛的友好度

大城新闻网

必须保证所有页面的 HTTP 状态码是200, 绝对不能出现404或者500这种错误代码。

你需要把页面加载时间尽量控制在2秒那个范围里面, 要知道百度蜘蛛对那种超过时间界限的页面, 它是有可能会去降低抓取优先级的。

在构建页面的时候, 我们要去使用那种标准的HTML结构, 从而避免出现完全依赖纯JavaScript去渲染核心内容的情形。

robots.txt中不要错误屏蔽重要路径;如需屏蔽百度蜘蛛抓取频率调整,精确到目录而非全站

要把HTTPS这个通道给配置好, 同时还得保证那个证书是有效的。

步骤6:监控抓取日志并针对性优化

百度蜘蛛抓取频率调整方法:6个实操步骤让蜘蛛多来你的网站(图3)

在服务器access日志中筛选UA为"Baiduspider"的请求

统计一日的抓取次数, 查看所抓取页面的具体构成分布, 同时梳理抓取行为在时间序列上的分散情况。

如果一个栏目长时间都没有被程序抓去收录, 那就要去检查这个栏目是不是让robots协议把屏蔽措施给用上了, 还有这个链接所在的深度是不是超过正常限度变得太深了。

针对那些被高频次地抓取起来, 但是识别出来的内容质量比较低下的网页页面, 要去做内容的优化工作, 以此来降低那些没有用的抓取所占有的比例。

关键注意事项

千万不要使用所谓的第三方工具去进行模拟访问, 这种行为被系统发现之后是会导致处罚风险的, 具体的后果包括网站权重下降或者是直接被移出搜索索引的情况。

要避免在短期之内出现大量的新增的低质量的页面的情况, 从而导致蜘蛛程序出现错误性的判断, 认为整个站点的质量发生了下降。

新站的域名注册时长如果还在3个月以内, 那它就处于观察期, 这时候爬虫来的频率比较低是正常现象, 你只要坚持更新持续个4到6周的时间, 这个抓取配额就会慢慢涨上来。

假如你的网站被挂上了“快照过期”这样的提示, 那么你就应当优先去检查这个站点是否还能够被正常访问, 而不是急急忙忙地去提升抓取频率的问题。

请务必坚持执行上述步骤, 这样在2~4周以内, 你就能够观察到蜘蛛抓取频次出现明显上升的现象。核心逻辑始终都是让系统认为你的站点是更新速度极快的、内容质量属于高水平的、整体结构也非常清晰的, 在这种情况下, 抓取配额自然就获得了提升。