域名SEO收录量实时监测这个东西, 说白了就是对指定域名在百度、Google、Bing这些主流搜索引擎里面的页面收录数量, 去做那种一直不断的、自动化的追踪和趋势分析。它最大的好处就是什么?
是让运营团队能够在这种好多个小时之内, 马上发现收录有什么异常情况出现的, 比如说批量掉收录, 又或者说是全新的页面没有人去抓取呀这样的问题。而不是非得等待着过了好多天之后, 再去被动地做出响应这样的行为。
通过这种方式操作, 就能把解决SEO问题的这个响应周期从原来的那种以天为单位的时间, 直接压缩成现在这样的小时单位时间了。
必须监测的核心指标
实时监测这件事, 是需要覆盖下面的这五个维度的。
关于总收录量这个概念, 它指的是在那一个特定的域名下面, 被搜索引擎给索引了的所有页面的总的数量。
所谓增量收录这个说法, 它指的是那些每天新进入索引里面的页面数目, 还有的时候也包含每小时新加入索引的页面数量这样的意思。
指的是每天从索引中直接移除的页面数量, 以及每小时从索引中直接移除的页面数量。
收录率这个东西呢, 它是指你提交上去的链接的数量和那些真正被搜索引擎给收进去的链接的数量之间的一个比率。
所谓的这个抓取频率呢, 其实就是指的是搜索引擎的那个蜘蛛程序对这个域名进行的访问间隔情况以及它访问的那个成功比率。
以上这五项指标, 每一项都是不可缺少的, 如果只是单纯地去关注总收录量这个情况, 那是完全没办法正确判断出健康度的。
主流监测方法与工具
1. 搜索引擎官方工具
百度站长平台, 也就是ziyuan.baidu.com, 它是提供收录查询与抓取诊断服务的。Google Search Console它是提供"站点地图"以及"索引覆盖"报告的。
这些渠道是最权威的数据源, 不过, 它们的更新频率通常为T+1。所以, 它不能够满足所谓的实时需求。它只适合作为基准校验之用。
2. 第三方API监测服务
可以通过调用搜索引擎的接口, 也可以借助第三方的数据平台的api, 来达到对收录量的变化情况进行追踪的目的, 这种追踪的速度可以快到小时级别, 甚至能够精确到分钟级别。
比如在gname.xin 这个域名的监测模块里, 它就支持对大批量的域名进行定时抓取收录量, 并且能够在出现异常的时候发出警报信息, 这样的功能特别适合那些需要同时对多个站点和多个域名进行统一管理的场景。
除了前面提到的这些方法之外, 大家常用的工具还有5118、爱站、站长工具等等, 这些工具能够提供可视化的图表来展示收录量的趋势情况。
3. 自建定时任务
面对现在越来越快的那种变化, 还有每个人都有自己的特殊要求这样的情况, 公司里可以自己搭建一些定时执行的任务。这些任务会通过发送http请求的方式去模拟搜索指令,那个指令的内容大概类似于用site加一个域名来查找结果。查到之后就把数据存进数据库里面。
接着把grafana这样的可视化工具拿来用域名SEO收录量实时监测, 做成一个能实时显示数据的看板给领导或者团队看。这件事一定要控制好每次发起请求的频率, 不能太猛地发请求。同时必须严格地遵守那些提供搜索引擎服务的公司在robots协议和具体的使用条款里写好的规定, 不然可能会惹上麻烦。
关键操作要点
关于监测频率这个问题, 对于核心的落地页面, 建议您按照每小时检查一次的节奏来执行, 而对于那些长尾页, 则只需要每天进行一次检查就完全可以了。
告警阈值, 这是指设定单日掉收录的数量超过总量百分之五, 或者是连续三个小时都没有新的收录, 把这两种情况来看做是异常的触发条件, 然后, 再通过电子邮件、手机短信, 或者是企业微信来进行自动的推送。
进行数据对比的时候, 一定要去和七天的以及三十天的历史基线做比较, 因为仅仅看某一个单独的时间点上的绝对数值的话, 是没有一点分析意义的。
实现多引擎的广泛覆盖, 确保至少能够同时监测百度这个平台与Google这个平台, 在对内的网站当中, 要把重点放在百度上,而在面向出海的网站当中域名SEO收录量实时监测, 把核心关注点放在Google上面。
关于日志留存这个事儿, 咱们建议把所有的监测原始数据都保存下来, 而且保留的时间别少于90天, 这样做是为了方便大家事后去回溯异常情况, 还有进行策略的复盘。
高频疑难解答
Q:不同工具查到的收录量为什么不一致?
各个工具所使用的查询方式、还有缓存策略这些方面都是不同的, 搜索引擎的索引本身存在更新延迟的情况, 差异在一百分之十之内属于正常现象, 建议以官方工具的数据为基准, 第三方数据作为趋势参考。
收录量突然下降, 这个现象的发生, 是不是一定就意味着网站被降权了呢。
回答是不是肯定的。出现这种情况可能原因是蜘蛛抓取频率下降, 再就是站内URL结构变更, 还有服务器响应超时等等原因。需要把搜索引擎的抓取日志和站点技术健康度两个因素结合起来进行排查, 这样才能避免错误判断。
关于实时监测以及每日统计这两者之间到底应该如何协同进行配合操作, 这个问题需要被考虑到。
A: 实时监测解决“异常预警”的问题, 每日统计解决“总量基准”的问题。建议以实时监测做日常巡检, 以每日统计做周报复盘, 两者配合才能形成完整闭环。
