核心公式(直接可用)

那个所谓的网站的域名收录率, 这个具体的计算数值, 它是由搜索引擎实际收录的页面的个数, 除以网站应该是收录的总页面数之后得到的结果, 然后再乘以一百百分之这一百这个数字来得到的最终的一个比例数值。

这个公式能够用于对百度以及Google还有Bing之类的, 主流搜索引擎的收录状态进行评估。所得到的结果, 是采用百分比的形式来呈现的。其中数值越高这样一个情况, 就意味着域名下面包含的页面的可访问性会更好。同时索引的质量也是更优质的表现。

公式中各参数含义

这个实际收录页面数, 是指通过搜索引擎的site指令进行查询, 或者是在站长平台的后台里进行查询时, 所获得的那个被搜索引擎抓取并且建立了索引的页面数量。

如果是使用百度来说, 你可以去百度搜索资源平台里的“索引量”模块, 去查看具体的数字。如果是使用Google来说,你可以在Search Console里面的“页面索引”报告里域名收录率计算方法, 获取到这个相关的信息。

应收录总页面数指的是网站本身里那种对搜索引擎来说有有效价值的页面, 它们加起来的总数就是所指的。这里面包含了那些已经正式在线发布出来的东西, 并且全部都允许爬虫程序去访问的内容页面。

域名收录率怎么算?一个公式加3步实操搞定(图1)

在一般情况下, 大家通常会拿站点地图, 也就是 sitemap.xml 里面投递过的统一资源定位器的数量来作为标准。或者是根据实际发布出去的那些内容的数据来进行统计。

在计算的时候, 需要排除那些被robots.txt明确屏蔽的页面, 还需要排除那些返回了4xx或者5xx状态码的页面, 只统计那些对搜索引擎友好的有效页面。

3步实操计算流程

第1步:确定分母(应收录总页面数)

从网站的所有有效网址里面, 把这些链接全部导出来。具体的操作方法有两种, 第一种是用百度搜索资源平台的普通抓取功能里面的站点地图选项里去点击导出已提交网址的按钮;第二种是用Google Search Console去站点地图里下载那些已经提交的网址列表。

然后要把其中一些不好的链接都去掉, 比如已经下架了的、发生跳转的、还有用301重定向指向旧页面的这些都要删掉, 最后剩下的网址数量就是咱们想要的那个分母数字了。

第2步:获取分子(实际收录数)

百度: 你要在搜索框里面输入那个 site:你的域名 这个东西, 然后要把搜索结果的总量记录下来, 这里头要注意一个事情, 就是百度现在都已经不公开那些精确到个位的数字了,不过没关系域名收录率计算方法, 大家还可以去借助站长平台里面的 “收录概况” 那部分数据来做处理。

你可以使用Google, 具体操作的方法是在搜索框里面输入类似site:你的域名这样的内容, 然后观察页面的顶部, 如果那里显示了类似于“约X条结果”这样的文字信息, 那么这个信息就代表了收录的数目。

用户还可以直接到站长平台后台去读取那个显示的是已经收录的页面数量的数据, 这样做的话拿到的数字会更准确一点。

第3步:代入公式计算

你可以把分子去除以分母, 然后再去乘以百分之百, 这样就能够得出百分比的具体数值, 比如说应收录页面是一千五百个的情况的话, 实际收录的数量是两千个的话, 那么收录率就是通过一千五百去两千相除, 并且再乘以百分之百等于百分之七十五的这样一个方式来计算得出来的。

常见计算误区

1. 把“可访问”直接等同为“已收录”, 这是一种错误做法, 因为爬虫能抓取数据, 并不意味着索引就已经成功完成了, 判断的依据必须以搜索引擎明确建立索引为标准。

2. 存在分母虚高的情况, 后台里面的草稿、测试环境之中的内容, 还有针对会员专属的内容, 也都算在了分母里面, 这样一来, 收录率就被人为地给压低了。

3. 忽略时间窗口: 新上线的页面存在着收录延迟的情况, 百度方面的收录通常需要7至30天的时间, 而Google方面的收录通常需要1至7天的时间, 刚发布的内容没有出现结果并不等于没有被收录, 建议应当以发布满30天之后的数据进行计算。

4. 混用多引擎数据, 指的是百度所收录的数量与Google所收录的数量这两者之间, 不可以互相参照使用, 必须要针对每一个情况去做单独的、不相关联的计算工作。

补充说明

建议大家把主域名和子域名分开来统计收录率, 这样可以防止数据之间互相干扰。最好是每月挑选一个固定的日子执行一遍计算操作, 然后搭建起趋势表格。

阜新市自然资源事务服务中心

一旦发现收录率连续两个月里面都下降幅度超过了百分之十, 就应该仔细排查一下robots的配置情况、页面的质量水平, 或者检查是否存在批量删除了页面之类的异常情况。

这个计算工具是不需要你自己再掏钱的, 因为各个搜索引擎的站长平台那边都已经把对应的数据接口开放出来了, 你就只要坚持着去手动做那个记录工作, 那么最后就能形成你这个网站本身的收录健康度的一个基础档案。