百度现在给了两种官方办法, 让网页能快点被收录, 这两个办法就是API主动推送接口和Sitemap自动推送。这两种方法可以一起用, 谁也不妨碍谁, 合在一起就把百度自动收录的完整路径给弄好了。下面呢, 会按照配置步骤、接口参数、频率规则这几个方面, 一个一个来说明。
一、API主动推送接口
接入前提:你得先去百度搜索资源平台也就是ziyuan.baidu.com那个地方, 把站点验证这事儿给办了, 然后才能拿到站点唯一标识。
接口地址: http://data.zz.baidu.com/urls?site=你的域名&token=你的token
请求方式与参数:
方法:POST
Content-Type:text/plain
在每次发起请求的时候都会传入一个包含了URL的列表, 在这个列表当中每一行就对应着一个单独的URL, 其格式需要是标准的HTTP地址, 也就是说这个地址里面必须包含协议的开头部分。
单次请求上限:10000条URL
每天都会给你推送, 但是每天能推的url数量有个上限, 这个上限是1万条, 这个是按照站点来算的, 如果你超出了这个数, 超出的部分就要到第二天才能生效。
建议的触发时机是:把该接口放到CMS后台那个叫做“文章发布成功”的钩子里面去调用, 这样就可以做到新页面生成的时候, 马上去把它推送出去, 完全不需要人工来干预。
关于返回说明的具体情况是: 接口最终会返回JSON格式的数据。在这个JSON数据里, 会包含success这个字段, 它所代表的意义是成功的条数。
同时, 还会包含remain这个字段, 它表示的是当日剩余可以推送的条数。需要注意的是, 如果返回的结果当中notary的值不是零的情况, 那么这个现象就表示存在没有通过校验的URL。
二、Sitemap自动推送
文件格式是那种标准的Sitemap XML, 每一个文件里面, 不超过50000条URL, 或者是大小不超过50MB, 这50MB是还没压缩之前的大小。
生成规则:站点上的定时任务每天都在执行。这个任务会去生成sitemap.xml文件, 或者只更新变化的部分。它里面只放那些已经被发布的网页链接。这些网页还得确保能正常打开, 也就是返回的状态码是200。它会去掉一些没用的网址。比如登陆页面或者是带有分页参数的页面等之类的无效地址都不会包含在里面。
提交方式(二选一):
1. 在百度搜索资源平台那里, 用户去操作的是“普通收录”这个板块, 然后点开里面的“Sitemap这一选项”, 最后手动把sitemap的地址提交上去。
2. 你需要在站点的robots.txt文件中进行声明, 把这一行内容写进去, 也就是“Sitemap: https://你的域名/sitemap.xml”, 这样一来百度爬虫将会定期去抓取。
更新频率: 百度在去抓取Sitemap的时候, 大概会用1天到7天的时间, 那些权重比较高的站点, 所用的时间更短一些。这里建议大家保持每天进行更新的这个动作, 当新的URL被写入之后,其实是不需要再去重复提交的, 因为爬虫自己会去自动发现这些新增量的内容。
三、关键注意事项
大家需要明白, 文章推送并不等同于文章被搜索引擎收录。通过API推送与Sitemap提交的方式, 仅仅只是触发了搜索引擎爬虫进行抓取的动作, 而最终页面能否被搜索引擎成功收录, 则是完全由百度的质量评估算法来进行决定的。
在通常情况下, 对于质量较高的页面而言, 在完成推送操作后的24个小时到72个小时之内, 就能够被搜索引擎成功收录了。
频率超限处理。 每日的推送量一旦增加到一万条的这个上限之后, 当天后续的所有请求就全都会被拒绝掉, 而没有被发送出去的内容, 就会顺延到第二天再继续进行推送, 所以对于那些产量比较高的站点来说的话, 建议大家最好还是采取一种错峰的方式, 然后再分批地进行推送。
URL规范。推送地址必须和站点真正能访问到的地址完全一样, 不能包含那些只有在JavaScript执行之后才会出现的动态路径。
两种通道要配合着用。 API这种手段, 它是专门给那些发布出去就要立马推送实时的场景用的。还有Sitemap这种方式, 它适合去给那些批量存在的旧页面做定期的补推工作的。把这俩方式组合在一起用, 是可以让收录的覆盖面达到最大的程度的。
四、排查未收录的通用步骤
1. 要确认推送返回的结果里, success这个字段大于零, 且remain这个字段没有变成零。
2. 你可以使用百度这个搜索引擎site:你的域名这个方法去检查一下, 内容是否已经被收录了。
3. 如果网页已经抓取了但是还没有被收录, 那么就需要去查一下这个页面的情况, 看看是不是有重复内容的问题, 或者内容是过于单薄了, 又或者是页面跳转的过程出现了异常的情况。
4. 在新站点的前30天时间范围内, 这是一个被界定为观察期的阶段, 收录速度出现偏慢的情况, 属于一种正常的现象, 因此需要保持持续推送的操作方式即可。

