百度爬虫抓取的优先级, 它是由站点权重、内容更新频率还有技术配置这三个因素共同来决定的。你想要让百度优先、高频地抓取你的网站, 那么核心的事情并不是去“求”爬虫过来, 而是应该让技术层面做到对爬虫“友好”, 同时也要让你的内容质量变得“值得”被爬取。
下面的这5个步骤是按照执行的优先级来进行排列的, 如果你能够全部完成的话, 就可以显著缩短百度对你这个站点的抓取间隔。
第一步:注册并验证百度搜索资源平台
你需要打开百度搜索资源平台这个网址, 也就是ziyuan.baidu.com如何让百度优先抓取我的网站如何让百度优先抓取我的网站,然后在那里注册一个账号。
接着, 你要去选择那个叫做"添加站点"的选项, 然后通过DNS记录这种方式, 或者是TXT记录这种方式, 再或者是HTML文件这种方式, 这三种方式里面的任何一种方法, 都要把所有权验证这一步给完成掉。
只有当你的站点通过了这个验证之后, 你才可以去使用主动推送那些功能, 以及sitemap提交那种能够加速抓取的功能。如果你的站点没有进行验证, 那么百度爬虫在对待你的时候, 绝对不会给予任何优先处理的情况。
第二步:配置并提交sitemap.xml
我们需要在网站根目录的地方创建一个标准格式的sitemap.xml文件, 在这个文件里需要把所有重要的页面URL都列出来, 同时要注意每页的URL数量不能超过5万条, 这个文件格式必须得遵守Sitemaps协议的相关规范, 等到创建完成之后, 我们要去进入百度搜索资源平台中的普通收录栏目, 然后点击XML自动提交那个功能页面, 把创建好的sitemap地址填进去, 接下来百度就会定期进行抓取这个文件的操作, 并且还会根据抓取的情况来安排后续页面抓取的计划。
第三步:通过API主动推送新内容
用户需要前往百度搜索资源平台, 找到“普通收录”这一位置, 然后去申请那个API推送接口的事儿, 目的就是为了获取到那个用来认证的推送token。等到以后发布了新的内容, 或者是更新了原本就有的页面的时候, 就去调用这个事先申请好的API接口, 把那些网页的链接地址实时地推送给百度那边去看看。
这算是眼下能让百度用最快的速度来发现你新做出的页面的一种法子, 在推送动作完成以后的几个小时之内, 通常就可以被收进去了, 这个速度是远远快于那个被动等待着网络爬虫偶尔过来巡视一下的做法的。
第四步:优化robots.txt与页面抓取友好度
你要去检查你网站根目录底下的那一个叫做 robots.txt的东西, 一定要确保没有把那个叫Baiduspider的百度的爬虫给它误封了抓取路径的这个情况, 同时呢还要保证页面是使用标准的HTML5这种结构的, 要避免那些大量使用JS来渲染关键内容的那些事儿, 还有URL要可读并且层级不能超过三层的这个限制, 响应时间得控制在2秒以内的这样一个范围, 如果在技术层面出现了卡顿或者被封禁的这些现象, 就会让百度对你那个站点的抓取频率给降低下去。
第五步:保持高频、高质量的内容更新
因为百度爬虫对那种能够持续出产原创内容的站点会提高抓取的次数, 所以小编建议大家去每天或者是每隔一到两天更新至少一篇的原创作品, 千万要去避免大量出现那些低质量的东西, 或者是被采集来的东西,或者是重复出现的页面, 这整个内容的品质是能够直接会影响到这个站点在百度爬虫的那个队伍里面的权重重低级别的, 并且那个权重越是高的话, 那么抓取的那个停顿时间就会变得越短。
补充注意事项
在新站进行上线操作之前的第七天, 这一阶段属于百度去建立那种初始性的信任关系的关键时间窗口, 在这个时段里面, 用户必须去保持着每天更新内容以及去主动推送链接这样的动作。
请绝对不要动用那种非正规的灰色方法, 像是什么强制收录或者是通过付费来换取收录的情况都严禁触碰。毕竟一旦违规操作被查实, 是非常危险的后果, 这会让整个站点遭受权重降低的惩罚, 严重的甚至可能直接被搜索引擎移出索引导致完全看不见。
如果你提交了 sitemap, 或者是进行了推送, 但是在这个操作之后的超过 2 周的时间里, 仍然没有看到抓取的记录, 那么你就需要去检查你的站点了。首先要确认站点是否存在跳转异常的问题, 其次还要看看 SSL 证书是否失效, 另外也要排查一下 IP 是不是被限制了等等这些问题。
在完成上述的五步操作, 并且持续保持内容的更新频率这个环节之后, 大多数的网站都能在大概两到四周这么长的一个时间段里面看到百度进行抓取的频率出现了明显的提升情况, 同时收录的数量也会跟着产生同步的增长效果。
