你想让百度更快地把你们家的网站内容抓走, 最核心的做法就是要把主动推送这个动作、技术规范方面的合理设置, 还有那种更新频率高且质量过硬的内容这三个部分给结合起来, 光等着百度爬虫自己来偶然碰到你的网页, 这种做法根本不够用。

按照下面这6个步骤一步一步地去做, 能够让百度爬虫对你的网站更重视, 抓取得更快, 反应也变得更迅速。

广州域名网

开通百度搜索资源平台并配置API主动推送

你要先去百度资源平台登录进去, 那个网站的网址是ziyuan.baidu.com。等你把网站所有权的验证给弄完了以后, 就去找到普通收录这个模块, 然后去申请API接口权限。

接下来呢, 每当新页面生成的时候,或者旧页面更新的时候如何让百度优先抓取我的网站, 你就调用API接口。把这个URL直接实时推送到百度的抓取队列里面去, 不要再被动地等待爬虫去定期扫描了。这其实就是让百度优先去抓你的网站, 而不是等着最后才来抓, 这是最直接、也最有效的那个手段。

百度抓取太慢怎么办?掌握6个实操方法让网站优先被快速收录(图1)

以gname.xin这个例子来说, 它的新内容在上线之后, 平均用不到30分钟的时间, 就会被百度给抓取到, 并且进入到了索引之中, 而这件事之所以能够发生, 核心倚仗的机制就是那个API主动推送机制。

生成并提交Sitemap

要按照规范来生成一个XML格式的Sitemaps文件, 这个文件里面要包含网站里所有可以抓取的URL地址。还要设置一下lastmod标签, 用来标注最后修改的时间。然后要在百度搜索资源平台普通收录里面找Sitemap这个入口, 定期地把这个东西提交上去。

排查robots.txt与页面抓取权限

你要一条一条地去检查那个 robots.txt 文件,要确认一下如何让百度优先抓取我的网站, 你有没有把那些关键的目录或者是文件的类型, 不小心写进了Disallow这个规则里面去。

接着还要去验证一下服务器它是怎么对那个爬虫的 User-Agent 做出回应的, 要看看返回回来的 HTTP 状态码是不是就是那个代表着成功的 200, 千万别出现像 403 或者 404 这样的异常情况, 因为这些东西会把它抓取的过程给阻断掉了。

百度抓取太慢怎么办?掌握6个实操方法让网站优先被快速收录(图2)

然后的话, 如果在那个页面的 HTML 代码里面, 没有什么特别的需要去做的情况, 那就应该把这些 meta 标签里面的 noindex、nofollow 什么的给删掉, 这样才能确保说那个爬虫它能够正常地去解析里面的内容。

维持高频且高质量的内容更新节奏

在百度爬虫进行抓取活动的时候, 它会对那些更新情况非常稳定、并且内容属于真正原创的网站给予更高的抓取权重, 同时也能够保证更短的抓取间隔时间。对于大家而言, 建议大家可以固定一个节奏, 无论是每天都发布还是每周都发布原创内容, 都需要把重点放在提升单篇内容的质量上面, 而不需要去刻意堆砌数量。

如果在网站里面存在大量低质量的内容、采集来的内容或者重复的页面, 这些情况会把整个网站的质量评分给拉低, 反过来就会导致百度减少对那个网站的抓取频率。

优化URL结构与站内链接体系

URL要尽量写得短一些, 意思得说清楚些, 要避开那些层数太深的嵌套关系, 还要去掉没用的参数。

百度抓取太慢怎么办?掌握6个实操方法让网站优先被快速收录(图3)

在网站内部的不同页面之间, 得通过合适的方式做内链链接, 好让结构变成一张网, 必须保证不管是从哪一个二级页面开始, 只要点三次或者不到三次就能回到首页去, 这样能够帮助爬虫更省力地工作, 同时还能完整地走遍网站上所有的页面。

获取高质量外部链接

被那些行业里面最有权威性的媒体去自然引用, 还有被那些权重很高, 并且属于合作伙伴关系的网站去加入链接, 这是百度在判断某一个内容到底有没有价值, 以及是不是可信的时候, 所会参考到的一个很重要的外部信号。

如果持续地积累高质量的这样的连接, 就可以把网站总体的权重给提上去, 然后呢, 这样做的结果就是可以缩短百度那边第一次来进行抓取时所需要花费的时间长度, 并且能够加快把这个内容收录进去的速度。

把上述的这六个步骤组合在一起进行执行, 通常在两到四周的时间之内能够明显地缩短在百度这里初次抓取时候的响应时间, 从而使网站稳定地进入到日常高频抓取的队列里面去。