所谓百度重复收录, 其实就是指相同的内容, 由于拥有多个不同的地址链接, 被搜索引擎同时收录到了库里面, 这种状况会导致在搜索结果里面出现大量重复的页面内容, 并且会分摊网页的重要性权重, 进而使得整体用户体验变差。

要想解决这个核心问题, 主要路径是先定位那些重复的地址链接, 接着设置一个统一规范的规范地址, 然后提交 sitemap 站点地图, 再申请删除旧的链接, 最后建立起一个可以长期防止再次出现重复问题的机制, 下面的内容就是完整的操作方案。

判断网站是否存在百度重复收录

1. 你要去登录一下百度搜索资源平台, 也就是ziyuan.baidu.com这个网址。然后呢你就使用那个叫做“URL检测”的工具。接着你把那些你觉得是重复的URL都输入进去。最后你看一看它们是不是全部都显示成“已收录”的那个状态。

2. 在百度搜索框里面输入“site:你的域名”, 然后去翻页查看一下, 看是不是有大量的内容相同但是网址不相同的结果。

3. 你需要去核查那些经常会出现重复情况的来源, 比方说带有参数的网址, 像是后面带着?spm=xxx 或者?

from=share 这种地址, 还有网址的前面部分是用 www 开头和不带 www 的时候算作两个不同的版本这两种情况, 同时也包括把 /index.html 和 /首页 当作同一个页面来处理的情形, 再一个就是网页的链接有的用 HTTP 协议, 有的用 HTTPS 协议, 这两种协议都被收录进来了的情况。

去除重复收录的5个操作步骤

步骤1:确定唯一规范URL

百度重复收录怎么去除?判断、清理、防复发完整操作指南(图1)

请为那些包含重复情况的信息组别, 各自确立出一个被认定为规范的标准网址。在具体执行的过程中, 需要遵循既定的规则进行操作。首要的原则是倾向于选取那种既不附带多余参数、又在结尾处没有添加斜杠符号的链接格式。

同时, 这种链接还应当是采用安全加密传输方式进行访问的地址。至于域名部分是否需要加入www前缀, 则要看整体网站的统一标准是什么样子。

邢台市重点项目建设促进中心

步骤2:部署Canonical标签

在每一个重复出现的页面的头部标识区域里面, 统一地写入以下内容, 并使用标签进行标记。


凡是所有那些被指向到同一内容里面的各个网址, 都必须进行规范化处理, 最终将它们合并到一起对应到一个唯一的常规地址。

步骤3:配置robots.txt与301重定向

在 robots.txt 里, 针对那种不需要被收录的参数路径要进行屏蔽处理, 打个比方就是写成类似于 Disallow: /*?spm= 这样的内容。

百度重复收录怎么去除?判断、清理、防复发完整操作指南(图2)

对于那一些已经产生了独立收录情况的非规范URL, 需要在服务器层级或者是CDN层级去设置301重定向, 把这个重定向的指向目标设置为规范的URL地址。

对于那些没有办法直接给屏蔽掉的页面, 我们是通过服务器那边的逻辑去实现自动的301跳转这种操作的, 而不是说去依赖前端的重定向这个方式。

步骤4:提交Sitemap并申请删除

生成仅包含规范URL的XML Sitemap,提交至百度搜索资源平台"普通收录"中的Sitemap提交入口;

在平台里面的死链提交这个功能里面, 你可以批量提交了那些已经失效了的链接, 或者是那些不应该被收录的重复的网址, 目的是为了可以加速让搜索引擎把这些东西从索引里面给移除掉。

步骤5:验证收录状态

在提交完毕并且过了7到14天之后, 你要再次去通过URL检测这个工具, 一个个地来回查一查, 看看哪些重复的URL是不是已经从百度索引里头彻底消失了, 同时再看看那些规范的URL, 它们是不是还保持着一个正常收录的状态。

要是发现有那种没有被清除出去的URL, 你可以再等等, 隔上一周之后, 然后再次把它们给提交上去。

防止再次产生重复收录

百度重复收录怎么去除?判断、清理、防复发完整操作指南(图3)

全站内部链接统一指向规范地址, 以避免生成带有随机参数的链接。

在部署了HTTPS之后, 需要将所有HTTP请求进行301重定向, 也就是把全部HTTP的请求转向到HTTPS, 从而防止出现双协议重复的情况。

对于页面的动态参数进行分页和筛选时, 可以选用rel="next/prev"属性或者结构化数据标注的方式来进行操作, 以此来防止参数的各种变体被搜索引擎当成独立的网页而收录。

要定期, 每月都要, 在百度搜索资源平台的“收录概览”板块里监控那些异常的URL波动情况。

注意事项

在进行批量301重定向设置之前, 需要先用工具(如curl -I)去验证跳转链路的情况, 以此来避免产生重定向循环的问题。

关于Canonical这个标签, 它只能够作为一个建议的信号来被使用, 而百度方面在最终做出决定的时候, 还是会以自己实际抓取到的情况以及重定向的设置作为主要的依据和标准, 把这两者结合起来一起使用的话, 往往能够达到比较好的效果。

要是网站这一方面用了好几套那种CDN的东西, 或者是用了不少的那个加速节点之类的东西的话呢, 就一定要保证说那些个所有的节点上面, 都好好地给部署上了相同的那种重定向的规则, 还有那种叫做canonical的规则, 总之就是要把这两个东西都搞好。

在操作的过程中你不要去同时对大规模的范围修改 robots.txt 里面的那个 Disallow 规则这个事项, 建议你先去做分批的这个处理方式, 先去看一眼搜索引擎给出的那个反馈信息, 然后呢再去看能不能扩大一下处理的这个范围。