一、百度蜘蛛抓取日志在哪里看
百度蜘蛛, 也就是baiduspider这一称呼所对应的那个部分, 它是百度搜索引擎里面用来进行爬虫作业的一个程序模块, 它的主要任务就是去抓取网页上的那些内容文本之类的东西, 想要去把它的抓取行为这个方面的东西好好分析清楚的话, 那么有两个核心的数据来源点是需要关注的。
服务器访问日志, 这个内容, 是位于 www/logs/access_log 这个位置的, 或者是位于 Nginx/Apache 日志文件里面的, 用户只需要去进行筛选, 筛选的那些记录, 其 UA 是要为 Baiduspider 的, 这样就已经可以完成了。
百度统计/百度资源平台, 用户可以去登录那个百度搜索资源平台的网址, 也就是在链接指向的地址那里进行登录, 然后找到“抓取统计”这个栏目, 在里面就能直接查看到每天抓取量的汇总数据、抓取深度的相关数据以及抓取成功率的详细情况。
二、抓取日志核心指标解读
在一条像样子的普通蜘蛛记录日志里面, 它是包括了这些具体的字段的, 而且我们要把我们的注意力集中到以下几个方面上去:
关键判断逻辑:
每天抓取的数量持续保持为零, 这意味着您的网站要么已经被搜索引擎降低了权重, 要么您提交的网址根本就没有被收录进去。
如果404错误比例大于30%, 这说明网站里面存在大量的死链, 这会使得搜索引擎蜘蛛大量地消耗抓取资源, 却得不到有效的页面内容。
抓取仅仅还停留在首页这个地方, 接下来就会导致内页的权重表现不足, 或者是因为内链结构发生断裂。
三、常见抓取异常及处理
1. 蜘蛛完全消失: 要检查一下 robots.txt 这个文件, 看看是不是因为填写错误, 把 Baiduspider 给屏蔽掉了;还要确认一下, 网站的安全方面有没有出现问题, 比如有没有被安全工具封禁, 具体可以查看百度搜索资源平台里面有关站点安全的设置;最后对服务器的 IP 地址进行核对, 看一下这个 IP 地址有没有被 Baidu 加入黑名单里面。
2. 抓取频率骤降: 这种情况通常是会伴随着存在大量的 5xx 错误码。去排查一下服务器的稳定性, 还有响应的时间, 这里建议要小于 2 秒。并且还要确保网站的 sitemap 文件是可以正常被访问到的。
3. 抓取的内容没有发生更新: 请务必确认页面里的meta标签中, 那个last-modified字段的内容, 和你对Sitemap进行的提交时间这两者之间, 是否保持了一致的同步状态, 这样做是为了防止搜索引擎的蜘蛛程序, 判断出该网页的内容并没有任何变化, 从而导致了访问频率降低的情况出现。
四、提升抓取频率的实操方法
1. 我们得采取主动推送的方式, 具体的操作办法是利用百度搜索资源平台里面的API实时推送这个接口, 然后把新的URL或者更新的URL马上提交上去, 这样做就能触发蜘蛛来优先进行抓取了。
2. 我们要规范 Sitemap, 具体的操作方法是提交 sitemap.xml, 这里要记住的原则是每 50000 条 URL 做一个单独的文件, 在这个文件内部, 要按照更新时间来进行排序。在文件的头部位置, 一定要放上最新的内容。
3. 优化内链结构这一步要做的是, 要让每一个页面都可以通过不超过两次的点击, 顺着内链到达那里。并且要防止那些比较深层的页面, 只剩下唯一的一条入口通道供人访问。
4. 要保持内容更新的节奏, 你需要每天稳定地发布3到5篇原创的内容, 并且还要配合使用的时间戳来刷新页面的meta信息。
5. 减少无效请求: 通过 301 重定向操作, 合并重复的网址。当遇到没有价值的网页路径时, 系统会返回 410 状态码。这样可以降低搜索引擎蜘蛛消耗在无效内容上的资源, 同时提升有效爬取内容的占比。
五、分析节奏建议
日常做法是, 每周都要查看百度搜索资源平台抓取统计方面的情况, 以此确认日抓取量的波动是在正常区间之中的这一事实。
异常时: 调取近 7 天的服务器日志, 按照 URL 聚合 404/5xx 的数量, 定位问题页面并进行修复。
月度: 我们要把月初到月末抓取的总量跟收录的增量作一个对比, 以此来评估优化动作产生了什么效果, 然后决定下个月的推送计划和内容策略要怎么进行调整。
那些办法, 大家都可以去百度搜索资源平台的官方文档里头验证一下。在进行操作之前, 强烈建议大家先把现在的 robots.txt 还有 sitemap 的配置备份好。这样万一出现误操作的话, 就不会对正常的抓取工作造成影响了。

