批量查询长尾关键词对应的域名收录情况, 核心操作路径可以拆分成这么几步: 先对关键词进行批量处理, 接着让搜索引擎去批量抓取相关信息, 然后从抓取的页面里提取出域名并进行去重整理, 最后输出一个对应的表格出来。整个过程完全不需要你一条一条地去手动搜索, 接下来我们就按照具体的操作步骤一一拆解说明。
准备关键词列表
你需要把长尾关键词导出为CSV或者Excel文件格式, 确保每一行存放一个词。然后执行清洗操作, 这一步里需要去除重复项、去掉首尾的空格, 并且把所有单词统一改成小写形式。在单批次的情况下, 建议将词的数量控制在五百到一千个之间, 这么做是为了避免触发工具的限流机制。
批量查询收录域名(三种方法)
方法A:搜索引擎Site命令批量抓取
为每一个特定的关键词去设计一个专用的查询组合, 这个组合的形式是让关键词本身加上双引号来进行精确匹配, 然后再减去那个自身的网站域名。
之后使用Python语言编写的计算机程序来执行操作, 该程序会用到请求库和代理服务器池这两个工具, 以此来大规模地、自动地向网络搜索引擎提交任务, 比如Bing引擎或者搜狗引擎, 目的是要得到这些引擎返回的结果页面的代码数据, 然后从这些HTML格式的网页源代码中把那些域名的信息给提取出来, 具体做法是找到所有的链接地址里面的主机名部分。
在每次发送网络请求的过程之间, 要设置一段三秒到八秒之间的随机时间作为等待间隔, 通过不停地更换IP地址的方式来解决和防止因频繁访问而遭到服务器封禁的问题。
方法B:SEO工具批量接口
5118/爱站/站长工具是支持用户把一批关键词都导入进去的, 然后它会直接把结果给你展示出来批量查询长尾关键词对应域名收录,告诉你这些词都出现在哪些域名的上面。
Ahrefs Keywords Explorer:批量导出关键词批量查询长尾关键词对应域名收录,筛选"包含该词的域名"
使用那个叫Semrush的东西里的有机研究功能之后, 在进行批量查询这一操作, 然后按照域名的维度去把导出的数据给弄出来。
其优势在于所得到的结果非常稳定, 并且还会附带域名权重的相关指标。然而它的劣势是存在使用次数或者费用方面的限制, 所以在需要进行大批量处理的情况下, 只能把它们分成多个批次来依次执行。
方法C:Common Crawl自建检索
利用Common Crawl提供的WARC索引工具来实现对目标关键词的全文匹配操作, 从而提取出包含这些特定词汇的相关域名信息。
这种方法特别适用于处理规模达到数万级别以上的词库内容, 通过执行一次性的批量处理流程就能够完成既定任务, 完全不需要针对每一个单独的词条去逐条发起请求向搜索引擎获取相关信息。
域名去重与排序
需要把所有方法输出来的那些域名放在一起进行合并, 然后去掉重复项, 接着按照用来收录该关键词的页面数量是从大到小这个顺序来进行排列, 同时在旁边标注出对应的域名权重即大家常说的DR或者是页面权重即大家常说的PA, 这样做的目的是为了能够优先把那些权重比较高的域名给保留下来。
输出结果表
最终的这个表里面的列呢, 它包含了这么一些东西。
关键词, 收录所在的域名, 被收录在内的具体页面的总数量, 该域名所拥有的权重值指标, 以及这些统计数据的具体出处来源。
把这个结果导出为Excel或者CSV格式的话, 您就可以拿去直接用于站群建设、外链布局还有竞品域名分析了。
注意事项与疑难解答
1. 搜索引擎对新发布的页面实行收录机制, 这个周期通常会存在一到四周的延迟情况, 因此那些刚刚发布出去的文章内容, 用户可能在搜索结果里暂时无法直接查找得到。
2. 超长尾词查无结果: 关键词的字符数量超过了二十个, 搜索引擎有可能并没有为这些关键词建立起单独的索引, 这种情况属于正常表现。
3. 国内外域名分开查询: 因为百度收录体系跟Google或者Bing是不一样的, 相同的关键词在这两个系统里面收录的域名差异挺多的, 需要分别进行执行。
4. 进行验证域名真实性这个工作, 我们会对提取出来的URL做抽样访问, 确认DNS是不是能够正常解析, 看页面能不能够正常被访问到, 以此方式来排除掉那些存在问题的域名, 比如被劫持的或者是失效掉的。
5. 合规提醒, 在使用搜索引擎或者第三方工具的时候, 必须遵守各个平台的服务条款, 并且要控制好请求的频率, 这样做是为了避免给目标站点造成负担。
