垃圾域名这个事儿, 是网络安全还有SEO治理里面的一个特别基础的东西, 它的作用非常关键。

大家现在用得最普遍的核心方法总共有五种, 具体包括黑名单和白名单这样的管理机制, 以及专门给域名打分的信誉评分法, 还有通过DNS还有WHOIS信息来做的验证工作, 另外就是靠自动化规则的引擎在运转, 最后还有一种方法是使用机器学习模型来做判断。

关于这些东西的具体操作路径是什么以及它们分别适合在哪里用, 下面我们会一个一个地给大家进行解释和说明。

黑名单与白名单机制

这个办法适用于那种已经清楚知道哪些域名是恶意的场景。你需要维护一份经过验证的垃圾域名列表, 这个列表也就是黑名单。只要匹配到这些域名, 就直接把它们拦截掉。同时, 你要为那些核心业务的域名以及合作方的域名建立一个白名单。处于这个白名单里的域名, 可以跳过所有的过滤规则。

垃圾域名怎么过滤?从识别到拦截,5种实用方法一次讲清(图1)

关于这个黑名单的数据来源。它包括了各个安全厂商公开的威胁情报, 比如像VirusTotal、AbuseIPDB这些平台上的信息。它还包含了内部的 historische 拦截记录。此外, 它还来自行业安全社区共享出来的列表。更新频率的建议是要做到这个事, 不能低于每天一次。

域名信誉评分

通过聚合多源数据, 对每个域名打出0至100分的综合信誉分。这个评分过程, 其实是看几个维度。第一个维度是域名的注册时长。注册时间越短, 分数就越低, 意思新注册的域名得分少。第二个维度是历史违规记录。看看以前有没有干过坏事。第三个维度是是否曾被行业黑名单收录。

要是上了黑名单, 那就有问题了。第四个维度是注册主体信息完整度。看填的信息全不全。第五个维度是解析IP段的情况。要看是不是集中在一堆已知的机房里, 或者是代理池里面。只要低于设定阈值,比如40分, 那么这个域名就会自动进入人工复核队列, 等着人去查。

DNS与WHOIS信息验证

垃圾域名怎么过滤?从识别到拦截,5种实用方法一次讲清(图2)

对可疑域名执行三项校验。先查询WHOIS信息, 检查注册人是否为空、注册时间是否异常短, 也就是不足7天, 并且还要看注册商是不是已知的隐私代理。

大城新闻网

再解析DNS记录, 检查A记录是否指向已知垃圾IP段。同时还要看CNAME是否指向已封禁的跳转服务。最后检查SPF/DKIM记录是否缺失。因为缺失这些记录是垃圾域名的高频特征。

自动化规则引擎

把上面说的这种校验逻辑, 把它打包成一个能够进行灵活配置的规则引擎, 我们来举一个典型的规则例子, 首先是域名最后面的那个顶级部分, 如果是那种被判定为有高风险的免费后缀, 比如.tk、.ga、.cf啊这一类, 并且这个域名注册时间还没满30天的时候, 系统就会直接把它给拦截下来, 然后是同一个IP地址解析出来的不同域名数量, 如果超过了50个的话, 就要把这个标记成批量产生的垃圾域名, 最后是URL里面出现了多级子域名的伪装情况, 像news.mail.secure-domain.com这样的结构出现的时候, 就会触发更深层次的检测过程。

这些规则是严格按照优先级的顺序来排列的, 一旦判定命中了某种情况, 就会直接中止对后面其他校验程序的执行操作。

机器学习模型

垃圾域名怎么过滤?从识别到拦截,5种实用方法一次讲清(图3)

这个方案主要是在面对那种域名数量特别庞大, 同时依靠人工去维护的成本又特别高的时候适用的。用来训练的数据来源是那些已经被标注过的历史拦截记录。

里面的特征包含了域名的长度、数字和特殊字符所占的比例、跟已知品牌名在编辑距离上的情况、还有注册信息之间的相似度等等这些内容。当一个模型正式上线之后, 需要做到每周都用新的数据来进行增量训练的操作, 这样做的目的是为了保持它对于各种新型垃圾手法所具有的适应能力。

实施建议

这五种方法并不是互相排斥的, 大家可以组合起来使用。在基础层可以用黑名单去快速拦截那些已知的威胁, 在中间层用规则引擎来处理那批量的特征数据, 在最顶层用模型把未知的威胁给兜住。同时要建立一个能够对误报情况进行反馈的通道, 这样才能够保证正常的业务域名不会受到那种被误会而被伤害的情况发生。