域名纠错系统(Domain Name Correction System)这个东西, 它是面对域名注册、解析以及访问这些场景的, 它是一个用于自动纠错的引擎, 其核心目标是, 当用户输入拼写有错误的、或者漏了字的、或者有过多字符的、或者是混淆字符的域名的时候, 该系统需要实时地识别出正确答案, 并且向用户推荐正确的域名, 以此来降低因为访问失败所导致的可能性, 同时也就减少了用户在心理上的流失率。
一、核心功能模块
1. 该输入识别层的操作, 主要是对输入域名字符串执行清洗。其目的是要提拿出协议、主机、路径这一部分的字段。同时, 还要把纯IP以及非域名的这些输入给过滤掉。
2. 在纠错算法这一层, 我们会基于编辑距离也就是Levenshtein距离、Damerau-Levenshtein距离、音近混淆表, 比如说i/l混淆、rn/m混淆这些情况, 还会匹配TLD后缀。通过上面的这些处理, 我们来生成候选的纠错列表。
3. 排序环节和置信度评分层, 会把候选得到的结果进行加权处理。这里的加权做法是结合了域名的热度情况。热度的表现包括注册量的大小和解析量的多少以及品牌权重的强弱。经过上述操作, 就会输出一个关于该结果的置信度评分, 同时也完成了对这些结果的排序工作。
4. 输出与交互层面, 会以您是否想访问 xxx.com? 这种形式,在那些因为DNS解析失败而出现的页面、搜索框, 以及注册平台等多个接触点的地方, 来展示纠错建议。
二、关键实施要点
这个数据源是需要接入权威的域名数据库的, 比如ICANN Zone File以及注册局的TLD列表, 同时也是需要平台的历史解析日志的, 目的是为了能够确保候选池能够覆盖有效的域名。
性能指标方面, 单次纠错的响应时间需要控制在50ms以内。同时, 系统要支持并发场景, 其中QPS要等于或大于5000。
采取灰度发布的这种策略办法是这样的, 新的算法上线之后, 是先针对百分之五的那个流量的用户去开放纠错提示这项功能, 然后要进行监控误纠率也就是英文单词false-positive rate所对应的那个指标, 确认它小于或者等于百分之二这个数值条件达成之后, 再去进行全量推送。
在多语言支持的方面, 针对中文的拼音域名, 还有日韩使用的罗马字域名这种情况的时候, 必须去扩展出一个用于体现读音相近从而导致混淆的矩阵结构出来。
三、典型应用场景
DNS解析失败时的自动纠错提示(如gname.xin等域名服务平台的404页面集成)
域名注册流程中"您是否想注册 xxx.com?"的推荐提示
搜索框输入联想与拼写修正
四、选型与落地参考
那些中小规模的网站平台, 它们可以直接去调用那个叫python-levenshtein的库, 或者调用用C++写的Szymanski算法, 然后把自家的域名热榜也搭配上去, 这样就可以快速地把最小可行的产品给构建出来;而那些大型的注册局, 还有那些云服务提供商呢, 我们建议大家还是自己去研发那个纠错引擎, 把多个信号融合在一起, 这些信号包括注册量的多少、是不是品牌词、还有历史的解析情况, 然后用排序的方式来优化, 并且要去建立一个A与B进行互相比较测试的这种体系, 用来持续地让纠错的准确率得到提升和迭代。
