域名收录监控平台搞私有化部署, 这个核心目标就是把那些原本在公有云 SaaS 里的能力, 搬到企业自有的服务器集群上去, 比如域名的收录状态监测、搜索引擎的收录量追踪, 还有那些异常波动的预警, 都得从原来的地方挪过来这么做, 就是为了实现数据完全待在企业内网里出不去, 监控策略可以由企业自己随意地定义, 响应链路也能够做到彻底的完全可控。
本平台能够支持对百度、搜狗、必应, 以及Google这些主流搜索引擎的域名收录情况进行实时监测。在标准场景下面进行部署的话, 整个周期需要耗费3到5个工作日的时间。
平台核心能力
收录状态监测的意思是, 针对那些被指定的域名或者网站, 要定时去抓取搜索引擎的收录接口数据, 要把这些核心指标全都记录下来, 这些核心指标就包括了收录的数量、首页收录的整体状态情况、还有快照更新的具体时间等等内容。
多引擎覆盖: 目前系统支持百度, 同时也支持搜狗, 还支持必应以及Google。此外, 用户还可以进一步扩展, 通过对接自定义搜索引擎API的方式, 来增加对其他搜索引擎的支持。
异常预警这个情况是, 收录的数量一下子掉得太多了, 超过了那个规定好的门槛, 系统里默认这个门槛是百分之二十, 这时候就会自己蹦出一个告警消息, 还能通过发邮件, 或者是用企业微信, 或者是用钉钉, 又或者是用Webhook这种渠道, 把这些消息通知发出去。
趋势看板: 提供日维度收录量趋势图, 提供周维度收录量趋势图, 提供月维度收录量趋势图, 支持多域名的横向对比。
站点健康诊断: 同步进行DNS解析的监测, 同步对HTTPS证书的有效期开展监测, 同步检查HTTP响应码, 并监测页面是否具备可访问性。
架构设计要点
这个平台在使用的时候, 是采用了一种叫做分层结构的微服务架构的方式, 当企业进行私有化部署操作时, 这里的各个组件部分, 全部都运行在企业内部网络的上面:
数据采集层: 使用定时任务调度器, 同时也需要用到搜索引擎爬虫引擎, 然后针对具体的域名粒度来进行分配抓取频率的操作。
这个数据处理层, 主要把数据收集进来,接着做清洗工作私有化部署域名收录监控平台, 再把重复的内容去掉, 最后放到数据库里保存, 这里支持使用MySQL数据库, 也 support 用PostgreSQL数据库, 同时, 它还内置了一些用来发现异常情况的算法, 这些算法主要是用到滑动窗口的方法, 并且结合了同比以及环比的方式来进行分析。
应用服务层这一块, 它是用了API网关, 还有监控、告警、报表这些业务服务的。它主要是基于Springs Boot或者是Go这一类技术栈来实现功能的。
展示层, 它是指的Web管理控制台, 这个系统支持多租户的情况, 也支持角色权限的管理。
交付的时候, 用的是部署形态这种方式, 具体来说是把东西放在Docker容器里面, 然后在不同的情况下, 能够支持单机运行的模式, 也能够支持双节点高可用的模式, 同时还能够支持在Kubernetes集群里面运行的模式。
部署实施步骤
1. 环境准备: 需要确认服务器的配置情况。推荐的起步配置是4核8G。生产环境的配置推荐设置为8核16G。要把端口80开放, 端口443也要开放, 还有端口8080同样需要开放。要安装Docker软件。Docker的版本必须是20.10或更高的版本。同时还需要安装Docker Compose。
2. 镜像加载就是去拿到这个平台官方弄出来的那种私有化镜像包, 然后呢, 再执行一个叫docker load的这个操作, 好把这个玩意儿给加载到本地的那个镜像仓库里面去。
3. 配置初始化: 需要对 deployment.yaml 文件进行编辑操作, 在其中填写好企业的领域名称, 把数据库连接的详细情况填进去, 加上搜索引擎的 API 密钥值, 还有告警信息要发送到的接收渠道相关的参数内容。
4. 服务启动: 执行docker compose up -d, 用来开始运行全部容器, 等待各个服务的健康检查通过, 这个过程大约需要2分钟。
5. 功能验证: 登录管理控制台, 添加目标域名, 触发首次收录抓取, 确认数据已经入到库里, 看板展示也是正常的。
6. 高可用部署(可选): 你可以去部署第二个节点, 把Nginx负载均衡给配置上, 还要做好健康检查, 这样就能够实现故障的自动切换了。
监控指标与告警策略
该告警功能允许您自定义设定相关的规则内容, 同时也可以对静默的时段以及具体的升级策略进行配置,具体来说就是如果在规定时间内即15分钟内没有出现确认操作私有化部署域名收录监控平台, 那么系统会将其自动升级并发送给上一级的联系人。
安全与运维要求
我们强制所有通信链路必须使用TLS 1.2及以上版本的加密技术, 并且管理控制台方面支持LDAP以及SSO单点登录功能。
所有的数据都存储在本地数据库里, 这个平台不向外面传输任何域名和收录数据。
系统每天自动进行备份操作, 这个备份操作包含数据库内容以及配置文件, 保留的时间周期默认设置为30天。
日志实行集中的统一采集工作, 并且, 它支持与企业里面现有的ELK或者Loki这样的日志平台进行对接连接。
标准的部署周期是3到5个工作日, 而高可用模式下的部署周期则是5到7个工作日。
