CDN边缘节点分布在各地机房，任何单点进程崩溃、系统资源耗尽或网络闪断都可能让该节点无法响应请求。节点自愈是指系统在感知异常后，不依赖人工登录操作，而是自动执行重启服务、重建容器或切换备用进程的恢复动作。这套机制的核心由两部分组成：持续的健康检查探针，以及基于检查结果的重启或调度策略。只有两者配合得当，才能既快速恢复服务，又避免误判带来的抖动。
健康检查的常见实现方式与探测逻辑
健康检查一般分为本地探测和远程探测两类。本地探测由节点上的agent定时执行，例如用脚本检测业务进程是否存活、监听端口是否可连接、磁盘剩余空间是否低于阈值。远程探测则由中心调度平台或相邻节点发起，通过HTTP请求特定健康检查路径，根据返回状态码与延迟判断节点状态。两种探测互补，本地探测速度快、能发现进程级故障，远程探测可感知网络隔离等本地无法察觉的问题。
在具体配置时，探测频率与失败阈值需要权衡。探测过频会增加系统开销，过疏则延长故障发现时间。通常边缘节点本地探测间隔设为5到10秒，连续失败3次判定为异常；远程探测间隔可设为15到30秒，避免中心平台压力过大。下面是一段简单的本地健康检查脚本示例，用于检测Nginx进程与端口：
#!/bin/bash
# 检查nginx进程是否存在
if ! pgrep -x "nginx" > /dev/null; then
echo "nginx进程不存在，标记异常"
exit 1
fi
# 检查80端口是否可连接
if ! (echo > /dev/tcp/127.0.0.1/80) > /dev/null 2>&1; then
echo "80端口无响应，标记异常"
exit 1
fi
echo "健康检查正常"
exit 0
该脚本可作为定时任务每分钟执行，并将退出码上报给守护进程。若退出码非0，则触发后续重启逻辑。需要注意的是，健康检查路径本身应轻量，避免依赖完整业务回源，否则可能因后端故障造成节点被误判宕机。
自动重启策略与防抖动设计
当健康检查判定节点异常后，系统需决定如何恢复。最基础的方式是进程级重启，例如通过systemd的restart指令或supervisor重新拉起服务。若节点以容器方式部署，则可调用容器引擎重建实例。重启策略必须设置上限，例如十分钟内最多重启三次，超过则升级告警给人工，防止配置错误导致的无限重启循环耗尽资源。
防抖动另一关键是区分瞬时故障与持久故障。网络闪断往往数秒内恢复，若立刻重启反而加剧不稳定。可引入静默期概念：首次异常后等待30秒再次探测，若恢复则取消重启；若仍异常才执行重启。以下为基于systemd的单元配置片段，展示了重启次数与间隔限制：
[Service] ExecStart=/usr/sbin/nginx Restart=on-failure RestartSec=10 StartLimitInterval=600 StartLimitBurst=3 # 10分钟内失败3次后不再自动重启，转为failed状态
对于大规模CDN集群，中心控制器还可结合多节点报告交叉验证。若仅单个探测点报某节点异常，而其他邻近节点与其通信正常，可暂不打挂该节点，而是降低其权重观察。这种机制能显著减少因调度平台自身网络问题引发的误自愈。
状态上报与自愈闭环的可观测性
自愈不是黑盒操作，每次异常触发、重启动作与最终结果都应上报到监控系统。常见的做法是节点agent将事件写入本地日志，并推送至消息队列，由统一平台聚合展示。运维可通过仪表盘看到某节点在过去一小时的抖动次数、重启耗时与恢复成功率，从而判断该节点硬件或基础环境是否需线下更换。
此外，健康检查结果除用于自愈，也可反馈给调度层。例如节点自愈失败超过阈值，调度系统应将其从可用节点池摘除，将流量切到同区域其他节点，避免用户持续命中故障点。下面是一段上报状态的伪代码，展示事件结构：
import json
import time
def report_event(node_id, event_type, detail):
# event_type: health_fail, restart_start, restart_ok, restart_fail
payload = {
"node_id": node_id,
"event": event_type,
"detail": detail,
"ts": int(time.time())
}
# 推送到中心消息总线
message_bus.publish("cdn_node_events", json.dumps(payload))
report_event("edge-01", "restart_ok", "nginx restarted in 8s")
完整的自愈闭环应包含探测、决策、执行、上报、调度联动五个环节。只有把每个环节的状态透明化，才能在节点规模膨胀后依然保持运维可控。实践中建议定期演练节点杀进程场景，验证自愈链路实际耗时与准确性，而非仅依赖理论配置。