运维实战 蓝速互联香港cn2故障时的快速恢复流程

1. 故障背景与影响评估

1) 故障来源：蓝速互联香港 CN2 网络出现 BGP 异常或上游链路抖动，导致丢包/不可达。
2) 影响范围：仅香港 CN2 出口受影响或同时影响多线访问（HTTP、SSH、数据库复制）。
3) 影响指标：监控显示对外丢包率 80%-95%，平均 RTT 从 40ms 上升到 600-800ms。
4) 服务影响：网站 502/504 增多，API 超时、数据库复制延迟或中断。
5) 紧急等级判定：将故障评级为 P1（影响用户面广且持续），触发 15 分钟内响应 SLA。
6) 责任链：列出值班工程师、网络工程师、供应商联系人和应急联系人电话/邮箱。

2. 快速检测与确认

1) 本地检测：使用 ping、traceroute/mtr 对目标 IP 及域名进行初步判断（示例：ping 203.0.113.10 丢包 90%）。
2) 多点确认：用第三方监控（Prometheus + blackbox exporter、MTR 集群）从多个 ASN/地区验证故障一致性。
3) 报文与端口测试：tcping 80/443/3306 验证服务端口是否可达。示例输出：tcping 203.0.113.10:443 timeout。
4) 日志核对：查看 nginx/access、syslog、数据库主从延迟（例如 SHOW SLAVE STATUS 显示 Seconds_Behind_Master = NULL）。
5) 上游通知：联系蓝速互联 NOC，获取 BGP 通告状态与故障复盘时间表；记录 ticket 编号与预计恢复窗口。
6) 决策点：依据影响和预计恢复时间决定是等待恢复、临时切换 CDN 或启动灾备。

3. 临时缓解与流量切换（T+0 响应）

1) CDN 启动：将域名切换为 CDN（例如 Cloudflare/阿里云 CDN）代理，开启 HTTPS 与页面缓存，立即吸收大量静态流量。DNS TTL 建议提前设为 60s。
2) 公有云备援：启动预置的备用实例（例如 AWS GIA / 香港可用区或新加坡节点）并将应用部署至热备主机。
3) DNS 应急切换：通过 API 修改 A 记录到备用 IP，示例：将 web.example.com 从 203.0.113.10 改为 198.51.100.20，TTL=60。
4) 负载限制：在边缘启用 rate-limit 与连接限制，防止故障期间流量激增造成后端雪崩。
5) 黑洞策略：若确认是大规模 DDoS，向上游申请黑洞或使用清洗服务，临时牺牲被攻击 IP 的访问以保护整体服务。

4. 主机与服务层面恢复步骤（含配置示例）

1) 数据同步：若切换到备用主机，使用 rsync 或 MySQL 主从切换，示例 rsync 命令：rsync -avz --delete /var/www/ backup:/var/www/。
2) 数据库切换：升级备用为主库：STOP SLAVE; RESET SLAVE; on standby then configure as master。
3) 应用配置：确保备用主机的配置文件（nginx.conf、/etc/hosts、证书）与主集群一致，使用 Ansible 自动化拉取最新配置。
4) 健康检查：对备用节点进行完整健康检查（HTTP 200、响应时间 <200ms，慢查询为 0），再回写监控状态。
5) 回流策略：主链路恢复后，逐步将流量回流到原主节点，采用流量切分 20%/80% 逐步切换，观察 30 分钟无异常再全部回切。

节点	CPU	内存	磁盘	带宽	IP/ASN
主节点（香港 CN2）	8 vCPU	16 GB	200 GB NVMe	1 Gbps	203.0.113.10 / AS45102
备节点（新加坡）	4 vCPU	8 GB	100 GB SSD	500 Mbps	198.51.100.20 / AS45103

5. 网络与 BGP 层面恢复

1) 上游联络：与蓝速互联 NOC 确认 BGP 会话状态（BGP RIB、Prefixes 被过滤情况）。
2) 路由调试：收集 traceroute、BGP table（bgp summary）、show ip bgp 等信息并与上游共享。示例：丢包发生在对端 AS 路径中间节点。
3) 临时社区标签：请求上游对受影响前缀设置 BGP community（no-export 或 local-preference）进行流量引导或屏蔽。
4) 重新宣告：若使用自有 ASN，可暂时 withdraw 受影响前缀并在其他 POP 上 re-announce。
5) 验证路由：使用 RIPE Atlas 或 Looking Glass 验证全球路由是否已变更并测试可达性。

6. 恢复后检查、复盘与长期防护

1) 监控回归：确认所有 Prometheus 告警恢复为 OK，SLA 报表内记录恢复时间与影响范围。
2) 复盘报告：记录故障时间线、根因、采取措施、可改进项与责任人，形成 RCA 文档并在 48 小时内发布。
3) 优化建议：将 DNS TTL 预设为 60-300 秒，准备热备云主机、跨机房复制与自动化切换 playbook。
4) DDoS 防御：部署 CDN + 专业清洗（按需开通按包清洗），在防火墙层面增加 SYN/UDP 限制与异常流量告警。示例 iptables 规则：iptables -A INPUT -p tcp --syn -m limit --limit 25/min -j ACCEPT。
5) 演练与 SLA：定期演练故障切换流程（每季度一次）并与供应商签订明确的故障响应 SLA。

7. 真实案例回顾（简要）

1) 案例时间：某年某月，香港 CN2 出口因上游设备故障导致 22 分钟大规模丢包。
2) 指标表现：用户端监测显示 95% 丢包、平均 RTT 从 45ms 升至 780ms，API 错误率从 0.2% 升至 18%。
3) 处置流程：15 分钟内切换 CDN、启动新加坡预备节点并通过 DNS API 将流量切换，整体影响控制在 30 分钟内恢复主要业务。
4) 成本与代价：临时使用公有云实例与清洗服务，额外成本约 1200 美元当次；但避免了长时间业务中断造成的更大损失。
5) 教训与改进：增加多线 BGP、缩短 DNS TTL、完善自动化切换 playbook 并与蓝速互联建立快速联络通道。

来源：运维实战 蓝速互联香港cn2故障时的快速恢复流程