当服务宕机时,如何自动降级到规则客服并保证 SLA?

解读

面试官想验证三件事:

  1. 你是否把大模型服务当成关键在线系统而非“实验室 Demo”;
  2. 你是否具备端到端高可用设计经验,能在秒级完成故障感知、流量切换、SLA 兜底;
  3. 你是否熟悉国内监管对生成式 AI 服务连续性的隐性要求(如工信部 24h 内书面报告、必须保留日志 6 个月)。
    回答时要围绕“检测-决策-切换-恢复-复盘”闭环展开,并给出可量化的 SLA 指标(如 99.9% 月度可用性、降级后首响 ≤2 s)。

知识点

  1. 四层七层联动健康探针:TCP 层端口探活 + HTTP 层 /health 返回 {"status":"ready","model":"xxx","version":"v2.1"},避免“端口通但模型卡死”的误报。
  2. 双通道架构:主通道走 GPU 大模型,备用通道走规则引擎+知识库,规则引擎用 DSL 描述,支持热更新,无需重启容器。
  3. 熔断阈值:连续 3 次 5xx 或 P99 延迟 >1.5 s 即触发降级;恢复阈值为连续 5 次成功率 ≥99% 且 P99 <800 ms,防止抖动。
  4. SLA 计算口径:国内客户普遍按“月度不可用分钟数/月度总分钟数”衡量,不可用定义为“用户请求返回非 2xx 或响应 >5 s”。
  5. 数据面零丢失:降级瞬间把用户 query 写入Kafka 持久化队列,待大模型恢复后异步补偿,保证对话上下文不丢。
  6. 合规日志:降级事件必须写入国密 SM4 加密日志,字段包括 req_id、降级原因、规则命中 ID、用户手机号哈希、时间戳,保留 180 天备查。
  7. 灰度回切:先用 5% 流量验证大模型恢复后的幻觉率、安全率,达标后再全量,防止二次故障。

答案

“我会把系统做成‘双活+熔断+补偿’的三段式架构:

  1. 检测层:在 Ingress Gateway 侧部署Prometheus+Blackbox 探针,每 200 ms 发起一次带真实 prompt 的探测,一旦成功率 <95% 或响应 >1.5 s,立即上报Alertmanager;同时 GPU 节点通过DCGM 暴露显存占用、ECC 错误,显存溢出也视为宕机。
  2. 决策层:Alertmanager 推送事件给Kubernetes 自定义 Controller,Controller 在 1 s 内 patch 同 namespace 的VirtualService,把流量权重从 model-service:100 切到 rule-service:100;同时把Apollo 配置中心的 model.enabled 标志位置为 false,让客户端 SDK 直接跳过模型调用,减少 RT。
  3. 降级通道:规则客服采用阿里达摩院开源的 QABot 框架,知识库放在MongoDB 分片集群,热点问题缓存在Redis Cluster 并设置 300 ms 过期,保证首响 ≤2 s;对长尾问题返回“人工客服稍后回电”兜底卡片,避免答非所问。
  4. SLA 兜底:月度可用性按自然月计算,若因大模型宕机导致不可用时间 >43.8 min(99.9% 以下),每多 1 min 向客户赔付月度账单的 1‰,并在阿里云云市场公示故障报告。
  5. 恢复与复盘:故障结束后,通过Argo Rollout 做金丝雀发布,先用 5% 流量验证 30 min,确认安全审计模型无新增阻断词、业务指标(解决率、满意度)与基线差异 <2% 后全量;复盘会 24 h 内输出5W1H 报告,含“根因、触发条件、修复方案、后续监控项”,并录入JIRA 跟踪。”

拓展思考

  1. 如果规则客服也依赖的MongoDB 主库同时宕机,如何再降级到离线静态 FAQ 页面?
    答:在 CDN 边缘节点预置每日凌晨打包的静态 JSON,Nginx 层检测到 5xx 直接 try_files /static/faq.json,返回 200 并带 Cache-Control: max-age=300,保证用户至少能看到最新版 FAQ。
  2. 大模型恢复后,如何防止上下文断裂导致用户体验跳变?
    答:降级期间把用户对话按session_id 写入Redis Stream,恢复后由恢复 Worker 按顺序把历史 prompt 重新喂给模型,生成增量摘要再返回,用户侧无感知。
  3. 国内运营商5G 消息网关对时延要求 ≤1 s,如何进一步压缩降级路径?
    答:在省公司 DMZ 机房部署边缘规则引擎(基于 Go 编写,内存 <100 MB),通过gRPC 单向流接收中心配置,降级时本机房直接处理,无需回源,RT 控制在 600 ms 以内,满足5G 消息白皮书要求。