解读

在国内大模型线上推理服务中，投机解码（Speculative Decoding）被广泛用于降低首字延迟与端到端时延，其核心是用小模型并行生成候选路径，再由大模型一次性验证。然而，一旦候选接受率低于80%（即失败率>20%），不仅省不掉计算，反而额外引入小模型开销与两次串行通信，导致P99 延迟倒挂、GPU 利用率下降、用户体验劣化。面试官问“如何自动降级”，实质考察三点：

1. 能否在线、无人工干预地识别“失败率>20%”这一信号；
2. 能否零损切换回自回归，即不丢 token、不重算、不断流；
3. 能否快速回弹，当数据分布漂移恢复后，再自动切回投机模式，实现“收益-成本”动态最优。

因此，答案必须给出可工程落地的闭环控制链路，而非简单 if-else。

知识点

1. 投机解码失败率定义：连续 N 个请求中，被大模型拒绝的 token 数 / 总候选 token 数。
2. 降级触发条件：滑动时间窗（如 30 s）或滑动请求窗（如 1k 请求）内失败率>20%；需双阈值防抖（瞬时>25% 且持续>5 s），避免毛刺。
3. 零损切换关键：
   • KVCache 复用：投机路径被拒绝时，已计算的 key-value 不能丢，需回退到上一次接受位置继续自回归。
   • 位点对齐：在请求上下文中记录 last_accepted_idx，降级瞬间从该 idx+1 开始自回归，保证 token 级一致。
4. 自动回弹机制：降级后进入 30 s 冷却，冷却期内若失败率<10% 且小模型 logits 分布熵<阈值，则渐进式回切：先 10% 流量投机，逐步放大到 100%。
5. 观测与告警：暴露prometheus 指标 speculative_fail_ratio、降级次数、回弹耗时；失败率持续>30% 直接告警，提示小模型蒸馏或数据分布异常。

答案

线上系统采用双模式可回退推理引擎，具体步骤如下：

1. 实时统计：在推理网关（Inference Gateway）层，对每个模型实例维护一个循环数组窗口，记录最近 1024 个请求的候选 token 数与拒绝 token 数，每秒计算一次失败率。
2. 降级决策：当窗口失败率>20% 且持续>5 s，网关向实例下发降级指令（gRPC 带 last_accepted_idx 字段）。
3. 零损切换：实例收到指令后，立即冻结小模型，从last_accepted_idx+1 开始自回归；已缓存在 GPU 的 KVCache 直接复用，无需重算前缀。
4. 流量标记：降级后，网关把该实例标记为AR_ONLY，新请求不再走投机路径；同时启动30 s 冷却计时器。
5. 自动回弹：冷却期内，网关每 5 s 用影子流量（复制 5% 真实请求）探测实例，若影子请求失败率<10% 且小模型输出分布熵<1.2 nat，则逐步放大投机比例（10%→50%→100%），完成回弹。
6. 兜底与告警：若降级后延迟仍高于P99 阈值 800 ms，直接触发弹性扩容；失败率>30% 持续 1 min，自动回滚小模型版本并钉钉告警给值班工程师。

通过以上闭环，可在200 ms 内完成降级，零 token 回滚，并具备自动回弹能力，保证线上 SLA。

拓展思考

1. 小模型自适应：失败率升高往往是数据分布漂移导致，可引入在线强化学习，用小模型实时对齐大模型输出，降低分布差异，减少降级次数。
2. 多级投机：在中文代码混合场景，可构建三级投机（字符级、子词级、句子级），任一级失败率>20% 仅降级该级，而非整体回退，进一步挖掘加速空间。
3. 端边云协同：在车机边缘盒子算力受限场景，可把投机解码失败率作为边缘-云卸载信号，失败率高时直接上传云端自回归，避免本地反复试错，节省车端电量。