解读

在国内工业界，“小型草稿模型”通常指参数量≤7B、可单机推理的投机解码（Speculative Decoding）草稿模型；“接受率”指主模型对草稿 token 的一次命中率（Acceptance Rate）。目标是把基线 25% 提到 75%，实现3 倍接受率，从而把端到端延迟再降 30% 以上。面试官想考察的是：能否把“小模型”当 Agent 的低延迟工具调用器来训，而不是简单蒸馏。

知识点

1. 投机解码公式：接受率 α = 𝔼[∑t min(1, P_main(x_t|x<t)/P_draft(x_t|x<t))]，与分布对齐度正相关。
2. 领域任务在国内多为金融合规、政务问答、电商客服，数据高度结构化、术语密集，小模型必须学会**“主模型语言习惯”**而非仅复现知识。
3. 3 倍提升的关键是**“对齐主模型分布 + 压缩领域高频模式”**，而不是盲目加数据。
4. 训练流程必须解决显存墙（≤A100-40G）与推理墙（≤10ms@batch=1），因此需用LoRA/QLoRA+动态采样。

答案

我曾在某省政务热线项目把 1.3B 草稿模型接受率从 26% 提到 78%，延迟下降 38%，核心五步如下：

1. 数据配方：主模型“自我对话”生成 50 万领域轨迹
   用主模型（13B）在真实用户日志上做 rejection sampling，只保留 reward≥0.95 的回复，再让主模型自问自答生成 5 轮补充对话，确保覆盖高频工具调用槽位（如“社保编号”“契税税率”）。
   关键：过滤掉主模型自己都不确定的低概率 token，减少后续对齐噪声。

2. 分布对齐训练：Seq-KD + R-DPO 混合目标
   第一步做Seq-KD（温度 2.0），让小模型逐 token 拟合主模型分布；第二步用R-DPO（Reference-DPO）把主模型当 ref，优化小模型在Top-2000 领域 n-gram 上的排序，loss 权重 1:1。
   关键：R-DPO 的 β 仅 0.05，防止过度偏离小模型容量。

3. 动态课程学习：Easy-to-Hard 采样
   把样本按主模型 entropy 分三档，训练前期 80% 低熵、后期 80% 高熵，学习率用 cosine 退火到 1e-5，避免小模型过早记忆高频模板。

4. 投机专用正则：Acceptance-Aware Dropout
   在最后一层 Transformer 引入**“接受率 dropout”：以 15% 概率把主模型概率低于 0.3 的 token 随机 mask，迫使小模型“学会拒绝”**低置信度位置，减少主模型否决。

5. 推理验证：Tree-Verify 窗口 4+1
   用4 步草稿 + 1 步验证的树形解码，GPU 端把 logits 计算合并为一次矩阵乘，CPU 端用cython 并行比较概率比，单次批验证延迟 < 8 ms；线上 A/B 测试 7 天，接受率稳定 78%，P99 延迟从 680 ms 降到 420 ms。

拓展思考

若面试官追问“再翻一倍到 6 倍怎么办”，可答：

1. 引入“领域词表剪枝”：把主模型 tokenizer 中 5% 的低频领域词合并，小模型词表缩小到 4 万，减少分布漂移。
2. 用“对抗投机”：训练一个 0.3B 的拒绝模型，提前把主模型必然拒绝的 token 位置 mask 掉，草稿步数提升到 6，接受率可再涨 8–10%。
3. 与 Agent 工具链联动：把工具调用签名（如 JSON Schema）作为先验提示拼在输入前，小模型在“工具名”位置接受率 > 95%，整体再提 5%。

这样既体现算法深度，也展示Agent 工程化落地思维，符合国内面试官对“全栈 Agent 工程师”的期待。