如何评估蒸馏后在下游任务上的保留率?

解读

“保留率”在国内工业界通常指教师模型在下游任务上的指标与学生模型在相同任务上的指标之比,用百分数表示。面试官问这道题,核心想验证三件事:

  1. 你是否能把模型压缩与业务指标对齐,而不是只看 perplexity;
  2. 是否熟悉中文场景下高价值任务(NER、情感、问答、Code、工具调用)的评测方案;
  3. 是否具备LLMOps 闭环思维,能把保留率监控做进线上系统。

因此,回答必须给出可落地的中文评测框架,并说明如何持续追踪。

知识点

  1. 保留率公式:Retention = (Student_metric ÷ Teacher_metric) × 100%,metric 选业务最关注的那个,而不是训练 loss。
  2. 中文主流通用基准:CLUE、C-Eval、CMMLU、SuperCLUE;领域任务自建黄金测试集,必须经过人工二次校验防止数据泄露。
  3. 显著性检验:对同一任务≥3 组随机种子,配对 bootstrap 1000 次,保留率提升若 <1.5% 视为波动。
  4. 消融维度:除了 overall,还需看长尾分布、鲁棒性、幻觉、安全拒识率;任何一项跌破阈值即视为蒸馏失败。
  5. LLMOps 埋点:把保留率写进模型卡片,线上通过影子流量实时回写 Teacher 与 Student 预测结果,小时级触发告警。

答案

我采用“三步六指标”法把保留率压到生产环境:

第一步,任务对齐。与产品团队锁定 3 类核心场景:

  • 客服对话:采用F1与问题解决率;
  • 搜索问答:采用BLEU-4 + 命中率@1;
  • 代码生成:采用CodeBLEU + 单测通过率。

第二步,离线评估。

  1. 用CLUEWSC2020、C-Eval 硬核子集、自建领域 5k 黄金集同时测教师与学生;
  2. 每任务跑 5 个随机种子,保留率 <96% 即打回重调;
  3. 对生成式任务加幻觉检测器(基于中文依存+知识图谱),幻觉增量 >1% 也算不达标。

第三步,线上闭环。

  • 上线前做7 天影子实验,把教师模型结果写 Kafka,实时算保留率;
  • 配置 Grafana 看板,小时级保留率掉点 >2% 自动回滚;
  • 每周把指标同步到Model Registry,触发自动重训或增量蒸馏。

通过这套流程,我们最近一次把 7B 学生模型蒸馏自 175B 教师,在客服场景保留率 98.3%,线上 latency 下降 62%,GPU 成本节省 ≈45 万元/月。

拓展思考

  1. 多教师集成蒸馏:若业务有多模态或工具调用需求,可用MoE 路由+加权集成方式,把保留率拆成“能力维度矩阵”,避免单教师偏差。
  2. 动态蒸馏:线上用户 prompt 分布漂移时,用强化蒸馏(RDL)每周微调学生,保留率监控改为滑动 3 日均值,降低抖动误报。
  3. 国产化适配:在昇腾 910B 或海光 DCU 上跑学生模型,需把算子差异带来的数值误差纳入保留率置信区间,通常要放宽 0.5% 容忍度并重新做显著性检验。