解读

面试官问的不是“摘要质量好不好”，而是“如何量化证明摘要带来的信息损失对最终业务指标的影响低于 2%”。这要求候选人同时具备：

1. 对 Summarize-then-Truncate 全链路的可控性设计；
2. 面向国内真实业务场景的可复现评测框架；
3. 能用统计显著性与工程灰度双重手段给出置信结论。

一句话：既要讲清楚“测什么、怎么测”，也要讲明白“如何说服老板放心上线”。

知识点

1. 摘要损失 ≠ 摘要 BLEU，而是指“下游任务指标衰减”。
2. 国内落地必须满足信通院《生成式 AI 服务管理办法》对可追溯、可审计的要求，因此评测数据与脚本必须本地化可复现。
3. 2% 是业务方心理红线，通常对应线上 A/B 实验中核心 KPI 的非劣效界值（non-inferiority margin）。
4. 需要区分确定性任务（如分类、抽取）与开放性生成任务（如客服对话）的两种验证路径。
5. 必须给出统计功效（power ≥ 80%）与第一类错误（α ≤ 0.05）的样本量计算，否则实验结果不被认可。

答案

我采用“离线非劣效验证 → 在线灰度实验 → 持续监控”三级方案，把摘要损失压到 2% 以内并给出量化证明。

第一步：任务拆解与指标对齐

1. 与业务方共同确认核心下游指标：
   • 确定性任务：准确率、F1、Exact-Match；
   • 生成式任务：人工打分≥4 分占比、CTR、转化率。
2. 将 2% 转化为绝对数值，例如原准确率 92%，摘要方案不得低于 90.16%。

第二步：构造“摘要-原文”平行评测集

1. 从近 6 个月线上真实流量中分层采样 10 万条，覆盖 18 类业务场景，确保数据分布无偏。
2. 使用自研 14B 摘要模型（已做 SFT+RLHF）生成 256 token 以内摘要，并保留摘要溯源 ID，满足监管可回溯要求。
3. 对每条样本同时保留“原文→标签”与“摘要→标签”两份标注，由3 人盲标+仲裁机制，标注一致性 Kappa≥0.82。

第三步：离线非劣效检验

1. 采用配对单侧 t 检验（paired one-sided t-test），原假设 H0：μ_abstract − μ_original ≤ −2%。
2. 预实验 1 万条得到标准差 σ=1.8%，计算所需样本量：在 α=0.05、power=0.8 下，最少需 6 400 条；实际取 10 000 条留足余量。
3. 实验结果：准确率下降 0.87%，95% 单侧置信下限为 −1.53%，高于 −2% 非劣效界值，拒绝 H0，通过检验。

第四步：在线灰度 A/B 实验

1. 随机选取 20% 流量进入实验桶，用户级 Hash 分流，确保样本独立同分布。
2. 运行两周，累计 1.2 亿次调用，核心 KPI 下降 0.9%，95% 置信区间 [−1.1%, −0.7%]，上限仍低于 −2%。
3. 同步监控p99 延迟下降 32%，GPU 显存占用下降 41%，成本收益比提升 3.6 倍，获得业务方签字确认。

第五步：持续监控与熔断

1. 上线后通过LLMOps 看板实时追踪摘要模型漂移，采用Population Stability Index (PSI) 阈值 0.1 触发自动回滚。
2. 每周随机抽检 500 条摘要做人工质评，若连续两周摘要缺陷率>1%，立即切换至原文链路，确保损失始终可控。

通过以上五级量化验证，可正式证明摘要损失对下游任务影响 <2%，并满足国内监管与业务双重要求。

拓展思考

1. 若下游任务为多轮对话，摘要需保留角色信息与实体状态，可引入结构化摘要（JSON Schema）+一致性校验，避免关键槽位丢失。
2. 当业务指标为长尾敏感（如金融合规命中），可采用重要性采样+加权检验，对罕见事件给予更高权重，防止平均指标掩盖尾部风险。
3. 未来若摘要模型升级，可复用上述非劣效框架做回归测试，实现CI/CD 自动化准入，把证明过程沉淀为LLMOps 标准化模板，缩短后续迭代周期 50% 以上。