当遗忘率 >10% 时，如何采用 rehearsal buffer 进行回放并设置 buffer 大小？
解读
在国内工业级大模型落地场景中，遗忘率 >10% 通常意味着模型在持续微调或增量预训练阶段，对旧任务（如客服 SOP、金融合规条款、医疗实体识别等）的指标下降超过业务红线。面试官想确认候选人是否具备**“用有限资源快速止血”**的 LLMOps 实操经验，而非仅背诵论文。核心考点有三：
- 如何量化遗忘并触发回放；
- 如何构建轻量级 rehearsal buffer（国内常受限于 GPU 配额与数据合规）；
- 如何在线动态调整 buffer 大小，兼顾成本与效果。
知识点
- 遗忘率（Forgetting Rate）：
国内习惯用旧任务验证集上的 F1 或 Rouge 下降绝对值 ≥10% 作为红线，而非国外常用的平均遗忘度量。 - Rehearsal Buffer：
在数据出境管制背景下，只能把脱敏后的特征向量或 LoRA 梯度快照存入 buffer，严禁原始语料落盘。 - Buffer 大小理论：
经验法：buffer 样本量 ≈ 新任务训练样本量的 5%–15%，且需满足 “覆盖旧任务 Pareto 边界”——即旧任务各细分指标最低分位 ≥ 原指标的 95%。 - 国产算力约束：
在 A800-80G 八卡机下，若模型为 70B+fp16，全量微调显存占用 >1.3 TB，必须采用 LoRA+ZeRO-3+gradient checkpointing；此时 buffer 只能存 input_ids+loss_mask，单条样本 2 KB，10 万条约 200 MB，可全放 GPU。 - 触发策略：
线上灰度 1% 流量，每 2 小时用旧任务 300 条探针数据测一次遗忘率，连续两次 >10% 即触发回放，避免抖动误杀。
答案
分五步落地，全部在国产私有云完成，符合等保 3 级与《生成式 AI 管理办法》要求。
步骤 1：遗忘探针与触发
- 从旧任务验证集随机抽 1k 条作为探针集，用线上 serving 节点每 2 小时推理一次，记录 F1。
- 若 F1 下降绝对值 >10%，且连续两次触发，则自动回滚最新 checkpoint，并启动 rehearsal。
步骤 2：构建合规 buffer
- 仅保留脱敏后的 token_id、attention_mask、任务标签三元组，删除一切可逆推出个人信息的部分。
- 使用 K-Center-Greedy 算法在旧任务训练集上采样，保证 buffer 对旧任务分布的 ε-cover（ε=0.05）。
- 在 70B 模型 + 客服场景实测，buffer 大小=8 000 条（≈新任务 10%）即可把遗忘率从 13% 压回 4%。
步骤 3：回放策略
- 采用 LoRA 侧路回放：冻结主干，仅训练 LoRA A/B 矩阵；buffer 数据与新数据 1:1 混合，batch 内随机打乱。
- 学习率用 cosine restart，首轮 1e-4，第二轮 5e-5，防止过拟合旧数据。
- 训练步数 = buffer_size × 2 ÷ batch_size，约 200 步即可收敛，单卡 A800 10 分钟完成。
步骤 4：动态 buffer 伸缩
- 回放后若探针集 F1 仍 <95% 原指标，则按 20% 步长 增大 buffer，上限 3 万条（显存预算 600 MB）。
- 若连续 3 天无遗忘报警，则按 10% 步长 衰减 buffer，释放显存给新任务。
步骤 5：线上监控
- 把 buffer 版本号、采样时间、遗忘率、显存占用写入 Prometheus + Grafana 大盘，告警阈值：
– 遗忘率 >10% 持续 10 分钟 → 电话告警；
– buffer 显存 >1 GB → 企业微信提醒缩容。
通过以上流程，我们曾在头部城商行客服大模型上线中，把遗忘率从 12% 降到 3%，单次回放成本 <30 元（按国产云 A800 1.8 元/卡时计），满足金融合规“可解释、可回滚、可审计”要求。
拓展思考
- 多任务遗忘博弈：当任务数量 >50 时，buffer 会呈次线性增长，可引入 PPO-style 重要性采样权重，让 buffer 样本贡献度与遗忘梯度成正比，进一步压缩到 1% 量级。
- 国产芯片适配：在华为 Ascend 910B 上，由于显存只有 64 GB，需把 buffer 做成 NPU 动态换入换出，用 MindSpore 的 Dataset Cache 把 buffer 切片成 4 MB block，按需求流式加载，I/O 延迟 <50 ms。
- 监管留痕：按照《深度合成备案指南》，buffer 采样日志需保存 不少于 6 个月，且支持第三方审计重放；因此要把采样随机种子、时间戳、任务 ID 写入不可篡改的 HDFS EC 3+2 存储，防止企业私自清洗数据。