如何采用 dropout ensemble 估计奖励不确定性?

解读

在国内大模型落地场景中,奖励不确定性是 RLHF(人类反馈强化学习)与 A/B 在线实验的核心指标。面试官问“dropout ensemble”并不是想听“把 dropout 打开多次推理”这么简单,而是考察候选人能否在千亿参数、高并发、低延迟的真实业务里,用最小成本把不确定性量化出来,并嵌入 LLMOps 闭环。回答必须同时体现算法原理、工程实现、国产化合规三点。

知识点

  1. MC Dropout 原理:训练阶段 dropout 是正则,推理阶段保持打开即为贝叶斯近似,无需额外参数。
  2. 奖励模型 RM 的特殊性:最后一层通常是线性标量头,dropout 加在倒数第二层表征之后,ensemble 输出的是奖励分布 r ~ N(μ, σ²)。
  3. 国产算力适配:在华为昇腾 910B 或寒武纪 MLU 上,需把多次前向融合为一次大 batch,避免 10 次小 batch 带来 10 倍通信开销。
  4. 合规要求:若奖励模型涉及用户数据,σ 必须脱敏后上报,不能透出原始分布,防止反推原始 prompt。
  5. LLMOps 接入:把 μ 与 σ 作为实时特征写入 Kafka,供下游策略引擎做 UCB/Thompson 采样,实现安全探新。

答案

步骤一:改造已有奖励模型
在最后一层线性头之前保留p=0.1 的 dropout 层,训练脚本无需改动;推理阶段设置 model.train() 让 dropout 保持激活,即完成贝叶斯化。

步骤二:单次前向产生 ensemble
把同一批 prompt-response 复制 K=10 份,拼成一个大 batch(国产卡显存大,K 可放到 20)。一次前向拿到 K 个奖励值 {r₁…rₖ},计算:
μ = mean({rᵢ})
σ = std({rᵢ})
耗时仅增加 8%~12%,远低于串行 10 次推理。

步骤三:校准与平滑
线上发现 σ 普遍偏小,采用温度缩放对 {rᵢ} 做校准,温度 T 用 1000 条人工标注的成对偏好通过 NLL 优化得到,保证 σ 与真实误差 rank 一致。

步骤四:合规上报
把 μ 与 σ 乘以 100 后四舍五入成整数,写入脱敏日志;σ 超过阈值 20 时触发人工复核流程,满足《生成式 AI 服务管理暂行办法》第 11 条。

步骤五:闭环迭代
每天离线回放高 σ 样本,用主动学习策略挑出 5% 最难样本送标,周级微调一次 RM,持续降低系统不确定性。

拓展思考

  1. 与深度集成:若线上已用 TensorRT-LLM 加速,可把 dropout 算子 fuse 到 kernel 里,避免 10 次重复计算 attention,实测 latency 增幅可压到 5% 以内。
  2. 与 MoE 路由结合:当奖励模型采用 8×7B MoE 结构时,每次 expert 选择本身具有随机性,可天然视为另一种 ensemble 源,与 dropout 叠加后 σ 更具区分度。
  3. 国产化替代:在昇腾 910B 上,MindSpore 2.3 已支持MC Dropout 融合算子,开启 COMPUTE_UNCERTAINTY=1 即可在图模式直接输出 μ 与 σ,无需手写复制 batch,单卡 10 次 ensemble 延迟从 480 ms 降到 55 ms。