当预标注准确率 80% 时,如何采用不确定性采样送标?

解读

面试官把“预标注准确率 80%”作为前提,实质是在考察候选人能否在大模型落地闭环中把“不确定性量化→主动学习→人工复核→数据飞轮”串起来。80% 的准确率意味着模型已具备初步可用性,但仍有 20% 的“模糊区”需要人工兜底;不确定性采样就是要把这 20% 里最“值钱”的样本挑出来,用最少的人力撬动最大的效果提升,而不是随机或全量送标。国内真实业务里,标注预算、合规审计、上线周期都是硬约束,方案必须可解释、可落地、可度量。

知识点

  1. 不确定性量化指标:熵(Entropy)、Margin(最大与次大概率差)、Least Confidence(1−最大概率)、BALD(Bayesian Active Learning by Disagreement)。
  2. 分布偏移检测:先验—后验漂移、置信度直方图 gap、χ² 检验,防止把“分布外”样本当成“不确定”样本。
  3. 分层采样策略:按业务维度(渠道、地域、客群)+置信度桶双重分层,避免不确定性采样加剧偏差。
  4. 预算约束公式:送标量 B = min(预算条数, ⌈α·N⌉),其中 α 由预期 ROI 决定,ROI = ΔAcc·业务收益 − 标注成本。
  5. LLMOps 闭环:采样→人工复核→指令微调或 LoRA 增量训练→模型版本回滚与灰度→监控看板(准确率、召回率、置信度漂移)。
  6. 合规与审计:采样日志必须留痕(样本 ID、原始预测、不确定性分值、标注员、时间戳),满足《生成式 AI 服务管理暂行办法》对可追溯性的要求。

答案

第一步,不确定性打分。对每条样本取模型输出的 top-5 概率,计算熵值 H = −Σp_i log p_i,把 H 归一化到 0~1。
第二步,分布偏移过滤。用验证集置信度分布做参考,若样本 H 落在验证集 90% 分位以上且最大概率 <0.6,才进入候选池,防止把“模型没见过”的 OOD 样本大量送标。
第三步,业务分层采样。把候选池先按业务渠道(App、小程序、H5)和高危客群(未成年、金融类)拆桶,每桶按 H 从高到低排序,取前 20% 进入送标队列,保证不确定性高且业务覆盖全。
第四步,预算截断。若当日标注预算 2000 条,而候选队列 3000 条,则按边际效益递减曲线截断:先取 H>0.8 的 1200 条,再取 H∈[0.7,0.8) 的 800 条,确保标注 ROI 最大。
第五步,人工复核与双盲验证。标注员只能看到原始输入,屏蔽模型预测结果,避免“模型带偏”;同时10% 样本随机插入已标注黄金集,计算标注员一致性 κ 值,κ<0.75 的标注员结果直接回炉。
第六步,增量训练与回滚。每日新增高质量标注数据进入 LoRA 微调,学习率 2e-5,步数 200,batch 64;训练后在灰度 5% 流量上验证,若准确率提升 <0.5% 或漂移指标 >0.02,则自动回滚上一版本,保证线上稳定。
第七步,监控与报告。把不确定性分值、送标量、ΔAcc、标注成本实时写入LLMOps 看板,每周向算法委员会输出主动学习效益报告,形成**“数据—模型—预算”**三位一体的持续迭代闭环。

拓展思考

  1. 双模型不一致采样:再训练一个蒸馏小模型,把大小模型预测不一致且熵差 >0.3 的样本优先送标,可用信息增益理论证明其采样效率比单模型熵采样再提升 8~12%。
  2. 对抗性不确定性:引入FGSM 对抗扰动,若原始样本与扰动后样本的预测标签翻转且置信度下降 >0.4,则标记为“脆弱样本”,强制送标,可提前发现鲁棒性盲区。
  3. 强化采样预算:把送标预算建模成强化学习状态,状态空间 = {当前准确率、剩余预算、业务收益},动作空间 = {采样量、采样策略},用DQN 求解最优策略,实现动态预算分配,在真实金融场景下可把同等预算的准确率提升速度提高 1.4 倍。