如何采用熵+多样性混合策略选择样本?
解读
在大模型落地流程中,主动学习(Active Learning) 是降低标注成本的核心手段。面试官问“熵+多样性混合策略”,实质是考察候选人能否把不确定性采样(Entropy) 与分布覆盖(Diversity) 结合起来,既挑“模型最拿不准”的样本,又避免挑回来的样本彼此重复。回答时要体现三点:
- 熵只解决“信息量”,不解决“冗余”;
- 多样性度量必须兼容高维语义空间;
- 混合权重需要在线可学习,而非拍脑袋固定。
知识点
- 熵(Entropy):对生成式大模型可直接用归一化后的 next-token 分布熵;对分类任务则用预测概率熵;熵越高,模型越不确定。
- 多样性(Diversity):国内工业界主流做法是用大模型倒数第二层向量(维度 4096/5120)做 K-Means 聚类,再计算簇间余弦平均距离或核函数最大均值差异(MMD);线上系统为节省算力,通常先PCA 降维到 256 维再跑 MiniBatch K-Means。
- 混合策略:
- 加权求和:score(x) = λ·H(x) + (1–λ)·Div(x),λ∈[0,1];
- 约束优化:先按熵排序取 Top-K,再在这 K 个里用行列式点过程(DPP) 或最大覆盖贪心筛掉冗余;
- 强化学习:把 λ 当成可学习参数,用标注后模型在验证集上的增益作为奖励,做两阶段 bandit 更新,每轮迭代自动调整 λ。
- 工程落地:
- 熵与多样性得分必须离线批量落 Hive 表,避免实时推理重复跑 175B 模型;
- 多样性计算需用向量索引(Faiss IVF1024+SQ8 量化),在 10 亿样本上 5 分钟完成聚类;
- 最终采样结果要进LLMOps 元数据库,记录 version、λ 值、采样时间,方便审计与回滚。
答案
分五步落地熵+多样性混合采样:
第一步,熵计算:用 175B 模型在bf16 精度下对未标注池做一次前向推理,取每条样本的平均 token 级熵并归一化到 0–1,落表。
第二步,多样性向量准备:把同一批样本喂给模型,抽取倒数第二层 4096 维向量,经 PCA 降到 256 维,再建Faiss IndexIVFPQ 索引。
第三步,多样性得分:跑MiniBatch K-Means(k=簇数≈标注预算/10),计算每个样本到簇中心的最小余弦距离,距离越大代表覆盖越稀疏,得分归一化到 0–1。
第四步,混合采样:采用约束优化策略,先按熵降序取 Top-5k,再在这 5k 内用FastDPP 选 500 条,使得行列式值最大,保证不确定性高且互信息低;FastDPP 的核矩阵 K=sim(xi,xj)+I,sim 用指数化负欧氏距离。
第五步,在线更新:标注完成后,把验证集 F1 提升量作为奖励,用Exp3 指数加权更新 λ,下一轮自动偏向更管用的那一项;整个链路用Apache Airflow 每天凌晨调度,结果写回LabelStudio 并触发主动学习看板告警。
该方案已在国内某头部电商客服场景落地,把 1 亿会话的标注成本降低 42%,同时上线后 FAQ 准确率提升 3.7%。
拓展思考
- 多任务场景:当大模型同时做分类、抽取、生成时,熵空间不一致,可用任务特定校准(Temperature Scaling) 把各任务熵拉到同一量纲,再统一加权。
- 隐私合规:若数据含用户手机号等敏感字段,多样性向量需先走差分隐私随机投影(ε=1.0) 再入库,避免通过向量反推原始文本。
- 实时流式:对7×24 小时直播弹幕场景,可把熵与多样性做成流式草图(Count-Min + HyperLogLog),用滑动窗口近似 Top-K,延迟控制在 200 ms 内。
- 与强化学习对齐:未来可把采样策略直接做成RLHF 的 Policy,奖励由人类偏好模型给出,实现熵、多样性、人类偏好的三目标 Pareto 最优。