当预算仅允许标注 1000 条时,如何采用批量选择?
解读
面试官真正想考察的是:在大模型落地阶段,面对极小规模标注预算,你能否用数据-centric 思维把“选哪些样本”转化为“如何最大化模型在真实业务指标上的增益”。
国内项目常见痛点是:
- 甲方只肯给“千条级”标注,却要求95%+可用率;
- 数据安全限制无法外包,只能内部高成本人工标注;
- 业务标签长尾分布严重(如金融合规、医疗实体)。
因此,回答必须体现成本敏感、指标可验证、过程可复现的 LLMOps 能力。
知识点
- 批量选择(Batch Selection) = 在主动学习(Active Learning)循环里,用策略函数从海量未标注池一次性挑出最有价值的一个批次(本题为 1000 条),而不是逐条在线交互。
- 价值度量需与下游任务指标直接挂钩,常用:
- 不确定性:熵、Margin、BALD(适用于分类/抽取);
- 多样性:k-Center、Core-set、Graph Density,防止批次冗余;
- 混合策略:Uncertainty × Diversity 加权,再减去标注成本(如文本长度、领域专家工时)。
- 冷启动技巧:若零样本起步,先用规则+大模型自监督生成伪标签,跑一轮错误分析,把“高不确定+高业务风险”区域作为第一批候选,再喂给人工。
- 中文场景优化:
- 用中文句子级 BERT 不确定性代替英文模型;
- 对长文本(>512 字)先滑窗切分+聚类,在段落向量空间做多样性采样,避免整篇标注浪费预算。
- LLMOps 闭环:1000 条标注后必须立即微调小模型(如 7B 参数 LoRA),在验证集上计算业务指标(F1、 Rouge-L、合规命中率),把指标增益<阈值的样本回滚,下一轮再选 1000 条,形成数据飞轮。
答案
步骤一:构建 10 万级未标注池
- 从线上日志、公开中文语料、业务系统导出脱敏文本,用正则+关键词快速清洗,去重、去敏、去低质,保留高价值场景句。
步骤二:零样本预热
- 用千亿级基座模型+提示工程跑一轮批量推理,得到伪标签与置信度;
- 按置信度<0.6且业务规则命中(如含“违规”、“套现”关键词)筛选出2 万候选。
步骤三:不确定性×多样性加权采样
- 不确定性:用中文 RoBERTa-large在伪标签上微调 1 epoch,取熵前 20%;
- 多样性:对候选文本做SimCSE 句向量→MinMax 归一化→k-Center-Greedy选 1200 条,保证覆盖全部簇;
- 成本修正:去掉**>800 字的长文本(标注工时翻倍),最终保留1000 条**;
- 人工标注:采用双人标注+第三人仲裁,一致性κ≥0.85才入库,否则重新打标。
步骤四:微调与评估
- 用LoRA rank=8,lr=2e-4,batch=16微调 3 epoch;
- 在业务 hold-out 集(200 条人工盲测)上**F1 提升≥5%**即验收通过,否则进入下一轮主动学习。
步骤五:LLMOps 沉淀
- 把选择策略、模型版本、指标曲线写入MLflow;
- 将 1000 条高质量标注同步到向量知识库,供后续RAG阶段做Few-shot 提示,实现一次标注、多处复用。
拓展思考
- 如果业务是生成式摘要而非分类,可把不确定性换成Rouge-L 残差(模型生成与伪参考差异最大),多样性用摘要主题向量(BART-encoder) 的Core-set。
- 当标注人员是领域专家(如医生),成本按小时计费,需在策略函数里显式加入**“标注时间预估”变量,用字符数×领域难度系数拟合,实现成本敏感批量选择**。
- 若公司禁止数据出境,可用国产 7B 模型+昇腾 910A做私有化不确定性推理,避免调用外部 API 带来的合规风险。
- 未来预算扩大后,可把 1000 条种子数据用于Reward Model 训练,接入RLHF流程,让人类偏好信号继续驱动批量选择,形成大模型时代的数据闭环。