如何用模型生成候选标注并计算人工节省率?
解读
这道题考察的是“大模型落地业务”闭环中最核心的成本-收益量化能力。
在国内真实项目里,标注成本往往占 AI 预算 30% 以上,如何用百亿/千亿参数模型先“预标注”,再让标注员只做复核/修正,直接决定项目能否通过财务评审。
面试官想听的是:
- 你能否把大模型输出变成可交付的候选标注(格式、字段、置信度)。
- 你能否用可审计、可复现的指标告诉老板“省了多少钱”。
- 整个链路必须符合国内数据合规(《个人信息保护法》《数据出境安全评估办法》),不能出现“直接把用户原始 prompt 丢给 OpenAI”这类违规操作。
知识点
-
候选标注生成
- 任务类型映射:生成式→抽取式、分类式、NER、事件schema。
- 提示工程:采用中文指令模板 + 动态少样本(5~8 例)+ 输出 JSON 模式,强制字段对齐。
- 模型微调:用LoRA/QLoRA在10 万级高质量人工标注上微调 1~2 epoch,把 ROUGE-1 提升 8 个点以上,降低幻觉。
- 知识外挂:接入向量知识库(Milvus、Proxima),做检索增强生成(RAG),把领域术语表、实体词典作为上下文,减少“张冠李戴”。
- 后处理:正则+规则+置信度过滤,**置信度低于阈值(0.75)**的样本自动进入“人工必填”队列。
-
人工节省率计算
- 基准人工耗时:取最近 3 个月、同一任务、同一批标注员的平均单条耗时(秒),记为 T0。
- 模型预标注后耗时:标注员仅做修正的平均耗时 T1。
- 公式:
人工节省率 = (T0 – T1) / T0 × 100% - 财务口径:
节省费用 = 节省率 × 总条数 × 单条人工成本(元) - 质量红线:预标注合格率必须 ≥ 95%(以人工最终审核为 gold),否则节省率无效。
-
LLMOps 监控
- 实时看板:接入Prometheus + Grafana,监控单条延迟、幻觉率、置信度分布。
- 数据漂移:用KS 检验 + 嵌入向量余弦漂移每周检测一次,>0.15 触发重训。
- 合规审计:生成日志保留 36 个月,敏感词过滤+脱敏后再落盘,密钥国密 SM4 加密。
答案
落地步骤(可直接写进答辩 PPT):
-
任务拆解
把原始需求拆成可量化子任务:如“客服对话情绪分类”→ 一级标签 7 类、二级标签 22 类,输出 schema 直接写进 prompt 的 JSON 模板,字段含:label、span、confidence。 -
模型生产候选标注
- 选用国内备案的百亿参数开源模型(如 Baichuan2-13B、Qwen-14B),私有化部署在A800 集群,INT4 量化后单卡 40G 可跑。
- 提示模板:
“你是一名中文标注员,请按以下 schema 返回 JSON,不要解释……” - 动态少样本:从已标注池中向量检索 top-5 相似样本拼进 prompt,相似度阈值 0.82,保证领域一致。
- 置信度打分:用模型生成时同时输出 softmax 概率,取最大概率作为 confidence;若字段缺失或 confidence<0.75,则标记为“需人工”。
-
人工复核实验
- 随机抽取1000 条作为对照组(纯人工),1000 条作为实验组(模型预标注+人工修正)。
- 记录每条耗时、修改次数、最终质量。
- 结果示例:
T0 = 180 s,T1 = 42 s → 节省率 = (180-42)/180 = 76.7%
预标注合格率 96.4%,满足上线门槛。
-
财务汇报
- 项目全量 50 万条,单条人工成本 1.2 元
- 节省费用 = 76.7% × 500000 × 1.2 = 46 万元
- GPU 租赁成本 4 万元(A800 30 天),净节省 42 万元,ROI 10.5 倍,回收期 1 个月。
-
持续迭代
- 每周把人工修正后的数据回流,增量微调一次,LoRA rank=64,训练 20 分钟。
- 节省率每两周提升 2~3 个百分点,8 周后稳定在 82%。
拓展思考
-
主动学习
把**高不确定性样本(置信度 0.4~0.6)**主动推给标注员,低置信度样本占比从 35% 降到 12%,进一步节省 6% 人工。 -
多人协同质检
引入三人交叉质检 + 多数投票,把预标注合格率从 96.4% 提到 98.7%,满足金融/医疗客户≥98% 的硬性要求。 -
多模态扩展
若输入含图片、PDF 扫描件,先用中文 OCR 大模型(如 PaddleOCR-v4)生成文本,再进入同一候选标注链路,节省率仍保持 70% 以上。 -
合规升级
若数据涉个人信息,采用本地私有化 + 国密算法 + 数据不出境;若需联邦学习跨域建模,用差分隐私 ε=1.0 注入噪声,节省率下降 3% 但合规风险归零。