当人工摘要不一致时,如何采用多数投票确定标准答案?

解读

在大模型落地业务场景(如新闻摘要、会议纪要、客服工单摘要)时,常需要人工标注黄金摘要作为微调或评估基准。
国内数据标注团队普遍采用三人并行标注 + 质检一人审核的模式,当三人结果不一致时,必须用可解释、可复现、可审计的机制产生唯一“标准答案”,否则后续SFT、RLHF、指标计算都会失真。
多数投票看似简单,却涉及中文语意等价性判断、长文本结构对齐、关键信息覆盖度、合规敏感词等复杂因素,不能简单按字符串重合度计数。

知识点

  1. 中文语意等价性:同义句、语序变化、指代消解、数字单位(“1.2亿” vs “12000万”)。
  2. 多数投票的粒度:句子级、实体级、事实三元组级,而非全文级。
  3. 投票前对齐:采用中文鲁棒性分词(jieba + 自定义业务词典)+ 句子级相似度模型(SimCSE-中文-base)做预处理,把“语义相同但表述不同”的摘要片段归为一类。
  4. 加权投票:
    • 标注员历史一致性权重(质检通过率≥95%权重1.0,80–94%权重0.7,<80%权重0.3)。
    • 关键信息覆盖度权重:用BERT-中文-序列标注模型抽主语-谓语-宾语,缺失关键三元组直接降权。
  5. 合规过滤:即使多数投票通过,只要出现政治敏感、未成年保护、地图疆域描述错误,仍触发一票否决,转交合规标注专家终审。
  6. 可审计留痕:每次投票结果写入MongoDB并生成UUID版本号,字段包括raw_annotation、aligned_span、weight、vote_score、timestamp、operator_id,满足网信办算法备案抽查要求。
  7. LLMOps闭环:投票产生的“标准摘要”同步到Label Studio + Git-LFS,触发Airflow DAG自动更新训练集,并重新计算ROUGE-L、BERTScore-中文指标,若指标下降超3%则报警。

答案

五步多数投票流程(可直接落地):

  1. 预处理对齐:对三份人工摘要进行句子切分(按中文句号/分号/换行),用SimCSE-中文把相似句聚类,得到“语义句簇”。
  2. 关键信息抽取:用BERT-CRF中文模型抽实体、金额、日期、地点,形成事实三元组集合。
  3. 一致性打分:对每句簇计算加权投票得分 = Σ(标注员权重 × 句簇出现次数);对关键三元组采用覆盖度投票,缺失任一关键三元组则该摘要整体降权50%。
  4. 生成标准摘要:按句簇得分从高到低排序,拼接成**≤512字符**的连贯文本;若出现合规敏感词,直接替换为“[合规替换]”并记录日志。
  5. 质检复核:由四级标注员(质检专家) 使用diff工具逐句确认,无异议后锁定版本;若复核不通过,回到步骤1并升级标注员权重阈值。

示例:
三人摘要分别出现“公司2024年营收1.2亿元”、“2024财年营业收入达1.2亿”、“全年收入12000万元”,经SimCSE聚类为同一簇,权重1.0+1.0+0.7=2.7,得票最高,最终标准摘要写为“公司2024年营收1.2亿元”,既满足多数投票,又符合财会术语统一规范。

拓展思考

  1. 动态权重更新:把每次投票结果回流到标注员画像表,用指数移动平均实时调整权重,实现越准确的人话语权越大,可提升后续批次一致性3–5%。
  2. 大模型辅助投票:用百亿参数中文模型做“第四人”,将其生成摘要与前三人一起投票,若模型摘要得分最高且超过阈值,可自动升级为临时标准答案,减少人工成本20%;但需设置人工抽检比例≥10%,防止模型幻觉污染数据集。
  3. 多任务一致性:在信息抽取+摘要联合任务中,可把投票后的标准摘要再反向生成抽取式答案,校验实体一致性,若出现冲突则触发二次投票,形成双向约束,进一步提升事实准确率至99%+。