如何采用 Kendall Tau 相关性验证 RM 与人类一致性?
解读
在大模型对齐流程里,Reward Model(RM) 的打分必须跟人类偏好保持同序,否则后续 PPO/RLHF 会学歪。
国内落地场景通常只有 几千条人类排序对,且要过 合规审计 与 算法备案,因此需要一种非参数、对异常值稳健、又能给出显著性检验的指标。
Kendall Tau 恰好满足:
- 只关心“序”,不假设分布;
- 支持 配对排序(annotation 常见形式 A>B>C);
- 可以输出 p-value 供 算法备案材料 直接引用。
知识点
- Kendall Tau-b 公式
τb = (P−Q) / √[(P+Q+T0)(P+Q+T1)]
P:一致对;Q:不一致对;T0、T1:绑定组修正。 - 显著性检验
当 n≤10 用精确表;n>10 用 正态近似 Z 并做连续性修正,满足国内 A/B 测试合规报告 要求。 - 一致性阈值
工业界通常要求 τb≥0.4 且 p<0.01;若低于 0.3 必须触发 重新标注或 RM 重训。 - 代码落地
scipy.stats.kendalltau 返回 correlation 与 pvalue,一行代码即可集成到 LLMOps 监控 DAG。 - 陷阱
- 忽略 绑定 会导致 τ 虚高;
- 同一条 prompt 的多个 response 必须做 组内平均 后再算 τ,否则违背 独立同分布 假设;
- 中文语料里 Emoji、全角符号 会造成 token 对齐错位,需先 归一化。
答案
步骤一:数据准备
从 标注平台 导出三元组 <prompt, responseA, responseB, human_label>,label∈{A>B, B>A, 同序}。
过滤掉“同序”可得到 纯排序对,数量记为 N。
步骤二:构造序对
对同一 prompt 下所有 response 做 全序重建,得到人类序 π_human 与 RM 序 π_rm。
若 RM 给出的是标量分,直接按分排序即可;若给出分布,取 期望奖励。
步骤三:计算 Kendall Tau-b
使用 scipy.stats.kendalltau(π_human, π_rm, variant='b') 得到 τb 与双侧 p。
脚本需打印三行日志:
“RM-Human Kendall τb = 0.46, p = 2.3e-5, N = 2048, 满足上线阈值。”
该日志会被 LLMOps 审计钩子 自动截获并写入 算法备案数据库。
步骤四:阈值判断
若 τb≥0.4 且 p<0.01,通过一致性检验,可进入 PPO 阶段;
否则触发 自动回滚:关闭 RM 服务,标注系统重新采样 20% 难例进行 二次标注。
步骤五:持续监控
每小时从线上拉取 1000 条真实排序日志,跑 Batch Kendall,τb 跌破 0.35 立即报警到 企业微信群 并暂停 RL 训练,保证 生成内容安全可控。
拓展思考
- 多 annotator 场景
国内标注团队三班倒,可先算 Fleiss Kappa 保证人-人一致,再用 平均序 作为 π_human,避免低质量标注稀释 τ。 - 分层 Kendall
对 敏感领域(医疗、金融)单独计算 τ,任何一类 τ<0.3 都需 额外安全审查,满足 生成式 AI 管理办法 第八条。 - 加权 Kendall
若业务更关心 头部排序(Top-2),可引入 Weighted Kendall 给头部位置更高权重,公式修正为 τw = ∑w_i·sgn(π_human_i−π_rm_i)。 - 线上实时近似
对超大规模日志,可采用 Reservoir Sampling 维护 10K 序对,用 流式 Kendall 算法(O(1) 内存)实时更新 τ,做到 秒级监控。 - 与 Spearman 对比
Spearman 对异常分更敏感,适合 连续分;Kendall 对 排序翻转 更敏感,适合 配对标注。国内备案材料同时提交两种指标,可体现 技术严谨性。 </模板>