如何采用 Kendall Tau 相关性验证 RM 与人类一致性?

解读

在大模型对齐流程里,Reward Model(RM) 的打分必须跟人类偏好保持同序,否则后续 PPO/RLHF 会学歪。
国内落地场景通常只有 几千条人类排序对,且要过 合规审计 与 算法备案,因此需要一种非参数、对异常值稳健、又能给出显著性检验的指标。
Kendall Tau 恰好满足:

  1. 只关心“序”,不假设分布;
  2. 支持 配对排序(annotation 常见形式 A>B>C);
  3. 可以输出 p-value 供 算法备案材料 直接引用。

知识点

  1. Kendall Tau-b 公式
    τb = (P−Q) / √[(P+Q+T0)(P+Q+T1)]
    P:一致对;Q:不一致对;T0、T1:绑定组修正。
  2. 显著性检验
    当 n≤10 用精确表;n>10 用 正态近似 Z 并做连续性修正,满足国内 A/B 测试合规报告 要求。
  3. 一致性阈值
    工业界通常要求 τb≥0.4 且 p<0.01;若低于 0.3 必须触发 重新标注或 RM 重训。
  4. 代码落地
    scipy.stats.kendalltau 返回 correlation 与 pvalue,一行代码即可集成到 LLMOps 监控 DAG。
  5. 陷阱
    • 忽略 绑定 会导致 τ 虚高;
    • 同一条 prompt 的多个 response 必须做 组内平均 后再算 τ,否则违背 独立同分布 假设;
    • 中文语料里 Emoji、全角符号 会造成 token 对齐错位,需先 归一化。

答案

步骤一:数据准备
从 标注平台 导出三元组 <prompt, responseA, responseB, human_label>,label∈{A>B, B>A, 同序}。
过滤掉“同序”可得到 纯排序对,数量记为 N。

步骤二:构造序对
对同一 prompt 下所有 response 做 全序重建,得到人类序 π_human 与 RM 序 π_rm。
若 RM 给出的是标量分,直接按分排序即可;若给出分布,取 期望奖励。

步骤三:计算 Kendall Tau-b
使用 scipy.stats.kendalltau(π_human, π_rm, variant='b') 得到 τb 与双侧 p。
脚本需打印三行日志:
“RM-Human Kendall τb = 0.46, p = 2.3e-5, N = 2048, 满足上线阈值。”
该日志会被 LLMOps 审计钩子 自动截获并写入 算法备案数据库。

步骤四:阈值判断
若 τb≥0.4 且 p<0.01,通过一致性检验,可进入 PPO 阶段;
否则触发 自动回滚:关闭 RM 服务,标注系统重新采样 20% 难例进行 二次标注。

步骤五:持续监控
每小时从线上拉取 1000 条真实排序日志,跑 Batch Kendall,τb 跌破 0.35 立即报警到 企业微信群 并暂停 RL 训练,保证 生成内容安全可控。

拓展思考

  1. 多 annotator 场景
    国内标注团队三班倒,可先算 Fleiss Kappa 保证人-人一致,再用 平均序 作为 π_human,避免低质量标注稀释 τ。
  2. 分层 Kendall
    对 敏感领域(医疗、金融)单独计算 τ,任何一类 τ<0.3 都需 额外安全审查,满足 生成式 AI 管理办法 第八条。
  3. 加权 Kendall
    若业务更关心 头部排序(Top-2),可引入 Weighted Kendall 给头部位置更高权重,公式修正为 τw = ∑w_i·sgn(π_human_i−π_rm_i)。
  4. 线上实时近似
    对超大规模日志,可采用 Reservoir Sampling 维护 10K 序对,用 流式 Kendall 算法(O(1) 内存)实时更新 τ,做到 秒级监控。
  5. 与 Spearman 对比
    Spearman 对异常分更敏感,适合 连续分;Kendall 对 排序翻转 更敏感,适合 配对标注。国内备案材料同时提交两种指标,可体现 技术严谨性。 </模板>