如何基于题目难度参数(IRT)过滤低区分度题?
解读
在国内教育测评、招聘题库、智能练习等真实业务中,百亿/千亿参数大模型常被用来生成或改写试题。上线前必须通过 LLMOps 流程做质量关卡(Gate),其中一项核心指标就是“区分度”。题目难度参数 b 只是 IRT 三参数里的定位锚点,真正决定“要不要下线”的是区分度参数 a。如果 a 值过低,意味着无论考生能力高低,答对该题的概率差异极小,题目失去筛选价值,同时会稀释模型微调数据的质量,导致后续大模型继续生成同类“无效题”。因此,面试官想考察的是:
- 你是否理解 IRT 三参数的经济学含义;
- 能否把“统计显著性→业务显著性”映射成可落地的自动化过滤规则;
- 能否把规则写进 LLMOps 的 Data-Centric Pipeline,让分布式推理集群每天新产生的题目自动过一遍筛选,而不是靠人工抽检。
知识点
- IRT 三参数模型:P(θ)=c+(1-c)/(1+exp(-1.7·a·(θ-b))),其中 a 为区分度,b 为难度,c 为猜测系数。
- Fisher 信息函数:I(θ)=a²·P·(1-P)/(1-c)²,峰值与 a 正相关;a<0.4 时信息峰值通常低于 1.0,被视为低信息题。
- EM/MML 参数估计:国内题库普遍采用并行化 EM在 Spark 上跑,收敛后输出 a、b、 c 及标准误 SE_a;当 |a/SE_a|<1.96 时,a 不显著,需标灰。
- 业务阈值:K12 高利害考试一般卡 a≥0.6;企业招聘卡 a≥0.5;大模型生成题因要先过“预筛选”,建议卡 a≥0.55 且显著。
- LLMOps 集成:把上述逻辑写成模型后置钩子(Post-Generate Hook),调用轻量 IRT 服务(基于 ONNX Runtime 加速),实时返回是否保留,并写回特征仓库供下一轮微调采样加权。
答案
步骤一:离线校准
- 采集最近 N≥2000 份真实答题记录,按 80% 训练、20% 验证切分。
- 使用并行化 EM 算法在 Spark 集群估计每道题的 a、b、c 及 SE_a;收敛条件为对数似然变化 <1e-4。
- 设定双阈值:
- 统计阈值:|a/SE_a|≥1.96 且 p<0.05;
- 业务阈值:a≥0.55(可根据产品阶段动态调整)。
- 把不满足任一阈值的题目标记为“低区分度”,写入淘汰队列,并同步到标签系统供前端隐藏。
步骤二:在线过滤
- 大模型生成新题后,通过无状态 IRT 微服务快速估算 a 的先验:先用 100 条对抗性 prompt 生成的模拟答题跑 MLE,得到粗粒度 a₀;
- 若 a₀<0.45 直接拦截,节省真实用户曝光;
- 若 a₀∈[0.45,0.65),则动态下发给 200 名真实用户做灰度,48 小时内回收数据再跑一次完整 EM,仍不达标即下线。
步骤三:持续监控
- 在 Prometheus 里建指标
irt_a_avg{topic},若滑动 7 日均值下降 5% 自动告警; - 每周把低区分度题及其embedding 特征喂给大模型做负例微调,让生成方向主动避开“无效题”模式,实现数据飞轮。
拓展思考
- 多维度 IRT:当题目带多选、填空、拖拽等复杂交互时,可改用多维 IRT(MIRT),区分度变成向量 a⃗,过滤条件升级为 ||a⃗||₂ 与显著性联合检验。
- 冷启动无答题记录:可先用大模型+知识图谱做“合成考生”模拟答题,再用贝叶斯先验融合真实数据,解决新业务线初期样本稀缺问题。
- 公平性约束:若题目在不同性别、地域群体出现DIF(差异项目功能),即使 a 值高也需额外卡控;可在 LLMOps 里加公平性闸门,把“高 a 但高 DIF”的题目也回炉重造。