解读

面试官真正想考察的是：

1. 你是否能把“数据质量”拆成可度量、可干预的指标；
2. 能否用实验设计把“数据动作”与“模型效果”之间的因果链锁死，而不是拍脑袋说“清洗后AUC涨了2%”；
3. 是否具备成本-收益视角，知道该停在哪里。

国内场景下，数据往往来自多源异构标注团队、众包平台甚至外包工厂，脏数据、概念漂移、样本不均衡、标注一致性低是常态。面试官希望听到你如何在“预算卡死、排期紧张、合规红线”三条铁链下，把数据改进做成一个可量化、可复现、可汇报的闭环。

知识点

1. 数据质量四维量化模型
   ① 准确性（Accuracy）——标注正确率、稽核一致率；
   ② 完整性（Completeness）——缺失字段占比、有效样本率；
   ③ 一致性（Consistency）——交叉验证κ值、分布稳定性ψ；
   ④ 时效性（Timeliness）——数据延迟、概念漂移检测（PSI、KL）。

2. 因果推断三板斧
   ① 随机对照实验（RCT）：同一基线模型，两份训练集，唯一变量是数据质量；
   ② 断点回归（RDD）：利用“质检得分刚好80分”的断点，对比上下区间的模型效果；
   ③ 双重差分（DiD）：先记录旧数据训练效果，再记录新数据训练效果，差分剔除时间漂移。

3. 效果换算公式
   ΔAUC = (AUC_after – AUC_before) × 业务权重 – 数据成本折损
   业务权重 = 正样本提升带来的GMV或风险减少 / 单点AUC变化价值（需提前用历史AB拟合）。

4. 国内合规点
   《个人信息保护法》要求“最小可用原则”，数据清洗不能随意删除敏感特征，需留存审计日志；标注外包必须脱敏并签署《数据安全责任状》。

答案

“我会把量化过程拆成五步，确保每一分钱都能算到AUC上。

第一步，建立数据质量基线。拉取近30天入库数据，按四维模型跑评分脚本，输出准确性85%、完整性92%、一致性κ=0.68、时效性PSI=0.21的量化报告，并同步到飞书多维表格，方便法务与标注供应商一起看见。

第二步，锁定改进杠杆。用Shapley值回溯上一轮Bad Case，发现‘标注一致性κ<0.6的样本’对AUC下拉贡献度占38%，于是把κ值提升作为核心OKR，而非泛泛地说‘提高数据质量’。

第三步，设计小成本RCT。从总量中随机抽10%作为实验组，重新培训标注团队并引入双人盲审+仲裁机制，保证κ≥0.8；对照组保持原流程。两组数据量、分布、训练超参完全一致，唯一变量是κ值。

第四步，跑模型并换算业务收益。实验组AUC从0.814提升到0.837，ΔAUC=0.023。结合线上AB历史数据，1‰ AUC对应贷前坏账率下降0.7BP，本次提升可折算年坏账减少270万元；而重标注+质检成本仅18万元，ROI=15倍。汇报时直接给财务一张收益测算表，过会非常快。

第五步，固化监控与停机阈值。把κ≥0.8写进标注合同，每周跑PSI+κ自动告警；若连续两周ΔAUC<0.005且成本>收益5%，即触发停机复盘，防止‘数据内卷’。

通过这套闭环，我曾在半年内把同一模型AUC累计提升4.7%，而数据预算只增加6%，并且一次性通过了上海经信委的数据安全合规抽查。”

拓展思考

1. 当数据质量已接近天花板，继续提升κ值对AUC的边际收益递减，此时应转向“数据增强+难例挖掘”组合策略，用合成+主动学习而非一味加标注预算。
2. 对于CV类项目，可把“标注一致性”升级为“Mask mIoU一致率”，并用混淆矩阵成本模型替代κ值，更贴合像素级任务。
3. 若公司处于“数据飞轮”早期，样本量<10k，建议先用“学习曲线+错误分析”快速定位高偏差区域，再用小批量高价值标注做阶梯式迭代，而非一次性上大实验。