如何评估修复后画像精度提升?

解读

面试官问的不是“画像怎么做”,而是“修复后”的“精度提升”如何量化。这背后隐含三层考察:

  1. 你是否知道画像“坏了”的表现(覆盖率下降、区分度衰减、转化率失真);
  2. 你是否能用国内可落地的数据指标证明“修好了”;
  3. 你是否能把精度提升翻译成业务结果,让老板一眼看懂“值不值”。

因此,回答必须围绕“前后对比、闭环验证、业务挂钩”展开,且所有指标都必须是国内主流埋点+数据仓库+CDP能直接跑出来的。

知识点

  1. 画像精度=标签准确率×覆盖率×稳定性
    国内大厂通用定义:准确率=人工抽检一致率,覆盖率=有该标签的MAU/总MAU,稳定性=7日标签值翻转率<5%
  2. 修复动作通常指:样本去噪、ID-mapping归一、特征工程升级、模型迭代(XGBoost→Wide&Deep)。
  3. 评估必须做双重验证
    • 技术层:AUC、KS、PSI、边际贡献度;
    • 业务层:AB实验核心指标(拉新ROI、次留、付费率、召回率)。
  4. 国内合规红线:用户授权链完整、脱敏日志留存≥3年,否则精度再高也不能上线。

答案

“我会用三阶闭环法把修复效果量化到业务层,让老板直接看到钱。

第一步,技术校准
① 随机抽样5000条最近7日活跃用户做人工盲测,计算Top 30核心标签准确率,修复后准确率从82%提到91%,提升9个百分点;
② 用PSI<0.1验证分布稳定性,确保不是过拟合;
③ 跑KS值,金融风控场景下从0.28提升到0.36,越过0.3可用线

第二步,业务回灌
把修复后的画像同步到字节巨量引擎做Lookalike人群扩展,同样预算下:

  • 拉新CPA从38元降到27元,降幅29%
  • 支付转化率提升1.7个百分点,对应单日GMV+120万
  • 次留绝对值提升3.1个百分点,经CUPED去季节波动后依旧显著。

第三步,持续监控
CDP里建**“画像健康度”仪表盘**,每日自动跑覆盖率+翻转率+贡献度三维报告,一旦PSI>0.1或翻转率>5%即触发灰度回滚,保证线上效果不反弹

结论:用9%准确率提升→29%CPA下降→120万日GMV增量这条逻辑链,把技术语言翻译成业务语言,就是修复后画像精度提升的最好证明。”

拓展思考

如果面试官追问“标签冲突怎么解”,可补充:

  1. 规则优先级+置信度打分双轨制,例如“高消费”标签置信度>0.85直接采用,<0.6则降级到“潜力消费”;
  2. 引入实时反馈链路:用户站内搜索“苹果手机”且停留>30s,自动触发兴趣标签补全模型,30分钟内写回CDP,实现小时级修正
  3. 高价值沉默用户做**“画像纠偏”专项**:先用RNN+Attention预测30日回购概率,再把预测结果与原有画像做加权融合,最终使召回短信转化率从2.4%提升到4.6%,接近翻倍。