解读

面试官想知道三件事：

1. 你是否理解“分层模型”在内容 GMV 预测中的业务含义（按用户层级、内容品类、流量场域等维度切分，再分别建模）。
2. 你是否掌握离线+在线两套评估体系，并能把“统计显著”翻译成“业务显著”。
3. 你能否用中文互联网可落地的指标与实验设计回答，而不是照搬论文公式。

知识点

1. 分层模型 vs 单模型：分层后每子模型只学习局部信号，降低 Variance，但可能牺牲 Bias；需验证“分层带来的边际增益>维护成本”。
2. 核心评估指标：
   • 离线：加权 MAPE、RMSE、WAPE（Weighted Absolute Percentage Error，分母为实际 GMV，适合电商大促稀疏场景）、分层加权 R²（按层 GMV 占比加权）。
   • 在线：AB 实验 GMV uplift 显著性（双尾 t 检验，α=0.05）、订单级校准度（预测 vs 实际 GMV 的 Q-Q 图在 45° 线±2% 内）、预算消耗率（预测高 GMV 内容是否被优先投流，消耗率≥80% 为可用）。
3. 国内落地细节：
   • 数据漂移：抖音、淘宝大促期间小时级 GMV 波动系数>3，必须做时间切片交叉验证（T-7、T-3、T-1 滚动）。
   • 流量偏差：头部达人内容占 60% GMV，需用逆倾向加权(IPTW) 校正采样，否则评估结果虚高。
   • 实验单元：内容 GMV 存在**“同品类蚕食”，AB 实验最小单元应上升到“类目×小时”** 维度，而非单条内容，避免 SUTVA 违背。

答案

“我会用三步法评估分层模型对内容 GMV 的预测精度，确保既看得懂数字，也说得清生意。

第一步，离线回溯：

1. 按最近 6 周、含 618 峰值的数据做时间外验证（Train/Val/Test=4:1:1）。
2. 对比单模型 XGBoost 与三层模型（头部达人、腰部达人、长尾商家）的WAPE 与分层加权 R²。若三层模型 WAPE 降低 ≥3 个百分点且加权 R² 提升 ≥0.05，则认为离线增益达标。
3. 做误差分布透视：检查头部层 WAPE 是否<10%，尾部层<25%，防止“平均数陷阱”。

第二步，在线实验：

1. 取**“美妆+母婴”两大一级类目**、连续 7 天、每天 10:00-22:00 黄金时段，做类目×小时级 AB 实验，样本量用 80% power+5% α 算出需 180 个“小时段”单元。
2. 核心指标：实验组（分层预测投流）vs 对照组（单模型投流）的 GMV uplift 显著性 p<0.05，且实验组预算消耗率≥85%（说明模型敢把预算押在预测高 GMV 内容上）。
3. 护航指标：退货率差异<0.3 pct，防止高预测高 GMV 但低质量内容薅预算。

第三步，持续监控：
上线后每周跑PSI（Population Stability Index），若特征 PSI>0.2 或 GMV 预测偏差>5%，触发模型重训；同时把TOP 100 预测失败案例打标回传，用于下一轮特征迭代。”

拓展思考

1. 如果公司内容池 90% 是新品，无历史 GMV，可用零样本迁移：先以“点击率×客单价”做 proxy 标签，再用元学习(MAML) 训练分层模型，评估时看proxy→真实 GMV 的秩相关系数≥0.75 即可上线。
2. 当预算有限、只能挑 20% 内容投流，可引入**“预测区间覆盖率”**（80% 预测区间应覆盖真实 GMV 至少 80% 次），避免过度自信导致预算错配。
3. 长期看，分层模型必须与用户运营生命周期打通：把“预测 GMV”拆成“预测拉新 GMV”和“预测复购 GMV”，分别对应新客补贴效率和老客 ARPU 提升，才能证明模型不仅准，而且对业务增长有因果价值。