解读

面试官想知道三件事：

1. 你是否理解“分层模型”在国内业务语境下通常指基于用户生命周期或价值段位的分层（如新手、成长、成熟、高价值、流失预警），而非单纯的机器学习分层；
2. 你是否能把“预测30日LTV”拆解成可落地的评估指标与实验设计，而不是只背公式；
3. 你是否具备数据闭环与业务闭环思维：模型准不准，最终要看线上真金白银的GMV/ROI，而不是只看离线R²。

因此，回答必须同时覆盖离线评估、在线实验、业务校验三层，并给出**符合国内数据合规要求（个人信息保护法）**的具体做法。

知识点

1. 30日LTV定义：用户在未来30天内为平台带来的实际货币化收入（含支付订单、会员、广告分成等），需去退单、去刷单、去内部测试订单。
2. 分层模型：通常用RFM+行为序列+订单密度做规则分层，或用XGBoost/LightGBM做回归预测，再映射到分层区间。
3. 评估指标：
   • 离线：MAPE、Weighted MAPE、Gini系数、分位校准度（Calibration）
   • 在线：实验组vs对照组的GMV差异、ROI、下单转化率、人均实付
4. 国内合规：30日LTV预测属于**“用户画像评分”，需明示用户并在隐私政策中说明“用于优化优惠发放”**，避免使用敏感个人信息（精确地理位置、通讯录）。
5. 流量分配：国内主流A/B平台（如火山引擎、腾讯灯塔）支持用户级哈希分流，需保证实验层与推荐层正交，防止策略打架。

答案

验证分三步走，每一步给出可落地的国内实操细节：

第一步：离线回扫，校准“钱”而不是“数”

1. 选取最近完整30天前的随机10%用户作为验证集，确保覆盖各分层。
2. 用模型输出“预测30日LTV”，再跑真实30日GMV（去退单、去优惠券薅羊毛订单）。
3. 计算Weighted MAPE（以真实GMV做权重），要求高价值段（top10%）MAPE≤15%，中低价值段≤25%；同时画十分位校准图，保证每段预测总和与真实总和的比值在0.9–1.1之间。
4. 若校准不达标，优先检查优惠券敏感度特征是否被错误加权——国内用户薅券退单路径复杂，常导致高价值段高估。

第二步：在线A/B实验，验证“模型驱动策略”能否带来增量

1. 实验对象：近7日活跃但近30日未付费用户（国内平台拉新成本>150元/人，必须精准）。
2. 分流：按用户ID尾号哈希分成两组，各100万人，确保DAU、地域、机型、历史GMV在5%差异内。
3. 策略：实验组用模型预测30日LTV≥50元的用户发满100减20神券；对照组用**规则分层（近30日订单≥2单）**发相同券。
4. 观察周期：30天闭环，核心指标：
   • 实验组vs对照组的人均实付GMV差异≥+8%
   • ROI≥1.5（券成本/增量GMV）
   • 退单率差异≤+0.5pp（防止刷券）
5. 若GMV提升但ROI不达标，用 uplift model 做二次细分，只对 uplift 前30%发券，把ROI拉到2.0以上。

第三步：业务后评估，建立“准不准—用不用—赚不赚钱”闭环

1. 每周产出**《LTV模型监控日报》，核心看“预测高价值用户”在随后7日的真实GMV贡献占比**，若占比连续两周下滑超过3个百分点，触发模型重训。
2. 与财务对齐：把预测LTV折算成“可承受CAC”，反向指导投放部门调整抖音/快手信息流出价。
3. 引入**“模型漂移预警”：当新用户渠道占比>30%或大盘客单价波动>10%时，自动触发增量学习**，避免春节、618等大促节点后模型失效。

完成以上三步，即可量化证明分层模型对30日LTV的预测准确度，并让准确度直接等于赚钱能力。

拓展思考

1. 多币种场景：若业务含跨境电商，需把30日LTV统一换算成人民币计价，并用实时汇率锁价（T+1），防止汇率波动吃掉利润。
2. 长周期订阅：对会员制电商（如88VIP），30日LTV需把年费摊销考虑进去，用生存分析预测续费概率，否则模型会低估首月用户价值。
3. 隐私计算：当品牌方与平台方做数据互补建模时，可采用腾讯安全“隐语”或蚂蚁“隐语”方案，在不出域的前提下联合建模，既合规又能提升高价值用户识别率10%以上。