如何构建“补贴-对照”实验？
解读
面试官问的是“补贴-对照”实验，而不是泛泛的 A/B 测试。核心考点有三层：
- 能否把补贴预算当成实验变量，而非简单发券；
- 能否用因果推断思维把“补贴”与“自然转化”拆开；
- 能否在中国本土的数据合规、灰度发布、资源博弈场景下落地。
答得太浅（“分两组发券看转化率”）会被追问“那你怎么证明是补贴带来的增量？”；答得太深（“双重机器学习+因果森林”）会被质疑“业务节奏等得了吗？”因此答案要兼顾科学严谨与业务可行，用运营语言把实验设计讲透。
知识点
- 本地合规：必须过《个人信息保护法》最小必要原则，补贴类实验涉及敏感画像字段（消费力、地理位置）需脱敏+去标识化，并在隐私政策内做实验场景告知。
- 实验单元：中国大厂普遍以**“设备+账号”双维度**作为随机化单元，避免刷号、设备农场。
- 增量衡量：补贴实验的核心是增量ROI（iROI），公式（实验组GMV-对照组GMV-补贴成本）/补贴成本；必须预留**“自然转化”基线**。
- 样本量：用绝对增量而非相对转化率估算样本，例如预期提升 50 万 GMV，按客单价 200 元、转化率 5%，需 50 万样本；国内常用幂值 80%、α=0.05、双尾。
- 分流时机：补贴实验必须在预算锁死前完成分流，否则会出现“实验组预算花完、对照组被挤占”的预算内卷；国内大促期常用**“预算池隔离”**机制。
- 长期效应：补贴有**“薅羊毛惯性”，需设置wash-out 期**（通常 2 个自然月）观察留存差异；若不做，会被财务挑战“你拉来的都是价格敏感用户”。
- 伦理止损：国内监管要求**“实时熔断”，当实验组投诉率或舆情指标超过基线 3σ 时必须自动关实验**，并回捞用户补偿。
答案
我把“补贴-对照”实验拆成 6 步，每一步都给出可落地的中国本土方案：
-
目标与假设
业务目标：618 大促期间用 500 万预算把某品类 GMV 提升 8%。
实验假设：相比“无补贴”，“满 299 减 50”券可将支付转化率从 5% 提升到 6.5%，且 iROI≥1。 -
实验单元与分流
以**“近 30 天有过浏览但未下单”的用户为候选池，约 400 万人；用哈希+盐值对 user_id 末尾 6 位取模，1:1 随机分到实验组（领券）与对照组（不领券），并实时写入风控黑名单排除羊毛党。
分流后立即做AA 校验**：核心指标（近 7 日 GMV、访问频次）p 值>0.2 才算分流干净，否则重跑。 -
补贴策略设计
实验组券包：满 299 减 50 限品类券+72 小时有效期，券量按**“预算上限/预估核销率”倒推，防止超发；对照组不弹券但给“点赞送积分”**作为安慰剂，避免用户体验落差带来的投诉。 -
数据收集与监控
埋点：券曝光、领券、用券、支付、退款、客诉 6 个节点全部走统一事件埋点（国内主流用埋点 3.0 方案），并实时落仓；同时把**“补贴成本”作为事件属性写进日志，方便后续算 iROI。
监控：每 2 小时跑一次“券核销率/投诉率/退单率”**三重熔断，任一指标超基线 2σ 自动关实验并推送企业微信告警。 -
分析与结论
实验周期 7 天+30 天 wash-out。
核心指标：- 支付转化率（实验组 6.4%，对照组 5.1%，p<0.01）
- 增量 GMV=（实验组 GMV-对照组 GMV）= 610 万
- iROI=（610-500）/500=0.22，未达预设 1，结论：券面额过高，建议下调到“满 299 减 30”再做一轮。
同时看30 天留存：实验组 次日留存 38% vs 对照组 37.8%，差异不显著，说明无长期伤害，可继续迭代。
-
业务落地与复盘
把实验代码、人群包、券模板沉淀为**“618 补贴实验模板”**，写入内部实验平台；财务、法务、客服三方会签后，下次大促可直接复用，把实验周期从 7 天缩短到 3 天。
拓展思考
-
“补贴-对照”与“定价-对照”混用时如何隔离效应？
国内常有“补贴+降价”组合拳，可用双因子实验（2×2）把价格因子与补贴因子正交，但需双倍样本，预算紧张时可先做**“阶梯补贴”（10/20/30 元三档）再用回归不连续性**（RDD）估计边际效应。 -
如果预算不够随机大样本，能否用合成控制**？**
对城市维度实验（如外卖补贴），可用**“合成控制城市”方法，把全国 300 城聚类成 20 个虚拟对照城市，但需通过“安慰剂检验”**证明政策冲击前趋势一致，否则容易被挑战“选择性偏差”。 -
长期品牌伤害怎么量化？
补贴实验后 6 个月，可跟踪NPS、品牌搜索指数、客诉舆情三维指标，用双重差分（DID）对比实验组与对照组，若 NPS 下降>3 分或品牌负面声量提升>20%，需把补贴预算转入会员权益，逐步淡化价格心智。