解读

在大模型落地场景中，A/B 实验成本极高：一次全量灰度可能涉及千万级调用、GPU 算力费用与合规风险。传统频率学派固定样本量检验必须等到预设样本耗尽才能决策，导致**“样本浪费”与“迭代周期长”。贝叶斯序贯检验通过实时更新后验信念与提前停止规则**，把实验样本量降低 30 %–70 %，同时保证第一类错误率 α<5 %、Power>80 %，是国内大厂 LLM 在线灰度的标配提速手段。

知识点

1. 贝叶斯序贯核心公式
   后验概率比
   Λn = P(H1|data1…n) / P(H0|data1…n)
   每次观测后根据贝叶斯定理更新，无需预设最大样本量。

2. 停止边界（中国常用阈值）
   Λn ≥ 20 时拒绝 H0，Λn ≤ 1/20 时接受 H0；等价于后验胜率 ≥95 % 或 ≤5 %。
   该边界经仿真校准，可在总样本量 ≤ 固定频率检验 N 的 40 % 时即收敛。

3. 先验选取与敏感性
   国内业务线普遍采用**“业务无差别”保守先验**：
   H0: θ ~ Beta(1,1)，H1: θ ~ Beta(1,1) 平移 MDE。
   若指标历史方差已知，可用经验贝叶斯把历史 4 周数据浓缩进先验，减少先验错配带来的早期误判。

4. 指标层适配
   大模型场景主要监控回答采纳率、首字延迟、有害率三类指标。

   • 二项指标（采纳率、有害率）直接 Beta-Binomial 共轭更新，单样本毫秒级。
   • 连续指标（延迟）用正态-逆伽马共轭，或做方差稳定变换后近似正态。

5. 工程落地要点

   • 流式更新：实验埋点 → Kafka → Flink 实时计算 Λn，每 5 min 回写决策中心。
   • 并行跑多个实验：用分层贝叶斯共享先验，避免多重检验膨胀。
   • 与 LLMOps 集成：把 Λn 写入Prometheus 指标，Grafana 面板红绿区自动熔断，实现无人值守灰度。

答案

“我们在大模型灰度中采用贝叶斯序贯检验来提前收敛并节省样本。具体做法分三步：
第一步，根据历史 4 周数据建立Beta(α,β) 经验先验，MDE 设为相对提升 2 %。
第二步，实时流每收到一条反馈，就用Beta-Binomial 共轭更新后验，计算后验胜率 Λn。
第三步，设定停止边界 20 与 1/20，一旦 Λn 越界即自动停止实验并推送决策到灰度平台。
上线三个月，我们在内容生成采纳率实验中平均节省样本 52 %，迭代周期从 7 天缩短到 3 天，且通过 1000 次仿真验证实际 α=4.3 %，满足国内监管对可控性的要求。”

拓展思考

1. 若指标延迟反馈（如用户次日才点赞），可用部分可观测贝叶斯把缺失数据建模为隐变量，用MCMC 每 30 min 采样一次，不拖延决策。
2. 当实验单元存在网络效应（同一会话多次调用），需把会话级聚类纳入似然，采用分层 Beta-Binomial 避免标准误低估。
3. 国内合规要求**“算法备案”时需提交统计方法说明**，建议提前把先验敏感性报告、仿真代码、边界校准记录存入Git 审计库，方便监管抽查。