解读

面试官真正关心的不是“Feature Flag 是什么”，而是在千亿级大模型在线服务场景下，如何零中断、零重启、零版本发布地切换提示模板，并能在 1～2 分钟内完成灰度放量或紧急回滚。
国内监管对生成内容有**“先审后发、可追溯、可回滚”**的硬性要求，因此方案必须同时满足：

1. 审计留痕：谁、何时、改了哪条提示、影响了哪些流量；
2. 秒级生效：不能走传统 CI/CD 全量重启；
3. 可回滚：一旦输出质量异常，能在 30 s 内把流量归零；
4. 多环境隔离：测试、预发、生产共用同一套 Flag 平台，但数据面严格隔离；
5. 性能无损：不能因频繁拉取 Flag 而增加 P99 延迟。

知识点

1. Feature Flag 核心模型：Flag → Segment → Variant → Rule → Targeting；
2. 提示模板即 Variant：把 Prompt 文本、Temperature、Top-p、Stop Sequence 等元数据序列化成 JSON，作为 Variant 的 payload；
3. 实时推送通道：国内常用阿里云 MSE 配置中心、腾讯云 TCR-Config、字节跳动 FeatureProbe 自建集群，均支持长轮询或 gRPC 流式推送，保证 1 s 内全网生效；
4. 流量染色：在网关层把 UID、DeviceId、业务线编码写入 Header，推理侧通过ThreadLocal Context透传，实现按用户、按业务线、按版本三维灰度；
5. 热加载机制：推理服务启动时把 PromptTemplate 缓存在Caffeine 本地缓存 + 监听变更事件，变更触发模板重新编译（Jinja2 / Velocity），但不重启模型实例；
6. 回滚策略：配置“Kill Switch”Flag，一旦打开，所有流量强制回退到 baseline 模板，并自动锁定编辑权限，需二级审批才能再次修改；
7. 监控与告警：把 Flag 变更事件同步到阿里云 SLS / 腾讯云 CLS，再接入Grafana 告警通道，指标包括：模板版本切换次数、生成内容安全分、用户点踩率；
8. 合规审计：Flag 平台必须开启操作日志投递至金融云合规仓库，保存**≥180 天**，且日志字段包含：操作人 RAM ID、模板 MD5、旧值、新值、生效时间戳。

答案

线上实战我们分四层落地：

1. Flag 建模层
   在字节跳动 FeatureProbe 新建一个 String 型 Flag：prompt_template_v2，Variant 列表如下：

   • baseline: {"tpl":"{{user}}请总结下文：{{doc}}","temp":0.3}
   • canary_5%: {"tpl":"{{user}}请用3句话总结：{{doc}}","temp":0.2}
   • rollback: {"tpl":"{{user}}请总结下文：{{doc}}","temp":0.3} 与 baseline 完全一致，用于紧急清零。

2. 网关染色层
   阿里云 MSE 网关根据 UID 尾号做一致性哈希桶，桶号 00–04 的用户强制路由到 canary_5%，其余走 baseline。染色结果通过 X-Feature-Flag-Key Header 透传。

3. 推理热加载层
   推理服务（基于 FastAPI + Python 3.11）启动时注册ConfigWatcher 协程，监听 Flag 变更。收到推送后：
   a. 解析 Variant payload，生成Jinja2 Template 对象；
   b. 用读写锁替换全局 _template_holder；
   c. 把旧模板引用计数减到 0 后由 GC 回收，无锁读路径保证 P99 延迟 < 10 ms。

4. 回滚与应急
   一旦监控发现 canary_5% 的安全分 < 0.95 或点踩率 > 3%，On-Call 同学直接在钉钉群输入 /ff rollback prompt_template_v2，机器人调用 FeatureProbe Rest API 把流量规则改为 100% 指向 rollback Variant，30 s 内全网生效，同时触发飞书审批流，锁定编辑权限，需总监级审批才能再次放量。

通过以上四步，我们实现了零重启、零发布、秒级灰度、分钟级回滚，并在 2023 年双十一大促期间平稳运行，最大并发 18 万 QPS，回滚操作 2 次，平均恢复时间 45 s。

拓展思考

1. 多模型混布场景：如果同一服务里同时加载 7B、13B、70B 三个模型，Flag 平台需要支持模型维度矩阵：Flag Key 变成 prompt_template_v2@model_7b，避免不同模型共用同一模板导致的内存膨胀。
2. A/B 实验与 Flag 合并：当产品同学还要跑文案风格 A/B 时，可以把 Prompt 模板实验与前端 UI 实验合并到同一个 Layer，使用互斥组防止用户同时命中两个冲突实验。
3. 边缘云场景：在抖音 CDN 边缘节点部署轻量推理时，节点与中心机房 RTT 超过 100 ms，可改用边缘 Feature Flag 代理（Sidecar），通过Raft 日志复制保证边缘与中心配置最终一致，但允许 5 s 内短暂不一致，权衡可用性与一致性。
4. 合规加强：金融客户要求**“可回滚到任意历史版本”，Flag 平台需开启MVCC 版本桶**，每次变更生成全局单调递增版本号，回滚时直接指定版本号即可，无需重新创建 Variant，满足央行《人工智能算法金融应用评价规范》可追溯、可复现条款。