解读

1. 场景定位：国内互联网/金融科技/运营商普遍把 FP32 模型压缩到 INT8 甚至 INT4，以换取 2~4 倍吞吐、30% 以上 GPU 节省。1% 精度下降是“肉眼可见”的临界点，面试官想确认候选人能否把“技术指标”翻译成“业务损失”。
2. 评估维度：不是单看 Top-1 或 mAP，而是看“业务 KPI 是否击穿 SLA”。国内监管对金融、医疗、出行、内容审核都有明确风险敞口，必须给出可量化、可审计、可回滚的证据。
3. 监控闭环：上线后不能只做离线 Benchmark，而要建立“在线—近线—离线”三层监控，支持 10 分钟级回滚。面试官重点考察“持续监控”的工程化落地，而不是一次性脚本。

知识点

1. 业务可接受性评估框架
   a. 业务损失函数：把精度下降映射到订单、GMV、资损、客诉、审核漏放。
   b. 分层指标：核心 KPI（收入、转化率）、过程指标（CTR、CVR、响应准确率）、 guardrail 指标（违规率、坏账率）。
   c. A/B 实验：流量分层、正交、置信度 95%、检验功效 80%，最小检测效应 MDE 取 0.3%~0.5%。
   d. 风险预算：国内头部公司普遍设定“资损预算≤0.1‰，客诉率上涨≤5%”作为红线。

2. 统计显著性与业务显著性
   使用 Welch’s t-test 或贝叶斯概率提升（Bayesian Probability of Superiority）判断差异是否显著；同时计算“Expected Uplift”与“Risk of Ruin”，防止统计显著但业务无意义。

3. 影子模式与灰度回滚
   线上并行跑 FP32 影子节点，实时对比打分差异，差异分布超过 99th 阈值 2% 即触发回滚；灰度按 1%、5%、20%、100% 四阶梯，支持熔断。

4. 持续监控体系
   a. 在线层：Flink 实时流，30s 级计算 PSI（Population Stability Index）、打分漂移、业务 KPI 漂移。
   b. 近线层：Spark 每 15min 跑滑动窗口，输出精度、召回、AUC、校准度。
   c. 离线层：Airflow 每日拉取 T+1 样本，跑端到端 Golden Test，对比基线模型。
   d. 告警：采用“动态阈值”（3σ+Holm-Bonferroni 多重校验），防止误报；告警等级 P0 直接电话回滚，P1 钉钉工单，P2 邮件。

5. 性能测试角色职责
   负责设计“精度—性能”联合压测场景：在同等并发、同等数据量下，对比 FP32 与 INT8 的 QPS、P99 延迟、GPU 利用率，并输出“每 1% 精度换取多少吞吐/成本”的量化报告，供业务决策。

答案

第一步：建立业务损失函数
选取最近 30 天全量日志，构造“如果当时精度下降 1%”的离线回放，计算 GMV 损失、客诉增量、违规漏放数量。若 GMV 损失<0.05‰、客诉上涨<3%、违规漏放<监管容忍度，则进入第二步；否则直接拒绝上线。

第二步：设计 A/B 实验
流量切分采用用户 ID 哈希桶，保证 14 天覆盖完整周期；样本量用功效分析公式 n=16×σ²/δ²，确保 MDE=0.3%。实验组使用 INT8 量化模型，对照组保持 FP32；核心指标取“支付转化率”，guardrail 指标取“违规率”。

第三步：影子模式验证
上线前 7 天，在线旁路部署 INT8 模型，只记录不打分，与 FP32 实时 diff。打分差值分布的 99th<0.02、PSI<0.1 方可进入灰度。

第四步：灰度发布与熔断
按 1%、5%、20%、100% 四阶段放量，每阶段至少跑 24h。在线监控 PSI、KPI 漂移；若任一指标触达红线（转化率下降≥0.3%或违规率上涨≥5%），10min 内自动回滚。

第五步：持续监控
上线后接入三套监控：

1. Flink 实时：每 30s 计算 PSI、KPI，异常 5min 内告警。
2. Spark 近线：每 15min 更新 AUC、校准度，漂移>2% 工单追踪。
3. Airflow 离线：每日 Golden Test，精度下降累计>1.2% 触发模型重训或回退。

第六步：量化收益复盘
性能测试出具报告：INT8 模型在 2k QPS 压力下，P99 延迟从 120ms 降到 65ms，GPU 卡数减少 32%，成本月省 18 万元；用 1% 精度换取 1.8 倍吞吐，ROI>10，结论“业务可接受”。

拓展思考

1. 多目标权衡：如果业务方后续要求“精度下降≤0.5%”，性能测试需引入 QAT（Quantization Aware Training）或混合精度 INT8+FP16，重新跑一轮“精度—性能”帕累托前沿，给出新的成本收益曲线。
2. 监管审计：国内金融场景需向央行报备模型变更，必须提供“精度下降—风险敞口”量化表；性能测试团队要把影子日志、A/B 原始数据、回滚记录封存 5 年，方便合规抽查。
3. 模型版本雪崩：当特征分布漂移叠加量化误差，可能触发“双重下降”效应。持续监控需引入“漂移-量化联合检测”算法（如 MDI-QA），提前 24h 预警，避免大规模资损。