解读

面试官把“性能测试”范畴从传统后端压测延伸到 AI 推理侧，核心想验证两点：

1. 你是否理解模型大小与推理性能（首包延迟、吞吐、显存占用、CPU 缓存命中率）之间的量化关系；
2. 面对“体积↓75%、精度损失<2%”这样苛刻的 SLA，能否像调优后端接口一样，给出可量化、可回滚、可灰度的压测方案，而不是拍脑袋“剪一下枝、量一下化”。
   国内大厂 2024 年真实上线流程中，模型必须过“压测-回归-AB-灰度”四道关卡，因此回答要体现：

• 指标可度量：体积、计算量、QPS、P99 延迟、mAP、GPU 利用率；
• 过程可回滚：每步压缩后都要跑一遍基线压测，mAP 回退>2% 立即熔断；
• 场景可灰度：先切 5% 流量，对比线上真实摄像头 1080p 视频流，确保夜间低照度、高密度人群等极端场景不掉点。

知识点

1. 模型体积公式：
   体积 ≈ 参数量 × 位宽 ÷ 8（字节）
   200 MB 对应 float32 约 52 M 参数，50 MB 目标等效 6 bit，但 6 bit 芯片不支持，必须结构化压缩。

2. 精度敏感层识别：
   利用 fisher information、activation AP 差分或 one-shot NAS 敏感度表，把“mAP 贡献高 + 激活方差大”的层标记为 protected，剪枝/量化时跳过。

3. 混合位宽量化（MQA）与 TensorRT 8.6 QAT：
   国内 A100/A800 上线强制用 TensorRT，支持 per-channel INT8 + FP16 混叠，可回退到 FP16 做熔断。

4. 后端压测三板斧：

   • 单卡压满：docker --gpus all 起 8 进程，batch=1/8/16 三档，测最大可持续 QPS；
   • 多卡线性：8×A100 用 triton ensemble，看 QPS 是否线性增长，记录 NCCL 通信耗时；
   • 长稳 12 h：显存泄漏、显存碎片、温度降频、mAP 漂移。

5. 灰度指标：
   线上真实视频流 24 h，对比基线模型，mAP 下降>0.5% 或 漏检>1% 立即回滚；同时监控 P99 延迟↑>10% 或 GPU 利用率↑>15% 也触发回滚。

答案

分五步交付，每一步都绑定压测报告，确保“可量化、可回滚”。

1. 基线压测（Day 0）
   用公司统一压测平台（基于 nvidia-docker + triton 23.08）跑 200 MB FP32 模型：

   • 单卡 QPS=112，P99=38 ms，mAP@0.5=0.428；
   • 8 卡线性比 7.8×，无显存泄漏；
   • 输出《基线性能报告》，作为后续熔断对照。

2. 结构化剪枝 + 稀疏训练（Day 1-3）
   采用 YOolov5 官方 prune.py，基于 BN 层 γ 系数全局排序，剪掉 40% 通道，再稀疏微调 60 epoch：

   • 体积 200 MB→120 MB；
   • 压测 QPS=158 (↑41%)，P99=27 ms，mAP=0.425（-0.7%）；
   • 满足 <2% 要求，继续下一步。

3. INT8 量化 + QAT（Day 4-6）
   用 pytorch-quantization 做 per-channel QAT，backbone 全部 INT8，检测头保留 FP16（敏感度分析显示 three_detect 层 mAP 贡献高）：

   • 体积 120 MB→55 MB；
   • 压测 QPS=235 (↑110%)，P99=18 ms，mAP=0.421（-1.6%）；
   • 仍 <2%，继续。

4. 知识蒸馏（Day 7-9）
   以 FP32 基线做 teacher，INT8 做 student，蒸馏 30 epoch，温度系数 4，loss 权重 1:1:1（cls+box+obj）：

   • mAP 拉回 0.426（-0.5%），体积保持 55 MB；
   • 压测指标不变，QPS 仍 235。

5. 前端算子融合与打包（Day 10）
   TensorRT 8.6 打开 DLA fallback，conv+bn+relu 融合，再对权重表 zip 压缩：

   • 体积 55 MB→49 MB；
   • 压测 QPS=240，P99=17.5 ms，mAP=0.426；
   • 输出《压缩性能报告》，与基线对比：体积↓75.5%，QPS↑114%，mAP↓0.5%，全部优于 SLA。

灰度上线：

• Canary 5% 流量 24 h，线上真实视频 1.2 亿帧，mAP 下降 0.4%，漏检↑0.3%，延迟↓42%，无回滚事件；
• 全量发布，周级别回归，持续监控。

拓展思考

1. 如果 SLA 把“显存占用”也写进 SLO，要求单卡 8 路 1080p 视频同时推理，显存<6 GB，该如何调整？
   提示：在 INT8 基础上再引入

   • 帧间跳检（关键帧用模型，中间帧用 IoU-Tracker）；
   • batch=8 动态 shape，TensorRT 开 memory pool；
   • 对 75% 稀疏度做 2:4 结构化稀疏，Ampere 架构加速。

2. 若业务方后续要部署到昇腾 910B（国产卡），INT8 精度误差>2%，如何快速回退并给出数据证明？
   提示：

   • 在压测平台里预埋“国产卡兼容模式”开关，一键回退到 FP16；
   • 用 5% 流量 AB，对比 mAP、QPS、单卡功耗，输出《国产卡回退报告》，供决策层签字。

3. 模型压缩后，夜间低照度场景 mAP 掉 4%，但白天正常，如何像后端慢 SQL 一样定位？
   提示：

   • 把线上 24 h 视频按亮度分桶，<30 lux 归为夜间桶，分别计算 mAP；
   • 用 Grad-CAM 可视化，发现检测头第一层 INT8 量化后激活值饱和，导致暗部特征丢失；
   • 对该层回退到 FP16，体积增加 1.8 MB，夜间 mAP 拉回 2.1%，总体仍 50 MB 以内。