解读

国内大模型落地必须兼顾显存占用与业务精度，8bit 量化是推理加速环节的核心手段。面试官问“选哪些通道”，实质在考察候选人能否把理论敏感度转化为工程可落地的通道级掩码，并给出可复现的公式，而非简单调用 torch.quantization。回答时要体现对LLMOps 持续监控的闭环思维：量化后如果业务指标下跌，如何快速定位是哪些通道惹的祸。

知识点

1. 敏感度定义：量化前后输出余弦相似度下降 ΔC 或下游任务指标下降 ΔKPI。
2. 通道级敏感度：对 Conv1d/Linear 的 weight tensor W∈ℝ^{C_out×C_in}，按输出通道维度计算敏感度 S_c。
3. Outlier 与熵：国内生产环境普遍用校准集≤1024 条真实业务语料，统计各通道最大值 ∣W_c∣_∞ 或熵 H(W_c)，作为敏感度近似。
4. 硬件对齐：NVIDIA A800 的 8bit Tensor Core 要求通道数 64 对齐，掩码需补零到 64 的整数倍，否则算子回退到 FP16，Latency 反而恶化。
5. LLMOps 回滚：把敏感度掩码 M 作为模型元数据写入 Model Registry，一旦线上 KPI 下跌，可秒级回滚到 M′ 而不重新训练。

答案

步骤一：在校准集 X 上收集浮点输出
Y = X · W^T ，‖Y‖_F 作为金标准。

步骤二：对第 c 个输出通道做 8bit 对称量化
W_c^quant = round(W_c / scale_c) · scale_c ，
scale_c = max(∣W_c∣) / 127 。

步骤三：定义通道级敏感度
S_c = 1 − cos(Y_c , Y_c^quant) ，
其中 Y_c^quant = X · (W_c^quant)^T 。

步骤四：引入业务容忍阈值 ε（国内推荐 ε=0.005，对应下游 F1 下降 ≤0.3%）
掩码 M_c = 1_{S_c > ε} ，
M_c=1 的通道保持 FP16，其余走 INT8。

步骤五：硬件对齐
把 M 按 64 通道粒度做 OR 池化：
M′g = max{c∈g} M_c ，g=⌊c/64⌋，
最终 量化通道数 = ∑(1−M′) ，
显存节省率 η = 1 − (∑(1−M′)+2·∑M′)/2C_out ≈ 0.45×(1−∑M′/C_out) 。

步骤六：写入 LLMOps 监控
把 (S_c, M′, η) 作为量化指纹随模型一起打包，线上若出现生成重复率上升，可一键回滚 M′。

拓展思考

1. 动态敏感度：在 continual learning 场景，新增领域数据后需周级重新校准 S_c，否则旧 M′ 可能让新知识遗忘。
2. 混合精度升级：把敏感度公式推广到 4bit 分组量化，S_c 改为 逐组余弦距离，掩码粒度从通道降到 group=128，可在 A800 上再省 25% 显存，但需验证 group-wise scale 的共享策略是否引入 kernel launch 开销。
3. 国产芯片适配：昇腾 910B 的 8bit Matmul 要求 N=32 对齐，公式中池化粒度需改为 32；若直接套用 NVIDIA 的 64 对齐掩码，会触发 ASCEND_OP_CAST 回退，Latency 增加 18%，这是国产化部署的隐形坑点。