如何对 FFN 权重进行 SVD 分解并选择秩?
解读
在大模型落地过程中,FFN(Feed-Forward Network) 占 Transformer 总参数量约 2/3,是推理延迟与显存占用的主要瓶颈。国内线上场景普遍要求 TP99 延迟 < 100 ms、首 token < 500 ms,同时受 A10/A100 单卡 24 GB~80 GB 显存 限制,直接部署 7 B/13 B 模型往往无法满足 SLA。通过 SVD 低秩压缩 可在几乎不微调的前提下把 FNN 权重降到原体积 30 %~50 %,再配合 FasterTransformer / TensorRT-LLM INT8 量化 实现 1.5×~2× 吞吐提升,因此“如何分解、如何选秩”是面试官判别候选人是否具备落地级模型压缩经验的核心考题。
知识点
- FFN 结构:标准 Transformer 采用
W1(@, 4h)×W2(4h, @)两级线性层,激活函数为 SiLU/Swish 或 GeLU。 - SVD 原理:对矩阵
W∈ℝ^(m×n)做W≈UΣV^T,仅保留前r大奇异值得到W≈U_r·Σ_r·V_r^T,参数量从mn降到r(m+n)。 - 误差度量:
- 谱范数相对误差
‖W-Ŵ‖_2 / ‖W‖_2 - Frobenius 相对误差
‖W-Ŵ‖_F / ‖W‖_F
线上通常要求 Frobenius 误差 < 2 % 且下游任务指标下降 < 0.5 %。
- 谱范数相对误差
- 选秩策略:
- 能量阈值法:
∑_{i=1}^r σ_i^2 / ∑_{i=1}^{min(m,n)} σ_i^2 ≥ 0.99 - 任务感知法:在 1 k 条业务验证集上直接搜索最小
r使得 BLEU/ROUGE 下降 < 0.3 % - 预算反向法:给定显存或延迟预算,反推最大可接受
r,再微调恢复精度。
- 能量阈值法:
- 实现细节:
- 先做 通道级归一化
W'=diag(g)^-1·W再分解,避免激活量纲差异导致奇异值分布失真。 - 分解后插入 BN 融合 与 SiLU 分段融合,减少一次 kernel launch。
- 与 AMP FP16 混合精度训练时,需对
Σ_r做 1e-5 裁剪 防止梯度下溢。
- 先做 通道级归一化
答案
步骤一:离线抽取权重
W1=W_{up}∈ℝ^{4h×d}, W2=W_{down}∈ℝ^{d×4h},合并成 W=W2·W1∈ℝ^{d×d} 再分解,可减少一次小矩阵乘法。
步骤二:做归一化 SVD
W'=diag(g)^-1·W,g=√(row_var(W)),对 W' 调用 torch.linalg.svd,得到 U,Σ,V^T。
步骤三:能量阈值初筛
计算累积能量 cumsum(Σ^2),取最小 r 使能量 ≥ 99 %,作为 候选秩 r₀。
步骤四:任务验证精调
在真实业务验证集(不少于 1 k 条,覆盖 国内口语、繁体、垂直实体 等分布)上,从 r₀ 向下递减,记录 BLEU/ROUGE 下降曲线;当指标下降首次超过 0.3 % 时停止,取前一个 r 作为 *最终秩 r`**。
步骤五:结构化替换
构造 U_r*∈ℝ^{d×r*}, Σ_r*∈ℝ^{r*×r*}, V_r*^T∈ℝ^{r*×d},重写 W≈U_r*·Σ_r*·V_r*^T,等价于两层线性 Y=X·U_r*; Z=Y·(Σ_r*·V_r*^T),参数量从 d·4h+4h·d=8hd 降到 r*(d+d)=2r*d,压缩率 η=2r/8h=r/4h**。
步骤六:微调恢复
用 LoRA 方式仅训练分解后的两个小矩阵 3 k 步,学习率 2e-4,batch 64,FP16 + grad_checkpoint,一般 0.5 小时可让指标回弹 0.2 %,最终达到 压缩 45 %、延迟降低 35 %、BLEU 无损 的线上效果。
拓展思考
- 动态秩:对同一模型不同层采用 差异化秩(靠近输入层 r 大,靠近输出层 r 小),可在总参数量不变情况下再提 0.2 BLEU。
- 联合量化:SVD 后再对
U,Σ,V做 INT8 分组量化(group-size 128),配合 TensorRT-LLM SmoothQuant,显存可再降 40 %,但需 校准 512 条中文语料 保证分布一致。 - 端侧落地:在 昇腾 310P 这类 NPU 上,需把
Σ吸收到任意一侧矩阵,满足 矩阵维度 32 对齐 要求;同时开启 AIPP 图像预处理融合 减少 Host/Device 往返。 - LLMOps 闭环:把 SVD 压缩、秩搜索、微调、评测、AB 实验全部封装成 KubeFlow Pipeline,每次上游基线模型更新后自动触发“压缩-回归-发布”流程,实现 周级迭代,这是国内头部厂 抖音、阿里、百度 的通用做法。