解读

面试官真正想考察的是两点：

1. 你是否把 LoRA 的“秩”与参数量公式背得滚瓜烂熟，并能秒算；
2. 你是否能在40GB 显存红线下，把增量权重、原始权重、激活、优化器状态、KV-cache一起算清，给出可落地的工程余量，而不是只报一个“理论值”。
   在国内一线厂的实际面试里，“报得出数字”只能算 60 分，“报得出数字+报得出为什么还能剩 10GB”才能拿到 90 分。

知识点

1. LoRA 增量权重公式：ΔW = 2 × r × d_model × num_layers，单位是个参数。
2. 参数量→显存：1 参数 ≈ 2 Byte（FP16/BF16），若用 AdamW 训练则增量权重也要存一阶+二阶动量，再 ×3。
3. 原始模型权重：7B 模型 ≈ 14GB（FP16），13B 模型 ≈ 26GB，30B 模型 ≈ 60GB；40GB 卡直接排除 30B 以上。
4. 激活与 KV-cache：batch=1、seq=2k、7B 模型约 3–4GB；batch 开大后呈线性增长，训练阶段还要存梯度，峰值往往是权重的 1.2–1.5 倍。
5. 国内落地惯例：推理场景只算增量权重；微调场景必须再乘 3（Adam 动量），并留 10% 显存给 CUDA kernel 碎片。

答案

以国内最常见的百亿级 7B 模型为例：

• d_model = 4096，num_layers = 32，r = 64
• 增量参数量 = 2 × 64 × 4096 × 32 = 16 777 216 个
• FP16 下权重体积 = 16 777 216 × 2 Byte ≈ 32 MB
• 若进入训练阶段，需存 Adam 动量，再 ×3 → ≈ 96 MB

结论：

• 纯推理场景，LoRA 增量仅 32 MB，在 40GB 卡上可忽略不计；
• 全参数训练场景，原始 14GB + 激活峰值 8GB + LoRA 增量 0.1GB 仍远低于 40GB，完全装得下；
• 若换成13B 模型（26GB 权重），增量依旧 32MB，但激活峰值 10–12GB，总峰值 38GB 左右，仍可跑，但 batch>2 就有 OOM 风险，需立刻切梯度检查点或降 batch。

拓展思考

1. 秩不是越大越好：r=64 在 7B 模型里只占 0.06% 参数量，若任务数据>10 万条，可拉到 r=128，增量也就 64MB，依旧远小于 40GB，但线上推理 QPS 高时，要把增量权重合并回主模型再做算子融合**，否则小 batch 下 PCIe 搬运反而拖慢 5–10%**。
2. 多卡并行场景：国产 A100 40GB 常切 4 卡张量并行，每张卡只存 1/4 原始权重，此时 LoRA 增量也按 rank 均摊，单卡增量仅 8MB，但通信量随 r 线性增加，r=64 时 All-Reduce 开销约 0.7GB/s，在 NVLink 内可忽略，在 PCIe Gen4 上会让吞吐掉 3%，面试时把数字报出来能体现你对国产卡互联带宽的体感。
3. 显存预算口诀：“权重+激活+KV+碎片”，训练再乘 1.5，推理留 10%，背下来后任何模型都能 30 秒估完，这是国内大模型岗的“口算基本功”**，也是面试官“一票通过”**的隐藏考点。