解读

面试官想通过“带宽差异”考察两点：

1. 你是否真正在GPU 容器化场景下做过性能基线，而不是只会拉镜像跑起来；
2. 你能否把PCI-e 拓扑、驱动版本、Docker 运行时配置、NUMA 亲和性这些底层知识串成一条可量化的排查路径。
   国内金融、自动驾驶、AI 云厂商的 GPU 集群普遍采用**宿主机直通（nvidia-docker + --gpus all）**方案，如果答不出“容器里看到的带宽比裸机低 5% 还是 15%、根因在哪、怎么调回去”，会被直接判定为“只用过 GPU 容器，没调过 GPU 性能”。

知识点

1. PCI-e 带宽理论值：PCIe 4.0 x16 单向 31.5 GB/s，双向 63 GB/s；容器内外理论值一致，差异来自链路协商宽度、NUMA 跨节点、驱动开销。
2. RAPIDS 典型负载：cuDF 读 CSV、cuML DBSCAN、cuGraph PageRank 都会一次性把数 GB 到数十 GB 的原始数据通过 PCI-e 拷到显存，带宽下降 10% 即可在 20 GB 数据上多出 200 ms，直接拖慢端到端 ETL。
3. 容器化额外路径：
   • nvidia-container-toolkit 把 libcuda.so、libnvidia-ml.so 挂进容器，不产生额外拷贝，但ioctl 系统调用比裸机多一次userspace→host→userspace 切换，实测带来 1–2 % 带宽抖动。
   • cgroup 设备白名单只限制可见性，不限制带宽；但cgroup v1 blkio 或 v2 io.max 若被运维误配上限，会把 GPU 的 DMA 视为“device write”而限速，带宽直接掉到 60 %。
   • NUMA 亲和：容器默认不继承 nvidia-persistenced 的 CPU affinity，若容器被调度到远端 NUMA 节点，PCI-e 经过 QPI/UPI，带宽损失 8–12 %；裸机任务通常绑在本地 NUMA，差异肉眼可见。
4. 实测方法：
   • 裸机：nvidia-smi topo -m 查看 PCIe 拓扑 → cuda-samples/bandwidthTest --dtoh --htod 取双向均值。
   • 容器：同一命令，加 --pid=host 保证看到真实 NUMA 节点；对比两次结果。
   • 若差异 >3 %，继续 perf stat -e qpi_bandwidth_output 确认是否跨 NUMA；cat /sys/fs/cgroup/devices/docker/*/devices.list 确认是否被限速。
5. 优化手段：
   • docker run --gpus all --cpuset-mems 0 -e CUDA_VISIBLE_DEVICES=0 把容器钉到 GPU 所在 NUMA 节点；
   • nvidia-container-runtime 1.13+ 默认开启 "preserve-pid-namespace"，减少一次 ioctl 上下文切换；
   • BIOS 关闭 ACS、开启 MMIO Above 4G，保证 PCIe 256B MPS，避免容器内外协商出不同 payload size；
   • 镜像里固定驱动版本与宿主机一致，防止 515.xx 与 525.xx 混用导致 nvidia-uvm 版本差异带来 3 % 抖动。

答案

“在国内 A100 PCIe 40 GB 裸机上，我用 cuda-samples/bandwidthTest 测得双向带宽 25.3 GB/s；同一节点启动 nvidia-docker 2.11 + containerd 1.6 后，未做 NUMA 绑核时带宽掉到 22.7 GB/s，下降约 10 %。根因是容器被调度到 NUMA 1，GPU 挂在 NUMA 0，跨节点 QPI 带宽成为瓶颈；加 --cpuset-mems 0 后带宽回到 25.1 GB/s，差异缩小到 0.8 %，属于测量误差。因此PCI-e 理论带宽容器与裸机无差异，实际差异来自NUMA 拓扑感知与cgroup 误限速，调优后可忽略。”

拓展思考

1. 多卡场景：NVLink 版 A100 在裸机内通过 NVSwitch 实现 600 GB/s P2P；容器化后若未加 --gpus '"device=0,1"' 而是分别起两个容器，P2P 被隔离，RAPIDS Dask-cuDF 的 concat 会退化到 PCIe，带宽从 600 GB/s 掉到 25 GB/s，性能差 24×。面试时可主动提“我会用 nvidia-smi -pm 1 + nvidia-fabricmanager 保证容器内 P2P 拓扑与裸机一致”。
2. 云厂商差异化：
   • 阿里云 eRDMA + GPU 容器 把 RDMA 网卡也直通进容器，RAPIDS 可以用 cuML MNMG 跨节点 AllReduce，PCI-e 瓶颈被绕过；
   • 腾讯云黑石裸金属 虽给容器，但 BIOS 隐藏了 Above 4G Decoding，导致 PCIe payload 128 B，带宽比裸机低 5 %，需要让运维改 BIOS 才能调回。
3. 面试反向提问：
   “贵司 GPU 节点是 单 NUMA 还是双 NUMA？容器调度是否已开启 GPU-Topology-aware？如果还没做，我可以把 Kubernetes 的 Topology Manager policy=single-numa-node 这套方案带过来，把 RAPIDS 的 PCI-e 带宽差异压到 1 % 以内。”