解读

在国内互联网、自动驾驶、金融风控等场景，GPU 推理延迟直接决定业务 SLA。面试官问“TensorRT 容器 vs 裸机延迟”，并不是想听“容器一定慢”，而是考察候选人能否把容器化带来的额外调用链与GPU 直通、NUMA 绑定、驱动版本、系统调用劫持等细节量化，并给出可落地的调优方案。回答必须围绕“延迟分布（P99、P50）”而非“吞吐”，并说明测试方法、采样误差、置信区间，否则会被追问“数据怎么来的”。

知识点

1. GPU 直通模式：nvidia-docker2 使用 libnvidia-container 把宿主驱动挂载到容器，不经过虚拟化层，内核仍是宿主内核，PCIe BAR 透传延迟 < 2 µs。
2. CUDA 启动延迟：容器内首次调用 cuInit 需把 libcuda.so.1 映射到用户态，page fault 比裸机多 0.3–0.5 ms；若镜像层未预链接，动态链接器额外 0.2 ms。
3. cgroup 节流：默认 docker run 不带 –gpus all 时，未设置 nvidia.com/gpu.share，Kubernetes 侧若使用 time-slicing，推理线程可能被 cgroup throttle 打断，P99 抖动增加 1–3 ms。
4. 内存注册：TensorRT 构建 engine 时调用 cudaHostRegister，容器若开启 –security-opt apparmor=unconfined 但宿主机 selinux=enforce，pin memory 系统调用被审计，延迟尖刺 20 µs/次；高并发批 128 时累计 2.6 ms。
5. NUMA 亲和：裸机任务可 numactl –physcpubind 0-7 –membind 0 绑定 GPU 所在 NUMA；容器需 –cpuset-cpus + –cpuset-mems 与 NVIDIA_VISIBLE_DEVICES 对应，否则跨 NUMA 访问延迟高 5–8 µs，小 batch 场景放大到 3%。
6. 镜像膨胀：ubuntu:22.04 + cuda:12.2-devel 镜像比裸机多 300 MB 共享库，冷启动时 page cache miss 导致 cuLaunchKernel 第一次调度延迟高 0.8 ms；使用 multi-stage + distroless 可降到 0.1 ms。
7. 推理框架差异：TensorRT 8.6 在 IBuilder::buildSerializedNetwork 阶段若打开 –precisionConstraints=obey，容器内 libcudart.so 版本与宿主不一致会触发 JIT recompile，engine 构建时间增加 30 s，但运行延迟无差异；面试官常把“构建时间”与“推理延迟”混为一谈，需主动澄清。
8. 观测工具：nsys、nvprof 在容器内需 –cap-add SYS_ADMIN + –security-opt seccomp=unconfined，否则 cudaProfilerStart 返回错误，采样缺失导致“看起来”延迟低。

答案

“我在上一家公司做自动驾驶车道线模型，batch=1、输入 1×3×544×960，FP16，TensorRT 8.5，T4 卡，分别跑裸机与容器。测试方法：

1. 宿主机 Ubuntu 20.04.5、Driver 525.60、CUDA 11.8，关闭 Turbo 与节能，CPU 锁 2.8 GHz；
2. 容器使用 nvidia/cuda:11.8.0-base-ubuntu20.04，–gpus all –ipc=host –ulimit memlock=-1 –cpuset-cpus=4-7 –cpuset-mems=0，镜像里只拷 libnvinfer.so.8.5.3 与模型 engine，distroless 体积 112 MB；
3. 推理代码 warmup 1000 次，正式采样 50000 次，cudaEventRecord 测 kernel 延迟，std::chrono 测端到端；
4. 结果：P50 裸机 6.82 ms，容器 6.85 ms，差异 0.44 %；P99 裸机 7.05 ms，容器 7.12 ms，差异 0.99 %，置信区间 95 % 时两者重叠，统计上不显著。
   结论：只要正确绑定 NUMA、关闭节流、使用同一驱动，TensorRT 在容器内与裸机延迟差异 < 1 %，可放心上线。若出现 P99 抖动 > 2 %，优先检查 cgroup cpu quota、selinux 审计、page cache miss 三项。”

拓展思考

1. 多 GPU 并发：在 A100-SXM4-80G×8 训练平台，若容器使用 MIG 1g.10gb，TensorRT 推理延迟受 GPU 时间片限制，P99 可劣化 12 %；此时需把 MIG 实例独占给 Pod，requests/limits 均设为 nvidia.com/mig-1g.10gb=1，并打开 nvidia.com/gpu.shared=disable，才能回到裸机水平。
2. 云边协同：国内边缘盒子常用 Jetson Orin NX，宿主机 L4T 35.3.1，容器 runtime 为 nvidia-docker + jetpack-core。由于 ARM SBSA 固件把 GPU 电源管理暴露给宿主，容器内若未挂载 /sys/devices/gpu.0/power，dvfs 降频会导致 TensorRT 延迟从 18 ms 跳到 28 ms；需在 daemon.json 里加 "default-runtime": "nvidia" 并 –privileged，但与最小权限原则冲突，可用 –device-cgroup-rule 精细授权。
3. 观测即干扰：生产环境常用 DCGM Exporter 采 gpu_utilization，但其 sample interval=1 s 会触发 nvmlDeviceGetComputeRunningProcesses，ioctl 系统调用在 5000 次/秒 小 batch 推理场景下带来 0.7 % P99 回归；可改用 on-host profiling + pushgateway，容器侧仅暴露 custom metrics，实现可观测性与延迟解耦。