解读

国内一线互联网公司在“双 11”“春晚红包”等大促场景下，要求单实例冷启动 P99 < 30 ms，而传统 Docker 启动（拉镜像+创建容器+启动进程）动辄秒级。CRIU（Checkpoint/Restore In Userspace）能把运行中容器的进程树、内存、文件描述符、TCP 连接、甚至 epoll 实例冻结成镜像文件，恢复时跳过内核初始化，直接 mmap 回内存，从而实现毫秒级唤醒。面试官想验证候选人是否：

1. 真正在 Linux 3.11+ 内核环境动手调通过 CRIU；
2. 理解 Docker 与 CRIU 的三次握手流程（docker checkpoint → CRIU dump → docker start --checkpoint）；
3. 能解决国内云主机普遍关闭 CAP_CHECKPOINT_RESTORE 导致的权限不足、以及 overlayfs 与 CRIU 的白名单冲突；
4. 对生产级灰度、回滚、监控有闭环方案，而不是 Demo 级别。

知识点

1. CRIU 内核依赖：CONFIG_CHECKPOINT_RESTORE=y、CONFIG_MEM_SOFT_DIRTY=y、CONFIG_USERFAULTFD=y，国内阿里云/腾讯云默认镜像常关闭，需要自定义内核或使用 Alibaba Cloud Linux 3。
2. Docker 启用 experimental：/etc/docker/daemon.json 打开 "experimental": true，否则 docker checkpoint 命令直接报错。
3. Rootless 模式限制：国内为了合规常强制 rootless，但 CRIU 需要 CAP_SYS_ADMIN、CAP_CHECKPOINT_RESTORE，必须加回 CAP 或走 sudo 提权，CI 流水线要配套 vault 托管 sudo 密码。
4. 存储驱动选型：overlay2 在恢复时会触发“upperdir 白名单”检查，若镜像层包含 socket 文件会失败，需提前在 Dockerfile 里把 /run 挂成 tmpfs；aufs 已被弃用，devicemapper 需要 thin_pool 预留 20 % 空闲空间，否则 dump 时快照 CoW 链断裂。
5. 内存脏页速率：大促入口网关 4 GB 内存、每秒 200 MB 脏页，dump 一次 8 s，远超 30 ms 预算，需前置预拷贝（pre-dump）：先丢 70 % 只读页，再迭代 2 次，每次 100 ms，最终增量 < 20 MB，恢复时间压到 18 ms。
6. TCP 连接保持：CRIU 会冻结 seq/ack，但国内 NAT 网关 90 s 过期，恢复后若 IP 变化需在应用层做连接重连兜底，同时把 SLB 健康检查阈值调到 2 次失败再摘流。
7. 镜像大小治理：dump 镜像 = 内存 4 GB + 匿名页 1 GB，放在本地 NVMe，限制 3 副本循环，超过 80 % 触发上传 OSS 冷存，防止磁盘打满。
8. 安全合规：CRIU 镜像包含完整内存，可能泄漏 SSL 私钥，必须使用国密 SM4 在 dump 时流式加密，密钥走 KMS 信封加密，恢复前内存解密，全程不落盘明文。
9. 监控指标：把 restore 时间打入 Prometheus，标签 criu_restore_duration_ms，P99 连续 3 次 > 50 ms 自动回滚到传统冷启动，并报警给 on-call。
10. 回滚策略：在 Kubernetes 里用双池模式：热池保持 10 % Pod 处于 CRIU 快照状态，温池走常规镜像；若快照恢复失败 2 次，自动扩容温池，保证容量不跌零。

答案

“我在上一家公司负责春晚红包链路，QPS 0 到 200 万仅 5 s，必须把毛刺压到最低。方案分四步：

1. 环境准备：申请阿里云 ecs.ebmhfg5 裸金属，内核升级到 5.10，打开 CONFIG_CHECKPOINT_RESTORE；Docker 20.10 打开 experimental，存储驱动选 overlay2，/run 挂 tmpfs。
2. 镜像裁剪：业务进程只有 50 MB，但依赖 JDK 11，使用多阶段构建把 JRE 裁到 38 MB，再用 jlink 砍掉 crypto-ec 等无用模块，最终内存基线 180 MB。
3. 预拷贝迭代：写了一个 Go 小工具调用 CRIU RPC，先 pre-dump 两次，每次脏页 < 10 MB，第三次真正 dump，总耗时 120 ms；dump 完立即用zstd -T0 压缩，4 GB 内存压到 280 MB，本地 NVMe 写入 90 ms。
4. 毫秒恢复：恢复时关闭 seccomp 过滤器（–security-opt seccomp=unconfined），避免内核路径校验；使用userfaultfd 懒加载，仅恢复 10 MB 热页，其余按需缺页，实测 P99 恢复时间 22 ms；同时把快照镜像放到内存盘 tmpfs，读时延降到 300 µs。
5. 灰度与兜底：灰度 5 % 流量，Prometheus 监控 criu_restore_duration_ms，P99 超过 50 ms 或失败率 > 1 % 就自动扩容普通 Pod；快照文件每天凌晨 4 点用国密 SM4 加密后上传 OSS，本地只保留最近 3 份，防止磁盘爆。
   上线后零点半分钟峰值 240 万 QPS，扩容 1800 容器，平均恢复 19 ms，比传统冷启动快 120 倍，全年节省 42 % 计算成本。”

拓展思考

1. Serverless 场景：国内函数计算（阿里云 FC、腾讯云 SCF）已支持 CRIU 快照，但平台把 dump/restore 封装成黑盒，候选人可思考如何把自定义 JDK 预热逻辑注入快照，使第一次调用仍走毫秒级。
2. GPU 容器：CRIU 对 CUDA context 支持有限，nvidia-container-toolkit 未官方适配，可调研NVIDIA MIG + CUDA checkpoint API 组合，实现 GPU 毫秒级恢复。
3. 跨机热迁移：国内云厂商 VPC 网络不保留 IP，CRIU 恢复后 TCP 连接断，可结合QUIC 0-RTT 重连+StatefulSet 固定拓扑，实现跨 AZ 容灾。
4. 安全攻防：CRIU 镜像可被恶意读取，导致内存马持久化，可引入Intel TME 全内存加密或AMD SEV-SNP，在硬件层加密快照，满足金融级合规。