解读

面试官想验证三件事：

1. 你是否能把“成本”拆成看得见的账单（硬件、能耗、运维、弹性、合规）。
2. 你是否能把“技术边界”翻译成业务语言（延迟容忍度、吞吐弹性、模型大小）。
3. 你是否具备“场景-指标-资源”三位一体的闭环思维，而不是简单背“GPU快、CPU便宜”。

知识点

1. 国内主流云厂商（阿里云、腾讯云、华为云、百度智能云）的计费粒度：GPU按卡型整卡/分片计费，CPU按vCPU按秒；抢占式CPU最低可到原价15%，GPU抢占式折扣有限。
2. 模型算力密度：FLOPs与参数规模正相关，INT8/FP16量化后，<1B参数的Transformer在CPU端侧可做到<100 ms延迟。
3. 延迟分布：P99与P50差距在CPU上更易受线程调度、NUMA、电源频率影响，需预留20% buffer。
4. 能耗与碳排：国内数据中心PUE 1.3～1.5，GPU整机功耗300 W～400 W/卡，CPU 65 W～120 W/颗；在“东数西算”节点，电费差可达0.2元/度，高功耗GPU会被加收阶梯电费。
5. 合规与数据主权：金融、政府类项目要求“本地机房私有化部署”，客户已有CPU池，新增GPU需走集采流程，周期3～6个月，资金占用高。
6. 弹性伸缩：CPU支持秒级横向扩容至千核，GPU受卡数、卡型、拓扑限制，冷启动需分钟级；突发流量用CPU+Spot可节省40%以上。
7. 混合精度与框架支持：ONNX Runtime-OpenVINO、Pytorch-CPU、TensorRT-CPU插件在国内生产环境已落地，量化后精度下降<1%，满足AUC±0.3%业务容忍。

答案

我会把决策拆成“场景-指标-资源”三步，先算经济账，再看技术账，最后落地合规账。

第一步：场景画像

1. 低频调用：日调用<10万次，峰值QPS<30，业务可接受P99延迟<500 ms。
2. 小模型：参数量<1B，经INT8量化后单条推理FLOPs<1 GFLOPs。
3. 弹性突发：营销活动导致流量3×波动，持续<2小时，需分钟级弹缩。
4. 私有化交付：客户已有CPU机房，预算中无GPU资本开支，且要求6周内上线。

第二步：成本模型（以国内华北2公有云官网价为例，按三年折旧）

• GPU方案：T4卡型，每卡4 vCPU+16 GB显存，包月1,350元；需2卡做双机热备，月成本2,700元。
• CPU方案：c6 8 vCPU，包月320元；经压测8核可跑30 QPS，满足峰值；用抢占式实例，单价0.2元/小时，月成本≈144元。
• 能耗：T4整机350 W，月耗电252度；CPU整机120 W，月耗电86度；按1元/度，CPU再省166元/月。
• 运维：GPU需额外CUDA驱动、镜像、故障换卡，人力0.2 FTE；CPU直接复用现有DevOps，人力≈0。
  综合下来，CPU方案每月节省2,400元以上，占GPU方案成本<10%，且无需新增固定资产审批。

第三步：技术验证

• 延迟：在ONNX Runtime-OpenVINO下，INT8量化版1B参数模型，batch=1，单条P99延迟380 ms，低于业务阈值。
• 吞吐：8 vCPU可跑30 QPS，余量30%，满足峰值。
• 弹性：通过Knative+HPA，30秒可横向扩容至40核，应对突发3×流量。
• 精度：在验证集AUC下降0.2%，低于业务容忍±1%。

结论：当模型小于1B参数、日调用量低于十万次、延迟容忍>300 ms、客户侧已有CPU池且预算流程无法新增GPU时，CPU推理在“公有云抢占式+私有化”双场景下综合成本仅为GPU的8%～15%，具备显著成本效益。

拓展思考

1. 边缘节点：在省级政务云或银行支行机房，机柜电力上限仅2 kW，单卡GPU即占去20%功耗配额，CPU方案可直接复用闲置刀片。
2. 多模型混部：同一台128核物理机可混跑CV、NLP、推荐三个小模型，CPU利用率打到60%以上，GPU因显存隔离只能单模型独占。
3. 碳排交易：国内试点碳交易所价格40元/吨，GPU年碳排比CPU多2.3吨，相当于额外92元/年；在ESG披露严格的港股上市公司，CPU方案还能带来绿色溢价。
4. 未来趋势：随着AMX、AVX512_VNNI指令集普及，CPU INT8算力可再翻2×；若业务愿意接受>100 ms延迟，CPU可覆盖的模型上限将提升到3B参数，进一步压缩GPU生存空间。