解读

面试官想验证三件事：

1. 对“大模型”量级与国产算力市场的体感——是否把“千亿参数”与“千卡级A800/H800训练3~4个月”对应起来；
2. 对成本结构的拆解能力——能否把“训练”拆成“硬件折旧+电费+数据+工程人力+外采服务+合规”六条主线，并给出国内含税口径；
3. 产品视角——是否意识到“训练成本”只是冰山一角，后续迭代、推理、合规、数据更新才是产品生命周期里更大的坑，从而体现AI产品经理“技术可行-商业闭环-合规风险”三位一体思维。

知识点

1. 参数与算力换算：1B参数≈2Byte×参数量≈2GB显存（fp16），千亿参数模型权重≈200GB；训练阶段显存需求≈8~12倍权重（优化器状态+梯度+激活），单卡80GB显存可放≈8B参数，千亿模型需≥128卡并行。
2. 国内主流GPU：A800 80GB（峰值312 TFLOPS）、H800 80GB（峰值989 TFLOPS），NVLink+NVSwitch拓扑下有效算力≈峰值×0.35~0.4。
3. 训练时间估算：Chinchilla最优算力-数据配比（C≈20×N）下，1.3T token训练1T参数模型≈1.3×10²⁴ FLOPs；千亿模型按1.4×10²⁴ FLOPs计，1024张H800≈30天；若用A800需≈90天。
4. 国内IDC电费：大型数据中心0.550.65元/kWh（含基本电费+冷却PUE 1.251.35）。
5. 硬件折旧：国产服务器厂商给互联网客户的3年残值率≈0，即36个月线性折旧；A800整机（8卡）含税≈120万元，H800整机≈200万元。
6. 数据与标注：中文高质量去重语料≈3T token，外采+清洗+去重+合规过滤≈0.15元/1k token，3T≈450万元；指令微调+RLHF人工标注≈50万条×6元/条≈300万元。
7. 工程人力：训练阶段需“数据+训练+推理+平台”四条子团队，国内一线厂AI算法工程师年薪总包60~80万元，按30人×6个月折算≈900万元。
8. 合规与备案：生成式AI上线前需完成“语料安全评估+模型双新评估+算法备案+等保三级”，第三方测评+律师+咨询≈150万元。
9. 故障冗余：千卡级训练月级任务，硬件故障率≈3%~5%，需额外10%时间/硬件缓冲。
10. 产品视角：训练成本是一次性CAPEX，后续SFT/RLHF、继续预训练、推理扩容、数据回流才是OPEX大头，需提前在PRD里给出“迭代预算”与“盈亏平衡点”。

答案

按国内2024年主流方案“1024张A800+3个月”或“1024张H800+1个月”两种场景分别估算（含税、含冗余、含人力）：

场景A：A800路线

1. 硬件折旧：120万元/8卡×128台÷36月×3月≈1,536万元
2. 电费：单台8卡≈10kW，128台×10kW×24h×90天×0.6元/kWh×PUE1.3≈2,160万元
3. 数据与标注：450+300=750万元
4. 工程人力：30人×50万元（半年包）=1,500万元
5. 外采云存储/IB交换/运维：≈300万元
6. 合规测评：150万元
   合计≈6,400万元，取10%故障冗余→约7,000万元（7千万人民币）。

场景B：H800路线
硬件折旧：200万元/8卡×128台÷36月×1月≈711万元
电费：同上公式，天数30→≈720万元
其余数据、人力、外采、合规不变（2,700万元）
合计≈4,100万元，加10%冗余→约4,500万元（4.5千万人民币）。

因此，在国内训练一个千亿参数大模型，一次性CAPEX落在4,500~7,000万元人民币区间；主要成本项排序：硬件折旧≈30%、电费≈30%、工程人力≈25%、数据与标注≈10%、外采+合规≈5%。

拓展思考

1. 产品生命周期视角：训练只是“入场券”。上线后每轮SFT/RLHF（约百亿token）需重复30%电费+10%硬件折旧，年均迭代3轮即追加≈1,500万元；推理侧若日活千万、QPS 5k，需另行部署≥400张A800做推理，年电费+折旧≈6,000万元，必须在PRD里提前给出“调用单价≥0.015元/1k token”才能打平。
2. 国产算力替代：华为昇腾910B单卡算力≈A800 70%，但整机价格仅60%，若用MindSpore+Atlas 900集群，训练时间延长40%，硬件折旧可降至1,000万元，整体成本可压缩至5,500万元，且符合“信创”合规要求，适合政府/金融客户。
3. 数据合规红线：生成式AI暂行管理办法要求“训练语料+生成日志留存3年”，若日生成100T日志，冷存储年费≈200万元，需在商业模型里计入OPEX。
4. 产品决策点：当业务指标（如客服场景替代率）提升<5%，而单次训练成本>7,000万时，应果断放弃“自研通用大模型”，转向“百亿参数行业模型+外挂知识库”，把成本降到1/5，这正是AI产品经理“技术-商业”权衡的核心价值。