训练成本模型

训练一个 70B 模型要多少钱？这个问题有一个可以精确计算的答案。本章给一套完整的成本模型：从 FLOPs 到 GPU 时到美元，每一层的换算都透明可查——成本模型是"要不要训练"“怎么训练"的决策基础。

从 token 到 FLOPs

训练成本的第一层：训练的 FLOPs 由 token 数与参数量决定（Chinchilla 定律的工程形式）：

\text{总 FLOPs} \approx 6N \times D \quad \text{（N 参数量，D 训练 token 数）}

几个真实规模：

训练	参数 N	Token D	总 FLOPs
7B 模型	7×10⁹	1×10¹²	4.2×10²²
70B 模型	7×10¹⁰	2×10¹²	8.4×10²³
Llama 3 405B（公开）	4×10¹¹	1.5×10¹³	3.8×10²⁵

第二层：GPU 时 = 总 FLOPs ÷（峰值算力 × MFU）：

\text{GPU 时} = \frac{6ND}{\text{峰值算力} \times \text{MFU}}

以 H100（989 TFLOPS BF16）训练 70B/2T token：

MFU 40%（万卡真实值）： $\frac{8.4 \times 10^{23}}{989 \times 10^{12} \times 0.4} \approx 2.1 \times 10^9$ GPU·s ≈ 59 万 GPU·小时
MFU 55%（优化良好）：≈ 43 万 GPU·小时

MFU 从 40% 到 55% = 16 万 GPU 时的差距——按 $2-3/GPU·时算，就是 40 万美元级的差距（见 MFU）。

第三层：每 GPU 时的成本。分两种口径：

自有集群（成本口径，见多租户）：

云租用（价格口径）：H100 按需 $2.5–4/GPU·时（竞价/长期更便宜），含云厂商利润与余量。

70B/2T 的训练成本（MFU 40%）：

口径	GPU 时	成本
自有集群	59 万	~120 万美元
云按需	59 万	~180–240 万美元

纸面成本之外，真实的训练要叠加：

总账：70B/2T 的完整训练项目 = 纸面 120 万 × 2–4 ≈ 250–500 万美元。Llama 3 405B 级别（3.8×10²⁵ FLOPs）：纸面 GPU 时 ~2700 万时，成本 5000 万–1 亿美元级（Meta 公开的 405B 训练成本口径）。

一、决策：训练一个新模型值不值——预估成本 vs 预期收益（业务价值）。

二、配置优化：成本模型反推配置决策——MFU 提升 10% = 免费 10% 算力（40 万美元级）；MFU 是最便宜的"省钱"。

三、实验策略：缩放实验（小模型上验证配方）的成本 vs 直接大模型试错——缩放定律实验（见Scaling Laws）是成本模型的直接应用：小模型 1/100 的成本，预测大模型的效果。

成本的终点是单位经济学：每 token 的训练成本：

\text{每 token 成本} = \frac{\text{总成本}}{\text{token 数}} = \frac{6N \times \text{单价}}{\text{峰值} \times \text{MFU}}

70B 模型（自有集群、MFU 40%）：120 万美元 ÷ 2T token ≈ $0.6/百万训练 token。这个数字与推理成本（见下一章）一起构成模型的经济模型。