推理成本：$/token

推理服务的成本终点是一个数字：每 token 的成本（$/token）。它由三笔账决定：GPU 折旧、电力、与利用率。本章给一套完整的推理成本模型——与训练成本（见上一章）不同，推理是持续运营的成本，利用率（并发）是它的生命线。

每 token 成本的三笔账

\text{每 token 成本} = \frac{\text{每 GPU 时成本}}{\text{每 GPU 时的 token 吞吐}}

分母（吞吐）是关键变量——它由Roofline决定：

decode 的吞吐上限（见算术强度的算例）：

\text{单请求} = \frac{\text{带宽}}{\text{权重}} \qquad \text{batch 推理} \approx \frac{\text{带宽}}{\text{权重}} \times \text{batch（直到算力饱和）}

prefill 与 decode 分开算（见分离部署）：prefill 是计算受限（吞吐 = 算力 ÷ 每 token FLOPs 2N），decode 是带宽受限。

问题：70B 模型、H100、BF16、服务 QPS 多少能到什么成本？

单卡吞吐（优化良好的部署，见连续批处理）：

70B 装不下单卡 → TP=2（每卡 70 GB 权重 + KV）
decode：单请求 48 tokens/s（3.35×2 TB/s ÷ 140 GB），batch 16 → ~700 tokens/s/卡（接近计算受限边界）
prefill：计算受限，~20000 tokens/s/卡（989 TFLOPS ÷ 2×70×10⁹ FLOPs/token ≈ 7000，实测按 50% 计）

每 GPU 时成本（自有集群，见训练成本）：~$2/时（折旧 + 电力 + 运维）

每 token 成本（decode 为主，输出 500 token/请求）：

\frac{\$2/\text{时}}{700 \times 3600\ \text{tokens/时}} \approx \$0.8/\text{百万 token}

利用率的致命影响：上面的数字假设利用率 100%（每卡持续满 batch）。真实服务的利用率（见SLO 与容量）：

利用率是推理成本的生命线——峰谷差 4 倍的服务，成本差 4 倍。这就是弹性伸缩与多模型共享容量（见多租户）的经济学动机。

量化对成本的直接改善（见量化）：

精度	权重	decode 吞吐/卡	每 token 成本
FP16	140 GB	~700 t/s	$0.8/百万
FP8	70 GB	~1400 t/s	$0.4/百万
INT4	35 GB	~2400 t/s（KV/其他成新瓶颈）	~$0.3/百万

FP8 = 成本减半——这就是量化在推理侧如此重要的原因（带宽、显存、算力三笔账同时改善）。

真实流量的峰谷比（3–10 倍）决定平均成本：

"每 token 成本"在峰谷互补的池化部署里最优——这是推理平台的核心经济学。

不同部署形态的每百万 token 成本（70B 级模型，H100，优化良好，利用率 50%）：

工程优化（量化、批处理、利用率）能带来 2–4 倍的成本改善——比换供应商的议价空间大得多。