功耗、散热与机房约束
规划一个训练集群时，最先撞到的墙往往不是预算，不是芯片供应，是电力。一块 H100 700 W，一万卡仅 GPU 就要 7 MW，加上网络、存储、CPU、散热损耗，实际要 10 MW 以上的电力容量——而新建一座变电站的周期以年计。本章讲清楚功率链路上的每一段约束，因为集群规模的物理上限先于预算上限出现。
从芯片到电网的功率链路
Section titled “从芯片到电网的功率链路”一块芯片的 700 W 要经过五级放大才能落到电网上：
| 层级 | 功耗（以 HGX H100 节点为例） | 说明 |
|---|---|---|
| GPU | 8 × 700 W = 5.6 kW | TDP，实际满载接近满额 |
| CPU/内存/盘 | ~2 kW | 双路 CPU + 2 TB 内存 |
| 网卡与交换 | ~1.5 kW | 8 × CX-7 400G + 交换机分摊 |
| 节点合计 | ~10 kW | |
| 散热开销 | × PUE（1.1–1.5） | 空调/液冷/供配电损耗 |
| 机房供电需求 | ~11–15 kW/节点 |
一万卡（1250 节点）的机房需求：13–19 MW。对比参照：一座中型写字楼的用电容量约 2–5 MW，一个训练集群就是一座小城镇的用电量。这就是为什么超大规模训练集群的选址逻辑是"哪里有电建哪里"——俄亥俄、弗吉尼亚、内华达的数据中心带，本质是电力带。
散热：从风冷到液冷的必然
Section titled “散热：从风冷到液冷的必然”散热能力直接限制机架密度：
| 散热方式 | 单机架散热上限 | 典型密度 | 现状 |
|---|---|---|---|
| 传统风冷 | ~15 kW/机架 | 2–4 台服务器 | 老机房 |
| 精密风冷（热通道封闭+后门冷却） | ~40 kW/机架 | 6–8 台 H100 节点 | 主流 |
| 冷板式液冷（direct-to-chip） | ~100+ kW/机架 | GB200 NVL72 级 | 新建标配 |
| 浸没式液冷 | ~200 kW/机架 | 特殊场景 | 少数 |
H100 一代（700 W × 8 + 主机）还能勉强风冷；B200（1000–1200 W × 8）起风冷开始吃力；GB200 NVL72（一个机架 72 卡、~120 kW）彻底告别风冷——这就是液冷从"可选项"变成"必选项"的转折点。
三个工程含义：
一、老机房改造成本常被低估。 承重（液冷机架 1.5–2 吨）、层高（冷板管路）、水系统（一次侧/二次侧）都要改。租用老机房的"便宜电"经常被改造成本吃掉。
二、液冷引入新的故障面。 漏液、水质、快接头都是新的运维对象；但换来的是更低且更稳定的芯片温度。
三、温度影响的不只是降频，是可靠性。 结温每升高 ~10°C，电子迁移加速、失效率约翻倍。长期高温运行的集群，故障率显著高于控温良好的集群（见训练容错）。
功耗墙与频率：为什么锁频是标配
Section titled “功耗墙与频率：为什么锁频是标配”芯片的功耗-频率曲线是超线性的：频率提升 10%，功耗可能涨 20–30%。功耗封顶（power capping）后，芯片用降频来守功耗墙：
- H100 标称 boost ~1.98 GHz，满载持续常落在 1.6–1.8 GHz
- ** thermal throttling（过热降频）是 MFU 的隐形杀手**：同集群里散热差的节点降频更深，成为 straggler，拖慢整个同步训练
所以生产集群的标准做法是锁频（nvidia-smi -lgc）：把频率锁在可持续的数值上，用可预测的 5% 性能损失，换掉不可预测的降频抖动。宁可慢得稳定，不要快得随机——同步训练里慢 5% 可预测，抖动 20% 不可接受。
PUE 与真实的能耗成本
Section titled “PUE 与真实的能耗成本”PUE（Power Usage Effectiveness）= 机房总功耗 ÷ IT 设备功耗。1.5 意味着每 1 W 算力要再付 0.5 W 散热与供配电。超大规模机房的 PUE：
| 机型 | PUE | 说明 |
|---|---|---|
| 老机房风冷 | 1.4–1.6 | 常见 |
| 现代风冷优化 | 1.2–1.3 | 主流 |
| 液冷大规模 | 1.1–1.15 | 新建标配 |
| 理论极限 | 1.0 | 供配电损耗仍存在 |
算一笔能耗账（一万卡集群，PUE 1.2）：
- IT 功耗：~12.5 MW，总功耗 ~15 MW
- 年耗电： kWh
- 电价 $0.08/kWh：年电费 ~1000 万美元——约等于 200–300 张 H100 的采购价，每年
这就是为什么大厂在能耗上锱铢必较：MFU 提升 10% 等于同样的电多算 10%，在电费与折旧双重账上都直接生效。
电力约束下的集群规划
Section titled “电力约束下的集群规划”规划顺序（按约束硬度）：
- 电力容量与变压器：扩容周期 1–2 年，最先确定；留 20–30% 余量给未来的功耗更高的芯片
- 散热方式与机架密度：决定单位面积的算力密度；液冷提前布管
- 供电拓扑与冗余：2N 或 N+1，掉一路电不能掉训练（见故障恢复）
- 网络与存储：功耗占比小但布线量大，提前规划
- 芯片：最后才轮到——前四项决定了你能装多少
经验法则：一个 100 MW 的园区，按 H100 级功耗密度大约容纳 6–7 万卡；按 B200 级（含液冷）约 8–10 万卡。 规划训练集群时，先算电力和机架，再谈模型。
- 功率链路五级放大：GPU 700 W → 节点 ~10 kW → 机房 ~12 kW（PUE 1.2）；万卡集群 15 MW 起步。
- 散热决定密度：风冷 40 kW/机架到顶，B200 起液冷是必选项，GB200 NVL72 只能液冷。
- 功耗墙导致降频，降频制造 straggler；生产集群锁频换稳定，"宁可慢得稳定"。
- PUE 1.1–1.5 是真实税；万卡集群年电费千万美元级，能效优化直接省钱。
- 集群规划先算电力与散热，芯片最后才轮到；扩容周期以年计。