多租户隔离
GPU 集群是多团队共享的（见多租户），隔离的任务：一个租户不能看到、干扰、攻击另一个租户。但 GPU 集群的隔离比传统云更难：GPU 是共享设备（MIG 之外整卡独占）、显存不自动清零、网络是物理共享的。本章讲清楚三层隔离的实践。
| 层 | 威胁 | 手段 |
|---|---|---|
| 计算隔离 | 跨租户的数据残留、侧信道 | 整卡独占、显存清零、MIG |
| 网络隔离 | 东西向流量的窃听/干扰 | 网络分段、VXLAN、QoS |
| 存储隔离 | 数据集/检查点的越权访问 | 访问控制、加密、审计 |
计算隔离：GPU 的特殊性
Section titled “计算隔离：GPU 的特殊性”一、整卡独占是基本单位：训练作业整卡独占（调度器保证，见K8s GPU）——不存在"共享一张卡"的合法形态（time-slicing 没有内存隔离，只适合无关紧要的负载）。
二、显存清零是隐藏的坑：显存不自动清零——上一个租户的权重/KV 残留在显存里，下一个租户理论上能读到。生产集群的标准做法：
- 分配时清零：CUDA 的内存分配器覆盖（或驱动级清零）——租户切换时显存必须清零
- MIG（Multi-Instance GPU）：A100/H100 的硬件切分（每实例独立的显存与 SM，硬件隔离）——推理/小负载的强隔离方案，训练不用（整卡独占）
三、侧信道的现实性：共享 L2、共享 NVSwitch 的侧信道在理论上存在（timing/cache 侧信道）——训练集群的实践结论：整卡独占 + 清零 + 物理隔离敏感负载，理论侧信道对训练场景的威胁有限（不是多进程共享设备）。
| 手段 | 解决 |
|---|---|
| 网络分段/VXLAN | 租户间东西向隔离 |
| QoS/流控分级 | 一个租户的流量不能干扰另一个（见拥塞） |
| 出口管控 | 数据外泄的通道控制 |
QoS 分级是训练集群的特殊需要：多租户的集合通信共享物理网络（见拓扑），一个租户的 all-reduce 洪水会拖慢另一个——租户级 QoS（优先级/带宽限额）是多租户网络的必选项（RoCE 集群的 PFC 只对 RDMA 流量开启，见 RDMA）。
- 访问控制：数据集/检查点按租户的 ACL（谁的数据谁能读）
- 加密：敏感数据集与检查点静态加密（at-rest）；传输加密（in-flight）
- 审计：所有访问的审计日志（谁在什么时候读了什么）
检查点的特殊性：TB 级检查点包含完整模型权重（最贵重的资产）——检查点仓库的访问控制是模型资产安全的核心（见存储系统）。
敏感负载的物理隔离
Section titled “敏感负载的物理隔离”最高敏感的负载（核心模型训练、敏感数据）的标准做法：
| 级别 | 做法 |
|---|---|
| 一般共享 | 整卡独占 + 清零 + 网络分段 |
| 高敏感 | 物理隔离（独立节点池，不与其他租户混部） |
| 极敏感 | 独立集群（物理隔离） |
"节点池"是中间态的标准解：高敏感租户独占节点池（调度器保证不混部），一般租户共享其余——物理边界按敏感度分级。
- 整卡独占（不存在共享卡），time-slicing 只用于无关负载
- 显存清零（租户切换时），敏感推理用 MIG
- 网络分段 + 租户 QoS（集合通信不互相干扰）
- 存储 ACL + 加密（静态/传输）+ 审计
- 敏感负载物理隔离（节点池/独立集群）
- 检查点仓库的访问控制是核心（最贵重资产）
- GPU 隔离三层的特殊性：整卡独占（不存在共享卡的合法形态）、显存不自动清零、集合通信共享物理网络。
- 显存清零是隐藏必选项：租户切换必须清零；MIG 提供硬件级切分隔离（推理用）。
- 租户 QoS 是多租户网络的必选项：一个租户的 all-reduce 洪水不能拖慢另一个。
- 检查点仓库是最贵重资产：访问控制 + 加密 + 审计是核心。
- 敏感度分级：一般共享（整卡+清零）→ 节点池（高敏感）→ 独立集群（极敏感）。
- 多租户、配额与成本分摊 — 组织侧
- 数据治理与合规 — 下一章：数据侧
- Kubernetes 与 GPU 调度 — 独占的调度保证
- RDMA：InfiniBand 与 RoCE — QoS 的物理层