跳转到内容
AI Infra 百科
搜索
Ctrl
K
取消
选择主题
深色
浅色
自动
第一卷 · 全景与基础
第二卷 · 硬件与算力
第三卷 · 网络与通信
第四卷 · 分布式训练
第五卷 · 编译器与内核
第六卷 · 推理与服务
第七卷 · 存储与数据管道
第八卷 · 调度与集群
第九卷 · 可观测性与可靠性
第十卷 · 效率与成本
第十一卷 · 平台与 MLOps
第十二卷 · 安全与治理
术语表
参考文献与延伸阅读
导读
第一部分 · 可观测性
指标、Profiler 与追踪
SLO 与容量规划
第二部分 · 故障
Straggler 与静默错误
故障检测、隔离与恢复
选择主题
深色
浅色
自动
第九卷 · 可观测性与可靠性
›
第二部分 · 故障
›
故障检测、隔离与恢复
故障检测、隔离与恢复
故障处理的完整链路:健康检查 → 快速检测 → 隔离节点 → 从检查点恢复 → 补充节点。本章给出各环节的目标时间与实现方式,以及”有效训练时间占比”(goodput)这一综合指标。
本章要点
Section titled “本章要点”
Goodput = 有效训练时间 / 总时间
热备节点缩短补充时间
自动化故障处理是万卡训练的前提
相关阅读
Section titled “相关阅读”
训练容错与弹性