训练与微调任务模拟器

按训练运行的实际情况估算成本:将故障、检查点以及两者之间丢失的训练进度纳入考量。

一次训练运行就是一个有起点、终点和预算的项目,而在集群规模下,训练会频繁中断。每次故障都会导致上一个检查点之后的所有工作付诸东流,而每次写入检查点也需要时间。此模拟器可估算按计划运行的训练成本、实际运行的训练成本,以及后续微调作业的成本。

01: 按计划进行的训练任务

02: 故障与检查点

中断次数与规模相关,而每一次中断都会损失自上次检查点以来的全部工作量。

这次训练的 GPU 时间都花在了哪里

蓝色表示有效训练。琥珀色表示检查点写入。红色表示因故障与重启而损失的工作量。

  • 有效训练
  • 检查点写入
  • 因故障损失

更多信息

训练是一项同步工程:成千上万个加速器必须齐步前进,因此一次故障会让它们全部停滞,而恢复意味着把每一块 GPU 都回滚到上一个检查点。这就把两个存储指标变成了训练速度指标——检查点写入有多快,以及重新加载有多快——同时也让故障间隔成为规格书上从不列出、却代价最高的一项统计数据。

常见问题

由此导向何处

从 AI 工厂算账到 AI 工厂管控

检查点的写入与恢复速度本质上是数据交付问题:整个集群都会被存储路径的速度拖住。加载训练数据本身也是如此——供数不足的数据流水线表现为加速器空转,而不是一条存储告警。