分布式训练与计算硬件

本分类共 9 个专题 · 756 道题

8755

OpenMP 与 MPI 分别用于什么并行场景，可以怎样配合？

模型训练与对齐分布式训练与计算硬件

比较选型

进阶

9648

AdamW 训练时，参数、梯度和优化器状态分别占多少显存？

模型训练与对齐分布式训练与计算硬件

原理机制

进阶

9837

分布式训练解决哪些问题，付出哪些通信与工程成本？

模型训练与对齐分布式训练与计算硬件

概念解释

进阶