分布式训练与计算硬件

本分类共 9 个专题 · 811 道题

6909

异构计算集群的设备 Profile 应描述哪些能力和测量信息？

模型训练与对齐分布式训练与计算硬件

方案设计

深入

暂无面经 1 个题集来源

6910

如何围绕 AI 模型负载协同设计芯片、服务器与基础设施？

模型训练与对齐分布式训练与计算硬件

方案设计

深入

暂无面经 1 个题集来源

7200

NVIDIA H100 与 B200 有哪些主要区别？

模型训练与对齐分布式训练与计算硬件

比较选型

进阶

8747

CUDA 与 HIP 有什么区别，开发和迁移时如何选择？

模型训练与对齐分布式训练与计算硬件

比较选型

进阶

8750

CUDA 有哪些同步机制，分别适用哪些范围与场景？

模型训练与对齐分布式训练与计算硬件

原理机制

进阶

8755

OpenMP 与 MPI 分别用于什么并行场景，可以怎样配合？

模型训练与对齐分布式训练与计算硬件

比较选型

进阶

9648

AdamW 训练时，参数、梯度和优化器状态分别占多少显存？

模型训练与对齐分布式训练与计算硬件

原理机制

进阶

9837

分布式训练解决哪些问题，付出哪些通信与工程成本？

模型训练与对齐分布式训练与计算硬件

概念解释

进阶