分布式训练与计算硬件

本分类共 9 个专题 · 704 道题

已筛选

共 114 道题

排序:

5770
x86 与 ARM 在深度学习部署中有哪些差异?
模型训练与对齐分布式训练与计算硬件
比较选型
进阶
5771
XPU、MLU 与 MUSA 分别指什么,比较时如何区分硬件与软件层?
模型训练与对齐分布式训练与计算硬件
概念解释
进阶
5774
分布式计算通信后端如何组织进程与集合通信?
模型训练与对齐分布式训练与计算硬件
原理机制
进阶
5775
All-Gather 与 Reduce-Scatter 如何改变各进程的张量分布?
模型训练与对齐分布式训练与计算硬件
原理机制
进阶
5776
如何使用 NCCL Tests 检查多 GPU 通信性能?
模型训练与对齐分布式训练与计算硬件
操作实践
进阶
5777
RDMA、RoCE 与 InfiniBand 是什么关系?
模型训练与对齐分布式训练与计算硬件
原理机制
进阶
5896
使用 Triton 实现逐元素向量加法算子。
模型训练与对齐分布式训练与计算硬件
代码题
进阶
5897
Triton 的分块编程模型与常用内核接口如何配合?
模型训练与对齐分布式训练与计算硬件
操作实践
深入
5900
如何用 torchrun 启动并配置单机或多机分布式训练?
模型训练与对齐分布式训练与计算硬件
操作实践
进阶
6080
实现或接入激活检查点以重计算换取显存。
模型训练与对齐分布式训练与计算硬件
代码题
深入