分布式训练与计算硬件

本分类共 9 个专题 · 704 道题

已筛选

共 114 道题

排序:

4878
如何查询服务器 GPU 的具体型号与设备信息?
模型训练与对齐分布式训练与计算硬件
操作实践
基础
4880
TF32 的数值表示与位宽是什么?
模型训练与对齐分布式训练与计算硬件
概念解释
基础
4882
什么是集体通信,常见操作各自完成什么工作?
模型训练与对齐分布式训练与计算硬件
概念解释
基础
4883
数据并行训练如何工作,怎样提高其效率?
模型训练与对齐分布式训练与计算硬件
原理机制
进阶
4884
如何组合 DP、TP 与 PP 进行 3D 并行,并按硬件拓扑配置?
模型训练与对齐分布式训练与计算硬件
方案设计
深入
4886
Colossal-AI 中 1D、2D、2.5D 与 3D 张量并行分别表示什么?
模型训练与对齐分布式训练与计算硬件
比较选型
深入
4938
DeepSpeed 主要解决哪些大模型训练问题?
模型训练与对齐分布式训练与计算硬件
概念解释
进阶
4943
DDP 与 FSDP 在状态存储、通信和执行流程上有什么区别?
模型训练与对齐分布式训练与计算硬件
比较选型
进阶
5014
联邦学习中如何检测并防御恶意参与者的模型投毒?
模型训练与对齐分布式训练与计算硬件
方案设计
深入
5024
如何测量并降低 AI 模型训练的环境与碳排放影响?
模型训练与对齐分布式训练与计算硬件
方案设计
进阶