分布式训练与计算硬件

本分类共 9 个专题 · 1113 道题

16315

如何用 Little’s Law 理解访存延迟、并发请求和计算吞吐之间的关系？

模型训练与对齐分布式训练与计算硬件

原理机制

进阶

16317

RMSNorm 的公式、计算访存特性及算子优化思路是什么？

模型训练与对齐分布式训练与计算硬件

原理机制

进阶

16318

SpMV 如何改善负载均衡并优化带宽使用？

模型训练与对齐分布式训练与计算硬件

方案设计

进阶

16388

GEMM 中 K 远大于 M、N 时，怎样安排循环并处理寄存器压力？

模型训练与对齐分布式训练与计算硬件

方案设计

进阶

16390

调试 CUDA 程序常用哪些工具与方法？

模型训练与对齐分布式训练与计算硬件

操作实践

进阶

16397

CUDA 编程中的并行性与并发性有什么区别？

模型训练与对齐分布式训练与计算硬件

概念解释

进阶

16554

CUTLASS 2.0 怎样实现 Grouped GEMM？

模型训练与对齐分布式训练与计算硬件

原理机制

进阶

16557

为什么选择 Megatron 而非 PyTorch FSDP，训练框架怎样选型？

模型训练与对齐分布式训练与计算硬件

比较选型

进阶

16558

FSDP 与 ZeRO 各阶段的训练状态分片有什么对应关系？

模型训练与对齐分布式训练与计算硬件

原理机制

进阶

16562

算子优化后的理论性能极限怎样估计，实际结果为什么可能达不到？

模型训练与对齐分布式训练与计算硬件

效果评估

进阶