分布式训练与计算硬件

本分类共 9 个专题 · 1113 道题

15945

如何估算线性注意力、MoE、MHA 和 MLA 实现中的访存量？

模型训练与对齐分布式训练与计算硬件

原理机制

进阶

15947

如何估算 DeepSeek-V3 单次推理的访存量？

模型训练与对齐分布式训练与计算硬件

原理机制

进阶

15953

DeepSeek-V3 推理中的专家并行负载均衡 EPLB 如何工作？

模型训练与对齐分布式训练与计算硬件

原理机制

进阶

15966

Reduce 与 Gather 的通信过程是什么，怎样估算开销？

模型训练与对齐分布式训练与计算硬件

原理机制

进阶

15977

Hopper 的 Tensor Memory Accelerator 有哪些优点，如何调用，与 L1 缓存有何关系？

模型训练与对齐分布式训练与计算硬件

原理机制

进阶

15978

FlashAttention 2 为什么将 Q 块放在外层循环？

模型训练与对齐分布式训练与计算硬件

原理机制

进阶

15981

MLA Decode 的计算访存比如何分析，与序列长度和 Batch Size 有什么关系？

模型训练与对齐分布式训练与计算硬件

原理机制

进阶

16110

Megatron-LM 如何优化通信并实现计算通信重叠？

模型训练与对齐分布式训练与计算硬件

原理机制

进阶

16115

小数据量下，用 NVSHMEM 直接读取其他 GPU 并本地 Reduce，相比 Ring All-Reduce 有何取舍？

模型训练与对齐分布式训练与计算硬件

比较选型

进阶

16313

GEMM 中单线程计算块为什么可能选择 8×8，怎样判断是否合适？

模型训练与对齐分布式训练与计算硬件

原理机制

进阶