分布式训练与资源
什么是 点对点通信？
原题本题正文中的“点对点通信”指 Peer-to-Peer 的对等、去中心化网络组织方式。
什么是 集体通信？
原题什么是 数据并行？
原题数据并行 如何 提升效率？
原题什么是 流水线并行？
原题什么是 张量并行 (intra-layer)？
原题数据并行 vs 张量并行 vs 流水线并行?
原题什么是 3D并行？
原题想要训练1个LLM，如果只想用1张显卡，那么对显卡的要求是什么？
原题如果有N张显存足够大的显卡，怎么加速训练？
原题
暂无题目