分布式训练与资源
大模型大概有多大，模型文件有多大?
原题能否用4 * v100 32G训练vicuna 65b？
原题如何评估你的显卡利用率?
原题如何查看多机训练时的网速？
原题如何查看服务器上的多卡之间的NVLINK topo？
原题如何查看服务器上显卡的具体型号?
原题如何查看训练时的 flops？（也就是每秒的计算量）
原题如何查看对 deepspeed 的环境配置是否正确？
原题TF32 格式有多长？
原题训练 大语言模型 存在问题？
原题什么是 点对点通信？
原题本题正文中的“点对点通信”指 Peer-to-Peer 的对等、去中心化网络组织方式。
什么是 集体通信？
原题什么是 数据并行？
原题数据并行 如何 提升效率？
原题什么是 流水线并行？
原题什么是 张量并行 (intra-layer)？
原题数据并行 vs 张量并行 vs 流水线并行?
原题什么是 3D并行？
原题想要训练1个LLM，如果只想用1张显卡，那么对显卡的要求是什么？
原题如果有N张显存足够大的显卡，怎么加速训练？
原题如果显卡的显存不够装下一个完整的模型呢？
原题PP推理时，是一个串行的过程，1个GPU计算，其他空闲，有没有其他方式？
原题3种并行方式可以叠加吗？
原题Colossal-AI 有1D/2D/2.5D/3D，是什么情况？
原题除了3D并行有没有其他方式大规模训练？
原题有了ZeRO系列，为什么还需要3D并行？
原题平民适不适合玩3D并行？
原题平民适不适合直接上多机多卡的ZeRO3（万兆网）？
原题分布式并行及显存优化技术并行技术有哪一些，都有什么特点？
原题常见的分布式训练框架哪一些，都有什么特点？
原题假如有超多的8卡A100节点（DGX A100），如何应用3D并行策略？
原题如果想构这样一个大规模并行训练系统，训练框架如何选？
原题训练框架如何选？
原题
暂无题目