常见分布式训练框架有哪些特点，应如何选型？

• FSDP vs ZeRO vs Megatron 怎么选？

• OpenRLHF 和 veRL 分别更像什么？

• 【Megatron评价】Megatron行不行？ 「蚂蚁集团」

• 【分布式训练框架概览与选型】你了解哪些分布式训练框架？如何选择分布式训练框架？请结合你使用过的分布式训练方法或框架，说明在构建大规模并行训练系统时，如何进行框架选型？你了解或熟练使用过哪些训练框架？请列举，例如Megatron、DeepSpeed等。 「京东、腾讯、腾讯混元、阿里巴巴」

DeepSpeed概述与故障排查 「京东、字节跳动、腾讯混元、阿里巴巴、阿里通义」

• 讲一下DeepSpeed，DDP和FlashAttention。
• 知道DeepSpeed和Megatron吗？是否了解DeepSpeed？

• Hugging Face、DeepSpeed 与 Megatron-LM 分别解决什么问题，如何配合使用？

• 常见的分布式训练框架哪一些，都有什么特点？

• 如果想构这样一个大规模并行训练系统，训练框架如何选？

• 训练框架如何选？