AI系统与训练推理工程
【SFT训练资源配置】SFT训练使用了多少张卡？训练多久？训练20m数据使用了多少张卡？ 「京东、拼多多、美团、蚂蚁集团」
原题【并行方式概述】请解释DP（数据并行）、TP（张量并行）、PP（流水线并行）的概念，并重点介绍DP的原理。另外，3种并行方式可以吗？ 「百度、腾讯混元」
原题【混合精度训练概念】混合精度训练是什么？ 「京东、阿里巴巴」
原题【3D并行适用性】平民适不适合玩3D并行？ 「腾讯混元」
原题【AllReduce算法与应用】解释AllReduce算法及其在分布式训练中的应用。 「蚂蚁集团」
原题【BatchSize选择】BatchSize怎么选？ 「百度文心」
原题【DDP原理】问我用的什么分布式训练方法，然后让我介绍DDP。 「百度」
原题【DP与PP关系】DP和PP是二选一吗？ 「阿里通义」
原题【FSDP与ZeRO】FSDP实现了ZeRO哪几个阶段？FSDP介绍？讲一下ZeRO。 「腾讯、蚂蚁集团、阿里巴巴」
原题【GPU资源配置】训练GPU资源配置如何？ 「腾讯」
原题
暂无题目