AI系统与训练推理工程
【swift参数设置】你用了swift参数怎么设置的？有2个node你如何分配你的训练参数？请说明swift参数设置方法及多节点分配策略。 「美团」
原题【work stealing】什么是work stealing？请解释work stealing的概念及其在分布式训练中的应用。 「百度」
原题【ZeRO优化器阶段】DeepSpeed ZeRO的三个阶段（ZeRO-1、ZeRO-2、ZeRO-3）分别是什么？请说明各阶段的显存优化原理、通信开销，并分析在单机8卡和双机16卡场景下，每张卡上分配的参数量是否相同及原因。 「京东、字节Seed、百度、美团、腾讯、腾讯混元、阿里巴巴、阿里通义」
原题ZeRO优化技术：
「京东、字节跳动、腾讯、腾讯混元、蚂蚁集团、阿里巴巴、阿里通义」
ZeRO-1、ZeRO-2、ZeRO-3三种优化模式的核心区别是什么？分别切分什么参数？如何减少内存占用？在显存有限时选择哪个方案？
ZeRO-2和ZeRO-3分别做了哪些优化？它们是什么并行策略方式？
ZeRO机制中Stage1/2/3分别优化什么参数？ZeRO阶段有哪些？
介绍DeepSpeed原理及使用，包括ZeRO-1、ZeRO-2和ZeRO-3的区别，以及何时使用FSDP更好？
ZeRO在进行并行计算时，如何获取其他机器上的参数？
为什么不是ZeRO-2？包括ZeRO方式具体是怎么实现的？
原题完整原题
【ZeRO优化技术】ZeRO优化技术：ZeRO-1、ZeRO-2、ZeRO-3三种优化模式的核心区别是什么？分别切分什么参数？如何减少内存占用？在显存有限时选择哪个方案？ZeRO-2和ZeRO-3分别做了哪些优化？它们是什么并行策略方式？ZeRO机制中Stage1/2/3分别优化什么参数？ZeRO阶段有哪些？介绍DeepSpeed原理及使用，包括ZeRO-1、ZeRO-2和ZeRO-3的区别，以及何时使用FSDP更好？ZeRO在进行并行计算时，如何获取其他机器上的参数？为什么不是ZeRO-2？包括ZeRO方式具体是怎么实现的？ 「京东、字节跳动、腾讯、腾讯混元、蚂蚁集团、阿里巴巴、阿里通义」
描述DeepSpeed的ZeRO优化策略，各阶段的区别？ZeRO-1、ZeRO-2、ZeRO-3分别优化了什么？
ZeRO-Offload适用场景与坑点。
怎么设置zero-stage的？
原题完整原题
【ZeRO优化策略】描述DeepSpeed的ZeRO优化策略，各阶段的区别？ZeRO-1、ZeRO-2、ZeRO-3分别优化了什么？ZeRO-Offload适用场景与坑点。怎么设置zero-stage的？ 「字节跳动、美团、腾讯、阿里通义」
【优化器分布式差异】了解单机跟分布式训练的时候优化器工作原理差别吗？请分析优化器在单机和分布式训练中的差异。 「字节跳动」
原题【分布式训练故障排查】分布式训练卡住了怎么排查？请列出分布式训练故障排查的步骤和方法。 「美团」
原题【单机与多机训练差异】之前有接触过单机单卡/单机多卡/多机多卡吗？详细分析一下之间的差异。 「阿里巴巴」
原题【参数服务器与All-Reduce对比】在分布式机器学习中，参数服务器(Parameter Server)和All-Reduce两种同步模式各有什么特点？分别适用于什么情况？ 「蚂蚁集团」
原题
暂无题目