AI系统与训练推理工程
【长上下文显存优化】上下文扩展到1000K后，训练时显存会在哪些地方暴涨？ 「腾讯」
原题显存占用与哪些因素相关？如何估计训练和推理的显存需求？
请详细说明：模型参数、优化器状态、梯度、激活值、KV Cache等各部分的显存计算方法（包括不同精度如FP16/FP32的字节数），并针对具体场景（如7B参数FP16模型，batch_size=4，seq_len=2048）估算推理显存；
计算Qwen3-8b推理所需显存；
计算全参和LoRA微调分别占多少显存；
展开其余 5 个小问
训练一个7B模型需要多少显存和时间，训练运算量多少；
不同ZeRO阶段能节省多少显存；
在3D并行下如何估计显存占用；
预填充和解码哪个更容易造成显存瓶颈；
每个版本都存空间占用高怎么解决？
原题完整原题
显存占用与哪些因素相关？如何估计训练和推理的显存需求？请详细说明：模型参数、优化器状态、梯度、激活值、KV Cache等各部分的显存计算方法（包括不同精度如FP16/FP32的字节数），并针对具体场景（如7B参数FP16模型，batch_size=4，seq_len=2048）估算推理显存；计算Qwen3-8b推理所需显存；计算全参和LoRA微调分别占多少显存；训练一个7B模型需要多少显存和时间，训练运算量多少；不同ZeRO阶段能节省多少显存；在3D并行下如何估计显存占用；预填充和解码哪个更容易造成显存瓶颈；每个版本都存空间占用高怎么解决？ 「京东、字节Seed、字节跳动、快手、百度、美团、腾讯、腾讯混元、阿里巴巴」
显存、延迟、吞吐量这三者构成不可能三角，请解释其关系。
训练和推理在资源和消耗上的区别是什么？
梯度、信息冗余、性能开销等问题在实际落地中如何体现？
原题完整原题
显存、延迟、吞吐量这三者构成不可能三角，请解释其关系。训练和推理在资源和消耗上的区别是什么？梯度、信息冗余、性能开销等问题在实际落地中如何体现？ 「字节跳动、快手、百度文心」
梯度检查点（Gradient Checkpoint）的原理是什么？如何节省显存？牺牲了什么代价？ 「阿里通义」
原题混合精度训练的原理是什么？FP16与BF16的数值稳定性差异及LossScale原理，FP16和BF16的选择考量，以及训练中哪些部分用什么精度？ 「百度、腾讯、腾讯混元」
原题训练不稳定怎么排查（loss NaN、OOM、吞吐下降）？最先看哪些基础日志/指标？ 「拼多多」
原题训练/推理显存不够时，有哪些缓解策略？请列举除FlashAttention外的其他显存优化方法（如梯度检查点、混合精度训练、ZeRO优化、模型并行、激活重计算、KV Cache优化等），说明其原理、落地难点及解决方案，并追问是否实际使用过其中某些方法。
同时，训练过程中出现OOM如何排查和解决？如何在显存受限下保证训练稳定性？
如果训练时间和算力不匹配如何优化？
训练中有什么时间换空间的做法？
有哪些降低Transformer训练时间复杂度的工作？
原题完整原题
训练/推理显存不够时，有哪些缓解策略？请列举除FlashAttention外的其他显存优化方法（如梯度检查点、混合精度训练、ZeRO优化、模型并行、激活重计算、KV Cache优化等），说明其原理、落地难点及解决方案，并追问是否实际使用过其中某些方法。同时，训练过程中出现OOM如何排查和解决？如何在显存受限下保证训练稳定性？如果训练时间和算力不匹配如何优化？训练中有什么时间换空间的做法？有哪些降低Transformer训练时间复杂度的工作？ 「快手、百度、腾讯、腾讯混元、蚂蚁集团、阿里巴巴、阿里通义」
【OOM处理】你修过一个推理/训练过程中显存异常和长稳问题，这个问题原来为什么会发生？你具体做了什么？为什么修完之后就能稳定？ 「阿里巴巴」
原题【ZeRO显存优化】使用DeepSpeed ZeRO-3微调Qwen2-72B时，估算单卡显存占用量，并解释显存分配的技术原理（如参数分片、梯度累积、优化器状态拆分等）。 「腾讯、腾讯混元」
原题【性能与成本平衡】如何在训练与推理中平衡性能与算力成本？ 「京东」
原题
暂无题目