返回全部题目← 上一题33 / 114下一题 →题库/模型训练与对齐/Q-4682如何估算 7B 模型训练显存，并量化 ZeRO 各阶段的节省？知识专题：分布式训练与计算硬件题目类型：方案设计技术难度：深入收录题集：11 份暂无参考答案未标记未标记待复习已掌握收藏询问 AI选择 AI 平台KimiKimi（新窗口打开）Qwen千问（新窗口打开）OpenAIChatGPT（新窗口打开）自动带入当前题目本题目录收录题集相关题目收录题集11 份公司案例问答汇编阿东玩 AI · AgentGuide · 1 条原题查看题集 →项目:训练一个7b模型要占用多少显存,不同zero阶段能节省多少显存AI Infra 面试指南阿东玩 AI · AgentGuide · 1 条原题查看题集 →训练显存由哪些部分组成？后训练综合问答阿东玩 AI · AgentGuide · 1 条原题查看题集 →72B 模型显存怎么估？AI系统与训练推理工程阿东玩 AI · AgentGuide · 6 条原题查看题集 →模型显存估算： 模型显存估算：8B、14B、2B、7B、13B、70B等模型训练/推理/全参数微调所需显存估算方法。8B模型训练大概用多少显存？14B模型推理和训练要多少显存？其余 3 条问法2B模型使用BF16全参数训练时显存占用如何估算？7B模型如何计算训练占用的显存？大模型全量微调时哪些部分占用显存？全参数微调需要多少显存？微调模型需要多大显存？【优化器显存占用】假设一个模型大小13B，使用FP16精度，那么在做全量微调的时候，Adam会占用多少显存？ 「腾讯」估算大模型训练和推理的显存占用。LoRA微调与全参数微调显存计算及实际项目用量；通用估算：模型参数量X-B，权重FP16，其余假设自补，估算训练和推理GPU显存占用。展开其余 3 条原题【长上下文显存优化】上下文扩展到1000K后，训练时显存会在哪些地方暴涨？ 「腾讯」如何估计训练和推理的显存需求？显存占用与哪些因素相关？如何估计训练和推理的显存需求？计算全参和LoRA微调分别占多少显存；其余 2 条问法训练一个7B模型需要多少显存和时间，训练运算量多少；不同ZeRO阶段能节省多少显存；【ZeRO显存优化】使用DeepSpeed ZeRO-3微调Qwen2-72B时，估算单卡显存占用量，并解释显存分配的技术原理（如参数分片、梯度累积、优化器状态拆分等）。 「腾讯、腾讯混元」理论基础面试题阿东玩 AI · AgentGuide · 1 条原题查看题集 →训练一个7B模型要占用多少显存？不同ZeRO阶段能节省多少显存？展开剩余 6 份题集模型微调与适配AMIT SHEKHAR · ai-engineering-interview-questions · 1 条原题查看题集 →Do the GPU memory math for full fine-tuning a 7B model in bf16 with Adam. Now with LoRA and QLoRA.滴滴高频面试题Rocky Ding · AIGC-Interview-Book · 2 条原题查看题集 →lora和全量的显存计算怎么算，一般来说哪一部分占比最大7b模型用几张卡训阶跃星辰高频面试题Rocky Ding · AIGC-Interview-Book · 1 条原题查看题集 →qwen3-8b训练显存计算腾讯问答汇编Rocky Ding · AIGC-Interview-Book · 1 条原题查看题集 →fp16下7b模型推理和全量训练模型显存的占用量计算 Adamw会存哪些东西模型架构与工作原理Rocky Ding · AIGC-Interview-Book · 1 条原题查看题集 →参数量、训练浮点运算次数（FLOPs）和训练显存为什么不能画等号？预训练与微调Firefly · llm_interview_note · 1 条原题查看题集 →如果想要在某个模型基础上做全参数微调，究竟需要多少显存？相关题目4 题0030DCU 与 GPU 有什么区别？同一知识专题题目类型：比较选型技术难度：进阶相关面经：2 篇0031SIMT 有什么特点，遇到分支会发生什么？同一知识专题题目类型：原理机制技术难度：进阶相关面经：1 篇0032GPU 的存储层次和计算单元如何组织？同一知识专题题目类型：原理机制技术难度：进阶相关面经：2 篇0033DCU 如何把数据传入寄存器，并在芯片上共享？同一知识专题题目类型：原理机制技术难度：进阶相关面经：1 篇♥♥♥♥♥← 上一题已到最后一题← 上一题训练百亿至千亿参数大模型时，会面临哪些主要工程和算法挑战？下一题 →分布式训练中，FSDP 与 DeepSpeed ZeRO 应如何选择？
