返回全部题目← 上一题25 / 136下一题 →题库/模型训练与对齐/Q-4633有哪些方法可以提高大模型微调的训练速度？知识专题：训练框架、调参与排障题目类型：方案设计技术难度：进阶收录题集：7 份暂无参考答案未标记未标记待复习已掌握收藏询问 AI选择 AI 平台KimiKimi（新窗口打开）Qwen千问（新窗口打开）OpenAIChatGPT（新窗口打开）自动带入当前题目本题目录收录题集相关题目收录题集7 份AI系统与训练推理工程阿东玩 AI · AgentGuide · 12 条原题查看题集 →【数据量扩大应对策略】如果数据量扩大怎么办？ 「字节跳动」【训练优化方法】除了DeepSpeed，还用过其他的什么优化方法吗？除了刚刚说到的这些，还了解过哪些模型训练推理优化的方法(DeepSpeed，数据并行，张量并行，流水线并行)？ 「字节跳动、腾讯」【训练效率优化】如何提高大模型训练效率（时间、资源角度）？包括：数据量大时如何提高效率；涉及多少计算资源（有多少卡），是否涉及并行计算，如何提高效率；如果有N张显存足够大的显卡，怎么加速训练？大模型训练优化都能想到哪些方案？ 「百度、腾讯、腾讯混元、阿里巴巴」展开其余 9 条原题【训练速度优化】训练的时候发现训练速度很慢，该从哪些方面去考虑以提高速度？ 「阿里巴巴」【Transformer训练加速】有哪些降低Transformer训练时间复杂度的工作？ 「字节跳动」【大模型训练成本优化】如何优化大模型训练的成本？如何在有限资源下训练大模型？ 「蚂蚁集团」【微调超大模型资源利用】在微调超大参数模型时，如何高效利用计算资源? 「蚂蚁集团」如果训练时间和算力不匹配如何优化？有哪些降低Transformer训练时间复杂度的工作？【性能与成本平衡】如何在训练与推理中平衡性能与算力成本？ 「京东」【训练加速】不降低效果的情况下怎么加速训练？ 「百度」从工程角度看，你是如何优化大模型训练和推理效率的？【训练流水线评估与优化】如何评估和优化端到端的训练pipeline？ 「蚂蚁集团」百度高频面试题Rocky Ding · AIGC-Interview-Book · 2 条原题查看题集 →场景题：用8张a100的机器做7B vl模型的grpo训练如何训练加速，推理加速模型训练加速有什么方法01_AI视频核心基础知识Rocky Ding · AIGC-Interview-Book · 1 条原题查看题集 →多模态大模型高效训练的技术有哪些？03_视频生成典型模型与架构Rocky Ding · AIGC-Interview-Book · 1 条原题查看题集 →介绍一下Wan2.1视频大模型的数据处理策略和训练/推理优化策略09_数据集与性能评测Rocky Ding · AIGC-Interview-Book · 1 条原题查看题集 →MAGI-1模型在训练和推理过程中使用了哪些优化技术？展开剩余 2 份题集05_视频生成训练与工程优化Rocky Ding · AIGC-Interview-Book · 1 条原题查看题集 →视频训练吞吐低，应该从哪些环节排查？强化学习与对齐Firefly · llm_interview_note · 1 条原题查看题集 →如何解决三个阶段的训练（SFT->RM->PPO）过程较长，更新迭代较慢问题？相关题目4 题0100项目中的强化学习框架是如何搭建的？同一知识专题题目类型：项目深挖技术难度：深入相关面经：2 篇0101verl 中的 Agent Loop 如何实现？同一知识专题题目类型：原理机制技术难度：进阶相关面经：1 篇0276训练正常而离线评测骤降时，如何定位链路问题？同一知识专题题目类型：故障排查技术难度：深入相关面经：1 篇0381资源受限的微调中，如何判断学习率过高或过低？同一知识专题题目类型：故障排查技术难度：进阶相关面经：1 篇♥♥♥♥♥← 上一题已到最后一题← 上一题什么是梯度累积，它如何帮助大模型微调？下一题 →大模型训练常用哪些优化器，AdamW 与 Adam 有什么区别？
