返回全部题目← 上一题31 / 136下一题 →题库/模型训练与对齐/Q-4707训练样本长度不一致时，如何组织批次并减少无效计算？知识专题：训练框架、调参与排障题目类型：方案设计技术难度：进阶收录题集：7 份暂无参考答案未标记未标记待复习已掌握收藏询问 AI选择 AI 平台KimiKimi（新窗口打开）Qwen千问（新窗口打开）OpenAIChatGPT（新窗口打开）自动带入当前题目本题目录收录题集相关题目收录题集7 份后训练章节追问阿东玩 AI · AgentGuide · 1 条原题查看题集 →Sequence Packing 的真实难点是什么？预训练与架构阿东玩 AI · AgentGuide · 4 条原题查看题集 →【Packing vs Padding】预训练时packing和padding的区别，packing的优点和缺点有哪些，哪种效果好一些？ 「阿里通义」【Padding优化】长度不一致的数据如何避免 padding 过长? 「腾讯」【Qwen训练packing】qwen训练的时候packing形式和多轮的形式的区别是什么？ 「蚂蚁集团」展开其余 1 条原题【数据Packing】数据 packing 如何做的？ 「拼多多」SFT与指令微调阿东玩 AI · AgentGuide · 2 条原题查看题集 →【SFT数据packeting】SFT的数据packeting如何做，有了解吗？ 「阿里通义」【多轮对话训练难点】多轮对话训练在infra/算法上难点在哪里？ 「腾讯混元」AI系统与训练推理工程阿东玩 AI · AgentGuide · 2 条原题查看题集 →【批量化数据特征】什么样特征的数据可以被批量化处理？ 「字节Seed」【变长序列处理】Pytorch中如何处理变长输入（如不同的轨迹长度）？具体说明pack_padded_sequence和pad_packed_sequence的用法陷阱。 「字节跳动」大模型基础面试题阿东玩 AI · AgentGuide · 1 条原题查看题集 →训练时数据长度不一致怎么办，以及如何优化训练速度展开剩余 2 份题集深度网络架构Rocky Ding · AIGC-Interview-Book · 1 条原题查看题集 →Transformer模型如何处理不同长度的输入序列？预训练：训练与数据处理Rocky Ding · AIGC-Interview-Book · 2 条原题查看题集 →LLM 如何将原始语料组织成 token 序列、训练样本和上下文窗口？大语言模型预训练中如何组织批次（batch）、打包序列（sequence packing）并提升词元吞吐量（token throughput）？相关题目4 题0100项目中的强化学习框架是如何搭建的？同一知识专题题目类型：项目深挖技术难度：深入相关面经：2 篇0101verl 中的 Agent Loop 如何实现？同一知识专题题目类型：原理机制技术难度：进阶相关面经：1 篇0276训练正常而离线评测骤降时，如何定位链路问题？同一知识专题题目类型：故障排查技术难度：深入相关面经：1 篇0381资源受限的微调中，如何判断学习率过高或过低？同一知识专题题目类型：故障排查技术难度：进阶相关面经：1 篇♥♥♥♥♥← 上一题已到最后一题← 上一题FP16 训练发生数值溢出时，如何定位和处理？下一题 →继续预训练时 loss 上升是否正常，如何判断和排查？
