返回全部题目← 上一题48 / 91下一题 →题库/模型训练与对齐/Q-4593交叉熵损失是什么，如何用于 Transformer 语言模型训练？知识专题：预训练、续训与 SFT题目类型：原理机制技术难度：基础相关面经：1 篇收录题集：14 份暂无参考答案未标记未标记待复习已掌握收藏询问 AI选择 AI 平台KimiKimi（新窗口打开）Qwen千问（新窗口打开）OpenAIChatGPT（新窗口打开）自动带入当前题目本题目录相关面经收录题集相关题目相关面经1 篇字节跳动Agent 算法实习2026-07-20实习查看原面经 →标准分类任务下的交叉熵损失公式如何推导、如何计算？收录题集14 份算法岗专项面试题阿东玩 AI · AgentGuide · 1 条原题查看题集 →推导 Cross-Entropy Loss 与 Negative Log-Likelihood 的关系编码题专题汇编阿东玩 AI · AgentGuide · 1 条原题查看题集 →损失函数、交叉熵写出交叉熵损失函数公式。交叉熵损失函数写一下预训练与架构阿东玩 AI · AgentGuide · 4 条原题查看题集 →【预训练Loss】预训练 loss 用的什么? 「美团」【预训练Loss计算】预训练 loss 中 prompt 和 response 都需要计算吗？ 「字节跳动、拼多多」【损失函数与计算】大模型的预训练和后训练的损失函数分别是什么？大模型预测token的损失是怎么算的？请说明预训练通常使用自回归语言建模损失（交叉熵），后训练（如微调）可能使用交叉熵或对比学习损失，并解释token级别损失的计算方式（如对每个token预测概率取负对数）。 「美团」展开其余 1 条原题【预训练过程与loss】讲一下大模型训练的过程 预训练的 loss 是什么？请描述大模型训练的一般流程（数据准备、前向传播、损失计算、反向传播、参数更新），并说明预训练阶段常用的损失函数（如自回归语言建模的交叉熵损失）。 「美团」多模态与计算机视觉阿东玩 AI · AgentGuide · 1 条原题查看题集 →【ViT与LLM损失函数】ViT和LLM的损失函数分别是什么？请分别说明ViT（如图像分类任务）和LLM（如语言建模）常用的损失函数。 「百度」机器学习基础汇编阿东玩 AI · AgentGuide · 2 条原题查看题集 →交叉熵与Focal Loss写出交叉熵损失函数的公式（包括二分类和多分类形式），解释其物理意义，并实现交叉熵损失的计算。【交叉熵推导】写出交叉熵公式并推导。 「百度、阿里巴巴」展开剩余 9 份题集深度学习基础汇编阿东玩 AI · AgentGuide · 3 条原题查看题集 →损失函数与激活函数多分类的分类损失函数（结合Softmax）是什么？请写出loss函数。Softmax函数Softmax和交叉熵损失怎么计算？【交叉熵与Softmax关系】交叉熵损失为什么常和Softmax一起使用? 「京东」大模型基础面试题阿东玩 AI · AgentGuide · 1 条原题查看题集 →什么是交叉熵损失函数？大模型的哪里有交叉熵损失函数？大模型基础AMIT SHEKHAR · ai-engineering-interview-questions · 1 条原题查看题集 →What is Cross-Entropy Loss?字节跳动高频面试题Rocky Ding · AIGC-Interview-Book · 1 条原题查看题集 →交叉熵损失：解释/怎么写预训练：训练与数据处理Rocky Ding · AIGC-Interview-Book · 1 条原题查看题集 →大语言模型预训练中的词元级交叉熵（token-level cross entropy）如何计算？它和下一个词元预测（next token prediction）、困惑度（perplexity）有什么关系？数学基础高频考点Rocky Ding · AIGC-Interview-Book · 1 条原题查看题集 →熵、交叉熵和困惑度 Perplexity 如何理解？机器学习基础概念知识点Rocky Ding · AIGC-Interview-Book · 2 条原题查看题集 →什么是交叉熵？什么是交叉墒代价函数？损失函数知识点Rocky Ding · AIGC-Interview-Book · 1 条原题查看题集 →交叉熵定义和作用训练、数据与模型优化：从数据清洗到 LoRAOnefly · zero2Agent · 1 条原题查看题集 →交叉熵损失的数学形式和含义是什么？相关题目4 题0083如何提升 Agent 的长程任务能力？同一知识专题题目类型：方案设计技术难度：进阶相关面经：2 篇0085当 pass@k 与 pass@1 的差距收敛后，如何继续提升模型能力？同一知识专题题目类型：方案设计技术难度：深入相关面经：1 篇0207基座已有工具调用能力时，Tool-use SFT 的训练目标是什么？同一知识专题题目类型：原理机制技术难度：进阶相关面经：2 篇0495你有哪些大模型后训练经验？同一知识专题题目类型：项目深挖技术难度：进阶相关面经：2 篇♥♥♥♥♥← 上一题已到最后一题← 上一题你是否做过 VLM 微调，使用了什么模型？下一题 →按训练目标划分，大模型微调有哪些主要类型？
