预训练与架构

题集来源：阿东玩 AI（Adong）收录项目：AgentGuide查看原题集

【Qwen vs DeepSeek】Qwen和DeepSeek有什么区别？「腾讯、腾讯混元」
原题
关联题目介绍你研读过的 Qwen、DeepSeek 等开源模型及其主要创新。模型基础与推理 / 模型架构与表示经历介绍1篇相关面经
135
1. 了解Qwen的结构吗；了解过Qwen、LLaVA等大模型吗？它们各自的核心特征是什么？
  关联题目Qwen 通义千问的模型结构有哪些关键组成与特点？模型基础与推理 / 模型架构与表示原理机制进阶0篇相关面经
2. 它们是怎么进行微调怎么去训练的？
  关联题目视觉语言模型的分阶段训练如何协调模态对齐、能力学习与指令跟随？模型训练与对齐 / 预训练、续训与 SFT原理机制进阶0篇相关面经
完整原题
【Qwen与LLaVA】了解Qwen的结构吗；了解过Qwen、LLaVA等大模型吗？它们各自的核心特征是什么？它们是怎么进行微调怎么去训练的？「字节跳动」
原题
【Qwen模型】说一下你对 Qwen 模型的理解。「字节跳动」
原题
关联题目Qwen 通义千问的模型结构有哪些关键组成与特点？模型基础与推理 / 模型架构与表示原理机制进阶0篇相关面经
137
「京东、字节跳动、百度文心、美团、蚂蚁集团、阿里巴巴、阿里通义」
1. Qwen、ChatGLM、Llama 三者架构核心区别是什么？
2. 讲一下 qwen 和 chatglm 的区别。和 llama 有什么区别？
3. Qwen模型结构是怎么样的，相比于LLaMA、DeepSeek有什么区别？
4. Qwen的模型结构是怎么样的？相比于LLaMA、DeepSeek等模型有哪些异同？
5. 请详细说明Qwen系列模型的结构特点。
6. 介绍一下Qwen系列模型的架构和训练方法。
7. 讲一下Qwen架构。
关联题目介绍你研读过的 Qwen、DeepSeek 等开源模型及其主要创新。模型基础与推理 / 模型架构与表示经历介绍1篇相关面经
完整原题
【Qwen模型结构对比】Qwen、ChatGLM、Llama 三者架构核心区别是什么？讲一下 qwen 和 chatglm 的区别。和 llama 有什么区别？Qwen模型结构是怎么样的，相比于LLaMA、DeepSeek有什么区别？Qwen的模型结构是怎么样的？相比于LLaMA、DeepSeek等模型有哪些异同？请详细说明Qwen系列模型的结构特点。介绍一下Qwen系列模型的架构和训练方法。讲一下Qwen架构。「京东、字节跳动、百度文心、美团、蚂蚁集团、阿里巴巴、阿里通义」
原题
【Qwen版本对比】Qwen2.5和Qwen3有什么区别？Qwen3比Qwen2.5有什么改进？Qwen3的模型架构做了哪些改进？请详细介绍，并说明相比于Qwen2.5的具体改进点。「百度文心、腾讯、阿里通义」
原题
关联题目Qwen 通义千问的模型结构有哪些关键组成与特点？模型基础与推理 / 模型架构与表示原理机制进阶0篇相关面经
【Qwen训练packing】qwen训练的时候packing形式和多轮的形式的区别是什么？「蚂蚁集团」
原题
关联题目训练样本长度不一致时，如何组织批次并减少无效计算？模型训练与对齐 / 训练框架、调参与排障方案设计进阶0篇相关面经
【RAG/SFT/RL对比】大模型RAG、SFT、RL区别，分别适用于什么场景？「阿里巴巴」
原题
关联题目Agent 对齐优化为什么选择强化学习，如何与 SFT、DPO、PPO、GRPO 和 RAG 比较？模型训练与对齐 / 强化学习与奖励比较选型进阶1篇相关面经
【Response熵与Thinking熵】同时论文里有response熵和thinking熵，问有没有发现什么区别。「阿里通义」
原题
来源未提供所指论文与两种熵的定义。
关联题目信息熵如何衡量离散随机变量的不确定性？模型基础与推理 / 机器学习与推荐系统概念解释基础0篇相关面经
【Rewarmup】在初始预训练中使用Rewarmup对大模型继续预训练性能影响？「腾讯混元」
原题
关联题目预训练如何选择 warmup、余弦退火及动态学习率调度？模型训练与对齐 / 训练框架、调参与排障比较选型进阶1篇相关面经
143
「字节跳动」
1. 手写RoPE旋转位置编码；
  关联题目手写 RoPE 旋转位置编码。模型基础与推理 / Tokenizer 与位置编码代码题深入0篇相关面经
2. RoPE的“旋转”特性在复数域中如何解释？
  关联题目RoPE 是什么，解决什么问题？模型基础与推理 / Tokenizer 与位置编码原理机制基础1篇相关面经
完整原题
【RoPE】手写RoPE旋转位置编码；RoPE的“旋转”特性在复数域中如何解释？「字节跳动」
原题

题目目录

【Qwen vs DeepSeek】Qwen和DeepSeek有什么区别？ 「腾讯、腾讯混元」

了解Qwen的结构吗；了解过Qwen、LLaVA等大模型吗？它们各自的核心特征是什么？

它们是怎么进行微调怎么去训练的？

【Qwen模型】说一下你对 Qwen 模型的理解。 「字节跳动」

Qwen、ChatGLM、Llama 三者架构核心区别是什么？

讲一下 qwen 和 chatglm 的区别。 和 llama 有什么区别？

Qwen模型结构是怎么样的，相比于LLaMA、DeepSeek有什么区别？

Qwen的模型结构是怎么样的？相比于LLaMA、DeepSeek等模型有哪些异同？

请详细说明Qwen系列模型的结构特点。

介绍一下Qwen系列模型的架构和训练方法。

讲一下Qwen架构。

【Qwen版本对比】Qwen2.5和Qwen3有什么区别？Qwen3比Qwen2.5有什么改进？Qwen3的模型架构做了哪些改进？请详细介绍，并说明相比于Qwen2.5的具体改进点。 「百度文心、腾讯、阿里通义」

【Qwen训练packing】qwen训练的时候packing形式和多轮的形式的区别是什么？ 「蚂蚁集团」

【RAG/SFT/RL对比】大模型RAG、SFT、RL区别，分别适用于什么场景？ 「阿里巴巴」

【Response熵与Thinking熵】同时论文里有response熵和thinking熵，问有没有发现什么区别。 「阿里通义」

【Rewarmup】在初始预训练中使用Rewarmup对大模型继续预训练性能影响？ 「腾讯混元」

手写RoPE旋转位置编码；

RoPE的“旋转”特性在复数域中如何解释？

【Qwen vs DeepSeek】Qwen和DeepSeek有什么区别？「腾讯、腾讯混元」

【Qwen模型】说一下你对 Qwen 模型的理解。「字节跳动」

讲一下 qwen 和 chatglm 的区别。和 llama 有什么区别？

【Qwen版本对比】Qwen2.5和Qwen3有什么区别？Qwen3比Qwen2.5有什么改进？Qwen3的模型架构做了哪些改进？请详细介绍，并说明相比于Qwen2.5的具体改进点。「百度文心、腾讯、阿里通义」

【Qwen训练packing】qwen训练的时候packing形式和多轮的形式的区别是什么？「蚂蚁集团」

【RAG/SFT/RL对比】大模型RAG、SFT、RL区别，分别适用于什么场景？「阿里巴巴」

【Response熵与Thinking熵】同时论文里有response熵和thinking熵，问有没有发现什么区别。「阿里通义」

【Rewarmup】在初始预训练中使用Rewarmup对大模型继续预训练性能影响？「腾讯混元」