返回全部题目← 上一题38 / 67下一题 →题库/模型基础与推理/Q-4801Encoder-only、Decoder-only 与 Encoder-Decoder 架构有什么区别？知识专题：Transformer 与注意力题目类型：比较选型技术难度：进阶收录题集：16 份暂无参考答案未标记未标记待复习已掌握收藏询问 AI选择 AI 平台KimiKimi（新窗口打开）Qwen千问（新窗口打开）OpenAIChatGPT（新窗口打开）自动带入当前题目本题目录收录题集相关题目收录题集16 份公司案例问答汇编阿东玩 AI · AgentGuide · 2 条原题查看题集 →八股:Prefix LM、Causal LM、Encoder-Decoder 三类架构的适用场景与优缺点?比较一下几种常见的LLM架构,例如Encoder-Only, Decoder-Only 和 Encoder-Decoder,并说明它们各自最擅长的任务类型预训练与架构阿东玩 AI · AgentGuide · 6 条原题查看题集 →【BERT与GPT对比】请详细说明BERT、GPT和T5的核心区别，包括模型架构（如BERT的encoder-only、GPT的decoder-only、T5的encoder-decoder）、训练方式（如BERT的MLM和NSP、GPT的自回归语言模型、T5的span corruption）、以及mask的具体使用方式（如BERT的随机mask、GPT的因果mask、T5的sentinel token）。 「字节跳动、百度、腾讯」【GPT与BERT对比】GPT和BERT的结构和参数量对比。GPT自回归生成机制；与BERT本质区别？ 「阿里巴巴、阿里通义」【Transformer架构对比】比较Encoder-only、Decoder-only、Encoder-Decoder三类模型的优缺点、区别与适用场景；阿里通义千问属于哪种架构？ 「京东、字节跳动、百度、阿里巴巴、阿里通义」展开其余 3 条原题【编码与解码】介绍encoding 和 decoding 「阿里巴巴」模型架构对比现在主流的大模型，像GPT系列，大多都用的是Decoder-only架构。为什么不采用像T5那样的Encoder-Decoder架构呢？现在大模型是什么架构？其余 2 条问法现在的大模型都是decode-only架构，但是Bert是encode-only，解释一下两者的区别和为什么这么设计？目前大模型的主要结构是怎样的，以你用到的Qwen为例吧，讲讲Decoder-only架构的大模型是怎么构建的？【预训练目标】为什么用next-token prediction而不是MLM? 「百度」推荐搜索与广告阿东玩 AI · AgentGuide · 1 条原题查看题集 →【模型架构选择】召回为什么选decoder-only，考虑过encoder-only吗？ 「阿里巴巴」深度学习基础汇编阿东玩 AI · AgentGuide · 8 条原题查看题集 →【Encoder-Decoder区别】encoder与decoder的区别是什么？请分别介绍encoder和decoder。 「百度、腾讯」【Transformer/Bert/GPT】Transformer/Bert/GPT介绍一下 「腾讯」缩放因子原因同时解释Encoder和Decoder的结构区别及各自适用场景。展开其余 5 条原题【Decoder特征提取问题】Decoder结构在提取特征方面会存在什么问题？ 「字节跳动」【Encoder-Decoder优势】Encoder-Decoder架构(如T5)在哪些场景下更有优势? 「字节跳动」【Transformer架构变体】Transformer架构(encoder-only、decoder-only、encoder-decoder各自优缺点，模型举例)。Encoder如何实现？Encoder和Decoder的区别是什么？ 「字节Seed、字节跳动、百度、阿里巴巴」【主流Transformer模型】介绍主流Transformer-based模型架构。 「腾讯」【生成模型架构趋势】你认为将来会有更多Encoder-Decoder结构的生成模型吗？ 「腾讯」大模型基础AMIT SHEKHAR · ai-engineering-interview-questions · 1 条原题查看题集 →What is the difference between encoder-only, decoder-only, and encoder-decoder Transformer architectures?展开剩余 11 份题集自然语言处理Rocky Ding · AIGC-Interview-Book · 1 条原题查看题集 →BERT 和 GPT 的预训练目标有什么区别？深度网络架构Rocky Ding · AIGC-Interview-Book · 1 条原题查看题集 →Transformer的哪些变体或改进模型在工业界得到了广泛应用？（如BERT、GPT、T5等）深度学习核心概念Rocky Ding · AIGC-Interview-Book · 1 条原题查看题集 →BERT和GPT系列分别代表了哪两种预训练范式，各自的核心思想是什么？深度学习精华·网络架构Rocky Ding · AIGC-Interview-Book · 1 条原题查看题集 →为什么纯解码器架构在 AIGC 时代（如 LLM）成为绝对主流？Encoder-only 和 Encoder-Decoder 架构分别适用于什么场景？模型架构与工作原理Rocky Ding · AIGC-Interview-Book · 1 条原题查看题集 →仅编码器（Encoder-only）、编码器-解码器（Encoder-Decoder）和 仅解码器（Decoder-only）的本质区别是什么？大模型原理追问Rocky Ding · AIGC-Interview-Book · 1 条原题查看题集 →其他常见的分类标准有哪些？多模态大模型主干Rocky Ding · AIGC-Interview-Book · 2 条原题查看题集 →什么是Encoder-Decoder(Seq2seq)模型?Flan-T5、ChatGLM、LLaMA这些语言模型有什么区别?多模态模态编码器Rocky Ding · AIGC-Interview-Book · 1 条原题查看题集 →比较BERT和GPT-3的模型结构，并分析它们在语言理解和生成任务上的差异?多模态理论知识Rocky Ding · AIGC-Interview-Book · 1 条原题查看题集 →Decoder-Only和Encoder-Decoder模型相比有什么优势？在训练和推理效率上有什么区别？大语言模型Datawhale · daily-interview · 1 条原题查看题集 →仅编码器（BERT类）、仅解码器（GPT类）和完整的编码器-解码器架构各有什么优缺点？训练、数据与模型优化：从数据清洗到 LoRAOnefly · zero2Agent · 1 条原题查看题集 →BERT 和 GPT 架构的区别是什么？相关题目4 题0036Transformer 中的 Attention 如何计算？同一知识专题题目类型：原理机制技术难度：进阶相关面经：18 篇0268Self-Attention 为何利于并行训练，与 RNN 相比有哪些局限？同一知识专题题目类型：比较选型技术难度：进阶相关面经：2 篇0572Self-Attention 为什么需要 Scaling？同一知识专题题目类型：原理机制技术难度：进阶相关面经：2 篇0575手写 Multi-Head Attention。同一知识专题题目类型：代码题技术难度：进阶相关面经：2 篇♥♥♥♥♥← 上一题已到最后一题← 上一题用 PyTorch 实现 Transformer 的逐位置 FFN。下一题 →滑动窗口注意力如何工作，有哪些计算与信息保留边界？
