理论基础面试题
请详细解释一下 Transformer 模型中的自注意力机制是如何工作的?它为什么比 RNN 更适合处理长序列?
原题什么是位置编码?在 Transformer 中,为什么它是必需的?请列举至少两种实现方式。
原题请你详细介绍ROPE,对比绝对位置编码它的优劣势分别是什么?
原题你知道MHA,MQA,GQA的区别吗?详细解释一下。
原题请比较一下几种常见的 LLM 架构,例如 Encoder-Only, Decoder-Only, 和 Encoder-Decoder,并说明它们各自最擅长的任务类型。
原题什么是Scaling Laws?它揭示了模型性能、计算量和数据量之间的什么关系?这对LLM的研发有什么指导意义?
原题在LLM的推理阶段,有哪些常见的解码策略?请解释 Greedy Search, Beam Search, Top-K Sampling 和 Nucleus Sampling (Top-P) 的原理和优缺点。
原题什么是词元化?请比较一下 BPE 和 WordPiece 这两种主流的子词切分算法。
原题你觉得NLP和LLM最大的区别是什么?两者有何共同和不同之处?
原题L1和L2正则化分别是什么,什么场景适合使用呢?
原题
暂无题目