深度学习基础汇编
【Attention变体】Attention变体有哪些？请介绍其原理。 「百度、腾讯混元」
原题【Attention变体对比】介绍多头注意力后续的发展，包括MHA、MQA、GQA、MLA的区别；什么是Grouped-query Attention？请对比这四种注意力机制。 「字节跳动、百度、腾讯混元、蚂蚁集团、阿里通义」
原题【Attention局限性】传统Attention存在哪些问题？ 「腾讯混元」
原题【Attention本质】Attention的数学本质是什么？Transformer中Attention的本质是什么？ 「阿里巴巴」
原题【Attention缩放因子】在Transformer的Multi-Head Attention中，计算attention分数时为什么要除以√d_k（或√d）？请从两个方向回答：一是解释除以√d_k如何防止softmax数值上溢/下溢，二是说明其与方差稳定性的关系。同时，请给出attention公式，并说明softmax的作用。 「京东、美团、腾讯、腾讯混元、阿里巴巴」
原题【Decoder特征提取问题】Decoder结构在提取特征方面会存在什么问题？ 「字节跳动」
原题【DiN注意力特点】DiN这个attention有什么特点？ 「京东」
原题【Encoder-Decoder优势】Encoder-Decoder架构(如T5)在哪些场景下更有优势? 「字节跳动」
原题【LoRA】LoRA的公式是什么，如何初始化，为什么？ 「腾讯」
原题【LoRA初始化】LoRA的原理是什么？A和B两个矩阵怎么初始化？有了解过其他的初始化方法吗？ 「腾讯」
原题
暂无题目