深度学习基础汇编
【LoRA原理与缺点】为什么要做LoRA？介绍其原理和缺点。 「京东」
原题GQA(Grouped-Query Attention)的原理是什么？它又是怎么实现的？
讲一下 MHA、MQA、GQA 的区别，以及它们在推理效率和显存占用上的差异。
介绍一下Multi-Query Attention？
原题完整原题
【MHA/MQA/GQA区别】1. GQA(Grouped-Query Attention)的原理是什么？它又是怎么实现的？2. 讲一下 MHA、MQA、GQA 的区别，以及它们在推理效率和显存占用上的差异。3. 介绍一下Multi-Query Attention？ 「字节跳动、百度、腾讯混元、阿里巴巴」
【MHA参数量】multi-head attention的计算参数量是多大？ 「阿里巴巴」
原题推导多头注意力的时间/空间复杂度。
底层细节：Tokenization是如何工作的？
原题完整原题
【MHA复杂度与Tokenization】推导多头注意力的时间/空间复杂度。底层细节：Tokenization是如何工作的？ 「阿里巴巴」
手撕MHA代码
手撕multi-head attention（MHA），使用PyTorch实现。
原题完整原题
【MHA实现】1. 手撕MHA代码 2. 手撕multi-head attention（MHA），使用PyTorch实现。 「京东、字节Seed、字节跳动、腾讯、蚂蚁集团、阿里巴巴」
【MHA问题】Multi-head Attention存在什么问题？ 「腾讯混元」
原题【Padding Mask】在计算attention score的时候如何对padding做mask操作？ 「腾讯混元」
原题【Pre-Norm vs Post-Norm】Transformer中FFN等模块的顺序是什么？Pre-Norm和Post-Norm的设计差异是什么？ 「字节跳动、腾讯」
原题【QKV矩阵共享】QKV矩阵共享：其中的三个矩阵可以用同一个吗？ 「百度」
原题【RoPE位置编码】1. RoPE（旋转位置编码）的原理、核心思想及作用是什么？2. 2d RoPE是什么？和1d RoPE区别是什么？RoPE位置编码为什么起作用？ 「字节跳动、美团、腾讯」
原题
暂无题目