深度学习基础汇编
【旋转位置编码复数表示】为什么用复数形式表示旋转？ 「美团」
原题【时间复杂度分析】Transformer的计算复杂度是多少？为什么对于序列长度是O(n^2)，对hidden dim是O(d)？主要在哪一步？ 「京东、腾讯」
原题【注意力分散】怎么避免注意力机制只关注某几个item？ 「字节跳动」
原题【注意力机制在多模态中的应用】请解释一下注意力机制在多模态任务中的作用？ 「字节跳动」
原题【温度系数与蒸馏】温度系数的作用是什么？在蒸馏的时候，高低温度分别学到什么分布上去？ 「字节跳动」
原题【稀疏/局部Attention对比】稀疏/局部Attention与全序列原生Attention相比有何区别？ 「字节跳动」
原题【缩放点积注意力】请讲解Transformer中的并行化机制，并详细说明多头注意力（Multi-Head Attention）的具体实现步骤，以及为什么在计算注意力得分时需要对点积结果进行缩放（即除以根号dk）？ 「字节跳动、腾讯、腾讯混元」
原题【自注意力与交叉注意力顺序】项目中的backbone为什么先用自注意力再用交叉注意力？ 「百度」
原题具体 backbone 和数据未给，本条仅关联 self/cross 的一般分工。
【自注意力与残差连接】手写自注意力，然后追问：在Attention is all you need一文中，除了Q/K/V的注意力计算，还有一个关键步骤是什么？ 「字节跳动」
原题【自注意力在音视频中的应用】请解释一下自注意力机制在音视频处理中的应用？ 「字节跳动」
原题
暂无题目