深度网络架构
深度学习中有哪些常用的注意力机制？与Transformer的自注意力有何区别？
原题注意力机制计算时，QKV的维度必须相同吗？为什么？
原题Softmax在Transformer中起到什么作用？
原题什么是Scaling-Law？Transformer的Scaling-Law有什么特点？
原题为什么Transformer的Scaling能力比CNN强？
原题Transformer的输入包含哪些内容？各部分的作用是什么？
原题ROPE（Rotary Position Embedding）位置编码有何特点？与原生位置编码相比有什么优势？
原题多头注意力机制MHA是Transformer模型中的核心组件，KVCache和GQA优化的核心思想是什么？
原题简要介绍下Transformer中的QKV，三者的关系是什么？
原题Transformer训练和部署有哪些关键技巧？（结合工业界实际应用）
原题
暂无题目