模型架构与注意力

题集来源:Firefly(wdndev)收录项目:llm_interview_note查看原题集

题目目录

42 道原题
  1. 讲讲对Attention的理解?

    原题
  2. Attention的计算步骤是什么?

    原题
  3. Attention机制和传统的Seq2Seq模型有什么区别?

    原题
  4. self-attention 和 target-attention的区别?

    原题
  5. 在常规attention中,一般有k=v,那self-attention 可以吗?

    原题
  6. 目前主流的attention方法有哪些?

    原题
  7. self-attention 在计算的过程中,如何对padding位做mask?

    原题
  8. 深度学习中attention与全连接层的区别何在?

    原题
  9. transformer中multi-head attention中每个head为什么要进行降维?

    原题
  10. transformer在哪里做了权重共享,为什么可以做权重共享?

    原题