补充概念与机制问答

题集来源:Firefly(wdndev)收录项目:llm_interview_note查看原题集

题目目录

44 道原题
  1. PEFT 有什么优点?

    原题
  2. 多种不同的高效微调方法对比

    原题
  3. 多种不同的高效微调方法对比

    原题
  4. 什么是检索增强 LLM

    原题
  5. 为什么在进行softmax之前需要对attention进行scaled(为什么除以dk的平方根),并使用公式推导进行讲解

    原题
  6. 简单讲一下Transformer中的残差结构以及意义。

    原题
  7. 简答讲一下BatchNorm技术,以及它的优缺点。

    原题
  8. 为什么要进行BN呢?

    原题
  9. MoE为什么可以实现更大模型参数、更低训练成本?

    原题
  10. MoE如何解决训练稳定性问题?

    原题