补充概念与机制问答

题集来源:Firefly(wdndev)收录项目:llm_interview_note查看原题集

题目目录

44 道原题
  1. Scaled Dot Product:为什么是缩放点积,而不是点积模型?

    原题
  2. FFN的作用?

    原题
  3. MLM任务,对于在数据中随机选择 15% 的标记,其中80%被换位[mask],10%不变、10%随机替换其他单词,原因是什么?

    原题
  4. 其mask相对于CBOW有什么异同点?

    原题
  5. 对于长度较长的语料,如何训练?

    原题
  6. 大模型混合进度训练FP16 与 BF16 的对比

    原题
  7. 为什么需要Deepspeed

    原题
  8. 微调方法是啥?如何微调?

    原题
  9. 为什么需要 PEFT?

    原题
  10. 微调和参数高效微调之间的区别是什么?

    原题