预训练与微调

题集来源:Firefly(wdndev)收录项目:llm_interview_note查看原题集

题目目录

25 道原题
  1. 如果想要在某个模型基础上做全参数微调,究竟需要多少显存?

    原题
  2. 为什么SFT之后感觉LLM傻了?

    原题
  3. SFT 指令微调数据 如何构建?

    原题
  4. 领域模型Continue PreTrain 数据选取?

    原题
  5. 领域数据训练后,通用能力往往会有所下降,如何缓解模型遗忘通用能力?

    原题
  6. 领域模型Continue PreTrain ,如何 让模型在预训练过程中就学习到更多的知识?

    原题
  7. 进行SFT操作的时候,基座模型选用Chat还是Base?

    原题
  8. 领域模型微调 指令 & 数据输入格式 要求?

    原题
  9. 领域模型微调 领域评测集 构建?

    原题
  10. 领域模型词表扩增是不是有必要的?

    原题