SFT与指令微调
【LongLoRA与LoRA对比】LongLoRA和LoRA的区别是什么？ 「京东」
原题【LoRA vs ControlNet】为什么用LoRA微调，为什么不用ControlNet？ 「阿里巴巴」
原题解释一下LoRA、AdaLora，
如何初始化矩阵？延伸问题:是否了解LORA的其他初始化策略(如高斯分布初始化、稀疏初始化等)及对微调效果的影响。
原题完整原题
【LoRA与AdaLora】解释一下LoRA、AdaLora，如何初始化矩阵？延伸问题:是否了解LORA的其他初始化策略(如高斯分布初始化、稀疏初始化等)及对微调效果的影响。 「字节跳动、腾讯混元」
【LoRA低秩假设】为什么用LoRA，而不用全量微调？如何理解LoRA的核心假设：模型针对特定任务做下游微调时，权重矩阵更新具有极低的内在秩？ 「腾讯」
原题【LoRA变体】介绍几种LoRA的变体，如QLoRA、DoRA、LoRA+：它们分别解决了什么问题？ 「字节跳动」
原题【LoRA应用位置差异】LoRA作用在Q、K和作用在FFN上有什么差异？ 「美团」
原题【LoRA问题诊断】使用LoRA微调，有没有遇到模型不收敛或指令输出格式损失不符合预期？ 「百度」
原题【Pretrain vs SFT 资源分配】Pretrain和SFT分别解决什么问题？在资源有限时，优先做SFT还是继续堆预训练，判断依据是什么？ 「拼多多」
原题【SFT/RL训练细节】项目细节：SFT数据的合成细节、SFT/RL的训练细节，奖励函数。 「美团」
原题【SFT与RL数据配比与验证】SFT和RL的数据量配比、数据生产过程，验证模型标准？ 「阿里巴巴」
原题
暂无题目