SFT与指令微调
【LLM训练建议】LLMs训练时有哪些有用的建议？ 「腾讯混元」
原题「京东、字节跳动、百度、美团、腾讯、蚂蚁集团」
解释LoRA的原理、训练方法、低秩矩阵更新的优势，以及使用LoRA前后参数量的变化；说明为什么在资源限制之外还选择LoRA（例如在LLaMA Factory框架中）。
讨论LoRA rank值的选择经验。
解释低秩假设的合理性。
LoRA是否只能在Linear层插入？
什么时候用LoRA，什么时候用全量参数微调？
请谈谈你对参数高效微调技术的理解和应用经验。
还有哪些PEFT方法？Prefix-tuning和P-tuning有何区别？
请解释QLoRA的核心原理，以及它与标准LoRA的区别。
原题完整原题
【LoRA与PEFT】解释LoRA的原理、训练方法、低秩矩阵更新的优势，以及使用LoRA前后参数量的变化；说明为什么在资源限制之外还选择LoRA（例如在LLaMA Factory框架中）。讨论LoRA rank值的选择经验。解释低秩假设的合理性。LoRA是否只能在Linear层插入？什么时候用LoRA，什么时候用全量参数微调？请谈谈你对参数高效微调技术的理解和应用经验。还有哪些PEFT方法？Prefix-tuning和P-tuning有何区别？请解释QLoRA的核心原理，以及它与标准LoRA的区别。 「京东、字节跳动、百度、美团、腾讯、蚂蚁集团」
【LoRA与Prefix Tuning对比】LoRA和Prefix Tuning的区别？ 「京东」
原题【LoRA与QLoRA对比】LoRA，了解过QLoRA吗？两者有什么区别？ 「腾讯」
原题【LoRA与全参微调对比】LoRA与全参数微调的区别、优缺点及LoRA的基本概念和相比全量微调的优势是什么？ 「字节跳动、美团、蚂蚁集团」
原题【LoRA初始化】LoRA中可训练矩阵A和B分别如何初始化？为什么采用不同的初始化方式（A用高斯随机初始化，B用零初始化）？是否可以将A或B初始化为0？你了解过其他初始化方法吗？ 「京东、字节跳动、百度、腾讯、腾讯混元、阿里巴巴」
原题讲一下 LoRA 微调的原理
A、B 矩阵怎么初始化的
LoRA 微调秩设置的是多少？
原题完整原题
【LoRA初始化与秩设置】讲一下 LoRA 微调的原理 A、B 矩阵怎么初始化的 LoRA 微调秩设置的是多少？ 「蚂蚁集团」
了解LoRA吗？请介绍LoRA的原理，包括低秩假设的合理性、两个矩阵的初始化方式、三个关键参数（rank、alpha、dropout）的定义，以及LoRA解决了什么问题（大模型高效微调）。
另外，现在有哪些对LoRA的改进方法？
原题完整原题
【LoRA原理】了解LoRA吗？请介绍LoRA的原理，包括低秩假设的合理性、两个矩阵的初始化方式、三个关键参数（rank、alpha、dropout）的定义，以及LoRA解决了什么问题（大模型高效微调）。另外，现在有哪些对LoRA的改进方法？ 「京东、字节跳动、腾讯、阿里巴巴、阿里通义」
【LoRA原理与推理速度】LoRA的数学原理是什么？其目的是什么？使用LoRA进行推理时推理速度会如何变化？ 「字节跳动、百度」
原题【LoRA应用位置】llm的mlp层要挂lora吗？ 「蚂蚁集团」
原题
暂无题目