SFT 流程与训练数据
3 道题目查看参考回答收起参考回答
SFT 的完整流程是：明确任务和评测基线，构建可靠的输入—答案示范，清洗去重并隔离验证、测试数据，按模型模板生成训练输入和监督标签，再训练、评测、选择检查点，最后验证导出后的推理行为。 数据集既要覆盖目标任务，也要保证答案正确、输出规则一致，不能只把原始文档堆成训练文本。
训练时还要分别决定更新哪些参数、使用什么训练配置。SFT 表示以参考答案提供监督，可以采用全参数更新，也可以用 LoRA。成功启动训练或训练损失下降，都不等于目标任务已经改善。
来源 · 4 篇面经 · 12 份题集收起来源
【领域大模型微调策略】假设你需要训练一个领域大模型，如何选择预训练模型和设计微调策略？ 「百度」
How do you fine-tune a model for a specific domain (legal, medical, finance)?
什么平台上训练的训练多久学习率多少为什么是这个学习率
10. 简单介绍 SFT 的训练流程，并比较 PPO、DPO 和 GRPO 的区别。
训练数据怎么来的
8. SFT 的训练目标是什么？数据集如何构建？
2. 微调的任务类型，轮次
面试问题：大语言模型监督微调数据如何构造？高质量 SFT 数据需要满足哪些要求？
15.详细描述一下sft过程的细节?
现有一个由若干篇文章组成的企业知识库，如何将其转换成适合 SFT 的数据集？
3.SFT 指令微调数据 如何构建?
SFT 训练数据如何获取、构造与清洗？
查看参考回答收起参考回答
SFT 数据要围绕目标任务做好三件事：筛掉错误和不一致的示范，按任务分布与薄弱能力采样，再把留下的样本处理成模型真正能学习的输入与标签。 先检查格式和答案正确性，去重并处理冲突；再覆盖任务类别、难度、长度及边界情况；最后按来源分组隔离训练、验证和测试集，核对模板、截断和损失掩码。
数据条数不是唯一目标。重复样本可能挤占训练预算，错误答案会提供错误监督；少数关键场景也可能因比例太低而学不到，需要按评测结果调整训练数据，而不是盲目扩大数据量。
来源 · 1 篇面经 · 12 份题集收起来源
SFT数据问题不够多样化怎么办
【领域数据特性】比如用通用模型微调适配京东生鲜商品的识别，需要注意哪些数据特性？ 「京东」
【指令数据清洗】如何设计高质量指令数据的自动清洗pipeline? 「字节跳动」
【项目介绍】介绍第一个项目，包括亮点、遇到的问题及解决方法，并说明如何训练模型学会论文翻译的风格（从数据集构建角度回答）。 「腾讯、蚂蚁集团、阿里巴巴」
微调时的训练数据是怎么构建的？如何保证样本多样性和质量？
1.数据构造策略 评价指标 验证方式
数据清洗采用了什么策略
4.SFT 数据如何更贴近业务：如何避免过度模板化？如何做基础的 train / test 去重来避免评测失真？
2. 数据是哪来的，怎么洗的，怎么保证准确性
怎么构造高质量训练集
1. 微调的数据配比，数据来源
19.大模型LLM进行SFT 如何对样本进行优化？
查看参考回答收起参考回答
SFT 样本需要区分数据记录格式和模型训练格式。记录层可以是 instruction、input、output，也可以是带 role、content 的 messages；训练时再用模型匹配的对话模板把输入和参考答案组织成词元序列，生成 input_ids、attention_mask 与 labels。
面向助手回答的训练通常只在目标助手答案及相应结束标记上计算损失，用户消息仍保留为上下文；填充位置不计损失。多轮样本是监督全部助手轮还是仅最后一轮，需要明确设置，不能仅凭字段名推断。
来源 · 7 份题集收起来源
chat template 和 tokenizer 最容易踩什么坑？
【结构化输出训练】Tool use & function calling: 怎么训练让 LLM 稳定输出 JSON schema？ 「字节跳动」
面试问题：大语言模型 SFT 中为什么通常只对助手回复计算损失？损失掩码应该如何设置？
大模型是如何区分聊天历史中用户说的话和 AI 说的话的？
1.SFT（有监督微调）的数据集格式？
8.领域模型微调 指令 & 数据输入格式 要求？
SFT 数据字段如何映射？instruction 与 input 重叠时如何定义清洗和拼接契约？
LoRA 机制与参数
3 道题目查看参考回答收起参考回答
LoRA 是一种参数高效微调方法：冻结原模型权重 W₀，在选定的线性层中，用两个可训练矩阵 A、B 的乘积表示权重增量。前向计算时，原权重的输出与低秩增量的输出相加；训练时只更新 LoRA 参数，原模型仍然参与计算。
常见配置分别控制四件事：
- target modules：在哪些层注入
LoRA，常见位置是注意力的 Q/K/V/O 投影，也可以覆盖前馈网络的线性层。 - rank（r）：A、B 之间的中间维度，决定新增参数量，并限制权重增量的秩。
- alpha：标准
LoRA用alpha/r缩放增量，再与原路径相加；它不改变矩阵尺寸。 - dropout：训练时对
LoRA分支输入随机置零，用于正则化，推理时关闭。
例如让模型按指定规则抽取关键词，可以保留基座权重，通过训练 LoRA 参数调整关键词选择和输出方式。适配器可以单独保存、按任务切换，普通线性 LoRA 也可以合并进原权重。
来源 · 2 篇面经 · 1 篇面经合集 · 25 份题集收起来源
推导 LoRA 的参数量减少比例
八股:LoRA 初始化怎么做的,用的秩是多少,为什么不选其他的数
LoRA 的 r 怎么选？
【模型架构改进】比如 low-rank adaptor、LoRA 融合，或者用Mamba替换部分token path? 「美团」
【RAG瓶颈与发展】讲论文和项目，聊RAG瓶颈和后面发展看法，Lora训练相关。 「阿里通义」
【LoRA与AdaLora】解释一下LoRA、AdaLora，如何初始化矩阵？延伸问题:是否了解LORA的其他初始化策略(如高斯分布初始化、稀疏初始化等)及对微调效果的影响。 「字节跳动、腾讯混元」
【LoRA】LoRA为什么能实现单模型多风格的一个生成作用在SD哪里（交叉注意力层）？ 「阿里巴巴」
【LoRA】介绍LoRA。 「字节跳动」
【MQA/GQA/MLA】实现GQA。实现MQA。MQA、GQA、MLA分别优化了什么？请手撕MQA和GQA，并说明Multi-Query Attention的好处。PLE，MMoE 讲一个了解的大模型 LoRA原理 MHA和GQA 流量很多的时候，KV Cache还可以做吗怎么做(没大听懂，不会) TRPO，PPO？ 「京东、字节跳动、百度、腾讯、腾讯混元、阿里巴巴」
解释一下LoRA的原理
LoRA微调的原理是什么？秩 r 的选择会对模型表现产生什么影响？
Explain Prefix Tuning and Prompt Tuning. How are they different from LoRA?
5.LoRAalpha特别强/特别弱会有什么情况?LoRA增量训练遇到灾难性遗忘如何解决?
1. LoRA落地场景、常用超参配置
Lora微调的阿尔法和rank是怎么选择的，对模型的影响分别是怎么样的
2.lora作用在q,k和作用在FFN上有什么差异
lora 微调的原理，为什么小部分参数就能成功？
4. LoRA底层原理、Rank选取依据、A/B矩阵初始化细节
面试问题：LoRA、DreamBooth与Textual Inversion应该如何选择？
面试问题：结构控制、参考图控制、风格/角色注入、局部选择与编辑这些Adapter控制能力的经典插件有哪些？
面试问题：LoRA 的低秩矩阵 Rank 和 alpha 参数有什么作用？还有哪些关键参数？
23. LoRA 的参数量和计算量如何推导？
14.LoRA中的Rank和Alpha参数如何选取？
请讲一下 LoRA 技术，除了减少参数量，它还有哪些优点？
LoRA 应该挂在哪些层？rank、alpha 和 dropout 如何共同影响效果？
查看参考回答收起参考回答
标准 LoRA 常让降维矩阵 A 随机初始化、升维矩阵 B 初始化为零。这样初始增量 BA=0，新分支加入时不改变基座线性层的输出，同时又能通过梯度更新逐步学出调整量。LoRA 原论文使用高斯随机初始化 A；PEFT 的常见默认实现使用 Kaiming-uniform 初始化 A、把 B 置零，两者不能混成唯一固定实现。
关键不是“A必须服从某个分布”，而是初始输出保持稳定，同时保证分支能够学习。具体初始化还要结合实现与所选变体确认。
来源 · 1 篇面经 · 8 份题集收起来源
八股:LoRA 初始化怎么做的,用的秩是多少,为什么不选其他的数
LoRA 里的 `B=0` 初始化为什么这么关键？
【LoRA与AdaLora】解释一下LoRA、AdaLora，如何初始化矩阵？延伸问题:是否了解LORA的其他初始化策略(如高斯分布初始化、稀疏初始化等)及对微调效果的影响。 「字节跳动、腾讯混元」
【Qwen-VL架构】QwenVL系列架构详细解析，历代VL有什么改进，mRoPE详解，LoRA基本原理以及两个矩阵怎么初始化以及为何，CLIP架构详解讲解，以及训练方法。介绍Qwen Image以及Qwen Image Edit架构，VAE细节。 「百度、腾讯混元」
【论文介绍与细节】介绍你的论文：从场景需求到核心工作，包括任务形式、模型架构、数据集构建配比与开源数据集内容、基座模型、微调方法（超参数和原理，如LoRA中AB矩阵初始化方式）、训练参数与训练方式、方案设计动机与目的、不同方案优缺点、指标、baseline、setup、核心组件作用等。若涉及多模态表征、跨模态检索或多模态大模型与强化学习，请详细说明。同时，需回答论文细节：用了多少张卡，为什么batch size要设置为1。 「字节跳动、腾讯、腾讯混元、阿里巴巴」
【LoRA初始化】LoRA的原理是什么？A和B两个矩阵怎么初始化？有了解过其他的初始化方法吗？ 「腾讯」
LoRA是怎样进行初始化矩阵的
10.多模态训练中，LoRA的矩阵怎么初始化？为什么要初始化为全0？
查看参考回答收起参考回答
LoRA 的 rank 通常记为 r，表示两个低秩矩阵之间的中间维度。对一个线性层，A 的形状为 r×d_in，B 为 d_out×r，所以增量 BA 的秩最多为 r，新增可训练参数量是 r(d_in+d_out)。它限制的是权重增量能表达的变化，不是把原模型权重的秩改成 r。
增大 r 会扩大可表达的更新空间，也会增加适配器参数、梯度、优化器状态和分支计算开销；在数据较少时还可能更容易拟合噪声。效果并不会随 r 单调变好，整场训练显存也不会因此等比例增加，因为基座权重、激活等部分仍然存在。
来源 · 1 篇面经 · 2 份题集收起来源
微调方法与量化
2 道题目查看参考回答收起参考回答
先看任务与基座的差距、可用训练资源和部署方式，再选更新范围。全量微调更新大部分或全部基座参数；LoRA 冻结基座、训练低秩增量；QLoRA 在此基础上主要用4位存储冻结基座，进一步降低权重显存。 SFT 描述监督训练目标，可以配合这三种参数更新方式，不等同于全量微调。
如果合适的基座已有主要能力，只需适配格式、风格或特定任务，通常可以先评估 LoRA。普通 LoRA 的基座权重仍放不下时，可考虑 QLoRA。如果低秩更新在可靠数据和足够调试后仍达不到要求，且资源允许，再比较全量微调或其他更合适的基座；不能预设全参一定更准。
来源 · 1 篇面经 · 12 份题集收起来源
八股:LORA和全参数微调的区别
【Qwen与DeepSeek对比】介绍Qwen和DeepSeek系列模型（包括Qwen3、DeepSeek-R1等）在架构上的技术差异，并说明Qwen相比于原始Transformer的结构改动、Qwen2的改进，以及Qwen与LLaMA、DeepSeek的主要区别。同时，涉及Qwen系列如何选型、LoRA与全参微调、后训练模型评价与价值衡量。 「京东、腾讯、腾讯混元、阿里通义」
【微调方法选择】对于不同的任务，如何选择最合适的微调方法或框架？ 「腾讯」
【LoRA与全参数微调对比】LoRA 和全参数微调相比，在推荐场景下各自的优缺点是什么? 它们各自更适合什么样的场景？ 「腾讯、腾讯混元」
You must choose between LoRA and full fine-tuning for a domain-specific assistant. How do you decide?
模型微调用的是全参微调还是lora微调，为什么这么选
5.讲讲lora，什么时候考虑用lora，什么时候用全量参数微调？
为什么用 LoRA，而不用全量微调
9. LoRA 讲讲，和全量微调你怎么选？
What is LoRA / QLoRA and when would you use PEFT over full fine-tuning?
LoRA 与全参数微调的区别是什么？
微调方法有哪些？LoRA 和全参数微调的区别？怎么选？
查看参考回答收起参考回答
QLoRA 把 LoRA 与量化存储结合起来：冻结的基座主要以4位格式保存，训练时按需反量化参与计算，只更新新增的低秩适配器。普通 LoRA 已经减少了可训练参数及其梯度、优化器状态；QLoRA 进一步压缩了仍需加载的基座权重。
它不是“把整个模型都用4位精度训练”。量化基座不进入常规梯度更新，适配器、激活和实际矩阵计算使用适当的较高精度；部分模块也可能保留较高精度。梯度仍要经过基座相关计算，才能求出适配器的更新。
来源 · 1 篇面经 · 9 份题集收起来源
项目:刚才提到用过QLoRA,能具体说说QLoRA是怎么降低资源成本吗?
【LoRA变体】介绍几种LoRA的变体，如QLoRA、DoRA、LoRA+：它们分别解决了什么问题？ 「字节跳动」
【QLoRA量化】QLoRA的NF4量化会不会破坏初始化优势？ 「百度」
解释一下AdaLoRA和QLoRA的原理
QLoRA是怎么降低资源成本的？NF4和FP16这组组合为什么有效？
What is QLoRA, and how does it enable fine-tuning on consumer hardware?
面试问题：QLoRA 如何在 LoRA 基础上进一步节省显存？
QLoRA 中的分块量化如何解决普通量化导致的信息损失问题？
QLoRA 的核心设计思想是什么？和标准 LoRA 有什么区别？
效果诊断与改进
2 道题目查看参考回答收起参考回答
LoRA效果不好，先确认“评测有效、Adapter确实生效、训练数据和损失正确”，再调整学习率、轮数、插入模块与秩。不要一开始就增大rank；如果是模板不一致、标签被截断、训练参数未进入优化器，增加容量也解决不了。
用相同样本和生成预算对比基座、LoRA以及优化后的提示基线，把错误分为格式、知识、推理、漏答、重复和旧能力退化，按现象定位。
来源 · 2 篇面经 · 3 份题集收起来源
【LoRA问题诊断】使用LoRA微调，有没有遇到模型不收敛或指令输出格式损失不符合预期？ 「百度」
4.使用LoRA微调，在用LoRA时有没有遇到模型不收敛或指令输出格式损失不符合预期?
面试问题：如何判断LoRA欠拟合、过拟合、概念泄漏和底模型绑定？
查看参考回答收起参考回答
LoRA的主要局限是低秩增量与插入范围限制了可学习的更新，结果依赖数据、rank、缩放和优化设置；它仍要运行基座并保存部分激活，训练资源不会按可训练参数比例下降。部署时还要处理Adapter与基座匹配、多任务批处理、合并和量化兼容等问题。
改进应针对具体瓶颈：适配不足就评估更合适的目标层、秩或参数化方式；优化不稳定就调初始化、学习率与缩放；显存不足可评估QLoRA；复杂领域差异持续无法解决时，比较全参数微调、继续预训练或更换基座。