LLM 算法面经

发一下问题给大家参考，攒攒人品！
1 项目拷打
2. 在 Agent 多轮对话任务中，Attention 的局限性具体体现在哪些方面？
3. 简要介绍 SFT 的核心流程，以及如何制定数据集的构建策略？
4. SFT 之后常见的 Post-Training还有哪些？它们各自的设计目的是什么
5. 什么是RAG它提升生成质量的核心原理是什么
6.RAG与传统的检索 + 模型生成流程有何不同
7.如何构建评估体系来验证一个RAG系统是否真正Work？
8.PPO和DPO在对齐阶段的主要区别是什么？
9. 在进行DPO训练时，通常有哪些关键的注意事项？是否了解过GRPO
10.在Modular Agent中，多步规划是如何实现的？
11.针对多个工具的调用链路，你的调度策略是如何设计的
12. Agent 评估体系包含哪些核心维度？如何量化衡量Planning能力与Hallucination Rate )？
13.在微调Qwen模型时，你是如何确定训练阶段和 Loss Function的？
14. Prompt自动推荐模块应用了哪些优化策略？是否尝试过Prompt压缩或Embedding表示的方式？
15.假如Agent推理链路包含3个工具且请求频率极高，导致系统整体延迟较高，你会从哪些维度进行优化？
17.在记忆系统中，意图识别 承担什么职责？
18.Embedding的维度选择（如 1024 维）是基于什么逻辑？为什么不选择更高或更低的维度？
19.Qwen-4B的Embedding是如何实现的？其模型框架是否属于 BERT 系列？
20.Qwen-34B的Rerank是如何实现的？
21.Attention机制中的Q, K, V矩阵具体是如何通过输入变换得到的？
22.Attention公式中除以根号d_k的作用是什么？如果不除以它，是否有其他替代方案？
23.请详细解释Multi-Head Attention ，并指出它目前存在的主要问题
24. 如何解决多头注意力机制计算开销过大的问题
25. 什么是 RoPE ？它核心解决了什么问题？
26. 在 Memory 系统中，如果输入文本过长，常见的工程处理策略有哪些？