大模型算法岗面经合集

1. Agent是如何完成推理以及工具调用的？训练轨迹里需要留存哪些信息？

考察点：动作协议、反馈闭环

答题思路：围绕任务状态，说明模型、执行器、轨迹三者的关系

参考回答：系统会把任务目标、当前观测信息、可用工具列表给到模型，模型判断是直接输出答案，还是生成结构化的工具调用指令。执行模块会校验工具名称、入参、权限以及调用限额，执行完成之后把返回结果作为新观测回传给模型，模型再做下一步决策；当任务达成、耗尽调用额度或者明确失败时，流程终止。

单条训练轨迹，需要完整保存消息顺序、角色标识、工具定义、调用参数、返回结果、终止状态、任务标签与反馈。工具调用和返回结果要一一对应，重试、失败、人工确认的记录都要保留。外部返回的数据需要校验，不能直接赋予更高权限；训练阶段也要明确，哪些模型输出参与损失计算。

1. 怎么设计Agent的工具记忆模块？过期信息、冲突信息该怎么处理？

考察点：区分运行状态、可检索记忆的职责

答题思路：明确记忆存储内容、检索范围、更新逻辑

参考回答：短期记忆用来存放当前任务、已经执行的动作、待处理结果；长期记忆用来沉淀经过核验的工具约束、事实信息、可复用经验。每条记录标注来源、适用范围、时间戳与版本，检索的时候结合任务场景、工具环境做筛选。

当新信息和历史记录冲突，优先对比时间、来源、适用边界，保留变更的依据；存疑内容标记待复核。高风险操作执行前，重新查询最新状态。评估记忆模块好坏，不只看检索命中情况，还要关注错误记忆会不会引发错误操作、旧信息能不能及时更新、信息不足时能不能合理停止决策。

1. 谈谈你对Agentic Loop的理解，怎么利用交互轨迹优化后续训练？

考察点：交互、评估、迭代闭环

答题思路：分开推理时的循环、训练迭代两条链路

参考回答：推理阶段的循环就是：观察环境、选择动作、执行动作、获取反馈、更新任务状态。训练层面的循环，是收集交互样本，经过质量筛选、归因分析、数据清洗之后用来优化模型，再用独立任务验证效果。两个循环相互关联，但不是每次在线调用都实时更新参数。

训练时，成功轨迹和有价值的失败步骤都要留存，核对工具输出和最终任务目标是否匹配，不要只挑选看起来流畅的样本。训练集、评估集按任务、环境隔离，跟踪重试次数、成本、失败类型，验证优化方案能不能迁移到全新初始状态。

1. 分析Agent训练曲线时，重点看哪些指标？奖励持续上涨，但任务实际成功率反而下降，该怎么排查？

考察点：区分奖励代理目标、真实任务目标

答题思路：先核验评估链路，再定位奖励hack问题

参考回答：我会监控训练奖励、独立测试集成功率、工具参数有效率、调用频次、耗时、失败类型，同时留存模型版本、环境、评估配置。

指标反向变化的时候，第一步确认任务分布、判定规则、工具可用性、采样策略有没有改动。再抽查高奖励但是失败的轨迹，判断模型是不是找到奖励漏洞、依靠超长输出、重复动作刷奖励，或是训练集任务泄露。使用固定评估集+人工抽查定位问题，必要时回滚版本，修正奖励函数或者数据集，再做对照实验，不能单纯依靠奖励上涨判定模型有效。

1. DPO训练之后，模型输出明显变长，你会怎么排查和处理？

考察点：区分输出长度、回答质量的评估

答题思路：从数据、训练、偏好偏差三个方向排查

参考回答：首先对比偏好数据里优选样本、拒绝样本的长度差异，统计训练前后输出长度分布、停止条件，再在输出长度相近的前提下，核验内容真实性、任务完成度。

序列对数概率、偏好样本里的冗余偏差，都有可能造成这个现象，不能仅凭输出变长就判定效果变差。

可以清理低质量、冗余样本，补充长度匹配的偏好对，调整训练强度、增加长度正则约束。验证的时候同时上报长度、质量、失败案例，不能粗暴截断输出，也不能简单把输出长度归一化等同于DPO原始目标。

1. 大模型训练为什么会设置退火阶段，作用是什么？

考察点：学习率调度、数据排布的协同影响

答题思路：说明阶段目标，配套验证方案

参考回答：退火一般指训练后期逐步降低学习率，让参数更新幅度变小，让模型在已经学到的能力附近精细优化。部分方案同时提高高质量、目标相关数据的占比，所以收益来源，有可能是学习率调度，也有可能是数据排布策略。

不是所有模型都必须设置这个阶段。对照实验要控制算力、数据预算，分开观测学习率、数据集变化、两者组合带来的效果，评估目标能力、通用能力、遗忘情况，不能把后期所有提升，全部归为退火带来的效果。

1. 怎么判断一款大型游戏GUI Agent具备研究价值，而不是单纯固定路线演示？

考察点：泛化能力、成功标准、综合成本评估

答题思路：定义任务族、隔离训练、增加扰动测试

参考回答：先挑选需要感知界面、理解状态、连续执行操作的任务，定义可以通过环境状态核验的成功标准。评估维度包含未见过的关卡、不同起始点位、界面改动、适度操作扰动，同时和脚本、简单策略做对照。

除了成功率，还要统计完成耗时、调用成本、重试次数、容错恢复能力、违规行为。单条流畅演示轨迹，无法证明泛化；如果模型只在固定场景生效，就要谨慎下结论。研究价值体现在可复现任务、失败归因、可迁移方法上，单次演示不能代表全部能力。

1. 以RoPE结构的模型举例，长度外推有哪些方案？仅仅修改最大长度配置够用吗？是否一定要从头预训练长文本？

考察点：位置编码、训练分布、上下文能力的关系

答题思路：区分配置上限、真正可用上下文

参考回答：只修改最大长度配置，只是允许输入更长文本，没法保证模型可以有效利用远距离信息。常见RoPE外推手段包含位置插值、调整RoPE频率、YARN等方案，需要匹配模型结构和原始训练上下文；必要时搭配长序列持续预训练或者微调。

不一定必须从头预训练长文本，是否追加训练，取决于目标长度、数据条件、性能指标。验证需要覆盖不同长度、信息位置、跨段推理、短文本回测，同时检查显存、延迟、注意力实现，不能靠单个样例证明长上下文可靠。

1. DPO和PPO，在优化目标、数据来源、训练流程上有什么区别？

考察点：偏好优化目标、策略梯度更新差异

答题思路：对比优化对象、反馈形式、训练开销

参考回答：原生DPO借助固定偏好对直接优化策略。对于同一个输入x，优选回答yw、拒绝回答yl，构造优化目标，最小化对应的损失。它不需要单独训练奖励模型，训练阶段也不需要在线采样模型回答。

PPO依靠和环境交互采集轨迹，使用优势估计、新旧策略概率比的裁剪目标更新策略，一般搭配价值函数。在大模型RLHF里，通常由奖励模型提供反馈，同时引入参考策略约束。DPO训练成本更低，但是高度依赖偏好对质量；PPO可以接入真实交互反馈，但是要处理奖励偏差、采样开销、训练稳定性等问题。