知驿科技
Agent Memory与协作算法实习一面、二面面经
完整信息
本篇目录
一面:
1. 惯例背景问题
2. 第一个项目,介绍项目、遇到什么问题怎么解决
3. 日常用什么 harness、什么模型。答用 Pi,追问为什么用 Pi,和 Claude Code、Codex 的对比。
4. 有没有 benchmark 构建经历。答自建数据集 + 讲对 benchmark 构建原理的理解。
反问:
- 有什么可改进 → 回答比较 general
- 怎么看 Mem0 这类记忆方案 → 用户不在意记忆建模成数据库还是文档,重要的是好用
二面:
1. 项目的评测体系怎么构建的。答自建只覆盖确定性部分,总体质量用现成 benchmark 的 rubric(LLM-as-judge)
2. LLM judge 有什么问题、怎么解决。答首先消耗高,所以要讲确定性与不确定的部分分开,确定性用代码逻辑判断即可。其次是 LLM Judge 的 bias 需针对性缓解;最后是没人指导效果不好,要和人对齐、人实际去看评估过程和结果。
3. 你们的评估有没有反哺生成端。答没有,在尝试的是用评估来指导构建更有效的合成数据 + 蒸馏
4. 开放设计题:设计题库测系统的长程记忆能力。回答有两种形式:
①大海捞针式的阅读理解,先从长材料抽记忆、再只凭记忆答题
②贴近真实项目的多角色场景,技术/产品/设计先后给信息,之后某角色提出与早前信息相关的需求
本篇目录
当前问题0109
- 01
第一个项目,介绍项目、遇到什么问题怎么解决
- 02
日常用什么 harness、什么模型。答用 Pi,追问为什么用 Pi,和 Claude Code、Codex 的对比。
- 03
有没有 benchmark 构建经历。答自建数据集 + 讲对 benchmark 构建原理的理解。
- 04
有什么可改进 → 回答比较 general
- 05
怎么看 Mem0 这类记忆方案 → 用户不在意记忆建模成数据库还是文档,重要的是好用
- 06
项目的评测体系怎么构建的。答自建只覆盖确定性部分,总体质量用现成 benchmark 的 rubric(LLM-as-judge)
- 07
LLM judge 有什么问题、怎么解决。答首先消耗高,所以要讲确定性与不确定的部分分开,确定性用代码逻辑判断即可。其次是 LLM Judge 的 bias 需针对性缓解;最后是没人指导效果不好,要和人对齐、人实际去看评估过程和结果。
- 08
你们的评估有没有反哺生成端。答没有,在尝试的是用评估来指导构建更有效的合成数据 + 蒸馏
- 09
开放设计题:设计题库测系统的长程记忆能力。回答有两种形式: