知驿科技

Agent Memory与协作算法实习一面、二面面经

完整信息

9 条问法 · 11 道题

本篇目录

一面:

1. 惯例背景问题

2. 第一个项目,介绍项目、遇到什么问题怎么解决

3. 日常用什么 harness、什么模型。答用 Pi,追问为什么用 Pi,和 Claude Code、Codex 的对比。

4. 有没有 benchmark 构建经历。答自建数据集 + 讲对 benchmark 构建原理的理解。

反问:

  1. 有什么可改进 → 回答比较 general
  2. 怎么看 Mem0 这类记忆方案 → 用户不在意记忆建模成数据库还是文档,重要的是好用

二面:

1. 项目的评测体系怎么构建的。答自建只覆盖确定性部分,总体质量用现成 benchmark 的 rubric(LLM-as-judge)

2. LLM judge 有什么问题、怎么解决。答首先消耗高,所以要讲确定性与不确定的部分分开,确定性用代码逻辑判断即可。其次是 LLM Judge 的 bias 需针对性缓解;最后是没人指导效果不好,要和人对齐、人实际去看评估过程和结果。

3. 你们的评估有没有反哺生成端。答没有,在尝试的是用评估来指导构建更有效的合成数据 + 蒸馏

4. 开放设计题:设计题库测系统的长程记忆能力。回答有两种形式:

①大海捞针式的阅读理解,先从长材料抽记忆、再只凭记忆答题

②贴近真实项目的多角色场景,技术/产品/设计先后给信息,之后某角色提出与早前信息相关的需求

本篇目录
  1. 01
  2. 02
  3. 03
  4. 04
  5. 05
    反问
    怎么看 Mem0 这类记忆方案 → 用户不在意记忆建模成数据库还是文档,重要的是好用
  6. 06
    项目的评测体系怎么构建的。答自建只覆盖确定性部分,总体质量用现成 benchmark 的 rubric(LLM-as-judge)
  7. 07
    LLM judge 有什么问题、怎么解决。答首先消耗高,所以要讲确定性与不确定的部分分开,确定性用代码逻辑判断即可。其次是 LLM Judge 的 bias 需针对性缓解;最后是没人指导效果不好,要和人对齐、人实际去看评估过程和结果。
  8. 08
    追问
    你们的评估有没有反哺生成端。答没有,在尝试的是用评估来指导构建更有效的合成数据 + 蒸馏
  9. 09

同作者面经

展开其余 6 篇收起其余 6 篇

相关公司