后端开发工程师（AI 大模型开发平台）一面面经

面试职位：后端开发工程师（AI大模型开发平台） - 数据平台岗位
个人项目：语义模糊搜索引擎
实习项目：企业内部行政 HR 助手

【实习项目】

1. Agent 迭代与回归评测

• 做过哪些 Agent 迭代？如何衡量改动效果？
• 修好一类 bad case 后，如何发现其他场景是否退化？
• 评测只看最终答案，还是也检查意图识别、工具选择与调用轨迹？
• 人工标注的问答评测集如何自动化执行和判分？

1. RAG 切分与长上下文

• 原有文档切分有什么问题，为什么按标题组织内容？
• 规章制度文档可能并不长，为什么还需要切片？
• 如果已经检索到相关文档，为什么不直接把整篇文档输入模型？
• 是否实际比较过整篇输入与切片方案？

1. 离线评测与线上观测

• 是否统计线上有效会话？
• 真实用户的表现与离线评测结果有什么差异？
• 如何收集和分析用户负反馈？
• 如何把线上错例回流到评测集？
• 是否做过答案自动标注？

1. 复杂任务与长程 Agent 评测

• 简单问答与 Coding Agent、长程任务的评测有什么不同？
• 对复杂执行链和复杂产物，如何观察线上效果？
• 只看最终结果是否足够？

【个人项目】

1. 详细讲一下个人项目
2. 搜索意图消歧

• 同一查询词可能对应成语、电影、歌曲等不同对象，如何判断用户真正想找什么？
• 除了语义检索，还能结合哪些信息提高意图判断的准确性？

1. Agent 框架与自研循环的选择

• 手写 Agent Loop、使用图编排框架、使用更完整的 Agent SDK 或 Harness，各有什么取舍？
• 选型前做过哪些调研？
• 上下文压缩、工具调用与调试能力，是自己实现还是复用现有框架？

【场景讨论】
二选一：：通用 Agent 的效果评测、自动化迭代和长程轨迹观测，或者 Coding Agent 相关的效果与其他问题
选了通用Agent

1. 通用 Agent 的效果与竞品比较

• 如果要评估一个覆盖问答、文档、创作等场景的通用 Agent，会怎样拆解任务？
• 如何利用线上反馈和运行轨迹判断表现？
• 两个产品的用户输入不同，如何控制变量、进行公平比较？
• 无法获得竞品后台数据时，如何开展比较？
• 执行时间长是否一定代表异常？不同任务是否应使用同一规则？

【手撕】

1. 要求实现一个类，支持：

• insert(word)：插入单词。
• search(word)：判断完整单词是否存在。
• startsWith(prefix)：判断是否存在指定前缀。

1. 输入为两个升序数组，输出合并后的降序数组，要求O(n)

结果：次日挂，应该是因为手撕第一题没写出来