AI 测试开发工程师二面面经

这个面试官人很好很亲和，许愿能过吧 #秋招面试记录# 请做一个简单的自我介绍。 - 你刚才提到用 Langfuse Evaluator 做评估，能具体展开讲讲是怎么做的、做了什么吗？ - 能否结合一个实际场景，说明你具体怎样使用 Evaluator，以及评估了哪些内容？ - 你关注过 Evaluator 机器评估结果的可信度吗？是否会通过人工标注或复核来验证机器评估的准确率？ - Langfuse 中既有预置的评估 Prompt，也可以自定义，你们一般使用预置的还是自己设计？ - 自定义评估 Prompt 时有哪些注意点？需要包含哪些内容？具体应该怎样设计？ - 根据实际打分和人工检查结果，你们会继续优化预设的评估 Prompt 吗？面对规则遗漏、设置不准或评测标准更新时，具体迭代流程是什么？ - 你的两段实习都是 Java 开发或 AI 应用开发，为什么选择投 AI 测试开发，而不是 AI 应用开发岗位？ - 如果要保障企微侧边栏助手的 RAG 线上问答效果，除了 Langfuse Evaluator 自动评估外，还需要做哪些工作？ - 对意图识别、工具编排和工具调度成功率，你们是否做过评估或效果保障？目前准确率大约是多少？ - 你们是否做过端到端评估，例如从真实页面输入问题，综合评估回答内容、工具调用和最终产物的整体可用性？ - Hakimi Code 是跟着开源项目做的，还是业务中实际使用的项目？ - 在你们日常的 Coding 工作中，大约有多少比例的代码是通过 AI Coding 或 Vibe Coding 生成的？ - 对 AI 生成的代码，你们会逐行或比较仔细地 Review 吗？涉及实现逻辑、代码复用等问题时会怎样处理？ - 你现在还有手写代码相关的工作吗？ - 请完成一道代码题：随机输入一个包含大小写字母、符号和数字的字符串，找出其中所有非负整数并求和；相邻数字需要作为一个完整整数，小数点及加减乘除符号均按普通字符处理。 - 如果要测试这段程序，你会设计哪些测试用例？ - 如果输入内容全部是数字，会有什么问题？ - 如果输入的数字非常长，Python 的 `int` 会出现溢出吗？ - 你不考虑考研之类的吗？ - 大四期间，除了毕业设计以外，学校里还有哪些事情需要处理，比如考试、学分或其他工作？ - 如果后续面试顺利，拿到并接受 Offer，你可以提前过来实习吗？ - 最近有学习什么新知识吗？看书、B站、公众号、小红书等渠道都可以，但需要是行业相关的。 - 你提到的 LLM Wiki 和普通的 Wiki 知识库有什么区别？ - 你现在实习公司的工作强度怎么样？平时几点上班、几点下班？ - 你平时跑步吗？ - 你尝试过长距离跑步吗，比如半程马拉松或全程马拉松？