AI 系统设计面试题

题集来源:Guide(Snailclimb)收录项目:JavaGuide查看原题集

题目目录

56 道原题
  1. AI 应用的可观测指标应该包括哪些内容?

    原题
  2. 为什么没有评测集就很难判断一次改动是否有效?

    原题
  3. Golden Set 如何覆盖正常路径、边缘场景、对抗样本和高风险失败?

    原题
  4. 离线评测、Trace 回放和线上灰度分别解决什么问题?

    原题
  5. RAG、Agent 和结构化输出为什么不能共用一套评测指标?

    原题
  6. LLM-as-Judge 有哪些偏差?如何用人工抽样和规则校验进行校准?

    原题
  7. CI 中的 AI 评测如何控制成本和运行时间?

    原题
  8. 评测记录为什么要绑定模型、Prompt、检索配置和代码版本?

    原题
  9. 线上质量下降时,如何区分模型、Prompt、检索、工具和数据分布问题?

    原题
  10. AI 应用如何设计灰度、回滚和失败样本回流?

    原题