AI 系统设计面试题
Prompt Demo 到生产系统之间有哪些工程差距？
原题如何设计一个生产级 AI 应用的整体架构？
原题一次 AI 请求从接入到返回结果，会经过哪些模块？
原题入口层、编排层、Prompt/Context、RAG/Memory/Tool、模型网关和评测观测分别负责什么？
原题同步返回、流式返回和异步任务分别适合什么场景？
原题Prompt 为什么要做版本管理？模板、变量和模型版本应该如何关联？
原题RAG、Memory 和 Tool 分别管理什么信息？为什么要分开治理？
原题长任务的中间状态如何保存？服务重启后怎么恢复？
原题为了支持问题回放，一次请求至少要记录哪些数据？
原题为什么生产环境需要 LLM Gateway？业务服务直接调用模型 API 有哪些问题？
原题LLM Gateway 和 LLM Router 有什么区别？
原题模型网关通常要承担哪些能力？
原题多个模型供应商的请求参数、响应格式和错误码如何统一？
原题模型路由可以参考哪些信息？如何避免把请求分配给不合适的模型？
原题大模型限流为什么要同时看 RPM、TPM、并发数和租户预算？
原题哪些模型调用错误适合重试？哪些错误应该直接失败？
原题如何设计模型 fallback？哪些任务不能自动降级？
原题Token 成本如何归因到租户、用户、功能、模型和 Prompt 版本？
原题模型网关会增加多少延迟？哪些处理适合放在网关中？
原题语义缓存适合哪些请求？如何处理数据时效和权限隔离？
原题如果让你设计一个生产级 LLM Gateway，你会如何拆分模块？
原题Tool Calling 的安全边界在哪里？
原题为什么工具 description 和 Prompt 不能替代后端权限校验？
原题高风险工具调用为什么需要二次确认？
原题写操作如何处理幂等、超时和结果不确定的问题？
原题Prompt 注入攻击在系统设计层面怎么防？
原题RAG 检索如何避免召回当前用户无权查看的内容？
原题PII 脱敏应该放在输入、日志、模型调用还是输出环节？
原题工具调用审计日志应该记录哪些字段？
原题模型生成的结构化参数通过 Schema 校验后，为什么还不能直接执行？
原题AI 应用的可观测指标应该包括哪些内容？
原题为什么没有评测集就很难判断一次改动是否有效？
原题Golden Set 如何覆盖正常路径、边缘场景、对抗样本和高风险失败？
原题离线评测、Trace 回放和线上灰度分别解决什么问题？
原题RAG、Agent 和结构化输出为什么不能共用一套评测指标？
原题LLM-as-Judge 有哪些偏差？如何用人工抽样和规则校验进行校准？
原题CI 中的 AI 评测如何控制成本和运行时间？
原题评测记录为什么要绑定模型、Prompt、检索配置和代码版本？
原题线上质量下降时，如何区分模型、Prompt、检索、工具和数据分布问题？
原题AI 应用如何设计灰度、回滚和失败样本回流？
原题如何设计一个实时语音 Agent？
原题ASR、LLM、TTS 和 VAD 在语音系统中分别负责什么？
原题实时语音 Agent 的端到端延迟主要来自哪些环节？
原题用户打断时，系统如何取消播放、停止生成并更新上下文？
原题listening、thinking、speaking、interrupted 等状态如何管理？
原题级联式 ASR + LLM + TTS 和原生 Speech-to-Speech 模型各有什么优缺点？
原题云端 API、本地模型和端云混合方案怎么选？
原题浏览器端音频前处理会影响哪些指标？
原题语音 Agent 的可观测数据应该包括哪些内容？
原题如何设计一个多 Agent 系统，让它支持任务拆分、并行执行、状态共享、冲突处理和失败恢复？
原题如何设计一个带权限控制、引用溯源和知识库更新能力的企业 RAG 系统？
原题如何设计一个支持长任务、工具调用、中断恢复和人工接管的 Agent 平台？
原题智能客服流量突然增加，同时模型供应商开始限流，系统应该如何排队、降级和保护核心请求？
原题模型或 Prompt 升级后，结构化输出成功率和答案质量下降，如何定位并回滚？
原题Agent 可以查询订单并发起退款时，权限、参数校验、二次确认、幂等和审计怎么设计？
原题如何设计一个支持实时打断、低延迟和故障降级的语音客服系统？
原题
暂无题目