AI 系统设计面试题
LLM Gateway 和 LLM Router 有什么区别？
原题模型网关通常要承担哪些能力？
原题多个模型供应商的请求参数、响应格式和错误码如何统一？
原题模型路由可以参考哪些信息？如何避免把请求分配给不合适的模型？
原题大模型限流为什么要同时看 RPM、TPM、并发数和租户预算？
原题哪些模型调用错误适合重试？哪些错误应该直接失败？
原题如何设计模型 fallback？哪些任务不能自动降级？
原题Token 成本如何归因到租户、用户、功能、模型和 Prompt 版本？
原题模型网关会增加多少延迟？哪些处理适合放在网关中？
原题语义缓存适合哪些请求？如何处理数据时效和权限隔离？
原题
暂无题目