模型接口与评测问答

题集来源:Guide(Snailclimb)收录项目:JavaGuide查看原题集

题目目录

49 道原题
  1. 一次生产级 LLM 调用包含哪些阶段?

    原题
  2. 同步返回和流式返回有什么区别?

    原题
  3. 为什么 Streaming 能降低 TTFT?

    原题
  4. SSE、WebSocket 和 HTTP chunked 这三种流式协议怎么选

    原题
  5. 模型正文包含换行时怎么处理

    原题
  6. 哪些错误能重试,哪些不能重试?

    原题
  7. 为什么要限流?如何限流?

    原题
  8. 为什么 Token 预算比请求数更重要

    原题
  9. 收到 429 应该怎么处理

    原题
  10. 为什么要结构化返回?

    原题
  11. JSON Mode、JSON Schema 和 Structured Output 的区别

    原题
  12. 结构化输出失败后如何兜底

    原题
  13. Java 后端怎么落地 LLM 调用?

    原题
  14. 为什么公开 benchmark 不够用?

    原题
  15. 一条评测用例里有什么?

    原题
  16. Golden Set 怎么构建?

    原题
  17. 数据从哪来?

    原题
  18. 无法穷举 Case,怎么扩展覆盖?

    原题
  19. 多少条够用?

    原题

    “多少条”指起步评测集的样本条数。

  20. 评测工具怎么选?

    原题
  21. LLM-as-Judge 怎么用才可靠?

    原题
  22. Judge Prompt 怎么写?

    原题
  23. RAG 应用怎么评测?

    原题
  24. Agent 应用怎么评测?

    原题
  25. 时间和外部环境一直变化,怎么评?

    原题
  26. Skill 怎么单独评?

    原题
  27. 评测 Harness 怎么搭?

    原题
  28. 结构化输出怎么评测?

    原题
  29. 怎么评判灰度组输出?

    原题
  30. 阈值怎么定?

    原题

    “阈值”指评测指标的发布门槛。

  31. 速度和覆盖度怎么平衡?

    原题
  32. Token 和上下文为什么决定成本与效果?

    原题
  33. 采样参数如何影响输出稳定性?

    原题
  34. 落地时保留哪些数据

    原题
  35. 为什么“请返回 JSON”不可靠?

    原题
  36. 怎样把 JSON 从格式要求变成工程契约?

    原题
  37. JSON Mode 只能保证什么?

    原题
  38. JSON Schema 负责定义什么?

    原题
  39. Structured Outputs 能前移哪些约束?

    原题
  40. Function Calling 到底调用了什么?

    原题
  41. 为什么需要工具调用意图?

    原题
  42. Function Calling、MCP Tool、HTTP API、Agent Skill 是什么关系?

    原题
  43. Function Calling 如何映射到 HTTP API?

    原题
  44. MCP Tool 解决的是哪一层标准化?

    原题
  45. Agent Skill 为什么不是 Function Calling 的语法糖?

    原题
  46. 什么时候该用 Structured Outputs,什么时候该上工具?

    原题
  47. 结构化输出怎么工程化落地?

    原题
  48. 工具调用安全怎么保证?

    原题
  49. 上线前应该检查哪些工程细节?

    原题