模型评估:多维评估大语言模型

题集来源:Rocky Ding(WeThinkIn)收录项目:AIGC-Interview-Book查看原题集

题目目录

30 道原题
  1. Benchmark 评估有哪些局限?如何避免评测集污染和刷榜误导?

    原题
  2. 如何评估语言理解和问答能力?

    原题
  3. 大语言模型的推理能力包括哪些类型?如何判断模型是真的会推理?

    原题
  4. 如何评估数学推理能力?

    原题
  5. 如何评估代码能力和科学推理能力?

    原题
  6. 长上下文能力应该评估哪些任务、基准和指标?

    原题
  7. 什么是 Needle In A Haystack 和 lost in the middle?它们分别暴露什么问题?

    原题
  8. 如何评估模型是否遵循指令?

    原题
  9. Helpful、Honest、Harmless 和 Fairness 如何落到评估指标上?

    原题
  10. RLHF、DPO、GRPO 后的模型应该如何评估?

    原题