模型评估:多维评估大语言模型

题集来源:Rocky Ding(WeThinkIn)收录项目:AIGC-Interview-Book查看原题集

题目目录

30 道原题
  1. 为什么要评估大语言模型?评估最终要回答哪些问题?

    原题
  2. 如何设计多维评估矩阵?不同类型模型的评估重点有什么差异?

    原题
  3. 离线基准、自动评估、人工评估、LLM-as-a-Judge 和线上 A/B 分别解决什么问题?

    原题
  4. 为什么生成质量不能只看流畅度?如何评估相关性、事实性、连贯性和有用性?

    原题
  5. 开放式任务和有参考答案任务有什么区别?自动指标应该如何选择?

    原题
  6. 人工评估和 LLM-as-a-Judge 应该如何设计?如何控制主观性和评审偏差?

    原题
  7. 如何评估模型的知识掌握程度和事实准确性?

    原题
  8. 如何将幻觉问题转化为可评估的标签、指标和归因流程?

    原题
  9. 如何验证幻觉治理方案是否真的有效?

    原题
  10. 常见综合能力 Benchmark 有哪些?它们分别覆盖什么能力?

    原题