模型评估:多维评估大语言模型
为什么要评估大语言模型?评估最终要回答哪些问题?
原题如何设计多维评估矩阵?不同类型模型的评估重点有什么差异?
原题离线基准、自动评估、人工评估、LLM-as-a-Judge 和线上 A/B 分别解决什么问题?
原题为什么生成质量不能只看流畅度?如何评估相关性、事实性、连贯性和有用性?
原题开放式任务和有参考答案任务有什么区别?自动指标应该如何选择?
原题人工评估和 LLM-as-a-Judge 应该如何设计?如何控制主观性和评审偏差?
原题如何评估模型的知识掌握程度和事实准确性?
原题如何将幻觉问题转化为可评估的标签、指标和归因流程?
原题如何验证幻觉治理方案是否真的有效?
原题常见综合能力 Benchmark 有哪些?它们分别覆盖什么能力?
原题
暂无题目