模型评估：多维评估大语言模型
为什么要评估大语言模型？评估最终要回答哪些问题？
原题如何设计多维评估矩阵？不同类型模型的评估重点有什么差异？
原题离线基准、自动评估、人工评估、LLM-as-a-Judge 和线上 A/B 分别解决什么问题？
原题为什么生成质量不能只看流畅度？如何评估相关性、事实性、连贯性和有用性？
原题开放式任务和有参考答案任务有什么区别？自动指标应该如何选择？
原题人工评估和 LLM-as-a-Judge 应该如何设计？如何控制主观性和评审偏差？
原题如何评估模型的知识掌握程度和事实准确性？
原题如何将幻觉问题转化为可评估的标签、指标和归因流程？
原题如何验证幻觉治理方案是否真的有效？
原题常见综合能力 Benchmark 有哪些？它们分别覆盖什么能力？
原题Benchmark 评估有哪些局限？如何避免评测集污染和刷榜误导？
原题如何评估语言理解和问答能力？
原题大语言模型的推理能力包括哪些类型？如何判断模型是真的会推理？
原题如何评估数学推理能力？
原题如何评估代码能力和科学推理能力？
原题长上下文能力应该评估哪些任务、基准和指标？
原题什么是 Needle In A Haystack 和 lost in the middle？它们分别暴露什么问题？
原题如何评估模型是否遵循指令？
原题Helpful、Honest、Harmless 和 Fairness 如何落到评估指标上？
原题RLHF、DPO、GRPO 后的模型应该如何评估？
原题如何评估拒答边界和过度拒答？
原题如何系统评估模型的有害性？如何做红队测试？
原题如何评估模型偏见与公平性？BBQ、StereoSet、CrowS-Pairs 分别关注什么？
原题如何评估对抗鲁棒性？
原题RAG 系统需要评估哪些部分？为什么不能只看最终答案？
原题RAG 检索指标、排序指标和上下文指标如何区分？
原题忠实度（Faithfulness）、答案相关性（Answer Relevance）、上下文相关性（Context Relevance）和 引用准确率（Citation Accuracy）有什么区别？
原题如何定位 RAG 系统问题发生在解析、分块、检索、重排序还是生成阶段？
原题如何从零设计一个合理的大模型评估方案？
原题为什么业务场景评估比通用榜单更重要？上线后应该监控什么？
原题
暂无题目