模型评估：多维评估大语言模型

题集来源：Rocky Ding（WeThinkIn）收录项目：AIGC-Interview-Book查看原题集

如何评估拒答边界和过度拒答？
原题
关联题目如何设计 LLM 事实性、推理能力或安全性等专项能力评估？AI 应用工程与治理 / 评测体系与实验设计方案设计进阶0篇相关面经
如何系统评估模型的有害性？如何做红队测试？
原题
关联题目什么是红队测试，它如何发现 LLM 和 Agent 的安全漏洞与偏见？AI 应用工程与治理 / 安全、权限与人工介入概念解释进阶0篇相关面经
如何评估模型偏见与公平性？BBQ、StereoSet、CrowS-Pairs 分别关注什么？
原题
关联题目如何评估并缓解 AI 系统对不同群体的偏见？AI 应用工程与治理 / 评测体系与实验设计方案设计进阶0篇相关面经
如何评估对抗鲁棒性？
原题
关联题目如何评估 Agent 系统的鲁棒性，设计对抗和边缘场景测试？AI 应用工程与治理 / 评测体系与实验设计效果评估进阶0篇相关面经
RAG 系统需要评估哪些部分？为什么不能只看最终答案？
原题
关联题目如何设计 RAG 评估方案和指标？已有答案RAG 与知识系统 / RAG 评测与故障排查效果评估进阶25篇相关面经
RAG 检索指标、排序指标和上下文指标如何区分？
原题
关联题目MRR、NDCG、Recall@K、Context Precision 和 Faithfulness 分别衡量什么？RAG 与知识系统 / RAG 评测与故障排查概念解释进阶0篇相关面经
忠实度（Faithfulness）、答案相关性（Answer Relevance）、上下文相关性（Context Relevance）和引用准确率（Citation Accuracy）有什么区别？
原题
关联题目Faithfulness 与 Response Relevancy 有什么区别，为什么需要联合评估？RAG 与知识系统 / RAG 评测与故障排查比较选型进阶0篇相关面经关联题目Response Relevancy 如何衡量回答切题程度，与 Context Relevancy 有何区别？RAG 与知识系统 / RAG 评测与故障排查效果评估进阶0篇相关面经关联题目如何评估 RAG 回答的引用准确性与证据覆盖？RAG 与知识系统 / RAG 评测与故障排查效果评估进阶1篇相关面经
如何定位 RAG 系统问题发生在解析、分块、检索、重排序还是生成阶段？
原题
关联题目RAG 系统回答不正确时，如何排查？RAG 与知识系统 / RAG 评测与故障排查故障排查进阶7篇相关面经
如何从零设计一个合理的大模型评估方案？
原题
关联题目如何搭建 Agent 评测体系，并让评测结果推动优化迭代？已有答案AI 应用工程与治理 / 评测体系与实验设计方案设计进阶17篇相关面经
为什么业务场景评估比通用榜单更重要？上线后应该监控什么？
原题
关联题目为什么不能只用公开 Benchmark 评价 AI 应用质量？AI 应用工程与治理 / 评测体系与实验设计原理机制进阶0篇相关面经关联题目上线 LLM 或 Agent 服务如何持续评估并检测性能退化与行为漂移？AI 应用工程与治理 / 评测体系与实验设计方案设计深入0篇相关面经