模型与 Agent 评估面试题
为什么传统的 NLP 评估指标（如 BLEU, ROUGE）对于评估现代 LLM 的生成质量来说，存在很大的局限性？
原题请介绍几个目前行业内广泛使用的 LLM 综合性基准测试，并说明它们各自的侧重点。（例如：MMLU, Big-Bench, HumanEval）
原题什么是"LLM-as-a-Judge"？使用 LLM 来评估另一个 LLM 的输出，有哪些优点和潜在的偏见？
原题如何设计一个评估方案来衡量 LLM 的特定能力，比如"事实性/幻觉水平"、"推理能力"或"安全性"？
原题评估一个 Agent 为什么比评估一个基础 LLM 更加困难和复杂？评估的维度有哪些不同？
原题你了解哪些专门用于评估 Agent 能力的基准测试？这些基准通常如何构建测试环境和任务？
原题在评估一个 Agent 的任务完成情况时，除了最终结果的正确性，还有哪些过程指标是值得关注的？（例如：效率、成本、鲁棒性）
原题什么是红队测试？它在发现 LLM 和 Agent 的安全漏洞与偏见方面扮演着什么角色？
原题在进行人工评估时，如何设计合理的评估准则和流程，以保证评估结果的客观性和一致性？
原题如何持续监控和评估一个已经部署上线的 LLM 应用或 Agent 服务的表现，以应对可能出现的性能衰退或行为漂移？
原题
暂无题目