返回全部题目← 上一题158 / 232下一题 →题库/AI 应用工程与治理/Q-4523什么是 LLM-as-a-Judge，它有哪些优势和潜在偏见？知识专题：评测体系与实验设计题目类型：概念解释技术难度：进阶收录题集：21 份暂无参考答案未标记未标记待复习已掌握收藏询问 AI选择 AI 平台KimiKimi（新窗口打开）Qwen千问（新窗口打开）OpenAIChatGPT（新窗口打开）自动带入当前题目本题目录收录题集相关题目收录题集21 份模型与 Agent 评估面试题阿东玩 AI · AgentGuide · 1 条原题查看题集 →什么是"LLM-as-a-Judge"？使用 LLM 来评估另一个 LLM 的输出，有哪些优点和潜在的偏见？Evaluation Harness 面试问答阿东玩 AI · AgentGuide · 1 条原题查看题集 →什么是 LLM-as-Judge？有什么优缺点？数据与评测面试指南阿东玩 AI · AgentGuide · 1 条原题查看题集 →LLM judge 有哪些偏差？Agent 评测与 Benchmark专题问答阿东玩 AI · AgentGuide · 1 条原题查看题集 →你说 Code-based Grader 做守门员，LLM Judge 做艺术评委——能举一个具体例子吗？后训练综合问答阿东玩 AI · AgentGuide · 1 条原题查看题集 →LLM-as-Judge 的位置偏见怎么解决？展开剩余 16 份题集Agent 评测与 Benchmark进阶追问阿东玩 AI · AgentGuide · 2 条原题查看题集 →Code-based Grader 最适合做什么？不适合做什么？你怎么校准 LLM Judge？Cohen's Kappa 低于多少需要重写 prompt？强化学习与对齐阿东玩 AI · AgentGuide · 1 条原题查看题集 →奖励模型的设计与训练：包括裁判模型（reward model）的构建、打分偏好（如输入顺序偏好）的解决、通用reward model设计、最新范式（如基于大模型打分 vs 规则）、不同任务（数学、代码、字段提取、长对话、agent RL）的reward设计、训练流程、扩充优化、避免堆字数刷奖励、GSPO的reward计算、代码生成引入静态分析指标（如Pass@k）、字段提取业务维度、模型规模选择等。 「字节Seed、字节跳动、美团、腾讯、蚂蚁集团、阿里巴巴、阿里通义」数据与评测阿东玩 AI · AgentGuide · 3 条原题查看题集 →如何评估模型效果？包括：LLM as Judge的评估维度；【LLM作为裁判】评测中GPT as judge怎么做的？ 「腾讯」【裁判模型稳定性】裁判模型打分怎么确定是否稳定？ 「美团」模型与应用评测AMIT SHEKHAR · ai-engineering-interview-questions · 1 条原题查看题集 →What is LLM-as-a-judge evaluation, and what are its limitations?Agent安全评测与AgentOpsRocky Ding · AIGC-Interview-Book · 1 条原题查看题集 →LLM-as-Judge 在 Agent 评测中如何使用？阿里巴巴问答汇编Rocky Ding · AIGC-Interview-Book · 1 条原题查看题集 →review agent怎么确保他的评价是正确的？滴滴高频面试题Rocky Ding · AIGC-Interview-Book · 1 条原题查看题集 →llm as judge的偏见分为哪些，有什么解决方法腾讯问答汇编Rocky Ding · AIGC-Interview-Book · 1 条原题查看题集 →怎么评估代码专家对奖励模型的判断是否正确？模型评估：多维评估大语言模型Rocky Ding · AIGC-Interview-Book · 1 条原题查看题集 →人工评估和 LLM-as-a-Judge 应该如何设计？如何控制主观性和评审偏差？大模型与多模态数学专题Rocky Ding · AIGC-Interview-Book · 1 条原题查看题集 →Verifier、Reward Model、Critic、Judge Model 的目标函数有什么区别？机器学习原理Alireza Dirafzoon · AIMLInterviews · 1 条原题查看题集 →How do you evaluate an LLM / RAG system? What is the RAG triad and LLM-as-judge?LLM、VLM 与 Agent 面试题Datawhale · hello-agents · 1 条原题查看题集 →什么是“LLM-as-a-Judge”？使用 LLM 来评估另一个 LLM 的输出，有哪些优点和潜在的偏见？AI 机制与工程问答Guide · JavaGuide · 2 条原题查看题集 →LLM-as-Judge 有哪些主要偏差，怎么缓解？LLM-as-Judge 能不能替代人工评测？模型接口与评测问答Guide · JavaGuide · 1 条原题查看题集 →LLM-as-Judge 怎么用才可靠？AI 系统设计面试题Guide · JavaGuide · 1 条原题查看题集 →LLM-as-Judge 有哪些偏差？如何用人工抽样和规则校验进行校准？大模型基础面试题Guide · JavaGuide · 1 条原题查看题集 →LLM-as-Judge 有哪些主要偏差？怎么缓解？相关题目4 题0046简历评分应该从哪些维度进行？同一知识专题题目类型：方案设计技术难度：进阶相关面经：1 篇0056如何量化评估 Agent 输出质量或任务成功率？同一知识专题题目类型：方案设计技术难度：进阶相关面经：58 篇0080GDPval 评测链路在项目中如何实现？同一知识专题题目类型：项目深挖技术难度：深入相关面经：1 篇0150AI 如何从需求或用例生成正确的接口测试脚本，并评估生成效果？同一知识专题题目类型：方案设计技术难度：进阶相关面经：6 篇♥♥♥♥♥← 上一题已到最后一题← 上一题BLEU、ROUGE 等传统 NLP 指标为什么难以充分评价现代 LLM 的生成质量？下一题 →如何设计 LLM 事实性、推理能力或安全性等专项能力评估？
