数据与评测面试指南

题集来源：阿东玩 AI（Adong）收录项目：AgentGuide查看原题集

如何从业务目标设计数据集？
原题
关联题目如何利用真实数据进行模型优化？模型训练与对齐 / 训练数据构建与治理方案设计进阶0篇相关面经
高质量数据等于人工精标数据吗？
原题
关联题目什么是高质量数据？模型训练与对齐 / 训练数据构建与治理原理机制进阶4篇相关面经
如何做去重和防污染？
原题
关联题目SFT 与偏好数据如何构建，如何控制数据污染和分布偏移？模型训练与对齐 / 偏好对齐方案设计进阶1篇相关面经
训练 / 验证 / 测试怎样切？
原题
关联题目为什么要区分训练集、验证集和测试集，应如何划分？模型基础与推理 / 机器学习与推荐系统方案设计基础0篇相关面经
Agent 应该评什么？
原题
关联题目如何量化评估 Agent 输出质量或任务成功率？已有答案面前必看AI 应用工程与治理 / 评测体系与实验设计方案设计进阶58篇相关面经
LLM judge 有哪些偏差？
原题
关联题目什么是 LLM-as-a-Judge，它有哪些优势和潜在偏见？AI 应用工程与治理 / 评测体系与实验设计概念解释进阶0篇相关面经
如何评估 RAG？
原题
关联题目如何设计 RAG 评估方案和指标？已有答案RAG 与知识系统 / RAG 评测与故障排查效果评估进阶25篇相关面经
离线提升、线上下降，先查什么？
原题
关联题目线上改动如何通过 A/B 测试或灰度指标验证真实效果？AI 应用工程与治理 / 评测体系与实验设计效果评估进阶6篇相关面经
两个标注者一致率很低，说明 rubric 差还是任务本身模糊？怎样区分？
原题
关联题目如何构建评测题目和真值？已有答案AI 应用工程与治理 / 评测体系与实验设计方案设计进阶8篇相关面经
合成数据比例越高越好吗？如何检测模式塌缩和模型自嗨？
原题
关联题目高质量合成数据可能在未来大模型训练中发挥什么作用？模型训练与对齐 / 训练数据构建与治理开放讨论0篇相关面经