数据与评测面试指南
如何从业务目标设计数据集？
原题高质量数据等于人工精标数据吗？
原题如何做去重和防污染？
原题训练 / 验证 / 测试怎样切？
原题Agent 应该评什么？
原题LLM judge 有哪些偏差？
原题如何评估 RAG？
原题离线提升、线上下降，先查什么？
原题两个标注者一致率很低，说明 rubric 差还是任务本身模糊？怎样区分？
原题合成数据比例越高越好吗？如何检测模式塌缩和模型自嗨？
原题怎样构造 hard negative，避免只提高简单样本分数？
原题Benchmark 已被广泛训练，继续使用它还有什么价值？
原题线上反馈只有点赞 / 点踩，怎样处理选择偏差和延迟反馈？
原题如何对一次 prompt 更新做回归测试与故障定位？
原题多轮 Agent 的失败该归因给模型、工具、检索、Harness 还是环境？
原题指标涨了但用户价值不变，如何检查代理指标是否失真？
原题如何设计一个会随着系统迭代而不过时的评测集？
原题高风险任务中，平均分和最差切片哪个更重要？为什么？
原题
暂无题目