数据与评测

题集来源：阿东玩 AI（Adong）收录项目：AgentGuide查看原题集

【AUC与相关指标】介绍AUC、GAUC、UAUC的概念、计算及区别。手撕AUC/GAUC（写代码）。「百度、美团、腾讯、阿里巴巴」
原题
关联题目分类模型应如何选择和解释 Accuracy、Precision、Recall、F1、ROC 与 AUC？模型基础与推理 / 机器学习与推荐系统效果评估进阶0篇相关面经关联题目全局 AUC 与分组 GAUC 有什么区别，权重应如何确定？模型基础与推理 / 机器学习与推荐系统比较选型进阶0篇相关面经关联题目手写 AUC 的计算。AI 应用工程与治理 / 评测体系与实验设计代码题进阶0篇相关面经关联题目实现按请求或用户分组的 GAUC。AI 应用工程与治理 / 评测体系与实验设计代码题进阶0篇相关面经
177
1. 请说明AUC的定义、物理意义和计算方法，并用Python实现AUC的计算。
  关联题目分类模型应如何选择和解释 Accuracy、Precision、Recall、F1、ROC 与 AUC？模型基础与推理 / 机器学习与推荐系统效果评估进阶0篇相关面经关联题目手写 AUC 的计算。AI 应用工程与治理 / 评测体系与实验设计代码题进阶0篇相关面经
2. 同时，讨论数据随机采样对AUC的影响，
3. 以及当AUC指标较高时，如何判断性能提升幅度是否显著。
完整原题
【AUC指标】请说明AUC的定义、物理意义和计算方法，并用Python实现AUC的计算。同时，讨论数据随机采样对AUC的影响，以及当AUC指标较高时，如何判断性能提升幅度是否显著。「字节Seed、拼多多、腾讯」
原题
【LLM作为裁判】评测中GPT as judge怎么做的？「腾讯」
原题
关联题目什么是 LLM-as-a-Judge，它有哪些优势和潜在偏见？AI 应用工程与治理 / 评测体系与实验设计概念解释进阶0篇相关面经
【MRR与NDCG、Precision区别】介绍MRR，并从评估目标说明其与NDCG、Precision的区别。「百度」
原题
关联题目Precision、Recall、MRR、MAP 与 NDCG 有何区别，RAG 评测时如何选用？RAG 与知识系统 / RAG 评测与故障排查比较选型进阶0篇相关面经
【NLP2SQL评估】NLP2SQL的表现如何评估？使用召回率、精确率、F1-Score，构造正确SQL语句验证大模型结果。「百度」
原题
关联题目Text-to-SQL 准确性应如何评测，并通过反馈持续改进？AI 应用工程与治理 / 评测体系与实验设计方案设计进阶0篇相关面经
【PPL指标】PPL阈值如何设置？「腾讯」
原题
关联题目困惑度是否越低越好，还有哪些更合适的指标？AI 应用工程与治理 / 评测体系与实验设计比较选型进阶2篇相关面经
【RAG评估】RAG有哪些评估方法？「腾讯混元」
原题
关联题目如何设计 RAG 评估方案和指标？已有答案RAG 与知识系统 / RAG 评测与故障排查效果评估进阶25篇相关面经
【决策评估】AI的决策是否符合预期，通过什么来判断？「腾讯」
原题
关联题目如何量化评估 Agent 输出质量或任务成功率？已有答案面前必看AI 应用工程与治理 / 评测体系与实验设计方案设计进阶58篇相关面经
【分支覆盖率统计】代码单测的分支覆盖率如何统计？「字节跳动」
原题
关联题目分支覆盖率如何统计，代码插桩如何实现？软件工程基础 / 测试工程与质量保障原理机制进阶3篇相关面经
【安全性评估自动化】介绍一种用于评估模型输出安全性的自动化方法或工具。「蚂蚁集团」
原题
关联题目如何设计 LLM 事实性、推理能力或安全性等专项能力评估？AI 应用工程与治理 / 评测体系与实验设计方案设计进阶0篇相关面经

题目目录

【AUC与相关指标】介绍AUC、GAUC、UAUC的概念、计算及区别。手撕AUC/GAUC（写代码）。 「百度、美团、腾讯、阿里巴巴」

请说明AUC的定义、物理意义和计算方法，并用Python实现AUC的计算。

同时，讨论数据随机采样对AUC的影响，

以及当AUC指标较高时，如何判断性能提升幅度是否显著。

【LLM作为裁判】评测中GPT as judge怎么做的？ 「腾讯」

【MRR与NDCG、Precision区别】介绍MRR，并从评估目标说明其与NDCG、Precision的区别。 「百度」

【NLP2SQL评估】NLP2SQL的表现如何评估？使用召回率、精确率、F1-Score，构造正确SQL语句验证大模型结果。 「百度」

【PPL指标】PPL阈值如何设置？ 「腾讯」

【RAG评估】RAG有哪些评估方法？ 「腾讯混元」

【决策评估】AI的决策是否符合预期，通过什么来判断？ 「腾讯」

【分支覆盖率统计】代码单测的分支覆盖率如何统计？ 「字节跳动」

【安全性评估自动化】介绍一种用于评估模型输出安全性的自动化方法或工具。 「蚂蚁集团」

【AUC与相关指标】介绍AUC、GAUC、UAUC的概念、计算及区别。手撕AUC/GAUC（写代码）。「百度、美团、腾讯、阿里巴巴」

【LLM作为裁判】评测中GPT as judge怎么做的？「腾讯」

【MRR与NDCG、Precision区别】介绍MRR，并从评估目标说明其与NDCG、Precision的区别。「百度」

【NLP2SQL评估】NLP2SQL的表现如何评估？使用召回率、精确率、F1-Score，构造正确SQL语句验证大模型结果。「百度」

【PPL指标】PPL阈值如何设置？「腾讯」

【RAG评估】RAG有哪些评估方法？「腾讯混元」

【决策评估】AI的决策是否符合预期，通过什么来判断？「腾讯」

【分支覆盖率统计】代码单测的分支覆盖率如何统计？「字节跳动」

【安全性评估自动化】介绍一种用于评估模型输出安全性的自动化方法或工具。「蚂蚁集团」