数据与评测

【模型评估指标选择】你平时怎么评估模型的好坏，用哪些指标？模型训练好以后如何评价模型好坏？你的项目是否进行过有效性验证或系统评估？如果有，评测方法是什么？如何实现的？你还了解哪些指标？请分享一个你在测试中使用的机器学习模型测试方法。请列举关键的评估维度和方法。包括: 数据分析采用了哪些指标? 每次迭代之后，有检查一些相关的指标，判断模型学习得更好嘛？泛化性怎么样？ 「京东、字节跳动、美团、腾讯、蚂蚁集团、阿里巴巴」

【评估指标】评估指标相关问题：1. 用什么指标来评价检索结果？2. 训练时除了最终的准确率还看哪些指标？3. 讲一讲ROUGE、BLEU、Sim这几个指标以及为什么起作用。4. 评估生成文本质量的方式。5. 评测集是怎么算正确率的？6. 这个功能上线后，你用哪些指标评估效果？ 「京东、字节跳动、腾讯、蚂蚁集团、阿里巴巴」

如何设计测试方案？包括：1）针对自动驾驶算法在复杂光照/动态场景/车辆交互/夜间/恶劣天气/极端天气下表现不佳时改进测试方案；2）针对自动驾驶算法/系统的性能优化测试/性能测试设计测试方案。 「京东」

如何评估模型效果？包括：1）自动与人工评估指标（如AUC、F1、覆盖率F1、区分度等）；2）针对不同领域（CV、NLP、LLM、自动驾驶、金融对话机器人）的评估方法；3）加权方法（如大流量用户加权）使评估更公平；4）LLM as Judge的评估维度；5）测试方案设计（复杂光照/动态场景/恶劣天气、自动驾驶性能测试、短时间大量测试）；6）过程与结果评估（未按流程但达到目的）；7）训练与评测reward model一致是否不公平；8）AUC计算（样本预估值0.1如何算AUC、离线AUC0.85的分子分母）；9）F1 score计算；10）训练集测试集切分（按时间或随机）；11）如何证明模型有区分度；12）如何评估微调后模型有提升。 「京东、字节跳动、美团、腾讯、蚂蚁集团、阿里巴巴、阿里通义」

评估指标相关问题：指标是什么？如何制定？如何计算？为什么设定该数值（是否调参）？是否虚高？是全局还是分场景？数值评估方法；数据不均衡对F1、Acc等指标的影响；是否评估推理过程可解释性（还是仅Acc/mIoU）？是否设计自动化评测流程？如何衡量模型好坏？最终效果如何评估？ 「京东、字节跳动、美团、腾讯、蚂蚁集团、阿里巴巴」

评估指标综合题：涵盖多模态模型、大语言模型、RAG、AIGC、检索、视觉模型、后训练模型等的核心评价指标；准确率优化方案；F1 Score在生成式任务中的计算与评测；R@K、BLEU、CIDEr在电商场景（如商品匹配）中的衡量；如何判定模型优化效果正向/负向；如何判断后训练策略迁移性；如何定义成功指标；如何衡量模型实际业务效果；如何设计计算机视觉模型评估体系及动态场景鲁棒性；如何评价微调后模型提升、幻觉率、通用能力变化；如何评价检索效果及指标提升；如何评估AIGC生成内容质量；如何评估RAG模型效果及常用指标；如何评估后训练模型在安全性、有用性、无害性方面的表现；如何评估不同数据增强方法（旋转、裁剪、色彩抖动）对视觉模型的提升；多次迭代后效果分化时如何用消融实验定位问题；分享一次大模型评测经历及关注指标。 「京东、字节Seed、字节跳动、拼多多、百度、百度文心、美团、腾讯、蚂蚁集团」