数据与评测
【AB测试基本原理】请介绍AB测试的基本原理。 「京东、拼多多」
原题【AB测试设计】AB测试设计流程：如何设计AB测试？具体步骤？是否做过？对照组模型设置：对照组使用什么模型？是否与实验组相同架构和参数量？策略有效性验证：如何验证策略的有效性？分组方式探讨：是否尝试过完全不分组或随机分组？ 「京东、百度、美团、腾讯」
原题AB实验设计、操作与异常处理：
分桶、周期、显著性怎么理解？遇到大促波动时如何解释实验结果？
业务上想看发送招标邮件的效用，如何设计实验？
分流护栏怎么做的？
如何处理模型的A/B测试？
展开其余 7 个小问
开一个时间较长的实验来累积更多的样本量，这样的方式可能会导致什么问题？怎么解决？
怎么做的小流量AB实验？
描述一下你做过的一个A/B测试，怎么设计实验的？
提到了AB test具体怎么操作的？
合成控制法？
AA期指标波动较大的情况？
要怎么切片去看不同属性下实验效果怎么样？
原题完整原题
【AB测试综合】AB实验设计、操作与异常处理：1. 分桶、周期、显著性怎么理解？遇到大促波动时如何解释实验结果？2. 业务上想看发送招标邮件的效用，如何设计实验？3. 分流护栏怎么做的？4. 如何处理模型的A/B测试？5. 开一个时间较长的实验来累积更多的样本量，这样的方式可能会导致什么问题？怎么解决？6. 怎么做的小流量AB实验？7. 描述一下你做过的一个A/B测试，怎么设计实验的？8. 提到了AB test具体怎么操作的？合成控制法？AA期指标波动较大的情况？9. 要怎么切片去看不同属性下实验效果怎么样？ 「京东、拼多多、百度、美团、腾讯、蚂蚁集团、阿里巴巴」
【AB测试效果不一致原因分析】AB测试实验效果显著正向但全量上线后效果消失或实际落地不显著的可能原因有哪些？请从网络效应/SUTVA违反、选择偏差、实验期与全量期分布漂移等角度分析。 「京东、拼多多、美团」
原题【DID平行趋势检验】DID的前提是平行趋势，你能拿什么数据证明平行趋势？如果证明不了，你敢不敢拍板说就是模型问题？如果平行趋势检验不通过怎么办？ 「百度、蚂蚁集团」
原题【Switchback实验干扰解决】Switchback实验流量互相干扰，有什么解决办法？ 「腾讯」
原题【反馈闭环设计】在模型迭代中，如何设计一个有效的反馈闭环，让线上表现能快速指导线下模型优化？ 「蚂蚁集团」
原题【多优化点合并问题定位】离线不同的优化点合并在一起上线，线上出了问题，要怎么去发现是哪一块不及预期？ 「美团」
原题【多指标权衡决策】AB测试多指标权衡决策：Chat bot上线A模型和B模型，观测到A模型用户次日留存率更高，B模型对话时间更长，如何判断上线哪个模型？ 「百度」
原题【数据配比实验设计】请设计一个实验，来评估不同数据配比(如SFT数据、偏好数据、安全数据)对最终模型性能的影响。 「蚂蚁集团」
原题
暂无题目