数据与评测
【离线线上效果不一致分析】当算法改进在离线评估中表现优异，但在线上A/B测试中效果不显著甚至为负时，你的分析思路和后续行动是什么？复盘会怎么做？下一步优先改哪里？ 「拼多多、百度、蚂蚁集团」
原题设计一个A/B测试或因果推断框架，评估策略（如风控、新模型、新工具）对业务指标（如通过率、坏账率、DAU）的长期影响，并处理子人群负向、自然流量无AB等场景。
大盘DAU持平但高价值子人群显著负向，是否全量？决策框架怎么搭？
如何设计A/B测试评估新老风控策略对通过率、坏账率的长期影响？
无AB的自然流量入口，如何做因果推断？
设计Agent线上评测与灰度机制，保证新模型、新工具上线不批量翻车，量化效果优劣。
原题完整原题
【策略评估与因果推断框架】设计一个A/B测试或因果推断框架，评估策略（如风控、新模型、新工具）对业务指标（如通过率、坏账率、DAU）的长期影响，并处理子人群负向、自然流量无AB等场景。变体：1）大盘DAU持平但高价值子人群显著负向，是否全量？决策框架怎么搭？2）如何设计A/B测试评估新老风控策略对通过率、坏账率的长期影响？3）无AB的自然流量入口，如何做因果推断？4）设计Agent线上评测与灰度机制，保证新模型、新工具上线不批量翻车，量化效果优劣。 「字节跳动、美团、蚂蚁集团」
【日志关键指标】日志中你最关心哪几项指标? 「百度」
原题【Bad Case分析】如何分析bad case？包括如何找到bad case、如何确定其占比、如何找到原因以及如何确定是哪个具体原因导致的bad case？ 「京东、美团」
原题【Bad Case回流与迭代】哪些badcase进行回流了？怎么做badcase回流？针对这些Bad Case，下一步如何迭代？ 「字节Seed、百度」
原题【实验结果分析思路】当实验结果与预期不符时，你的分析思路是什么？ 「蚂蚁集团」
原题【实验跟踪与模型管理】解释实验跟踪和模型管理的最佳实践。 「蚂蚁集团」
原题【模型上线前检查】模型上线前应考虑哪些问题？如何避免学偏的模型上线？ 「阿里巴巴」
原题【模型效果归因分析】模型评测后，效果不好，怎么做归因分析? 「字节Seed」
原题【线上问题定位经验】有没有定位过线上问题？ 「阿里通义」
原题
暂无题目