项目论文与经历

【效果与落地】介绍业务指标收益具体是如何从模型得到的？模型的base基线以及迭代步骤，主要收益来源于是什么？优化方案是否落地？线上与线下测试差异？优化过程中有什么经验和思考？你在该模型的应用中，是否对其性能进行了评估？使用过程中主要遇到哪些挑战？你的项目做了哪些性能优化、稳定性优化、效果优化？你说通过XX动作提升了销量，具体转化链路是怎么跑通的？后训练的最终效果如何，业务收益是多少？和项目指标提升还不错，为什么不考虑上线使用？哪一项提升对模型的帮助最大？如何判断这个想法是有收益的？如何验证是否起作用的？对比baseline提升挺多的，这个提升你认为是怎么来的？对这个策略的有效性验证怎么样？收益到底来自哪里？收益拆分？数据和模型优化是否形成闭环？是不是可以减少后面人力的投入？是否完成线上部署？QPS、延迟、准确率等核心指标如何？有没有落地到真实业务场景？是否有实验验证两者联合使用的合理性？ 「京东、字节Seed、字节跳动、拼多多、百度、美团、腾讯、腾讯混元、蚂蚁集团、阿里巴巴、阿里通义」

【项目效果与落地】1. 有没有应用到困难任务的前景？ 2. 有没有评估过具体是哪些优化点导致转人工率下降？ 3. 线上怎么落地？ 4. 项目：假如有70%的样本表现非常好，但是剩下30%左右的样本表现不好，那么模型下一步迭代的方向应该是怎样的？ 「京东、字节Seed、美团」

【效果与落地综合】1. DPO在其他指标优化时漏检率上升，如何调整并落地？ 2. 为啥没有效果？ 3. 优化前后效果、极限大概在哪、为什么这么估？ 4. 你做的方法的性能上界在哪里？ 5. 假如项目大规模使用了，如何解决这个问题? 6. 其他独立模型细节提问：上线可以撼动核心收益嘛？ 7. 在模型迭代过程中，你如何平衡效果的稳定性？ 8. 换到真实业务里，成本和收益是否仍然成立? 9. 换模型、换硬件还能成立吗？ 「字节Seed、拼多多、腾讯、蚂蚁集团、阿里巴巴」

【项目复盘与改进】请复盘你的项目经历，回答以下问题： 1. 哪个项目最想迭代改善？为什么？ 2. 做完项目最大的复盘收获是什么？ 3. 分享一个你在团队中推动测试流程优化的案例。 4. 有没有进行过复盘？具体如何做的？ 5. 这段经历里有没有出现过判断失误？请举例。 6. 项目流程中有没有出现失败情况？如何应对的？ 「京东、字节Seed、美团」