多模态与计算机视觉
【CLIP对比损失与DPO】CLIP中的对比损失与DPO损失之间的联系。 「百度」
原题【CoCa模型】如何评价CoCa模型在Generative与Contrastive任务上的权衡？ 「腾讯」
原题【Q-Former与MLP对比】Q-Former与两层MLP的区别是什么？为什么在某些场景下偏好使用两层MLP而非Q-Former？请分别说明Q-Former的原理、两层MLP的设计动机，以及在不同应用场景（如图文对齐、多模态理解）中的选择偏好。 「阿里巴巴、阿里通义」
原题【单流双流实现】单流双流代码层次怎么实现的，有没有训练过相关的模型插件？ 「腾讯混元」
原题【商品图片描述生成】比如用模型实现“商品图片生成描述”，如何保证内容准确性? 「京东」
原题【商品搜索匹配优化】比如为618优化商品搜索的多模态模型，如何在短时间内提升匹配精度? 「京东」
原题【多模态嵌入噪声处理】假如用多模态模型来做Embedding，图片中会引入噪声应该怎么解决？ 「阿里巴巴」
原题【多模态排序】现在有一个query，排序时如何判断应该把图片排在首位，还是把文本排在首位？ 「百度文心」
原题【对比学习与掩码预测】在多模态预训练中，跨模态对比学习(Contrastive)与掩码预测(MIM/MLM)各自的优缺点是什么？ 「腾讯」
原题【对比学习弱语义问题】如果图像和文本的语义相关性极弱，对比学习的Loss会出现什么问题？如何优化？ 「腾讯」
原题
暂无题目