多模态与计算机视觉
【开放VQA】如果vqa是开放的问题怎么办？ 「阿里通义」
原题「字节跳动」
什么是弱对齐（仅有相同的class label）？模型结构、训练方法（开放题）。
如果同样是图像数据，自然图像模态的表征效果好，卡通图像的效果不好该怎么处理？
原题完整原题
【弱对齐与领域适应】什么是弱对齐（仅有相同的class label）？模型结构、训练方法（开放题）。如果同样是图像数据，自然图像模态的表征效果好，卡通图像的效果不好该怎么处理？ 「字节跳动」
【码本序列与重构损失】既要保证两个模态信号映射为同一个码本序列，又要保证各自的重构损失? 「阿里巴巴」
原题【视觉依赖度KL散度】视觉依赖度用KL散度计算的完整流程，原图mask局部特征框的操作逻辑？ 「字节跳动」
原题【视觉提示工程】如何在不改变LLM权重的前提下，仅通过视觉Prompt Engineering提升模型性能？ 「腾讯」
原题【视觉编码器与LLM连接】视觉编码器和LLM连接时，使用BLIP2中Q-Former那种复杂的Adaptor好还是LLaVA中简单的MLP好？说说各自的优缺点，并详细描述视觉编码器和LLM如何连接的过程。 「蚂蚁集团、阿里通义」
原题【视频审核正负样本设计】对于视频审核业务，如果自己训一个clip模型来抽取特征，你会如何设计正负样本？ 「字节跳动」
原题【视频文本对齐】应用题:用clip做视频文本的对齐，你有什么方法吗？ 「美团」
原题【跨模态融合机制对比】(如CLIP、ALBEF、FLAVA)它们的跨模态融合机制(如对比学习、注意力对齐)有何差异？ 「京东」
原题「腾讯」
音频如何编码？
如何对齐多个模态？比如ImageBind具体怎么实现对齐的？
原题完整原题
【音频编码与多模态对齐】音频如何编码？如何对齐多个模态？比如ImageBind具体怎么实现对齐的？ 「腾讯」
暂无题目