多模态与计算机视觉
【跨模态融合创新】解题思路中体现了哪些跨模态融合创新? 「京东」
原题【音画对齐】紧接着提了一个音画caption跟随的问题，让想想怎么在caption中对齐多个人物是谁在说话，可以从数据角度答。 「阿里通义」
原题【音频视觉多模态】在处理音频-视觉多模态任务时，你有哪些独特的技术考量？ 「蚂蚁集团」
原题【预训练图像Token影响】你觉得预训练引入 image token 会不会对整体训练造成损失？ 「腾讯」
原题【世界模型】有人说“WorldModel（世界模型）是端到端的终极形态”，你怎么看？ 「字节跳动」
原题【原生多模态对齐瓶颈】GPT-4o实现了原生端到端的多模态音频与视觉交互，去除了传统级联系统(ASR加LLM加TTS)的严重中间延迟。你认为实现这种原生多模态严格对齐的最大技术瓶颈是在高质量数据集层面，还是在模型底层的模态融合架构层面？请详述推演逻辑。 「腾讯」
原题【多图输入处理】如果现有的基座大模型采用主流的视觉扩展架构（如LLaVA路线），但在处理多图交错输入时极容易出现图像位置混淆和指代不明的问题，你会在网络架构的哪个具体部分进行针对性的改造？ 「腾讯」
原题【多模态内容审核】假设团队需要在一个月内上线一个多模态内容审核系统，但标注数据只有10万对图文对，且正负样本比例严重失衡，请设计一个从数据增强到模型选型的完整方案。 「腾讯」
原题【多模态基座模型演变】从CLIP跨模态对比学习，到BLIP的引导式对齐，再到目前的生成式统一大模型。你认为下一代真正通用的多模态基座模型的核心技术范式会发生怎样的演变？其背后的驱动力是什么？ 「腾讯」
原题【多模态对话系统】请设计一个多模态对话系统，说明其核心算法和流程？ 「字节跳动」
原题
暂无题目