不同 VLM 架构如何进行跨模态融合，各有什么优缺点？

• 【多模态对齐方法】常用的不同模态数据在embedding层面对齐的方法有哪些？常见的视觉-语言Adapter有哪些结构？ 「字节跳动、百度、美团」

• 【多模态特征融合方式】把多模态特征加到模型里，除了生成SID的方式，还有别的方式吗？ 「美团」

• 【CLIP与ConvNext特征交互】CLIP的特征怎么和ConvNext的特征做交互？ 「蚂蚁集团」

• 【Q-Former与MLP对比】Q-Former与两层MLP的区别是什么？为什么在某些场景下偏好使用两层MLP而非Q-Former？请分别说明Q-Former的原理、两层MLP的设计动机，以及在不同应用场景（如图文对齐、多模态理解）中的选择偏好。 「阿里巴巴、阿里通义」

• 【单流双流实现】单流双流代码层次怎么实现的，有没有训练过相关的模型插件？ 「腾讯混元」

• 【视觉编码器与LLM连接】视觉编码器和LLM连接时，使用BLIP2中Q-Former那种复杂的Adaptor好还是LLaVA中简单的MLP好？说说各自的优缺点，并详细描述视觉编码器和LLM如何连接的过程。 「蚂蚁集团、阿里通义」

• 【跨模态融合机制对比】(如CLIP、ALBEF、FLAVA)它们的跨模态融合机制(如对比学习、注意力对齐)有何差异？ 「京东」

多模态大模型概述 了解哪些多模态大模型（VLM）？请简要介绍几个。

• 多模态大模型的基本架构是什么？通常由哪几个核心部分组成？
• 是否熟悉主流的VLM模型架构？

• 【LLaVA投影层】LLaVA模型如何将视觉编码器与大语言模型进行连接？请描述其视觉-语言投影层的设计思路及训练阶段。介绍一下LLaVA的projection layer有哪几种？并谈谈你对Projection Layer作用的理解，Linear与MLP效果有何差异？ 「百度、腾讯」

• 【Transformer多模态应用】Transformer能否直接用于多模态任务？请解释Transformer在音视频多模态任务中的应用及其优势。 「字节跳动、腾讯」

• 【多模态模型对比】请横向对比多模态大模型LLaVA、BLIP-2、Qwen-VL、InternVL、CLIP、DeepSeek等，说明它们的原理、结构（包括视觉编码器、语言模型、连接方式）、训练方式、特点及差异，并特别指出LLaVA与InternVL除了语言模型、视觉编码器和训练方式不同外还有哪些区别，以及LLaVA与BLIP-2的对比细节。 「京东、字节跳动、美团、蚂蚁集团、阿里通义」

• 【语音文本融合】你关注过语音与文本的融合技术吗？ 「京东」

「字节Seed、阿里巴巴」

• Llava、Chameleon模型的结构区别、训练差异，以及不同技术方案的认知问题。

视觉大模型多模态扩展

• 对于视觉大模型，加入多模态能做吗？原生这样处理token融合处理，视觉模块的处理，这个架构加入的话有纯文本的效果吗？

• 【视觉投影层设计】现在业界的大模型主要都使用两层mlp来做视觉投影，逐渐淘汰了q-former，你认为是为什么？ 「阿里通义」

• 【视觉语言连接件】连接件为什么从CrossAttention或者QFormer变成了MLP，相对于两者MLP有什么缺点 「百度」

• 【多模态音频融合】有考虑音频融合吗？ 「腾讯」