视觉语言模型的分阶段训练如何协调模态对齐、能力学习与指令跟随？

Qwen与LLaVA 了解Qwen的结构吗；了解过Qwen、LLaVA等大模型吗？它们各自的核心特征是什么？

• 它们是怎么进行微调怎么去训练的？

• 【多模态ViT原理与训练】多模态大模型的ViT，解释原理、如何训练的？ 「阿里通义」

• 【ViT与LM训练策略】训练vit和lm是一起做还是分开训？ 「百度」

• 【LLaVA投影层】LLaVA模型如何将视觉编码器与大语言模型进行连接？请描述其视觉-语言投影层的设计思路及训练阶段。介绍一下LLaVA的projection layer有哪几种？并谈谈你对Projection Layer作用的理解，Linear与MLP效果有何差异？ 「百度、腾讯」

• LLaVA 的两阶段训练（特征对齐预训练 + 指令微调）目标分别是什么？

• SFT 加 DPO 两阶段组合与冻结 ViT 是出于什么考量？

• LLaVA多模态对齐如何利用CLIP的对比学习先验？其两阶段训练策略如何平衡模态对齐与指令跟随能力？