AI多模态精华版·基石模型核心技术
CLIP 的双编码器结构与前向流程是怎样的？
原题为什么 CLIP 采用双塔（dual-encoder）而非单塔融合架构？
原题对比学习相比分类式/生成式目标，为什么更适合 CLIP 的大规模预训练？
原题CLIP 的对比预训练目标与传统 ImageNet 监督分类有何本质区别？
原题CLIP 预训练范式存在哪些固有局限？
原题CLIP 的零样本分类推理流程是怎样的？
原题为什么文本提示（prompt）的构造会显著影响零样本精度？
原题CLIP 的双塔结构为什么天然适合大规模跨模态检索？
原题CLIP 检索在实际落地中存在哪些瓶颈？如何缓解？
原题BLIP 的 MED（多模态编码-解码混合）结构包含哪几种功能模式？
原题为什么 BLIP 要在 CLIP 式双编码器之外引入生成式解码器？
原题BLIP 的三个预训练目标（ITC/ITM/LM）各自承担什么作用？
原题相比 CLIP 的纯对比学习，BLIP 多目标设计扩展了哪些能力？
原题CapFilt 的 Captioner 与 Filter 分别如何工作？
原题CapFilt 为什么能提升网络爬取数据的质量？解决了什么核心痛点？
原题BLIP 在图文检索任务上相比 CLIP 有何优势？
原题BLIP 如何统一支持 VQA、Image Captioning 等生成式理解任务？
原题BLIP-2 为什么采用冻结图像编码器 + 冻结 LLM + 轻量 Q-Former 的设计？
原题Q-Former 的两阶段训练如何实现跨模态对齐？
原题LLaVA 的三段式结构（视觉编码器 + 投影器 + LLM）如何工作？
原题为什么 LLaVA 选择以 LLM 为核心而非以视觉模型为核心？
原题LLaVA 的两阶段训练（特征对齐预训练 + 指令微调）目标分别是什么？
原题相比 CLIP/BLIP 的对比学习，LLaVA 的生成式训练带来了哪些能力差异？
原题LLaVA 如何借助纯文本 GPT-4 合成多模态指令数据？
原题合成指令数据为什么是 LLaVA 视觉指令跟随能力的关键？
原题LLaVA 与 BLIP-2 在跨模态连接模块（MLP vs Q-Former）上有何取舍？
原题LLaVA 与 BLIP-2 在训练成本与数据效率上有何差异？
原题从 LLaVA-1.0 到 LLaVA-1.5/NeXT 的关键技术演进有哪些？
原题这些演进如何提升模型在高分辨率、文档 OCR、复杂推理等任务上的能力？
原题
暂无题目