多模态与计算机视觉

题集来源:阿东玩 AI(Adong)收录项目:AgentGuide查看原题集

题目目录

414 道原题
  1. 【BLIP系列架构与训练】BLIP-2的整体结构是什么?两阶段训练流程是怎样的?用到了哪些损失函数?BLIP2相对于BLIP有哪些改进,BLIP3又有哪些改进? 「字节跳动、阿里巴巴、阿里通义」

    原题

    原题未明确 BLIP3 所指版本或理解/生成路线。

  2. 【Deepseek-VL架构】Deepseek-VL的模型架构padding是如何做的? 「蚂蚁集团」

    原题
  3. 【FLUX模型架构】FLUX中文本模态的condition如何注入的? 「百度」

    原题
  4. 【LLaVA投影层】LLaVA模型如何将视觉编码器与大语言模型进行连接?请描述其视觉-语言投影层的设计思路及训练阶段。介绍一下LLaVA的projection layer有哪几种?并谈谈你对Projection Layer作用的理解,Linear与MLP效果有何差异? 「百度、腾讯」

    原题
  5. 【LLaVA版本演进】简述LLaVA-1.5相比于1.0版在输入分辨率和模型架构上的具体提升。 「腾讯」

    原题
  6. 「百度、蚂蚁集团」

    1. MLLM 不做对齐会有什么结果?

    2. MLLM 训练的时候 vision encoder 也是有一个单独的 loss 吗?

    完整原题

    【MLLM对齐与训练】MLLM 不做对齐会有什么结果?MLLM 的对齐分别有哪些任务,介绍下(grounding、OCR 这些)?MLLM 训练的时候 vision encoder 也是有一个单独的 loss 吗? 「百度、蚂蚁集团」

    原题
  7. 【Q-Former机制】解释BLIP-2中Q-Former的核心逻辑,它是如何解决视觉特征与文本LLM维度不匹配问题的? 「腾讯」

    原题
  8. 「京东、百度、美团、腾讯、蚂蚁集团、阿里巴巴」

    1. Qwen2.5-VL的架构包含什么?其Transformer结构与普通Transformer有何不同?如何处理图像和视频等多模态输入?

    2. Qwen2.5-VL的grounding机制是怎么变的?

    3. Qwen2.5-VL pretrain 阶段用了哪些数据?

    展开其余 5 个小问
    完整原题

    【Qwen2.5-VL架构与改进】Qwen2.5-VL的架构包含什么?其Transformer结构与普通Transformer有何不同?如何处理图像和视频等多模态输入?文本和图像的位置编码分别如何实现?Qwen2.5-VL的grounding机制是怎么变的?Qwen2.5-VL pretrain 阶段用了哪些数据?Qwen2.5 VL相对Qwen 2 VL做了哪些改进?Qwen的max pixels参数是什么?Qwen3 VL的image encoder是什么?Qwen的ViT是怎么处理绝对时间对齐的?介绍Qwen2.5-VL及其视觉编码器。 「京东、百度、美团、腾讯、蚂蚁集团、阿里巴巴」

    原题
  9. 【Qwen3-VL创新点】简单讲下qwen3vl的核心创新点。 「腾讯」

    原题
  10. 【Qwen-Omni模型】你怎么看新出的Qwen-Omni?请讲一下Qwen-Omni。 「蚂蚁集团」

    原题