理论基础面试题

题集来源:阿东玩 AI(Adong)收录项目:AgentGuide查看原题集

题目目录

82 道原题
  1. 在处理视频等多模态数据时,相比于静态图片,VLM 需要额外解决哪些问题?(例如,如何表征时序信息?)

    原题
  2. 请解释Grounding在 VLM 领域中的含义。我们如何评估一个 VLM 是否能将文本描述准确地对应到图片中的特定区域?

    原题
  3. 请对比至少不同的 VLM 架构范式(如共享编码器 vs. 跨模态注意力融合),并分析它们的优劣。

    原题
  4. 在 VLM 的应用中,如何处理高分辨率的输入图像?这会带来哪些计算和模型设计上的挑战?

    原题
  5. VLM 在生成内容时,同样会遇到"幻觉"(Hallucination)问题,但它的表现形式和纯文本 LLM 有何不同?请举例说明。

    原题
  6. 除了图片描述和视觉问答(VQA),你还能列举出 VLM 的哪些前沿或具有潜力的应用方向?

    原题
  7. 有没有做过VLM相关方面的微调?什么模型?

    原题
  8. 多模态学习中常见的融合方式有哪些?早期融合 vs 晚期融合 vs 中间融合的区别和适用场景?

    原题
  9. Vision Transformer (ViT) 和 CNN 在图像特征提取上的优劣对比?

    原题
  10. 什么是对比学习(Contrastive Learning)?InfoNCE loss 的公式和作用?

    原题