理论基础面试题
在处理视频等多模态数据时,相比于静态图片,VLM 需要额外解决哪些问题?(例如,如何表征时序信息?)
原题请解释Grounding在 VLM 领域中的含义。我们如何评估一个 VLM 是否能将文本描述准确地对应到图片中的特定区域?
原题请对比至少不同的 VLM 架构范式(如共享编码器 vs. 跨模态注意力融合),并分析它们的优劣。
原题在 VLM 的应用中,如何处理高分辨率的输入图像?这会带来哪些计算和模型设计上的挑战?
原题VLM 在生成内容时,同样会遇到"幻觉"(Hallucination)问题,但它的表现形式和纯文本 LLM 有何不同?请举例说明。
原题除了图片描述和视觉问答(VQA),你还能列举出 VLM 的哪些前沿或具有潜力的应用方向?
原题有没有做过VLM相关方面的微调?什么模型?
原题多模态学习中常见的融合方式有哪些?早期融合 vs 晚期融合 vs 中间融合的区别和适用场景?
原题Vision Transformer (ViT) 和 CNN 在图像特征提取上的优劣对比?
原题什么是对比学习(Contrastive Learning)?InfoNCE loss 的公式和作用?
原题
暂无题目