多模态与计算机视觉
【多模态特征融合方式】把多模态特征加到模型里，除了生成SID的方式，还有别的方式吗？ 「美团」
原题【微调视觉编码器】你为什么不直接微调整个大模型，而是只微调大模型的视觉编码器部分？ 「字节跳动」
原题【视觉token投影与对齐】为什么视觉token要经过projection之后再进入LLM？vision token输入到对齐层做了哪些操作？为什么不能直接用多模态的embedding（如QWEN-VL的embedding）去训练？ 「字节跳动、美团、阿里巴巴」
原题【视觉编码器损失】Vision Encoder的loss怎么设计的？ 「美团」
原题【视觉编码器桥接】有没有试过vision encoder的桥接？ 「腾讯」
原题【跨模态对齐可视化】如何通过可视化分析模型的跨模态对齐效果？ 「京东」
原题【跨模态注意力机制】比如如何理解“跨模态注意力机制”在融合中的作用？ 「京东」
原题【CLIP与ConvNext特征交互】CLIP的特征怎么和ConvNext的特征做交互？ 「蚂蚁集团」
原题【CLIP双塔召回与冷启动】多模态召回:CLIP 风格双塔 + cold start 怎么融合内容向量 「字节跳动」
原题【CLIP对比学习采样与计算】详细说明CLIP架构中Contrastive Learning的正负采样策略，如何处理百万级Batch Size下的计算开销？ 「腾讯」
原题
暂无题目