多模态理论知识

题集来源:Rocky Ding(WeThinkIn)收录项目:AIGC-Interview-Book查看原题集

题目目录

34 道原题
  1. 说一下多模态的定义?

    原题
  2. 多模态的常用方法有哪些?

    原题
  3. 多模态技术主要在哪些AI领域得到了广泛的应用?

    原题
  4. 多模态技术有哪些挑战?

    原题
  5. 什么是词嵌入?

    原题
  6. 描述预训练(Pre-training)和微调(Fine-tuning)的区别?

    原题
  7. Transformer模型有哪些优势,以及如何使用Transformer进行多模态学习?

    原题
  8. 请描述多模态大模型的一般架构?

    原题
  9. 请描述多模态大模型中的连接器?

    原题
  10. 随着多模态大模型技术的发展,AI范式正经历着深刻变革,主要体现在哪几个方面?

    原题
  11. 多模态基础模型旨在解决哪三个代表性问题?

    原题
  12. DPO和PPO,DPO和PPO有什么区别?

    原题
  13. 介绍BatchNorm 和 LayerNorm,为什么transformer是LayerNorm?

    原题
  14. PostNorm和PreNorm这两个技术有什么优缺点?

    原题
  15. 详细描述一下sft过程的细节?

    原题
  16. Decoder-Only和Encoder-Decoder模型相比有什么优势?在训练和推理效率上有什么区别?

    原题
  17. 介绍常见的位置编码,其特点是什么?

    原题
  18. 多模态大模型微调过程中如何避免灾难性遗忘?

    原题
  19. 如何有效地将不同模态的数据对齐或融合到同一维度?

    原题
  20. 在多模态大模型中,如何进行参数高效微调以提高模型性能?

    原题
  21. 多模态大模型中一般使用哪些损失函数?

    原题
  22. 均方误差在多模态大模型中的定义是什么?

    原题
  23. CLIP模型的损失函数如何设计?

    原题
  24. 多模态大语言模型(MLLMs)中幻觉现象的主要来源是什么?

    原题
  25. 目前评估MLLMs幻觉现象的基准有哪些?这些基准在评估不同类型幻觉时的侧重点是什么?

    原题
  26. 缓解MLLMs幻觉现象的方法有哪些?

    原题
  27. 多模态大语言模型(MLLMs)中幻觉现象的具体类型有哪些?

    原题
  28. 数据集的质量和多样性对MLLMs的幻觉现象有何影响?

    原题
  29. 如何通过改进模型架构来减少MLLMs中的幻觉现象?

    原题
  30. 在训练过程中,如何有效地利用辅助监督信号来减少幻觉?

    原题
  31. 在推理阶段,如何通过后处理校正来减少MLLMs中的幻觉?

    原题
  32. 跨模态对比学习原理与挑战有哪些

    原题
  33. 在多模态模型中如何有效处理模态缺失(Modal-Missing)问题

    原题
  34. 目前多模态生图的主流方案有哪些?

    原题