多模态训练与微调

题集来源:Rocky Ding(WeThinkIn)收录项目:AIGC-Interview-Book查看原题集

题目目录

22 道原题
  1. 为什么多模态模型需要大规模预训练?

    原题
  2. 简述预训练基础模型的四种主要学习机制,并分析它们各自的优缺点

    原题
  3. 比较提示学习和微调两种方法,并分析它们在下游任务中的适用场景

    原题
  4. 解释什么是思维链?

    原题
  5. 分析RLHF基于人类反馈的强化学习方法的原理,并阐述其优缺点?

    原题
  6. 解释上下文学习在多模态大模型中的原理,并举例说明其在数学推理任务中的应用?

    原题
  7. 思维树如何通过图结构实现更强大的提示?

    原题

    本题对象为 Tree-of-Thought;“图结构”不是在另问 Graph-of-Thought。

  8. 为什么LoRA不会增加额外的推理延迟?

    原题
  9. 多模态大模型常用微调方法LoRA和Ptuning的原理,与传统fine-tuning微调有何不同?

    原题
  10. 多模态训练中,LoRA的矩阵怎么初始化?为什么要初始化为全0?

    原题

    原题“初始化为全 0”未区分 LoRA 的两个低秩因子。

  11. 详细说明多模态大模型中LoRA的推理过程?

    原题
  12. LoRA微调方法为什么能加速训练?

    原题
  13. LoRA应该作用于Transformer的哪个参数矩阵?

    原题
  14. LoRA中的Rank和Alpha参数如何选取?

    原题
  15. 多模态特征融合有哪些常用方法

    原题
  16. 多模态预训练模型中的掩码策略有哪些创新设计

    原题
  17. 详细分析多模态预训练模型中的视觉编码器选择对模型性能的影响

    原题
  18. 请解释多模态预训练模型中的位置编码设计,特别是在处理图像和文本这两种不同性质数据时的考虑因素

    原题
  19. 多模态预训练模型的下游任务适配(Adaptation)有哪些技术难点

    原题
  20. 请详细讨论多模态预训练模型中的数据增强策略,包括单模态和跨模态的增强方法及其效果

    原题
  21. 在多模态预训练中,如何平衡不同预训练任务的优化目标?请分析几种多任务学习策略的优劣势

    原题
  22. 请详细分析多模态预训练模型的推理优化方法,包括模型压缩、量化和加速等技术

    原题