多模态前沿技术

题集来源:Rocky Ding(WeThinkIn)收录项目:AIGC-Interview-Book查看原题集

题目目录

53 道原题
  1. MRAG 1.0、2.0和3.0在文档解析与索引、检索策略和生成模块设计上有哪些核心差异?

    原题

    MRAG 1.0/2.0/3.0 是本来源对文本中转、联合表示及多模态链路的自定义分类。

  2. 在MRAG系统中,如何通过双流结构(Dual-stream Structure)和对比学习实现文本-图像跨模态检索的语义对齐?

    原题
  3. 生成式检索(Generative Retrieval)如何通过"Document Identifiers"(如GenRet的离散自编码器或ASI的自动化ID分配)解决传统相似性匹配的局限性?

    原题
  4. 基于提示的重排序方法(Prompting-as-Reranker)在跨模态场景下如何平衡零样本能力与位置偏差(Positional Bias)?举例说明RankGPT的滑动窗口策略和TourRank的锦标赛机制如何优化长文档排序。

    原题
  5. MRAG的视觉token压缩技术(如LLaVolta的渐进压缩、MustDrop的生命周期重要性评估)如何解决MLLMs输入长度限制?比较这些方法与传统裁剪(Truncation)的ROUGE-L指标差异。

    原题
  6. 如何通过"Augmented Multimodal Output"子模块实现文本与图像/视频的混合生成?详细说明位置识别(Position Identification)、候选集检索(Candidate Set Retrieval)和匹配插入(Matching and Insertion)三阶段流程。

    原题
  7. 对比基于OCR的传统解析(如LayoutLMv3)与MRAG3.0的表示式方法(Representation-based Parsing):后者如何通过文档截图向量化(DSE)保留结构化信息?分析其在BEIR基准测试中的召回率提升。

    原题
  8. MRAG系统如何通过"Refiner"组件(如LLMLingua的困惑度过滤、Prompt-SAW的关系感知图)压缩检索结果?

    原题
  9. 多模态评估方法(如VQA准确率、跨模态检索的mAP@K)是否足以衡量MRAG的幻觉抑制效果?

    原题
  10. 模块化智能体架构如何借鉴人脑功能分区实现类人推理与决策?

    原题