LLM、VLM 与 Agent 面试题

题集来源:Datawhale(datawhalechina)收录项目:hello-agents查看原题集

题目目录

92 道原题
  1. 在什么场景下,你会选择使用图数据库或知识图谱来增强或替代传统的向量数据库检索?

    原题
  2. 传统的 RAG 流程是“先检索后生成”,你是否了解一些更复杂的 RAG 范式,比如在生成过程中进行多次检索或自适应检索?

    原题
  3. RAG 系统在实际部署中可能面临哪些挑战?

    原题
  4. 了解搜索系统吗?和RAG有什么区别?

    原题
  5. 知道或者使用过哪些开源RAG框架比如Ragflow?如何选择合适场景?

    原题
  6. 为什么传统的 NLP 评估指标(如 BLEU, ROUGE)对于评估现代 LLM 的生成质量来说,存在很大的局限性?

    原题
  7. 请介绍几个目前行业内广泛使用的 LLM 综合性基准测试,并说明它们各自的侧重点。(例如:MMLU, Big-Bench, HumanEval)

    原题
  8. 什么是“LLM-as-a-Judge”?使用 LLM 来评估另一个 LLM 的输出,有哪些优点和潜在的偏见?

    原题
  9. 如何设计一个评估方案来衡量 LLM 的特定能力,比如“事实性/幻觉水平”、“推理能力”或“安全性”?

    原题
  10. 评估一个 Agent 为什么比评估一个基础 LLM 更加困难和复杂?评估的维度有哪些不同?

    原题