LLM、VLM 与 Agent 面试题

题集来源:Datawhale(datawhalechina)收录项目:hello-agents查看原题集

题目目录

92 道原题
  1. 你了解哪些专门用于评估 Agent 能力的基准测试?这些基准通常如何构建测试环境和任务?

    原题
  2. 在评估一个 Agent 的任务完成情况时,除了最终结果的正确性,还有哪些过程指标是值得关注的?(例如:效率、成本、鲁棒性)

    原题
  3. 什么是红队测试?它在发现 LLM 和 Agent 的安全漏洞与偏见方面扮演着什么角色?

    原题
  4. 在进行人工评估时,如何设计合理的评估准则和流程,以保证评估结果的客观性和一致性?

    原题
  5. 如何持续监控和评估一个已经部署上线的 LLM 应用或 Agent 服务的表现,以应对可能出现的性能衰退或行为漂移?

    原题
  6. 你认为当前 LLM 距离通用人工智能(AGI)还有多远?最关键的缺失能力是什么?

    原题
  7. 从 GPT-4 到未来的模型,你认为多模态的融合会走向何方?仅仅是文本、图像的结合,还是会拓展到更多感官维度?

    原题
  8. 你如何看待开源模型和闭源模型生态系统的竞争与共存?它们各自的优势是什么,未来将如何演进?

    原题
  9. 随着模型能力的增强,LLM 的“世界模型”或内在模拟能力也备受关注。你如何理解这个概念?它对实现更高阶的推理和规划有何意义?

    原题
  10. “数据”是训练 LLM 的燃料。你认为高质量的人工合成数据在未来的模型训练中将扮演什么样的角色?

    原题