大模型原理追问

题集来源:Rocky Ding(WeThinkIn)收录项目:AIGC-Interview-Book查看原题集

题目目录

27 道原题
  1. 什么是上下文窗口?与词元有什么关联?

    原题
  2. 其他常见的分类标准有哪些?

    原题

    本题承接父题的大模型分类,具体讨论参数规模与模型结构。

  3. 幻觉的核心危害有哪些?

    原题
  4. 幻觉的检测手段和缓解策略有哪些?

    原题
  5. 为什么主流模型采用子词分词?

    原题
  6. 未登录词( OOV )问题是否已经消失?

    原题
  7. 大语言模型常用的FFN结构是什么?

    原题
  8. 概率高是否表示事实正确?

    原题
  9. 还需要哪些生成控制?

    原题
  10. 如何看待 QK-Clip?

    原题
  11. 怎么计算大语言模型需要的显存量?

    原题
  12. 是否有推荐的调参顺序?

    原题

    本题的“调参”承接父题的微调训练语境。

  13. Prefix Tuning 和普通 Prompt 有什么区别?

    原题
  14. GRPO 的训练目标通常包含什么?

    原题
  15. 为什么说信用对齐(credit assignment)仍然是问题?

    原题
  16. 为什么同一个问题换一种提示方式,模型回答会明显不同?

    原题
  17. 提示和传统编程中的指令有什么相似和不同?

    原题
  18. 如何让模型区分事实、推断和不确定信息?

    原题
  19. Few-shot 和微调有什么区别?

    原题
  20. 自我一致性和“让模型再检查一遍”有什么区别?

    原题
  21. ReAct 和普通工具调用有什么区别?

    原题
  22. 如何让模型给出简洁推理而不是冗长推理?

    原题
  23. RAG 和微调可以结合吗?

    原题
  24. 常见相似度指标有哪些?

    原题
  25. 如何避免多个无关片段被错误拼接成答案?

    原题
  26. 索引器怎么训练:KL 蒸馏

    原题
  27. Codex是什么?

    原题

    本题中的 Codex 指代理式编程产品。