模型推理题集来源：Firefly（wdndev）收录项目：llm_interview_note查看原题集 题目目录8 道原题隐藏关联题目排序默认排序面经最多01为什么大模型推理时显存涨的那么多还一直占着？原题 关联题目大模型推理时显存持续增加或请求结束后仍被占用，如何解释和排查？模型基础与推理 / 推理优化与模型压缩故障排查进阶0篇相关面经02大模型在GPU和CPU上推理速度如何？原题 关联题目大模型在 CPU 与 GPU 上的推理速度有何差异，取决于哪些条件？模型基础与推理 / 推理优化与模型压缩比较选型进阶0篇相关面经03推理速度上，INT8和FP16比起来怎么样？原题 关联题目模型量化如何影响推理速度与内存占用？模型基础与推理 / 推理优化与模型压缩原理机制进阶0篇相关面经04大模型有推理能力吗？原题 关联题目大语言模型具备怎样的逻辑推理能力，又有哪些局限？模型基础与推理 / 模型选型与能力边界开放讨论0篇相关面经05大模型生成时的参数怎么设置？原题 关联题目Temperature、Top-k 和 Top-p 怎样影响模型采样？已有答案模型基础与推理 / 推理与解码原理机制进阶7篇相关面经06有哪些省内存的大语言模型训练/微调/推理方法？原题 关联题目模型训练或推理显存不足时有哪些优化方法？模型训练与对齐 / 分布式训练与计算硬件方案设计进阶1篇相关面经07如何让大模型输出合规化原题 关联题目如何为云端 Agent 的输出设计安全校验方案？AI 应用工程与治理 / 安全、权限与人工介入方案设计进阶1篇相关面经08应用模式变更原题 关联题目大语言模型带来了哪些应用方式的变化？AI 应用工程与治理 / 产品场景、业务价值与交付边界开放讨论0篇相关面经暂无题目共 8 道原题 · 显示 1–8 道上一页11 / 1下一页