模型部署精华 · 推理部署综述

题集来源：Rocky Ding（WeThinkIn）收录项目：AIGC-Interview-Book查看原题集

影响推理吞吐量的因素有哪些？
原题
关联题目现代 GPU 上的大模型推理流水线有哪些主要性能瓶颈？模型基础与推理 / 推理优化与模型压缩原理机制进阶0篇相关面经
（进阶）如何判断推理瓶颈在计算、访存还是调度？
原题
关联题目如何用 Roofline 与性能剖析定位和优化 GPU 算子瓶颈？模型训练与对齐 / 分布式训练与计算硬件故障排查深入0篇相关面经
什么是模型压缩？为什么推理部署中需要模型压缩？
原题
关联题目如何评估模型压缩与轻量化的实际效果？AI 应用工程与治理 / 模型服务、部署与交付效果评估进阶0篇相关面经
模型压缩主要有哪些技术路线？各自适合什么场景？
原题
关联题目有哪些大模型推理加速技术？已有答案模型基础与推理 / 推理优化与模型压缩方案设计进阶3篇相关面经
（进阶）不同模型压缩方法如何取舍？
原题
关联题目有哪些大模型推理加速技术？已有答案模型基础与推理 / 推理优化与模型压缩方案设计进阶3篇相关面经
剪枝的基本流程和重要性判断方法是什么？
原题
关联题目模型剪枝有哪些方式，如何评估实际收益？模型基础与推理 / 推理优化与模型压缩原理机制进阶0篇相关面经
（进阶）结构化剪枝和非结构化剪枝有什么区别？
原题
关联题目模型剪枝有哪些方式，如何评估实际收益？模型基础与推理 / 推理优化与模型压缩原理机制进阶0篇相关面经
知识蒸馏为什么比只学习真实标签更有效？
原题
关联题目什么是知识蒸馏？模型训练与对齐 / 蒸馏与模型合并概念解释基础1篇相关面经
知识蒸馏有哪些常见方式？
原题
关联题目什么是知识蒸馏？模型训练与对齐 / 蒸馏与模型合并概念解释基础1篇相关面经
知识蒸馏适合哪些场景？有哪些局限？
原题
关联题目什么是知识蒸馏？模型训练与对齐 / 蒸馏与模型合并概念解释基础1篇相关面经