模型部署精华 · 推理部署综述
讲一下你对推理框架的理解
原题（进阶）请简要描述图优化、算子库、内存管理与运行时调度分别解决什么问题？
原题传统深度学习推理框架有哪些？适用场景与选型依据是什么？
原题移动端/边缘端推理框架有哪些？部署限制与选型考量是什么？
原题大模型推理框架有哪些？其核心优化技术与选型标准是什么？
原题为什么训练好的模型不能直接用训练框架上线？
原题推理框架在性能优化上通常做哪些工作？
原题为什么模型推理需要加速？
原题哪些业务场景对推理加速最敏感？
原题影响单次模型推理延迟的因素有哪些？
原题影响推理吞吐量的因素有哪些？
原题（进阶）如何判断推理瓶颈在计算、访存还是调度？
原题什么是模型压缩？为什么推理部署中需要模型压缩？
原题模型压缩主要有哪些技术路线？各自适合什么场景？
原题（进阶）不同模型压缩方法如何取舍？
原题剪枝的基本流程和重要性判断方法是什么？
原题（进阶）结构化剪枝和非结构化剪枝有什么区别？
原题知识蒸馏为什么比只学习真实标签更有效？
原题知识蒸馏有哪些常见方式？
原题知识蒸馏适合哪些场景？有哪些局限？
原题量化如何把浮点数映射成低精度数值？
原题PTQ和QAT有什么区别？
原题（进阶）权重量化、激活量化和KV Cache量化分别解决什么问题？
原题模型编译在推理中解决什么问题？
原题（进阶）哪些场景更适合使用AOT或JIT编译？
原题什么是算子融合？为什么它能提升推理性能？
原题（进阶）什么是内核优化？通常会优化哪些方面？
原题计算瓶颈和访存瓶颈在推理中分别有哪些典型表现？
原题什么是计算强度？它为什么重要？
原题（进阶）如何用Roofline模型理解推理性能上限？
原题内存池、张量复用和算子融合分别如何降低内存开销？
原题（进阶）大模型推理中的KV Cache内存如何优化？
原题静态批处理和动态批处理有什么区别？
原题大模型推理中的连续批处理解决了什么问题？
原题CPU、GPU、NPU在算力、带宽和能效上有什么差异？
原题（进阶）实际部署时如何选择推理硬件？
原题模型上线时如何处理环境、版本和资源管理问题？
原题为什么模型部署常用Docker容器？
原题（进阶）使用Docker部署模型服务时常见问题有哪些？
原题API接口、预处理、推理引擎和调度队列分别承担什么职责？
原题大模型服务化和传统模型服务化有什么不同？
原题评估推理服务时为什么不能只看平均延迟？
原题大模型推理服务有哪些特殊评估指标？
原题（进阶）如何评估推理服务的稳定性和线上可用性？
原题
暂无题目