模型部署精华 · 大模型部署技术
大模型推理和传统深度学习推理最本质的差异是什么？
原题Transformer自回归解码中Prefill阶段与Decode阶段有什么不同？
原题大模型推理为什么会有"显存墙"问题？KV Cache为什么成为瓶颈？
原题请简要介绍一下vLLM、SGLang、TensorRT-LLM三个大模型推理框架？
原题实际项目中如何选择推理框架？请给出选型建议
原题PagedAttention的原理是什么？它如何解决KV Cache内存浪费问题？
原题vLLM的连续批处理（Continuous Batching）是如何工作的？
原题vLLM V1的EngineCore架构如何理解？Scheduler如何调度请求？
原题vLLM V1部署时需要关注哪些关键参数？如何进行调优？
原题（进阶）vLLM V1的Prefix Caching机制是如何实现的？
原题SGLang的RadixAttention与vLLM的PagedAttention有什么本质区别？
原题SGLang的前端DSL有何特点？gen、select、fork等语法解决了什么问题？
原题SGLang的约束解码（Constrained Decoding）是如何实现的？
原题SGLang后端Runtime的执行流程是怎样的？与vLLM后端有何异同？
原题PTQ和QAT有什么区别？各自适用于什么场景？
原题AWQ的原理是什么？为什么"激活感知"很重要？
原题GPTQ的原理是什么？逐层最优脑外科量化如何工作？
原题（进阶）KV Cache量化和权重量化有什么不同？为什么要单独量化KV Cache？
原题FP8量化有什么特点？与INT8/INT4量化相比有何优势？
原题FlashAttention为什么能加速注意力计算？IO-aware具体指什么？
原题MQA和GQA如何压缩KV Cache？会带来什么影响？
原题什么是CUDA Graph？为什么它能降低大模型推理中的Launch Overhead？
原题Prefill和Decode阶段的瓶颈分别是什么？为什么需要分开优化？
原题什么是PD分离（Prefill-Decode Disaggregation）？它的架构是怎样的？
原题什么是推测解码（Speculative Decoding）？Draft Model和Target Model如何协同？
原题大模型推理服务有哪些性能指标？TTFT、TPOT、Throughput分别衡量什么？
原题如何进行大模型推理性能Benchmark？有哪些常用评测工具？
原题张量并行、流水线并行、数据并行在推理中各自适用什么场景？
原题vLLM V1如何配置多GPU分布式推理？关键并行参数如何选择？
原题使用Ollama本地部署大模型的流程是怎样的？有哪些常见问题？
原题大模型推理中显存OOM如何排查和解决？
原题推理速度突然变慢或延迟抖动，通常从哪些方向排查？
原题
暂无题目