模型部署精华 · 大模型部署技术
MQA和GQA如何压缩KV Cache？会带来什么影响？
原题什么是CUDA Graph？为什么它能降低大模型推理中的Launch Overhead？
原题Prefill和Decode阶段的瓶颈分别是什么？为什么需要分开优化？
原题什么是PD分离（Prefill-Decode Disaggregation）？它的架构是怎样的？
原题什么是推测解码（Speculative Decoding）？Draft Model和Target Model如何协同？
原题大模型推理服务有哪些性能指标？TTFT、TPOT、Throughput分别衡量什么？
原题如何进行大模型推理性能Benchmark？有哪些常用评测工具？
原题张量并行、流水线并行、数据并行在推理中各自适用什么场景？
原题vLLM V1如何配置多GPU分布式推理？关键并行参数如何选择？
原题使用Ollama本地部署大模型的流程是怎样的？有哪些常见问题？
原题
暂无题目