什么是 Prefill 与 Decode 分离,为什么要分离部署?

暂无参考答案

未标记

询问 AI
本题目录

相关面经

1 篇

百度

AI Infra
秋招一面
查看原面经 →
什么是PD分离(Prefill和Decode分离)?为什么大模型推理系统需要进行PD分离?
在实际部署中,如何调整Prefill和Decode资源比例?比例设置会受到哪些因素影响?

收录题集

9 份
展开剩余 4 份题集

大模型基础面试题

阿东玩 AI · AgentGuide · 1 条原题

查看题集 →

LLMOps 与生产应用

AMIT SHEKHAR · ai-engineering-interview-questions · 1 条原题

查看题集 →

模型部署精华 · 大模型部署技术

Rocky Ding · AIGC-Interview-Book · 1 条原题

查看题集 →

AI Infra:训练、推理与 GPU 平台工程

Onefly · zero2Agent · 1 条原题

查看题集 →

相关题目

4 题