在线推理请求被抢占后，如何恢复计算和 KV 状态？

知识专题：推理优化与模型压缩题目类型：原理机制技术难度：进阶

收录题集：2 份

暂无参考答案

未标记

询问 AI

选择 AI 平台

Kimi 千问 ChatGPT

自动带入当前题目

本题目录

收录题集

2 份

快手高频面试题

Rocky Ding · AIGC-Interview-Book · 1 条原题

查看题集 →

- 新请求prefill会不会踢掉正在运行的decode请求

AI Infra：训练、推理与 GPU 平台工程

Onefly · zero2Agent · 1 条原题

查看题集 →

- vLLM/SGLang 的请求调度与 Continuous Batching 如何工作？请求被抢占后如何恢复？