大模型推理时显存持续增加或请求结束后仍被占用，如何解释和排查？

知识专题：推理优化与模型压缩题目类型：故障排查技术难度：进阶

收录题集：2 份

暂无参考答案

未标记

询问 AI

选择 AI 平台

Kimi 千问 ChatGPT

自动带入当前题目

本题目录

收录题集

2 份

AI系统与训练推理工程

阿东玩 AI · AgentGuide · 1 条原题

查看题集 →

- 【显存监控】nvidia-smi看到的显存占用是真实可靠的吗？「阿里巴巴」

模型推理

Firefly · llm_interview_note · 1 条原题

查看题集 →

- 为什么大模型推理时显存涨的那么多还一直占着？