返回全部题目← 上一题31 / 81下一题 →题库/模型基础与推理/Q-4583模型量化如何影响推理速度与内存占用？知识专题：推理优化与模型压缩题目类型：原理机制技术难度：进阶收录题集：7 份暂无参考答案未标记未标记待复习已掌握收藏询问 AI选择 AI 平台KimiKimi（新窗口打开）Qwen千问（新窗口打开）OpenAIChatGPT（新窗口打开）自动带入当前题目本题目录收录题集相关题目收录题集7 份AI系统与训练推理工程阿东玩 AI · AgentGuide · 4 条原题查看题集 →推理加速与量化技术量化技术（如INT8/FP8/混合精度）在推理加速中的作用与优化：量化与硬件加速的关系；量化在特定场景的优化；量化对Prefill和Decode阶段提速的影响；【量化基础概念】模型量化是什么，为什么能加速推理？常见的量化方法有哪些？请谈谈对模型量化的了解。 「字节跳动、百度、腾讯混元、阿里巴巴」【量化基础概念】什么是模型量化?INT8和INT4量化的区别是什么?会损失多少精度? 「百度」展开其余 1 条原题【AWQ原理】像AWQ这种量化方式，看起来其实给模型增加了很多步骤，比如把BF16压成更低比特，计算的时候又要做一些反量化，那为什么最后整体还是会有加速？ 「蚂蚁集团」AI 基础设施AMIT SHEKHAR · ai-engineering-interview-questions · 1 条原题查看题集 →What is model quantization (INT8, INT4, FP16, BF16), and how does it affect quality?模型压缩知识点Rocky Ding · AIGC-Interview-Book · 1 条原题查看题集 →什么是模型量化？深度网络架构Rocky Ding · AIGC-Interview-Book · 1 条原题查看题集 →卷积核量化是什么？对部署有什么影响？机器学习原理Alireza Dirafzoon · AIMLInterviews · 1 条原题查看题集 →Explain quantization (INT8/INT4, FP8) and KV-cache quantization. What's the accuracy/latency tradeoff?展开剩余 2 份题集模型推理Firefly · llm_interview_note · 1 条原题查看题集 →推理速度上，INT8和FP16比起来怎么样？AI Infra：训练、推理与 GPU 平台工程Onefly · zero2Agent · 1 条原题查看题集 →量化后为什么不一定更快？量化 Matmul、反量化、Prefill 和 Decode 的瓶颈如何判断？相关题目4 题0274Decoder-only 的 KV Cache 为什么缓存 K、V 而通常不缓存 Q？同一知识专题题目类型：原理机制技术难度：进阶相关面经：2 篇0277FlashAttention 为什么能节省显存并提速，是否改变注意力结果？同一知识专题题目类型：原理机制技术难度：进阶相关面经：2 篇0502有哪些大模型推理加速技术？同一知识专题题目类型：方案设计技术难度：进阶相关面经：3 篇0503模型剪枝、GPTQ 与 AWQ 量化方法。同一知识专题题目类型：比较选型技术难度：进阶相关面经：3 篇♥♥♥♥♥← 上一题已到最后一题← 上一题介绍实习中推理框架优化的背景、方案与收益。下一题 →LLM 批量推理与单请求推理有什么区别，为什么能提升吞吐？
