返回全部题目← 上一题58 / 81下一题 →题库/模型基础与推理/Q-5602低精度浮点与整数量化在表示、缩放和硬件执行上有什么区别？知识专题：推理优化与模型压缩题目类型：比较选型技术难度：进阶收录题集：9 份暂无参考答案未标记未标记待复习已掌握收藏询问 AI选择 AI 平台KimiKimi（新窗口打开）Qwen千问（新窗口打开）OpenAIChatGPT（新窗口打开）自动带入当前题目本题目录收录题集相关题目收录题集9 份LLM推理系统问答阿东玩 AI · AgentGuide · 1 条原题查看题集 →原文作者Lamhot Siagian / AI Engineering Insider What is the significance of Tensor Core formats (FP16 vs INT8 vs FP8) for inference? When would you choose each?AI系统与训练推理工程阿东玩 AI · AgentGuide · 12 条原题查看题集 →【FP8推理】FP8推理的优势，E4M3和E5M2格式的区别？ 「腾讯」量化技术Float4类型的作用是什么？它是否总是能带来性能提升？在什么场景下使用Float4会更高效？LLM任务和深度学习任务对不同数据精度格式的偏好是什么？【数据类型对比】对比FP32、FP16、BF16、INT8四种数据格式的区别，包括IEEE754标准中的表示方式、优缺点（如精度、范围、内存占用、计算速度），并说明在AI训练和推理中如何选择精度，以及为什么BF16逐渐成为大模型训练的主流选择之一？同时对比int和fp数据类型。 「字节Seed、百度、美团、腾讯混元、阿里通义」展开其余 9 条原题【量化算法对比】对称量化和非对称量化的区别？量化选用什么算法？ 「字节跳动、阿里通义」【量化范围确定】量化范围确定：为什么要按绝对值最大值去决定范围？ 「百度」【数据类型对比】比较INT8、FP8、BF16、FP16、FP32等数据格式的优劣势、精度、动态范围、溢出风险，以及在量化中的表现和适用场景。具体包括：INT8与FP8的优劣势及各自适用场景；BF16、FP16、FP32的差异，FP16与BF16的区别（FP16精度高但易溢出，BF16动态范围大）；训练大模型时如何选择（训练常用BF16混合精度，推理用INT8量化加速）；除了W4A16，对INT8、FP8等业界常见量化方案的了解。 「百度、蚂蚁集团、阿里巴巴、阿里通义」【量化原理】模型量化原理：介绍量化算子具体怎么算；如果把一个FP16的权重量化成INT8+FP32 scaling，量化过程怎么理解？ 「百度」【量化硬件】量化的硬件需要啥 找最大值，除法(倒数和乘法)，round。 「腾讯」【量化算子】大模型量化的目标算子是什么？请详细讲解大模型的量化，包括量化算子。具体地，量化的矩阵乘维度 block 32的话左矩阵 m/32，k，右矩阵k，n/32。 「百度、美团、腾讯」【量化粒度】量化粒度：Per-Tensor、Per-Channel和Per-Row量化的区别，权重量化为什么常用Per-Channel？ 「腾讯、阿里巴巴」【低比特量化】先问fp4 说了一下mxfp4和nvfp4，但nvfp4记不大清，只知道是两层scale，然后block大小也记不得。 「腾讯」【Hopper架构精度支持】H20的hopper架构对什么数据精度格式的算力支持/优化更好？ 「阿里巴巴」快手高频面试题Rocky Ding · AIGC-Interview-Book · 1 条原题查看题集 →W8A16在forward中执行流程模型部署基础概念Rocky Ding · AIGC-Interview-Book · 2 条原题查看题集 →FP32，FP16以及Int8的区别？Int8和FP8有哪些区别？模型部署精华 · 推理部署综述Rocky Ding · AIGC-Interview-Book · 1 条原题查看题集 →量化如何把浮点数映射成低精度数值？展开剩余 4 份题集模型部署精华 · 大模型部署技术Rocky Ding · AIGC-Interview-Book · 1 条原题查看题集 →FP8量化有什么特点？与INT8/INT4量化相比有何优势？数学基础高频考点Rocky Ding · AIGC-Interview-Book · 1 条原题查看题集 →量化、反量化、对称/非对称量化、NF4 的核心数学是什么？数学公式推导高频考点Rocky Ding · AIGC-Interview-Book · 1 条原题查看题集 →量化 scale 和 zero-point 如何计算？AI Infra：训练、推理与 GPU 平台工程Onefly · zero2Agent · 1 条原题查看题集 →FP8、NVFP4、INT8 与 W4A16 的数值格式、缩放粒度和硬件执行路径有何不同？相关题目4 题0274Decoder-only 的 KV Cache 为什么缓存 K、V 而通常不缓存 Q？同一知识专题题目类型：原理机制技术难度：进阶相关面经：2 篇0277FlashAttention 为什么能节省显存并提速，是否改变注意力结果？同一知识专题题目类型：原理机制技术难度：进阶相关面经：2 篇0502有哪些大模型推理加速技术？同一知识专题题目类型：方案设计技术难度：进阶相关面经：3 篇0503模型剪枝、GPTQ 与 AWQ 量化方法。同一知识专题题目类型：比较选型技术难度：进阶相关面经：3 篇♥♥♥♥♥← 上一题已到最后一题← 上一题在线推理请求被抢占后，如何恢复计算和 KV 状态？下一题 →CUDA Graph 如何降低推理提交开销，对形状和显存有什么要求？
