模型量化如何实施，为什么选择 GPTQ、QAT 或 W8A16？

知识专题：推理优化与模型压缩题目类型：比较选型技术难度：深入

相关面经：1 篇收录题集：13 份

暂无参考答案

未标记

询问 AI

选择 AI 平台

Kimi 千问 ChatGPT

自动带入当前题目

本题目录

相关面经

1 篇

蚂蚁集团

2026-09-23面经合集

查看原面经 →

模型量化如何做的。gptq，qat等等，并说明为什么选择了w8a16的量化?

收录题集

13 份

公司案例问答汇编

阿东玩 AI · AgentGuide · 1 条原题

查看题集 →

- 项目:常见的量化方式有哪些,

AI Infra 面试指南

阿东玩 AI · AgentGuide · 1 条原题

查看题集 →

- 量化怎样影响吞吐、显存和质量？

LLM推理系统问答

阿东玩 AI · AgentGuide · 4 条原题

查看题集 →

原文作者: Lamhot Siagian / AI Engineering Insider

展开其余 1 条原题

- Explain KV cache quantization. Can you quantize the KV cache more aggressively than model weights? Why or why not?

后训练章节追问

阿东玩 AI · AgentGuide · 1 条原题

查看题集 →

- 量化后推理速度一定更快吗？

AI系统与训练推理工程

阿东玩 AI · AgentGuide · 14 条原题

查看题集 →

展开其余 11 条原题

展开剩余 8 份题集

深度学习基础汇编

阿东玩 AI · AgentGuide · 1 条原题

查看题集 →

- 【Attention理解与量化】attention本身怎么理解、为什么attention往往比权重更难量化。「蚂蚁集团」

LLMOps 与生产应用

AMIT SHEKHAR · ai-engineering-interview-questions · 1 条原题

查看题集 →

- Explain post-training quantization (PTQ) vs quantization-aware training (QAT). What breaks when you push weights to 2-4 bits?

腾讯问答汇编

Rocky Ding · AIGC-Interview-Book · 1 条原题

查看题集 →

- 了解哪些量化技术

模型压缩知识点

Rocky Ding · AIGC-Interview-Book · 1 条原题

查看题集 →

- 模型量化有哪些主流的方法？

模型部署精华 · 推理部署综述

Rocky Ding · AIGC-Interview-Book · 2 条原题

查看题集 →

模型部署精华 · 大模型部署技术

Rocky Ding · AIGC-Interview-Book · 2 条原题

查看题集 →

深度网络架构

Rocky Ding · AIGC-Interview-Book · 1 条原题

查看题集 →

- 工业界中，Transformer模型的量化、剪枝优化思路是什么？能带来什么收益？

训练、数据与模型优化：从数据清洗到 LoRA

Onefly · zero2Agent · 2 条原题

查看题集 →