AI系统与训练推理工程
【剪枝】详细讲讲结构化剪枝和非结构化剪枝。 「阿里巴巴」
原题【数据类型对比】比较INT8、FP8、BF16、FP16、FP32等数据格式的优劣势、精度、动态范围、溢出风险，以及在量化中的表现和适用场景。具体包括：INT8与FP8的优劣势及各自适用场景；BF16、FP16、FP32的差异，FP16与BF16的区别（FP16精度高但易溢出，BF16动态范围大）；训练大模型时如何选择（训练常用BF16混合精度，推理用INT8量化加速）；除了W4A16，对INT8、FP8等业界常见量化方案的了解。 「百度、蚂蚁集团、阿里巴巴、阿里通义」
原题【激活值量化】W4A16、W8A8等量化方案中，激活值（Activation）如何量化？请结合Weight-only量化（如W8A16）说明激活值的处理方法。 「字节跳动、阿里通义」
原题【知识蒸馏】知识蒸馏在大模型压缩中的应用：如何将大模型蒸馏到小模型？黑盒蒸馏（仅使用API）和白盒蒸馏（可访问参数）有什么区别？ 「字节跳动、腾讯、阿里巴巴」
原题【量化原理】模型量化原理：介绍量化算子具体怎么算；如果把一个FP16的权重量化成INT8+FP32 scaling，量化过程怎么理解？ 「百度」
原题不同模型在本地部署和量化时会不会有明显差异？去除了什么冗余权重，int8量化Embedding？如果给你一个还没有量化的模型，要怎么推进量化？
根据哪些指标来判断码本是否收敛？
原题完整原题
【量化实践】不同模型在本地部署和量化时会不会有明显差异？去除了什么冗余权重，int8量化Embedding？如果给你一个还没有量化的模型，要怎么推进量化？根据哪些指标来判断码本是否收敛？ 「百度、蚂蚁集团、阿里巴巴」
【量化技术概览】说说你知道的那些针对LLM的量化技法，包括LLM.int8()、SmoothQuant、AWQ、GPTQ等，并说明量化的好处。 「京东、字节Seed」
原题【量化硬件】量化的硬件需要啥 找最大值，除法(倒数和乘法)，round。 「腾讯」
原题【量化策略选择】为什么权重和激活在很多场景下会采用不一样的精度策略？在量化方案选择（如INT8、INT4、GPTQ、AWQ）时，你根据什么标准选？ 「百度、阿里巴巴」
原题【量化算子】大模型量化的目标算子是什么？请详细讲解大模型的量化，包括量化算子。具体地，量化的矩阵乘维度 block 32的话左矩阵 m/32，k，右矩阵k，n/32。 「百度、美团、腾讯」
原题来源未提供 block32 的矩阵布局与形状约定。
暂无题目