AI系统与训练推理工程
常见的量化方式有哪些，并解释不同量化方式的权衡？
另外，QLoRA为什么选择NF4和FP16这组组合，而不是别的组合？
原题完整原题
【量化算法对比】常见的量化方式有哪些，并解释不同量化方式的权衡？另外，QLoRA为什么选择NF4和FP16这组组合，而不是别的组合？ 「美团、蚂蚁集团」
【量化粒度】量化粒度：Per-Tensor、Per-Channel和Per-Row量化的区别，权重量化为什么常用Per-Channel？ 「腾讯、阿里巴巴」
原题【量化精度恢复】精度恢复的技术手段：说明模型量化过程中“校准(Calibration)”步骤的核心作用，以及在量化后出现精度下降时，可采取哪些技术手段(如混合精度、量化感知训练)进行优化？ 「百度、腾讯」
原题【量化精度损失评估】你说可以量化，他就问你是模型量化还是向量量化，用什么方法，精度会损失多少。 「字节跳动」
原题【量化训练】fp16量化训练的策略。 「阿里巴巴」
原题【8bit量化算法设计】设计8bit量化算法，手写权重训练校准与伪量化过程 「字节跳动」
原题【AWQ原理】像AWQ这种量化方式，看起来其实给模型增加了很多步骤，比如把BF16压成更低比特，计算的时候又要做一些反量化，那为什么最后整体还是会有加速？ 「蚂蚁集团」
原题【NF4量化】你能说说NF4的分布拟合逻辑吗？ 「美团」
原题【QLoRA量化】QLoRA的NF4量化会不会破坏初始化优势？ 「百度」
原题【SmoothQuant】SmoothQuant的核心思想是什么？它如何通过解决激活值难量化的问题来确保INT8 LLM的精度正确？ 「京东、字节跳动、腾讯」
原题
暂无题目