AI系统与训练推理工程
【低比特量化】先问fp4 说了一下mxfp4和nvfp4，但nvfp4记不大清，只知道是两层scale，然后block大小也记不得。 「腾讯」
原题【模型压缩经验】你有过LLM模型压缩或模型轻量化的经历吗？请分享一个在模型压缩与加速中的实践经验。 「京东、字节跳动」
原题【模型压缩蒸馏】如何对经过后训练的大模型进行高效的压缩和蒸馏，以适配端侧或低资源部署? 「蚂蚁集团」
原题【模型压缩部署】多模态模型在移动端部署时，常见的量化(Quantization)和剪枝策略有哪些？ 「腾讯」
原题请分享你在模型蒸馏方面的实践经验。怎么避免蒸馏限制新模型的上限？
有没有想过teacher模型logits不可获取的情况下，怎么做OPD？
请解释一下知识蒸馏在音视频模型压缩中的应用？
原题完整原题
【知识蒸馏】请分享你在模型蒸馏方面的实践经验。怎么避免蒸馏限制新模型的上限？有没有想过teacher模型logits不可获取的情况下，怎么做OPD？请解释一下知识蒸馏在音视频模型压缩中的应用？ 「字节跳动、百度、蚂蚁集团」
【量化技术概览】量化的未来发展方向。 「百度」
原题【量化推理实现】展开讲自己做的量化推理runtime：做了哪些改动、量化落在哪部分、精度掉了多少、用什么数据集测的；Linear层怎么改、数据结构怎么设计、内存布局怎么处理、正确性怎么验证？ 「蚂蚁集团、阿里巴巴」
原题【量化硬件】先问硬件怎么做量化的。 运算器算完一个tile后反量化。然后等整个内积算完再量化送回存储器。 「腾讯」
原题【量化策略选择】LLM量化技术INT8、W4A16流程，若数据分布极不均匀(最小值-10000，其余在[-1,1])应选何种量化策略？ 「腾讯混元」
原题【量化算法对比】比较GPTQ、AWQ、TurboQuant等量化算法的核心区别、适用场景及数学/工程技巧。另问：W8A8、FP8、AWQ/W4A16这些方案到底差在哪？ 「百度、腾讯、阿里巴巴」
原题
暂无题目