AI系统与训练推理工程

题集来源:阿东玩 AI(Adong)收录项目:AgentGuide查看原题集

题目目录

581 道原题
  1. 【动态量化与静态量化】动态量化与静态量化。 「百度」

    原题
  2. 【数据类型对比】对比FP32、FP16、BF16、INT8四种数据格式的区别,包括IEEE754标准中的表示方式、优缺点(如精度、范围、内存占用、计算速度),并说明在AI训练和推理中如何选择精度,以及为什么BF16逐渐成为大模型训练的主流选择之一?同时对比int和fp数据类型。 「字节Seed、百度、美团、腾讯混元、阿里通义」

    原题
  3. 【模型压缩技术概览】模型压缩的必要性与可行性?减小模型内存占用办法?模型压缩加速方法?除了量化,了解稀疏、剪枝、模型蒸馏等技术吗? 「腾讯混元、阿里巴巴」

    原题
  4. 【知识蒸馏】请介绍知识蒸馏的常见模型、改进方法、蒸馏流程、作用,以及是否考虑过蒸馏或自训练方式? 「字节跳动、百度、美团、腾讯混元」

    原题
  5. 【量化与剪枝】追问1:如何进行模型量化和剪枝? 「百度」

    原题
  6. 【量化原理】LLM 量化发挥作用的原理是什么? 「百度、腾讯」

    原题
  7. 【量化基础概念】什么是模型量化?INT8和INT4量化的区别是什么?会损失多少精度? 「百度」

    原题
    1. 压缩量化方法有哪些?量化的优点有哪些?权重量化、激活值量化、KV cache量化都有什么好处?大模型推理中的量化技术了解吗?大模型量化的特点。有考虑过量化?大模型的量化?

    完整原题

    【量化技术概览】了解哪些模型的量化方法和加速方法?请介绍模型量化和Flash Attention。压缩量化方法有哪些?量化的优点有哪些?权重量化、激活值量化、KV cache量化都有什么好处?大模型推理中的量化技术了解吗?大模型量化的特点。有考虑过量化?大模型的量化? 「字节跳动、快手、百度、腾讯、阿里巴巴」

    原题
  8. 【量化策略选择】量化策略的选择。 「百度」

    原题
  9. 【量化算法对比】对称量化和非对称量化的区别?量化选用什么算法? 「字节跳动、阿里通义」

    原题