AI系统与训练推理工程
【混合精度训练】混合精度训练：bf16、fp16和fp32的区别与计算；中间累加结果为什么通常要放到更宽的位宽里去承接？什么是混合精度训练(Mixed Precision Training)? 「腾讯、蚂蚁集团、阿里巴巴」
原题【LoRA显存节省】LoRA 是怎么节省显存的？ 「字节跳动」
原题【OOM处理】如果出现OOM，常见的处理方式是什么? 「腾讯」
原题【优化器显存占用】假设一个模型大小13B，使用FP16精度，那么在做全量微调的时候，Adam会占用多少显存？ 「腾讯」
原题【推理显存优化】推理主要的显存部分优化技术有哪些？ 「阿里巴巴」
原题【显存不足解决方案】如果显卡的显存不够装下一个完整的模型呢？ 「腾讯混元」
原题【显存优化技术综合】分别做了哪些优化（如优化优化器状态、优化梯度、切分参数等）来全面节省显存？请结合显存OOM、ZeRO、vLLM、梯度累积、混合精度、优化器及参数等概念进行说明。 「京东、阿里通义」
原题【有限算力微调】在消费级显卡上微调大模型时显存开销能降低多少? 「美团」
原题估算大模型训练和推理的显存占用。
LoRA微调与全参数微调显存计算及实际项目用量；
MoE模型训练与推理显存特点；
1B模型SFT与GRPO阶段显存开销；
精排模型训练与推理显存估算；
通用估算：模型参数量X-B，权重FP16，其余假设自补，估算训练和推理GPU显存占用。
原题完整原题
【模型显存估算】估算大模型训练和推理的显存占用。变体：1) LoRA微调与全参数微调显存计算及实际项目用量；2) MoE模型训练与推理显存特点；3) 1B模型SFT与GRPO阶段显存开销；4) 精排模型训练与推理显存估算；5) 通用估算：模型参数量X-B，权重FP16，其余假设自补，估算训练和推理GPU显存占用。 「字节跳动、百度、阿里巴巴」
「百度、阿里巴巴」
PagedAttention能否降低显存？为什么？
二维attention mask矩阵耗显存，计算attention时有什么节省显存的优化策略？
原题完整原题
【注意力机制显存优化】PagedAttention能否降低显存？为什么？二维attention mask矩阵耗显存，计算attention时有什么节省显存的优化策略？ 「百度、阿里巴巴」
暂无题目