AI系统与训练推理工程
【流水线并行实现】手写流水线并行策略，将模型分层部署到多设备，计算通信重叠。 「字节跳动」
原题【混合引擎与自动映射】verl中的hybridengine、auto mapping原理，最大的创新点是什么？ 「腾讯」
原题显存OOM？ 「京东」
原题【CPU卸载】主要将哪部分迁移到CPU中计算？ 「阿里通义」
原题【参数量计算】已知bsz seq_len dim head，参数量是多少，和哪几个参数有关？ 「京东」
原题【批量大小影响】batchsize 调大有什么影响？ 「阿里巴巴」
原题【显存监控】nvidia-smi看到的显存占用是真实可靠的吗？ 「阿里巴巴」
原题【梯度检查点】activation checkpointing 本质上是用什么换什么？ 「字节跳动」
原题【梯度累积】什么是梯度累积(Gradient Accumulation)?何时使用？ 「蚂蚁集团」
原题模型显存估算：
模型显存估算：8B、14B、2B、7B、13B、70B等模型训练/推理/全参数微调所需显存估算方法。
8B模型训练大概用多少显存？
Qwen模型大概占用多少内存？
14B模型推理和训练要多少显存？
2B模型使用BF16全参数训练时显存占用如何估算？
7B模型如何计算训练占用的显存？
模型参数量与显存对应关系（7B、13B、70B大概对应多少GB显存）？不做量化时占用多少显存？
大模型全量微调时哪些部分占用显存？全参数微调需要多少显存？微调模型需要多大显存？
微调用什么卡？模型显存占多少？
原题完整原题
【模型显存估算】模型显存估算：8B、14B、2B、7B、13B、70B等模型训练/推理/全参数微调所需显存估算方法。包括：8B模型训练大概用多少显存？Qwen模型大概占用多少内存？14B模型推理和训练要多少显存？2B模型使用BF16全参数训练时显存占用如何估算？7B模型如何计算训练占用的显存？模型参数量与显存对应关系（7B、13B、70B大概对应多少GB显存）？不做量化时占用多少显存？大模型全量微调时哪些部分占用显存？全参数微调需要多少显存？微调模型需要多大显存？微调用什么卡？模型显存占多少？ 「京东、字节跳动、快手、百度、美团、腾讯、腾讯混元、蚂蚁集团、阿里巴巴」
暂无题目