真面经，好答案。面试之前，先来面栈。

分布式训练与计算硬件

本分类共 9 个专题 · 704 道题

已筛选

共 114 道题

排序：

4173
rollout 数量、batch size 与训练计算资源之间是什么关系？
模型训练与对齐分布式训练与计算硬件
原理机制
深入
1 篇面经2 份题集
5605
CPU、GPU 与 NPU 的架构和训练推理适用条件有什么区别？
模型训练与对齐分布式训练与计算硬件
比较选型
进阶
1 篇面经6 份题集
4500
训练百亿至千亿参数大模型时，会面临哪些主要工程和算法挑战？
模型训练与对齐分布式训练与计算硬件
系统设计
深入
暂无面经6 份题集
4682
如何估算 7B 模型训练显存，并量化 ZeRO 各阶段的节省？
模型训练与对齐分布式训练与计算硬件
方案设计
深入
暂无面经11 份题集
4683
分布式训练中，FSDP 与 DeepSpeed ZeRO 应如何选择？
模型训练与对齐分布式训练与计算硬件
比较选型
进阶
暂无面经6 份题集
4686
FP16、BF16 与 FP32 有什么区别，训练时如何选择？
模型训练与对齐分布式训练与计算硬件
比较选型
进阶
暂无面经12 份题集
4705
混合精度训练如何工作，为什么能改善训练资源效率？
模型训练与对齐分布式训练与计算硬件
原理机制
进阶
暂无面经6 份题集
4874
如何根据参数量与存储精度估算大模型权重文件大小？
模型训练与对齐分布式训练与计算硬件
方案设计
基础
暂无面经2 份题集
4875
如何测量 GPU 训练利用效率与实际 FLOP/s？
模型训练与对齐分布式训练与计算硬件
效果评估
进阶
暂无面经6 份题集
4877
如何查看并理解服务器中多 GPU 的 NVLink 互联拓扑？
模型训练与对齐分布式训练与计算硬件
操作实践
基础
暂无面经3 份题集