真面经，好答案。面试之前，先来面栈。

分布式训练与计算硬件

本分类共 9 个专题 · 1113 道题

已筛选

共 235 道题

排序：

16793
CUDA 算子怎样利用共享内存、Warp Shuffle 和向量化加载优化访问？
模型训练与对齐分布式训练与计算硬件
方案设计
进阶
1 篇面经
16834
怎样公平比较昇腾 910B 与 A100 等 GPU 的模型执行性能？
模型训练与对齐分布式训练与计算硬件
效果评估
进阶
1 篇面经
16951
GPU Shared Memory 的作用是什么，怎样在 CUDA 程序中使用？
模型训练与对齐分布式训练与计算硬件
原理机制
进阶
1 篇面经
18236
DeepSeek MoE 如何在没有辅助均衡损失时控制专家负载？
模型训练与对齐分布式训练与计算硬件
原理机制
进阶
1 篇面经
18315
部署超大模型需要多机多卡时，除了单卡规格，还需关注哪些互联指标？
模型训练与对齐分布式训练与计算硬件
方案设计
进阶
1 篇面经
1855
已经使用 ZeRO-3 后，还可以采用哪些显存优化方法？
模型训练与对齐分布式训练与计算硬件
方案设计
进阶
1 篇面经
18697
Megatron 的张量、流水线和序列并行怎样配置？
模型训练与对齐分布式训练与计算硬件
方案设计
进阶
1 篇面经
18698
数据并行、模型并行与流水线并行有何区别？
模型训练与对齐分布式训练与计算硬件
比较选型
进阶
1 篇面经
4878
如何查询服务器 GPU 的具体型号与设备信息？
模型训练与对齐分布式训练与计算硬件
操作实践
基础
暂无面经1 个题集来源
4880
TF32 的数值表示与位宽是什么？
模型训练与对齐分布式训练与计算硬件
概念解释
基础
暂无面经1 个题集来源