分布式训练与计算硬件

本分类共 9 个专题 · 761 道题

4682

如何估算 7B 模型训练显存，并量化 ZeRO 各阶段的节省？

模型训练与对齐分布式训练与计算硬件

方案设计

深入

暂无面经 4 个题集来源

4683

分布式训练中，FSDP 与 DeepSpeed ZeRO 应如何选择？

模型训练与对齐分布式训练与计算硬件

比较选型

进阶

暂无面经 4 个题集来源

4875

如何测量 GPU 训练利用效率与实际 FLOP/s？

模型训练与对齐分布式训练与计算硬件

效果评估

进阶

暂无面经 4 个题集来源

4884

如何组合 DP、TP 与 PP 进行 3D 并行，并按硬件拓扑配置？

模型训练与对齐分布式训练与计算硬件

方案设计

深入

暂无面经 4 个题集来源

5035

CUDA Kernel 如何在 GPU 上执行？

模型训练与对齐分布式训练与计算硬件

原理机制

进阶

1 篇面经 3 个题集来源

7598

GPU 共享内存的 Bank Conflict 是什么，如何缓解？

模型训练与对齐分布式训练与计算硬件

原理机制

进阶

1430

CPU 调度过慢时如何提高 CPU/GPU 协同效率？

模型训练与对齐分布式训练与计算硬件

方案设计

进阶

1 篇面经 2 个题集来源

2678

如何估算并优化 7B 模型 GRPO 训练的显存开销？

模型训练与对齐分布式训练与计算硬件

方案设计

深入

1 篇面经 2 个题集来源

4877

如何查看并理解服务器中多 GPU 的 NVLink 互联拓扑？

模型训练与对齐分布式训练与计算硬件

操作实践

基础

暂无面经 3 个题集来源

4938

DeepSpeed 主要解决哪些大模型训练问题？

模型训练与对齐分布式训练与计算硬件

概念解释

进阶

1 篇面经 2 个题集来源