分布式训练与计算硬件

本分类共 9 个专题 · 704 道题

6869

对象、文件与块存储如何按数据访问和训练负载选型？

模型训练与对齐分布式训练与计算硬件

比较选型

深入

暂无面经 2 份题集

6871

大规模 AI 集群如何保障稳定性与服务目标？

模型训练与对齐分布式训练与计算硬件

方案设计

深入

暂无面经 1 份题集

6872

跨地域或多集群训练如何组织通信、数据与状态一致性？

模型训练与对齐分布式训练与计算硬件

系统设计

深入

暂无面经 1 份题集

6874

激活检查点如何通过重计算节省训练显存，有哪些取舍？

模型训练与对齐分布式训练与计算硬件

原理机制

深入

暂无面经 1 份题集

6883

CUDA Constant Memory 如何工作，适用于哪些访问模式？

模型训练与对齐分布式训练与计算硬件

原理机制

深入

暂无面经 1 份题集

6884

CUDA Context 管理哪些设备状态，与进程、线程和 Stream 有何关系？

模型训练与对齐分布式训练与计算硬件

原理机制

深入

暂无面经 1 份题集

6886

CUDA Register Spill 如何发生，怎样权衡寄存器、占用率和访存？

模型训练与对齐分布式训练与计算硬件

原理机制

深入

暂无面经 1 份题集

6887

Warp Shuffle 如何在线程之间交换数据，up、down 与 XOR 有何用途？

模型训练与对齐分布式训练与计算硬件

原理机制

深入

暂无面经 1 份题集

6890

多维张量的 GPU 转置 Kernel 如何设计与优化？

模型训练与对齐分布式训练与计算硬件

方案设计

深入

暂无面经 1 份题集

6893

CuTe 中 MMA 与 ldmatrix 的线程和值布局如何对应？

模型训练与对齐分布式训练与计算硬件

原理机制

深入

暂无面经 1 份题集