分布式训练与计算硬件

本分类共 9 个专题 · 704 道题

6856

序列并行与上下文并行如何切分计算和状态，何时使用？

模型训练与对齐分布式训练与计算硬件

原理机制

深入

暂无面经 1 份题集

6857

参数服务器与 AllReduce 分布式训练如何组织参数和梯度同步？

模型训练与对齐分布式训练与计算硬件

比较选型

深入

暂无面经 1 份题集

6859

FSDP1 与 FSDP2 的分片表示和执行接口有什么区别？

模型训练与对齐分布式训练与计算硬件

比较选型

深入

暂无面经 1 份题集

6860

Gang Scheduling 为什么适合多进程训练，如何处理部分启动和资源碎片？

模型训练与对齐分布式训练与计算硬件

原理机制

深入

暂无面经 1 份题集

6861

工作窃取如何平衡并行任务负载，在分布式训练中有哪些适用边界？

模型训练与对齐分布式训练与计算硬件

原理机制

深入

暂无面经 1 份题集

6862

同步与异步分布式训练如何更新参数，怎样控制梯度陈旧性？

模型训练与对齐分布式训练与计算硬件

比较选型

深入

暂无面经 1 份题集

6863

自动并行如何搜索模型的切分与执行策略，有哪些优势和限制？

模型训练与对齐分布式训练与计算硬件

原理机制

深入

暂无面经 1 份题集

6864

Volcano 与 Kueue 如何支持 AI 作业排队、准入和资源调度？

模型训练与对齐分布式训练与计算硬件

比较选型

深入

暂无面经 1 份题集

6866

如何设计大规模分布式训练框架的执行模块与接口？

模型训练与对齐分布式训练与计算硬件

系统设计

深入

暂无面经 1 份题集

6868

联邦学习如何在数据分散条件下协作训练，能提供哪些隐私保护？

模型训练与对齐分布式训练与计算硬件

原理机制

深入

暂无面经 1 份题集