已筛选

共 6433 道题

排序:

6856
序列并行与上下文并行如何切分计算和状态,何时使用?
模型训练与对齐分布式训练与计算硬件
原理机制
深入
6857
参数服务器与 AllReduce 分布式训练如何组织参数和梯度同步?
模型训练与对齐分布式训练与计算硬件
比较选型
深入
6858
分布式训练初始化失败或卡住时,如何定位进程、设备和通信问题?
模型训练与对齐训练框架、调参与排障
故障排查
深入
6859
FSDP1 与 FSDP2 的分片表示和执行接口有什么区别?
模型训练与对齐分布式训练与计算硬件
比较选型
深入
6860
Gang Scheduling 为什么适合多进程训练,如何处理部分启动和资源碎片?
模型训练与对齐分布式训练与计算硬件
原理机制
深入
6861
工作窃取如何平衡并行任务负载,在分布式训练中有哪些适用边界?
模型训练与对齐分布式训练与计算硬件
原理机制
深入
6862
同步与异步分布式训练如何更新参数,怎样控制梯度陈旧性?
模型训练与对齐分布式训练与计算硬件
比较选型
深入
6863
自动并行如何搜索模型的切分与执行策略,有哪些优势和限制?
模型训练与对齐分布式训练与计算硬件
原理机制
深入
6864
Volcano 与 Kueue 如何支持 AI 作业排队、准入和资源调度?
模型训练与对齐分布式训练与计算硬件
比较选型
深入
6866
如何设计大规模分布式训练框架的执行模块与接口?
模型训练与对齐分布式训练与计算硬件
系统设计
深入