模型训练与对齐

本分类共 9 个专题 · 704 道题

已筛选

共 704 道题

排序:

6818
LongLoRA 如何高效扩展上下文,与普通 LoRA 有何区别?
模型训练与对齐参数高效微调
比较选型
进阶
6841
训练数据为什么需要 Shuffle,什么时候应保留顺序?
模型训练与对齐训练数据构建与治理
原理机制
基础
6843
数据采样如何选择均匀、分层和加权等策略?
模型训练与对齐训练数据构建与治理
比较选型
进阶
6854
Ring 与 Tree AllReduce 如何组织规约,怎样权衡带宽和时延?
模型训练与对齐分布式训练与计算硬件
原理机制
深入
6855
训练状态的 CPU 或 NVMe 卸载如何节省显存,有哪些代价?
模型训练与对齐分布式训练与计算硬件
原理机制
深入
6856
序列并行与上下文并行如何切分计算和状态,何时使用?
模型训练与对齐分布式训练与计算硬件
原理机制
深入
6857
参数服务器与 AllReduce 分布式训练如何组织参数和梯度同步?
模型训练与对齐分布式训练与计算硬件
比较选型
深入
6858
分布式训练初始化失败或卡住时,如何定位进程、设备和通信问题?
模型训练与对齐训练框架、调参与排障
故障排查
深入
6859
FSDP1 与 FSDP2 的分片表示和执行接口有什么区别?
模型训练与对齐分布式训练与计算硬件
比较选型
深入
6860
Gang Scheduling 为什么适合多进程训练,如何处理部分启动和资源碎片?
模型训练与对齐分布式训练与计算硬件
原理机制
深入