模型训练与对齐

本分类共 9 个专题 · 704 道题

已筛选

共 704 道题

排序:

4679
GRPO 训练 MoE 模型时可能出现哪些问题,应如何定位和改进?
模型训练与对齐训练框架、调参与排障
故障排查
深入
4680
强化学习训练为什么容易不稳定,哪些收益使它仍值得使用?
模型训练与对齐强化学习与奖励
原理机制
进阶
4682
如何估算 7B 模型训练显存,并量化 ZeRO 各阶段的节省?
模型训练与对齐分布式训练与计算硬件
方案设计
深入
4683
分布式训练中,FSDP 与 DeepSpeed ZeRO 应如何选择?
模型训练与对齐分布式训练与计算硬件
比较选型
进阶
4686
FP16、BF16 与 FP32 有什么区别,训练时如何选择?
模型训练与对齐分布式训练与计算硬件
比较选型
进阶
4688
大模型训练为什么需要 Warmup,应如何设置预热步数或比例?
模型训练与对齐训练框架、调参与排障
原理机制
基础
4689
对比学习的 Batch Size 应如何选择,为什么并非越大越好?
模型训练与对齐训练框架、调参与排障
比较选型
进阶
4700
AdaLoRA 如何自适应分配低秩更新的参数预算?
模型训练与对齐参数高效微调
原理机制
深入
4701
参数高效微调中的 Adapter 如何工作,常见结构有哪些?
模型训练与对齐参数高效微调
原理机制
进阶
4702
Prefix-tuning 如何通过可训练前缀适配模型?
模型训练与对齐参数高效微调
原理机制
进阶