模型训练与对齐

本分类共 9 个专题 · 704 道题

已筛选

共 704 道题

排序:

4930
MoE 的专家数量如何影响预训练效率、模型能力和资源需求?
模型训练与对齐预训练、续训与 SFT
原理机制
进阶
4931
重复使用预训练数据和增加 Epoch 会怎样影响大模型效果?
模型训练与对齐训练数据构建与治理
原理机制
进阶
4935
BERT 的 MLM 为什么混合使用遮蔽、随机替换和保留原词?
模型训练与对齐预训练、续训与 SFT
原理机制
进阶
4937
BERT 输入长度受限时,如何处理长文本并完成训练?
模型训练与对齐预训练、续训与 SFT
方案设计
进阶
4938
DeepSpeed 主要解决哪些大模型训练问题?
模型训练与对齐分布式训练与计算硬件
概念解释
进阶
4940
MoE 模型训练不稳定时,如何定位并改善?
模型训练与对齐训练框架、调参与排障
方案设计
进阶
4941
MoE 模型微调时,如何缓解过拟合?
模型训练与对齐预训练、续训与 SFT
方案设计
进阶
4942
PyTorch 的 DataParallel 与 DistributedDataParallel 有什么区别?
模型训练与对齐训练框架、调参与排障
比较选型
进阶
4943
DDP 与 FSDP 在状态存储、通信和执行流程上有什么区别?
模型训练与对齐分布式训练与计算硬件
比较选型
进阶
4944
《Deep RL from Human Preferences》如何从人类偏好学习奖励并优化策略?
模型训练与对齐强化学习与奖励
原理机制
深入