模型训练与对齐

本分类共 9 个专题 · 758 道题

已筛选

共 758 道题

排序:

4635
因果语言建模与掩码语言建模有什么区别?
模型训练与对齐预训练、续训与 SFT
比较选型
基础
4636
大模型预训练中的 Scaling Law 是什么,对资源配置有什么指导意义?
模型训练与对齐预训练、续训与 SFT
原理机制
进阶
4682
如何估算 7B 模型训练显存,并量化 ZeRO 各阶段的节省?
模型训练与对齐分布式训练与计算硬件
方案设计
深入
4683
分布式训练中,FSDP 与 DeepSpeed ZeRO 应如何选择?
模型训练与对齐分布式训练与计算硬件
比较选型
进阶
4701
参数高效微调中的 Adapter 如何工作,常见结构有哪些?
模型训练与对齐参数高效微调
原理机制
进阶
4708
为什么要对已有语言模型进行继续预训练,适用于哪些需求?
模型训练与对齐预训练、续训与 SFT
技术决策
进阶
4724
强化学习算法可以按哪些维度分类?
模型训练与对齐强化学习与奖励
概念解释
基础
4734
什么是迁移学习,大模型如何利用预训练能力适配下游任务?
模型训练与对齐预训练、续训与 SFT
概念解释
基础
4865
Transformer 中 Dropout 通常如何设置,训练与推理时有什么区别?
模型训练与对齐训练框架、调参与排障
原理机制
进阶
4875
如何测量 GPU 训练利用效率与实际 FLOP/s?
模型训练与对齐分布式训练与计算硬件
效果评估
进阶