模型训练与对齐

本分类共 9 个专题 · 1113 道题

18689

DPO 损失中的 β 起什么作用，取值过大或过小会怎样？

模型训练与对齐偏好对齐

原理机制

进阶

18690

DeepSeek-R1 的规则奖励与传统 RLHF 奖励模型有什么不同，为何数学与开放对话的适用条件不同？

模型训练与对齐强化学习与奖励

比较选型

进阶

18697

Megatron 的张量、流水线和序列并行怎样配置？

模型训练与对齐分布式训练与计算硬件

方案设计

进阶

18698

数据并行、模型并行与流水线并行有何区别？

模型训练与对齐分布式训练与计算硬件

比较选型

进阶

18729

强化学习训练初期学不动时，怎样排查和处理？

模型训练与对齐训练框架、调参与排障

故障排查

进阶

18730

使用人工输出训练大模型，能否理解为对人工能力的知识蒸馏？

模型训练与对齐蒸馏与模型合并

开放讨论

—

18731

完整的人工操作轨迹能够为大模型后训练带来哪些增益？

模型训练与对齐训练数据构建与治理

开放讨论

—

18753

怎样针对长尾样本对齐大语言模型？

模型训练与对齐训练数据构建与治理

方案设计

进阶

18761

只依赖最终结果奖励训练模型，会产生哪些风险？

模型训练与对齐强化学习与奖励

开放讨论

—

18762

开放式任务没有非零即一的明确奖励时，怎样设计模型对齐方案？

模型训练与对齐偏好对齐

方案设计

进阶