大模型训练为什么需要 Warmup，应如何设置预热步数或比例？

知识专题：训练框架、调参与排障题目类型：原理机制技术难度：基础

收录题集：5 份

暂无参考答案

未标记

询问 AI

选择 AI 平台

Kimi 千问 ChatGPT

自动带入当前题目

本题目录

收录题集

5 份

公司案例问答汇编

阿东玩 AI · AgentGuide · 1 条原题

查看题集 →

- LLM训练的时候为什么warmup

大模型基础面试题

阿东玩 AI · AgentGuide · 1 条原题

查看题集 →

- 什么是warmup ratio？训练过程中怎么设置？

理论基础面试题

阿东玩 AI · AgentGuide · 1 条原题

查看题集 →

- LLM训练的时候为什么需要warmup？

计算机视觉基础

Datawhale · daily-interview · 1 条原题

查看题集 →

- 为什么在模型训练开始会有warm up？

模型架构与注意力

Firefly · llm_interview_note · 1 条原题

查看题集 →

- BERT训练时使用的学习率 warm-up 策略是怎样的？为什么要这么做？