返回全部题目← 上一题54 / 91下一题 →题库/模型训练与对齐/Q-4636大模型预训练中的 Scaling Law 是什么，对资源配置有什么指导意义？知识专题：预训练、续训与 SFT题目类型：原理机制技术难度：进阶收录题集：11 份暂无参考答案未标记未标记待复习已掌握收藏询问 AI选择 AI 平台KimiKimi（新窗口打开）Qwen千问（新窗口打开）OpenAIChatGPT（新窗口打开）自动带入当前题目本题目录收录题集相关题目收录题集11 份预训练与架构阿东玩 AI · AgentGuide · 6 条原题查看题集 →【参数量与模型能力】参数量和模型能力之间是什么关系? 「字节跳动」【模型扩容目的】扩容的目的是什么？ 「腾讯」【模型规模对比】为什么2.5-7B的结果比3-8B的好 「字节跳动」展开其余 3 条原题【模型规模扩展】模型规模从0到1扩大到1到10放大的作用是什么？ 「百度」【Scaling Law】对scaling law的理解，多模态大模型有吗？模型scaling应该往哪个方面做，有什么可以观察的现象，然后得到什么结论？ 「京东、字节Seed、字节跳动、美团、蚂蚁集团」【模型训练上限】对模型训练的看法，现在 mid train 的上限在哪? 「百度」多模态与计算机视觉阿东玩 AI · AgentGuide · 2 条原题查看题集 →【VLM缩放定律】VLM是否存在scaling law？ 「阿里通义」【多模态缩放定律】多模态大模型有什么scaling law吗？ 「蚂蚁集团」AI系统与训练推理工程阿东玩 AI · AgentGuide · 1 条原题查看题集 →【算力预算分配】如果给定一个固定训练算力预算，如何在“模型参数量、训练 token 数、训练步数”之间做第一次分配? 「字节跳动」数据与评测阿东玩 AI · AgentGuide · 1 条原题查看题集 →【Scaling up与参数量评估】介绍scaling up：场景的数据量如何评估当前场景需要的dense参数量要多少呢？ 「字节跳动」理论基础面试题阿东玩 AI · AgentGuide · 1 条原题查看题集 →什么是Scaling Laws?它揭示了模型性能、计算量和数据量之间的什么关系?这对LLM的研发有什么指导意义?展开剩余 6 份题集大模型基础AMIT SHEKHAR · ai-engineering-interview-questions · 1 条原题查看题集 →What are scaling laws (Chinchilla), and how do they guide model size vs training data decisions?深度网络架构Rocky Ding · AIGC-Interview-Book · 1 条原题查看题集 →什么是Scaling-Law？Transformer的Scaling-Law有什么特点？注意力机制Rocky Ding · AIGC-Interview-Book · 1 条原题查看题集 →什么是Scaling-Law？图像创作 · AIGC图像生成领域的基础知识Rocky Ding · AIGC-Interview-Book · 1 条原题查看题集 →Scaling Law在AIGC图像创作领域成立吗？它有哪些适用边界？基础概念与概述Rocky Ding · AIGC-Interview-Book · 2 条原题查看题集 →什么是大模型的缩放定律？缩放定律对模型规模的扩展有何指导意义？预训练：训练与数据处理Rocky Ding · AIGC-Interview-Book · 1 条原题查看题集 →数据规模是否越大越好？如何理解数据规模、模型参数量与缩放定律（Scaling Law）的关系？相关题目4 题0083如何提升 Agent 的长程任务能力？同一知识专题题目类型：方案设计技术难度：进阶相关面经：2 篇0085当 pass@k 与 pass@1 的差距收敛后，如何继续提升模型能力？同一知识专题题目类型：方案设计技术难度：深入相关面经：1 篇0207基座已有工具调用能力时，Tool-use SFT 的训练目标是什么？同一知识专题题目类型：原理机制技术难度：进阶相关面经：2 篇0495你有哪些大模型后训练经验？同一知识专题题目类型：项目深挖技术难度：进阶相关面经：2 篇♥♥♥♥♥← 上一题已到最后一题← 上一题因果语言建模与掩码语言建模有什么区别？下一题 →自监督学习为什么对大语言模型预训练重要？
