返回全部题目← 上一题22 / 25下一题 →题库/模型基础与推理/Q-5209位置内插、NTK-aware、YaRN 与 LongRoPE 如何扩展 RoPE 上下文？知识专题：Tokenizer 与位置编码题目类型：比较选型技术难度：深入收录题集：9 份暂无参考答案未标记未标记待复习已掌握收藏询问 AI选择 AI 平台KimiKimi（新窗口打开）Qwen千问（新窗口打开）OpenAIChatGPT（新窗口打开）自动带入当前题目本题目录收录题集相关题目收录题集9 份LLM推理系统问答阿东玩 AI · AgentGuide · 1 条原题查看题集 →原文作者Lamhot Siagian / AI Engineering Insider Explain the difference between YaRN and NTK-aware scaling for RoPE context extension.后训练章节追问阿东玩 AI · AgentGuide · 1 条原题查看题集 →YaRN 和 PI 的本质区别是什么？长上下文阿东玩 AI · AgentGuide · 1 条原题查看题集 →长上下文处理方法：包括上下文窗口溢出、存储大量交互信息、长度扩展策略（如DeepSeek、Llama方案）、KV Cache污染与隔离、输入长度理论限制、长文本折中方案（摘要/分段/滑窗/关键信息抽取）、上下文机制实现、上下文超长压缩（如超过30%需压缩）、长度外推（RoPE、ALiBi、NTK Scaling、YaRN）、10k长序列建模（注意力优化、位置编码优化）、chunk问题及解决办法。另包括轻量化方案（除摘要精简外）、深度搜索框架（如DeepSeek 100k token）、MemGPT动机、解决长序列策略、截断导致语义丢失的替代方案、长期与短期记忆处理及长期记忆对当前轮次的意义。 「京东、字节Seed、字节跳动、拼多多、百度、美团、腾讯、腾讯混元、蚂蚁集团、阿里巴巴」深度学习精华·网络架构Rocky Ding · AIGC-Interview-Book · 1 条原题查看题集 →解释 RoPE 的外推问题。Base 参数的作用是什么？有哪些常见的外推解决方案（如 NTK-aware, YaRN）？经典模型与应用·RoPERocky Ding · AIGC-Interview-Book · 2 条原题查看题集 →如何免训练外推RoPE？少量长文本训练如何强化外推？RoPE高低频旋转圈数差异，和训练过程如何联系？展开剩余 4 份题集模型架构与工作原理Rocky Ding · AIGC-Interview-Book · 1 条原题查看题集 →位置内插（PI）、NTK感知（NTK-aware）、YaRN 和 LongRoPE 的核心思路有什么区别？SOTA模型分析Rocky Ding · AIGC-Interview-Book · 1 条原题查看题集 →DCA、YaRN、RoPE 分别属于哪一代、各自解决什么问题？大模型与多模态数学专题Rocky Ding · AIGC-Interview-Book · 1 条原题查看题集 →RoPE Scaling、NTK-aware、YaRN 的长度外推直觉是什么？04_视频理解典型模型与架构Rocky Ding · AIGC-Interview-Book · 1 条原题查看题集 →LLaVA-NeXT是如何实现长度泛化的？为什么这项技术对视频理解很重要？相关题目4 题0287Token 与字符有什么区别？同一知识专题题目类型：比较选型技术难度：基础相关面经：1 篇0508位置编码的原理。同一知识专题题目类型：原理机制技术难度：进阶相关面经：4 篇0512大模型常见位置编码有哪些，各有什么优缺点？同一知识专题题目类型：比较选型技术难度：进阶相关面经：1 篇3650RoPE 是什么，解决什么问题？同一知识专题题目类型：原理机制技术难度：基础相关面经：1 篇♥♥♥♥♥← 上一题已到最后一题← 上一题BERT 常见的 512 Token 输入限制由哪些配置和训练条件决定？下一题 →多模态位置编码如何表达文本、图像和视频的空间与时间位置？
