Tokenizer 与位置编码

本分类共 8 个专题 · 1155 道题

已筛选

共 28 道题

排序:

0508
位置编码的原理。
模型基础与推理Tokenizer 与位置编码
原理机制已有答案
进阶
0512
大模型常见位置编码有哪些,各有什么优缺点?
模型基础与推理Tokenizer 与位置编码
比较选型
进阶
3650
RoPE 是什么,解决什么问题?
模型基础与推理Tokenizer 与位置编码
原理机制已有答案
基础
3685
Tokenizer 的原理是什么,如何影响大模型训练与推理?
模型基础与推理Tokenizer 与位置编码
原理机制面前必看
进阶
0287
Token 与字符有什么区别?
模型基础与推理Tokenizer 与位置编码
比较选型
基础
4738
用 Python 从零实现 BPE 的训练与编码。
模型基础与推理Tokenizer 与位置编码
代码题
进阶
4585
为什么大模型常采用子词分词,而非完整单词级分词?
模型基础与推理Tokenizer 与位置编码
比较选型
基础
4719
WordPiece 如何利用语言模型概率或关联评分选择词表合并?
模型基础与推理Tokenizer 与位置编码
原理机制
进阶
4730
什么是大模型的长度外推?
模型基础与推理Tokenizer 与位置编码
概念解释
基础
4759
手写 Transformer 的正弦余弦绝对位置编码。
模型基础与推理Tokenizer 与位置编码
代码题
进阶