Tokenizer 与位置编码

本分类共 8 个专题 · 1061 道题

4730

什么是大模型的长度外推？

模型基础与推理Tokenizer 与位置编码

概念解释

基础

暂无面经 5 份题集

4731

ALiBi 如何通过线性注意力偏置表示位置信息？

模型基础与推理Tokenizer 与位置编码

原理机制

进阶

暂无面经 2 份题集

4732

NTK 长度外推方法如何扩展基于 RoPE 的上下文长度？

模型基础与推理Tokenizer 与位置编码

原理机制

深入

暂无面经 2 份题集

4738

用 Python 从零实现 BPE 的训练与编码。

模型基础与推理Tokenizer 与位置编码

代码题

进阶

暂无面经 5 份题集

4740

手写 RoPE 旋转位置编码。

模型基础与推理Tokenizer 与位置编码

代码题

深入

暂无面经 5 份题集

4759

手写 Transformer 的正弦余弦绝对位置编码。

模型基础与推理Tokenizer 与位置编码

代码题

进阶

暂无面经 3 份题集

4793

BPE 分词如何学习合并规则并对文本编码？

模型基础与推理Tokenizer 与位置编码

原理机制

进阶

暂无面经 2 份题集

4794

SentencePiece 是什么，如何训练和使用子词分词模型？

模型基础与推理Tokenizer 与位置编码

原理机制

进阶

暂无面经 2 份题集

4810

领域术语被过度切分时，如何评估并适配 Tokenizer？

模型基础与推理Tokenizer 与位置编码

故障排查

进阶

暂无面经 4 份题集

4859

BERT 使用字粒度与词粒度表示各有什么优缺点？

模型基础与推理Tokenizer 与位置编码

比较选型

进阶

暂无面经 2 份题集