Tokenizer与Embedding
【OOV对SFT影响】预训练阶段如果使用BPE分词，SFT阶段遇到OOV时，模型表现会如何? 「字节跳动」
原题【Tokenizer实现】讲下tokenizer具体怎么实现的？有哪些tokenizer的实现方式？ 「字节Seed、美团」
原题【上下文不足】有对单条assistant做压缩吗？ 「腾讯」
原题【多语言Tokenizer】多语言训练里tokenizer一般怎么做？中英文混训时常见问题有哪些（比如分词颗粒度、混比、符号处理）？ 「拼多多」
原题【截断语义丢失】在你的项目过程中，截断导致语义丢失的问题出现多吗？ 「腾讯」
原题【旋转位置编码 vs 正余弦】旋转位置编码相比于传统正余弦位置编码的区别？ 「阿里通义」
原题【词表扩增必要性】领域模型词表扩增是不是有必要的？ 「字节跳动、百度、腾讯混元」
原题【词表评估】重构词表之后有没有评估词表训得好坏的方式？ 「百度」
原题【语义切分 vs 子词切分】为什么不用基于 embedding 的语义切分? 「字节跳动」
原题此处按 Tokenizer 与 Embedding 的模型输入语境理解分词粒度。
【Tokenizer实现】代码：实现一个Tokenizer，只能用PyTorch基础语法。 「百度、百度文心」
原题
暂无题目