Tokenizer与Embedding
【Embedding维度】Embedding维度是多少？ 「百度、腾讯」
原题【分词方式】大模型一般使用的是什么分词方式？你还知道哪些分词方式？ 「京东」
原题【BERT编码融合】Bert三种编码代表不同的信息为什么可以被加在一起（信息会不会被混淆）？请简述Bert三种编码。 「百度」
原题Embedding 未说明特殊处理方式与压缩度量。
「字节Seed、字节跳动、百度、腾讯、蚂蚁集团、阿里巴巴」
embedding怎么做的，从id到embedding有哪些实现方式？
embedding有没有特殊处理？
Token向量化具体怎么计算？
介绍一下你了解的embedding模型（包括常见的向量模型）及其发展现状。
信息被压缩的程度有什么不同？
同一个token在不同位置的向量是一样的吗？
怎么理解词与词之间的距离？
原题完整原题
【Embedding与向量化】1. embedding怎么做的，从id到embedding有哪些实现方式？2. embedding有没有特殊处理？3. Token向量化具体怎么计算？4. 介绍一下你了解的embedding模型（包括常见的向量模型）及其发展现状。5. 信息被压缩的程度有什么不同？6. 同一个token在不同位置的向量是一样的吗？7. 怎么理解词与词之间的距离？ 「字节Seed、字节跳动、百度、腾讯、蚂蚁集团、阿里巴巴」
「京东、百度、美团、腾讯」
简单描述一下BPE算法。
说一下向量化的过程。
项目中使用的Embedding模型结构是什么？
项目里重构的词表是什么量级的，基模是什么？
原题完整原题
【Tokenizer与Embedding综合】1. 简单描述一下BPE算法。2. 说一下向量化的过程。3. 项目中使用的Embedding模型结构是什么？4. 项目里重构的词表是什么量级的，基模是什么？ 「京东、百度、美团、腾讯」
“只用一个向量来表示”未说明表示对象。
「字节跳动、百度、腾讯、腾讯混元、阿里巴巴」
BPE和WordPiece的区别与异同点是什么？
Byte-Pair Encoding (BPE) 如何构建词典？
介绍一下SentencePiece思路？
Transformer模型的分词过程是怎样的？
展开其余 6 个小问
为什么不能只用一个向量来表示?
举例并介绍不同大模型LLMs的分词方式及其区别？
大模型的编码方式有哪些？
大模型的词表是怎么生成和使用的？
讲一下文本分词的pipeline。
目前中国大模型和国外大模型在词表这方面有什么区别。
原题完整原题
【分词与词表】1. BPE和WordPiece的区别与异同点是什么？2. Byte-Pair Encoding (BPE) 如何构建词典？3. 介绍一下SentencePiece思路？4. Transformer模型的分词过程是怎样的？5. 为什么不能只用一个向量来表示? 6. 举例并介绍不同大模型LLMs的分词方式及其区别？7. 大模型的编码方式有哪些？8. 大模型的词表是怎么生成和使用的？9. 讲一下文本分词的pipeline。10. 目前中国大模型和国外大模型在词表这方面有什么区别。 「字节跳动、百度、腾讯、腾讯混元、阿里巴巴」
「字节跳动、蚂蚁集团」
左padding还是右padding？
序列做了什么相关处理？
原题完整原题
【序列处理与Padding】1. 左padding还是右padding？2. 序列做了什么相关处理？ 「字节跳动、蚂蚁集团」
【Embedding向量处理】Embedding 向量在实际使用中是如何做归一化、存储和索引的？ 「美团」
原题【Embedding模型选择】Embedding模型怎么选的和微调过吗？用的是什么模型，为什么选择它？如果选的是BGE，请说明原因。 「字节跳动、腾讯、蚂蚁集团」
原题【Embedding模型部署】embedding模型是线上?为什么没考虑线下部署? 「阿里巴巴」
原题
暂无题目