为什么大模型常采用子词分词，而非完整单词级分词？

知识专题：Tokenizer 与位置编码题目类型：比较选型技术难度：基础

相关面经：1 篇收录题集：3 份

暂无参考答案

未标记

询问 AI

选择 AI 平台

Kimi 千问 ChatGPT

自动带入当前题目

本题目录

相关面经

1 篇

字节跳动

AI Agent 开发

2026-08-13秋招一面

查看原面经 →

为什么大语言模型不直接使用字符或单词，而是采用Token作为基础处理单位？

收录题集

3 份

Tokenizer与Embedding

阿东玩 AI · AgentGuide · 1 条原题

查看题集 →

- 【语义切分 vs 子词切分】为什么不用基于 embedding 的语义切分? 「字节跳动」

拼多多高频面试题

Rocky Ding · AIGC-Interview-Book · 1 条原题

查看题集 →

- 为什么大模型以 Token，而不是字符或完整单词作为基本处理单位？

大模型原理追问

Rocky Ding · AIGC-Interview-Book · 1 条原题

查看题集 →

- 为什么主流模型采用子词分词？