Tokenizer 如何从语料中训练出词表和分词规则？

分词与词表 「字节跳动、百度、腾讯、腾讯混元、阿里巴巴」

• Byte-Pair Encoding (BPE) 如何构建词典？
• 大模型的词表是怎么生成和使用的？

• 【多语言Tokenizer】多语言训练里tokenizer一般怎么做？中英文混训时常见问题有哪些（比如分词颗粒度、混比、符号处理）？ 「拼多多」

• 【词表评估】重构词表之后有没有评估词表训得好坏的方式？ 「百度」

• 介绍一下Tokenizer怎么训练的