预训练：训练与数据处理
如何避免评测集污染（benchmark contamination）？
原题分词器（Tokenizer）、词表大小与切分度（fertility）如何影响预训练效率和多语言能力？
原题不同来源、不同质量的数据如何做混合配比？
原题为什么 LLM 预训练的数据版本管理比普通机器学习更复杂？如何保证可复现？
原题如何为低资源领域的 LLM 构造高质量训练数据？
原题LLM 如何将原始语料组织成 token 序列、训练样本和上下文窗口？
原题数据课程学习、退火与合成数据应如何进入预训练配方？
原题什么是大语言模型预训练？
原题为什么主流 LLM 预训练通常采用自回归（下一词元预测）？
原题大语言模型预训练中的词元级交叉熵（token-level cross entropy）如何计算？它和下一个词元预测（next token prediction）、困惑度（perplexity）有什么关系？
原题
暂无题目