LLM 预训练语料清洗与常规数据清洗有何不同，如何平衡质量与覆盖？

• 【LLM训练数据处理观点】对于LLM训练中的数据处理是咋看的。 「腾讯」

• 【数据清洗策略与筛选】如何进行数据清洗？采用了什么策略？有没有数据筛选或清洗？ 「京东、字节跳动、腾讯、蚂蚁集团」

数据采集与清洗 数据处理与清洗全流程：包括 请详细说明每个环节的具体做法、规则、效果及对成功率的影响。

• 预训练数据选择。

• 【大模型数据清洗与配比】大模型训练中，如何进行数据清洗、处理与配比？怎样操作能更容易使模型达到更好的性能？ 「百度、百度文心」

• 【海量数据敏感词处理与问题应对】面对海量数据的时候怎么对数据进行处理，比如说去除掉敏感词等等，面对海量数据会出现哪些问题，该如何去处理？ 「腾讯」

• 【电商预训练数据低质过滤与去重】如果要做电商领域预训练数据：低质过滤与去重会怎么做？用哪些简单指标快速判断数据质量？ 「拼多多」

• 数据如何构造？请描述数据构造方案。用的什么模型去合成数据？那合成的网页数据也会用到fasttext去过滤吗？

• 【数据预处理】公式编辑等元数据是否特殊处理？ 「腾讯」

• 【数据去重方法】是否有去重？ 「腾讯」

请详细描述数据处理到训练的pipeline，重点包括：

• 去重（文本、图像去重）、过滤、去污（Decontamination）的完整流程；
• 需要过滤哪些关键噪声（如逻辑矛盾、事实错误等）；

• 【数据去重方法】假设对小红书笔记做去重，怎么做笔记之间的去重？怎么做笔记内的去重？大规模数据去重是怎么做的？ 「百度文心、腾讯」

• 【数据质量评估】我们构造的cpt数据的用途以及数据的最终质量如何？ 「腾讯」