SFT/预训练数据清洗的流程？

一句话速记：格式规范化 → 语言识别 → 规则过滤 → 质量模型打分 → 去重 → 去隐私与有害内容 → 去评测污染。

数据

同章节的其他八股

• 如何让大模型稳定输出 JSON？
• 如何保证数据多样性？
• Hugging Face 模型目录里各文件是什么？
• Python 中 list、tuple、set、dict、deque、heapq 的时间复杂度？