BPE 分词器训练

大模型手撕 · 中等 · Tokenizer、NLP

实现简化版 BPE 训练（不加词尾标记）：

数据范围

在 RagCodes 上用 Python / C++ / Java 在线编写并提交，核心代码模式与 ACM 模式均可评测。