# Tokenizer

本目录保存模型训练要使用的 tokenizer 文件。

当前设计要求与 GLM-5.2 完全兼容，因此使用 ModelScope 官方仓库 zai-org/GLM-5.2 的 tokenizer 文件。

文件：

```text
glm5.2/tokenizer.json
glm5.2/tokenizer_config.json
glm5.2/config.json
glm5.2/generation_config.json
```

核验结果：

```text
tokenizer.json sha256: 19e773648cb4e65de8660ea6365e10acca112d42a854923df93db4a6f333a82d
vocab_size: 154820
config.model_type: glm_moe_dsa
source: https://modelscope.ai/models/zai-org/GLM-5.2/files
```

不要再使用旧 Laoyao 65K BPE tokenizer，也不要使用未验证来源的本机 tokenizer 缓存。
