Tokenizer
本目录保存模型训练要使用的 tokenizer 文件。
当前设计要求与 GLM-5.2 完全兼容，因此使用 ModelScope 官方仓库 zai-org/GLM-5.2 的 tokenizer 文件。
文件：
glm5.2/tokenizer.json
glm5.2/tokenizer_config.json
glm5.2/config.json
glm5.2/generation_config.json
核验结果：
tokenizer.json sha256: 19e773648cb4e65de8660ea6365e10acca112d42a854923df93db4a6f333a82d
vocab_size used by training config: 154856
config.model_type: glm_moe_dsa
source: https://modelscope.ai/models/zai-org/GLM-5.2/files
不要再使用旧 Laoyao 65K BPE tokenizer，也不要使用未验证来源的本机 tokenizer 缓存。