26 lines
654 B
Markdown
26 lines
654 B
Markdown
# Tokenizer
|
|
|
|
本目录保存模型训练要使用的 tokenizer 文件。
|
|
|
|
当前设计要求与 GLM-5.2 完全兼容，因此使用 ModelScope 官方仓库 zai-org/GLM-5.2 的 tokenizer 文件。
|
|
|
|
文件：
|
|
|
|
```text
|
|
glm5.2/tokenizer.json
|
|
glm5.2/tokenizer_config.json
|
|
glm5.2/config.json
|
|
glm5.2/generation_config.json
|
|
```
|
|
|
|
核验结果：
|
|
|
|
```text
|
|
tokenizer.json sha256: 19e773648cb4e65de8660ea6365e10acca112d42a854923df93db4a6f333a82d
|
|
vocab_size: 154820
|
|
config.model_type: glm_moe_dsa
|
|
source: https://modelscope.ai/models/zai-org/GLM-5.2/files
|
|
```
|
|
|
|
不要再使用旧 Laoyao 65K BPE tokenizer，也不要使用未验证来源的本机 tokenizer 缓存。
|