Use GLM-5.2 tokenizer vocabulary

README.md

@@ -25,6 +25,17 @@
 
 验证集为 2,800 条，七个能力维度各 400 条：science_reasoning、logic、code、chinese_exam、math、chinese_dialogue、english_dialogue。它会用于预训练过程中的 accuracy、perplexity 和 nll 评估。
 
+
+## Tokenizer 设计
+
+为了兼容 GLM-5.2 生态，本模型的 tokenizer/vocab 直接采用 GLM-5.2 同款词表，而不是旧 Laoyao 65K BPE。当前 g0033 上的引用路径是：
+
+```bash
+/mnt/tmp/yi/data/tokenizer/tokenizer.json
+```
+
+该 tokenizer 当前解析出的 vocab size 为 151,643。后续训练数据应按这个 tokenizer 重新统计/切分 token budget。
+
 ## g0033 路径约定
 
 repo 路径：