Use GLM-5.2 tokenizer vocabulary
This commit is contained in:
+5
-1
@@ -13,6 +13,10 @@
|
||||
- experts: 12
|
||||
- active experts/top-k: 4
|
||||
- expert FFN hidden size 6144
|
||||
- tokenizer: laoyaomodel bytes BPE, vocab size约 65K
|
||||
- tokenizer: GLM-5.2 同款 tokenizer/vocab,当前 g0033 引用路径 `/mnt/tmp/yi/data/tokenizer/tokenizer.json`,vocab size 151,643
|
||||
|
||||
关键改动是强制专家负载均衡:router aux loss、z-loss、capacity factor 和 router bias update 都必须显式配置,避免旧实验中专家负载失衡。
|
||||
|
||||
## Tokenizer 兼容策略
|
||||
|
||||
为了兼容后续 GLM-5.2 风格服务、SFT 数据和推理工具链,本模型不再使用 Jiayi 旧工程的 65K `laoyaomodel.bytes_bpe` tokenizer。模型词表直接设计为 GLM-5.2 同款 tokenizer JSON 和 token-id vocab。这样做的代价是 embedding/output head 参数量上升,但可以避免后续 tokenizer swap、数据重切和推理侧 token id 不一致的问题。
|
||||
|
||||
Reference in New Issue
Block a user