laoyao_2b_moe/model/README.md

Model

本目录存放模型定义。迁移目标是使用 NeMo/Megatron 配置表达模型，而不是继续维护旧的手写 PyTorch 模型定义。

当前目标 preset 来自旧工程的 2b-moe-active0.9b-balanced：

• 12 transformer layers
• hidden size 1536
• attention heads 24
• grouped-query attention kv heads 4
• dense FFN hidden size 4608
• MoE layers: 2, 4, 6, 8, 10
• experts: 12
• active experts/top-k: 4
• expert FFN hidden size 6144
• tokenizer: GLM-5.2 同款 tokenizer/vocab，当前 g0033 引用路径 /mnt/beegfs/yi/laoyao_2b_moe/tokenizer/glm5.2/tokenizer.json，vocab size 154,820

关键改动是强制专家负载均衡：router aux loss、z-loss、capacity factor 和 router bias update 都必须显式配置，避免旧实验中专家负载失衡。

Tokenizer 兼容策略

为了兼容后续 GLM-5.2 风格服务、SFT 数据和推理工具链，本模型不再使用 Jiayi 旧工程的 65K laoyaomodel.bytes_bpe tokenizer。模型词表直接设计为 GLM-5.2 同款 tokenizer JSON 和 token-id vocab。由于 GLM-5.2 vocab 较大，当前小模型采用 tied embedding，输入 embedding 与输出 lm head 共享权重，从而减少大词表带来的参数开销。