# NeMo/Megatron Model Config

`laoyao_2b_moe_nemo_megatron.yaml` 是目标架构配置。它不是旧 hand-written trainer 的 Python 模型定义，而是供 NeMo/Megatron/Megatron-Bridge 迁移使用的结构化配置。

后续需要根据实际使用的 NeMo 版本，把字段名映射到对应 launcher schema；当前文件保留了架构语义和所有关键 MoE/负载均衡超参。

## Tokenizer

配置中的 tokenizer 目标是 GLM-5.2 同款 vocab。当前配置写死 g0033 repo 内 `/mnt/beegfs/yi/laoyao_2b_moe/tokenizer/glm5.2/tokenizer.json`，vocab size 154,820，sha256 `19e773648cb4e65de8660ea6365e10acca112d42a854923df93db4a6f333a82d`。NeMo/Megatron launcher 接线时，需要确保 embedding size、output projection 和 tokenizer loader 都使用这一份 vocab。
