NeMo/Megatron Model Config
laoyao_2b_moe_nemo_megatron.yaml 是目标架构配置。它不是旧 hand-written trainer 的 Python 模型定义,而是供 NeMo/Megatron/Megatron-Bridge 迁移使用的结构化配置。
后续需要根据实际使用的 NeMo 版本,把字段名映射到对应 launcher schema;当前文件保留了架构语义和所有关键 MoE/负载均衡超参。
Tokenizer
配置中的 tokenizer 目标是 GLM-5.2 同款 vocab。当前配置写死 g0033 repo 内 /mnt/beegfs/yi/laoyao_2b_moe/tokenizer/glm5.2/tokenizer.json,vocab size 154,820,sha256 19e773648cb4e65de8660ea6365e10acca112d42a854923df93db4a6f333a82d。NeMo/Megatron launcher 接线时,需要确保 embedding size、output projection 和 tokenizer loader 都使用这一份 vocab。