Files
laoyao_2b_moe/model/nemo_megatron

NeMo/Megatron Model Config

laoyao_2b_moe_nemo_megatron.yaml 是目标架构配置。它不是旧 hand-written trainer 的 Python 模型定义,而是供 NeMo/Megatron/Megatron-Bridge 迁移使用的结构化配置。

后续需要根据实际使用的 NeMo 版本,把字段名映射到对应 launcher schema;当前文件保留了架构语义和所有关键 MoE/负载均衡超参。

Tokenizer

配置中的 tokenizer 目标是 GLM-5.2 同款 vocab。当前配置写死 g0033 上 /mnt/tmp/yi/data/tokenizer/tokenizer.jsonvocab size 151,643。NeMo/Megatron launcher 接线时,需要确保 embedding size、output projection 和 tokenizer loader 都使用这一份 vocab。