10 lines
692 B
Markdown
10 lines
692 B
Markdown
# NeMo/Megatron Model Config
|
||
|
||
`laoyao_2b_moe_nemo_megatron.yaml` 是目标架构配置。它不是旧 hand-written trainer 的 Python 模型定义，而是供 NeMo/Megatron/Megatron-Bridge 迁移使用的结构化配置。
|
||
|
||
后续需要根据实际使用的 NeMo 版本，把字段名映射到对应 launcher schema；当前文件保留了架构语义和所有关键 MoE/负载均衡超参。
|
||
|
||
## Tokenizer
|
||
|
||
配置中的 tokenizer 目标是 GLM-5.2 同款 vocab。当前配置写死 g0033 上 `/mnt/tmp/yi/data/tokenizer/tokenizer.json`，vocab size 151,643。NeMo/Megatron launcher 接线时，需要确保 embedding size、output projection 和 tokenizer loader 都使用这一份 vocab。
|