laoyao_2b_moe/training/nemo_megatron

NeMo/Megatron Training Recipe

pretrain_2b_moe_200b.yaml 保存训练 recipe。它记录数据路径、模型配置路径、优化器、batch、保存频率和验证频率。

../../scripts/train_nemo_megatron_2b_moe.sh 是拉起训练的 shell 入口。当前脚本先做路径检查并预留 NeMo Docker 启动点，下一步需要按 g0033 上最终确认的 NeMo/Megatron image 和 launcher 命令接线。