# Training

训练迁移目标：从旧的 `laoyaomodel.training` 手写训练循环迁移到 NeMo/Megatron。

当前 recipe：

- 200B token 预训练
- bf16
- seq length 16384
- AdamW
- warmup ratio 0.01
- 每 1000 step 保存和验证
- validation 指标：nll、perplexity、accuracy

accuracy 需要基于 `dataset/val/data/heldout_2p8k.jsonl` 写任务 adapter；nll/perplexity 可以直接用 `heldout_2p8k_sft_prompt_completion.jsonl` 或 `heldout_2p8k_packed_text.jsonl`。