484 B
484 B
Training
训练迁移目标：从旧的 laoyaomodel.training 手写训练循环迁移到 NeMo/Megatron。
当前 recipe：
- 200B token 预训练
- bf16
- seq length 16384
- AdamW
- warmup ratio 0.01
- 每 1000 step 保存和验证
- validation 指标：nll、perplexity、accuracy
accuracy 需要基于 dataset/val/data/heldout_2p8k.jsonl 写任务 adapter；nll/perplexity 可以直接用 heldout_2p8k_sft_prompt_completion.jsonl 或 heldout_2p8k_packed_text.jsonl。