16 lines
484 B
Markdown
16 lines
484 B
Markdown
# Training
|
||
|
||
训练迁移目标：从旧的 `laoyaomodel.training` 手写训练循环迁移到 NeMo/Megatron。
|
||
|
||
当前 recipe：
|
||
|
||
- 200B token 预训练
|
||
- bf16
|
||
- seq length 16384
|
||
- AdamW
|
||
- warmup ratio 0.01
|
||
- 每 1000 step 保存和验证
|
||
- validation 指标：nll、perplexity、accuracy
|
||
|
||
accuracy 需要基于 `dataset/val/data/heldout_2p8k.jsonl` 写任务 adapter；nll/perplexity 可以直接用 `heldout_2p8k_sft_prompt_completion.jsonl` 或 `heldout_2p8k_packed_text.jsonl`。
|