9 lines
399 B
Markdown
9 lines
399 B
Markdown
# Dataset
|
|
|
|
本目录分成两个部分：
|
|
|
|
- `val/`: 2,800 条多维度验证集本体，进入 git。
|
|
- `pretrain/`: 200B token 预训练数据的构建脚本、配置、manifest；真实大数据落在 `pretrain/data/`，被 `.gitignore` 忽略。
|
|
|
|
验证集用于训练期间计算 nll/perplexity，并通过任务 adapter 计算 accuracy。预训练数据用于从零训练 rebalanced 2B MoE。
|