# Dataset

本目录分成两个部分：

- `val/`: 2,800 条多维度验证集本体，进入 git。
- `pretrain/`: 200B token 预训练数据的构建脚本、配置、manifest；真实大数据落在 `pretrain/data/`，被 `.gitignore` 忽略。

验证集用于训练期间计算 nll/perplexity，并通过任务 adapter 计算 accuracy。预训练数据用于从零训练 rebalanced 2B MoE。