Dataset

本目录分成两个部分：

val/: 2,800 条多维度验证集本体，进入 git。
pretrain/: 200B token 预训练数据的构建脚本、配置、manifest；真实大数据落在 pretrain/data/，被 .gitignore 忽略。

验证集用于训练期间计算 nll/perplexity，并通过任务 adapter 计算 accuracy。预训练数据用于从零训练 rebalanced 2B MoE。