Dataset
本目录分成两个部分：
val/: 2,800 条多维度验证集本体，进入 git。pretrain/: 200B token 预训练数据的构建脚本、配置、manifest；真实大数据落在pretrain/data/，被.gitignore忽略。
验证集用于训练期间计算 nll/perplexity，并通过任务 adapter 计算 accuracy。预训练数据用于从零训练 rebalanced 2B MoE。
本目录分成两个部分：
val/: 2,800 条多维度验证集本体，进入 git。pretrain/: 200B token 预训练数据的构建脚本、配置、manifest；真实大数据落在 pretrain/data/，被 .gitignore 忽略。验证集用于训练期间计算 nll/perplexity，并通过任务 adapter 计算 accuracy。预训练数据用于从零训练 rebalanced 2B MoE。