Pretrain Dataset
本目录保存 200B token rebalanced 预训练数据的构建代码和元数据。
目标配比
| 类别 | 比例 | 主要来源 |
|---|---|---|
| english_web | 40% | ModelScope Ultra-FineWeb/FineWeb 英文 shard |
| english_edu | 20% | FineWeb-Edu / Ultra-FineWeb 高质量教育文本 |
| chinese_clean | 10% | Ultra-FineWeb zh，后续可接 CCI3-HQ/SkyPile |
| science | 10% | medmcqa、proofwriter、scienceqa、sciq、qasc、openbookqa；不足由 english_edu 补齐 |
| logic | 10% | Jiayi scored education/text 数据中的逻辑类样本 + Proof-Pile-2/OpenWebMath/arXiv/AlgebraicStack 的高推理密度文本 |
| math | 5% | Jiayi scored math/knowledge 数据 |
| code | 5% | Jiayi cleaned multilingual code 数据 |
数据本体
真实数据实际保留在：
/mnt/beegfs/yi/laoyao_2b_moe_pretraining_dataset/train/pretrain_rebalanced_web40_edu20_chinese10_science10_logic10_math5_code5_200b_v1_20260701
不要再把 405G 数据复制到 repo 内。BeegFS hardlink 不被允许，rsync 会造成空间翻倍并可能失败。训练脚本应直接读取该源目录。
Logic 补充源
wait_and_build_rebalanced_pretrain_200b.sh 默认将以下本地 Proof-Pile-2 子集作为显式 --logic-input：
/mnt/beegfs/cjy/cjy-training/laoyao_model/data/raw/hf_datasets/EleutherAI__proof-pile-2/open-web-math/train/*.jsonl.zst
/mnt/beegfs/cjy/cjy-training/laoyao_model/data/raw/hf_datasets/EleutherAI__proof-pile-2/arxiv/train/*.jsonl.zst
/mnt/beegfs/cjy/cjy-training/laoyao_model/data/raw/hf_datasets/EleutherAI__proof-pile-2/algebraic-stack/train/*.jsonl.zst
这些 .jsonl.zst 文件由 build_rebalanced_pretrain_dataset.py 通过系统 zstd -dc 流式读取，不需要先解压到 BeegFS。后续如果下载了 StackExchange 或 PhilPapers，可用冒号分隔的 LOGIC_INPUT_EXTRA 追加：
LOGIC_INPUT_EXTRA='/path/to/stackexchange/**/*.jsonl.zst:/path/to/philpapers/**/*.jsonl.zst' \
bash dataset/pretrain/scripts/wait_and_build_rebalanced_pretrain_200b.sh