# Validation Set

`data/heldout_2p8k.jsonl` 是原始 messages 格式，合计 2,800 条：

| 能力维度 | 数量 |
|---|---:|
| science_reasoning | 400 |
| logic | 400 |
| code | 400 |
| chinese_exam | 400 |
| math | 400 |
| chinese_dialogue | 400 |
| english_dialogue | 400 |

派生格式：

- `heldout_2p8k_sft_prompt_completion.jsonl`: prompt/completion 格式，适合计算 completion nll/perplexity。
- `heldout_2p8k_packed_text.jsonl`: text 格式，适合 packed LM validation。
- `build_stats.json`: 构建统计和来源分布。

这些样本来源包括 GSM8K、COIG-CQIA、UltraChat、HumanEval、MBPP、BBH logical deduction、ARC-Challenge、MMLU formal logic/logical fallacies、CEVAL 等。

## Megatron indexed validation

g0050 训练时使用本地派生的 Megatron indexed validation prefix：

```text
dataset/val/megatron_8192_glm52/heldout_2p8k_text_document
```

该目录下的 `.bin/.idx` 和 `cache/GPTDataset_indices/*.npy` 是运行派生产物，不进入 git。训练脚本通过 `--validation-prefix` 或默认值读取这个 prefix；如果目标机器没有该目录，需要先用 GLM-5.2 tokenizer 从 `heldout_2p8k_packed_text.jsonl` 重新生成 Megatron indexed dataset。
