Validation Set
data/heldout_2p8k.jsonl 是原始 messages 格式,合计 2,800 条:
| 能力维度 | 数量 |
|---|---|
| science_reasoning | 400 |
| logic | 400 |
| code | 400 |
| chinese_exam | 400 |
| math | 400 |
| chinese_dialogue | 400 |
| english_dialogue | 400 |
派生格式:
heldout_2p8k_sft_prompt_completion.jsonl: prompt/completion 格式,适合计算 completion nll/perplexity。heldout_2p8k_packed_text.jsonl: text 格式,适合 packed LM validation。build_stats.json: 构建统计和来源分布。
这些样本来源包括 GSM8K、COIG-CQIA、UltraChat、HumanEval、MBPP、BBH logical deduction、ARC-Challenge、MMLU formal logic/logical fallacies、CEVAL 等。