22 lines
716 B
Markdown
22 lines
716 B
Markdown
# Validation Set
|
|
|
|
`data/heldout_2p8k.jsonl` 是原始 messages 格式，合计 2,800 条：
|
|
|
|
| 能力维度 | 数量 |
|
|
|---|---:|
|
|
| science_reasoning | 400 |
|
|
| logic | 400 |
|
|
| code | 400 |
|
|
| chinese_exam | 400 |
|
|
| math | 400 |
|
|
| chinese_dialogue | 400 |
|
|
| english_dialogue | 400 |
|
|
|
|
派生格式：
|
|
|
|
- `heldout_2p8k_sft_prompt_completion.jsonl`: prompt/completion 格式，适合计算 completion nll/perplexity。
|
|
- `heldout_2p8k_packed_text.jsonl`: text 格式，适合 packed LM validation。
|
|
- `build_stats.json`: 构建统计和来源分布。
|
|
|
|
这些样本来源包括 GSM8K、COIG-CQIA、UltraChat、HumanEval、MBPP、BBH logical deduction、ARC-Challenge、MMLU formal logic/logical fallacies、CEVAL 等。
|