预训练数据流向图

横向 16:9 桑基图，展示预训练数据混合，三阶段带透明色带。 左侧（8 个源块，高度按标记数比例）："Common Crawl (web) 540B"（柔和海军蓝，最大）、"arXiv papers 180B"（尘土绿松石）、"GitHub code 160B"（石板灰）、"Wikipedia 40B"（柔和陶土色）、"StackExchange QA 30B"（暖铜色）、"Books (public domain) 25B"（浅橄榄色）、"Patents 18B"（浅海军蓝）、"Curated news & forums 15B"（尘土绿松石）。 中间（3 个处理块，堆叠）："Deduplicated (MinHash + exact)"、"Quality-filtered (classifier + heuristics)"、"PII-scrubbed (regex + NER)"。 右侧（3 个最终拆分）："Pretraining set 1.4T tokens"（最大）、"Instruction-tune pool 12B tokens"、"RLHF preference pool 3B tokens"。 流动色带继承源颜色，中间标签显示令牌数（"85B"、"320B"、"44B"）。底部带图例条。 标题："LLM pretraining data mixture and downstream splits"。副标题："去重及质量过滤后的标记数；色带厚度 ∝ 标记流量"。