垃圾数据与下一次能力跃升

Andrej Karpathy 近日在 X 上抛出一个令人震惊的数字：Llama 3 的实际信息压缩率仅为 0.07 bits/token，远低于理论上限。这意味着什么？模型正在用大量参数「记住」低密度、高噪声的训练数据——不是因为模型需要那么多容量，而是因为数据本身充斥着重复、垃圾和低信息密度的内容。

Karpathy 的结论是：前沿模型规模庞大并非算法必然，而是数据质量极差的代价。原推

这个诊断与同期 Google Research 的研究高度呼应。Google 团队在《Designing Synthetic Datasets for the Real World: Mechanism Design and Reasoning from First Principles》中指出，真正有效的合成数据不是简单扩充数量，而是从第一性原理出发设计数据生成机制——精确的数据比海量的数据更有价值。

两者共同指向同一个方向：数据策略，而非算力堆叠，才是效率突破的真正关键。

意识到数据质量危机，AI 实验室正在开辟新的数据前沿——战场正从公开互联网，转向企业私有数据。

最具代表性的动向是：AI 实验室正在以数十万美元收购倒闭初创公司的 Slack、Email 和 Jira 记录，用于构建「强化学习健身房」——模拟真实工作环境的训练场景。这不只是数量的扩充，而是质量的飞跃：真实的商业决策、团队协作和问题解决过程，比通用互联网数据的信息密度高得多。

与此同时，互联网公开数据的供给正在萎缩。USA Today 等 23 家媒体和 Reddit 已封锁 Wayback Machine 爬虫，担忧 AI 公司滥用数据。互联网的开放性正在被 AI 训练数据竞争系统性侵蚀，未来 AI 系统对历史信息的访问将越来越依赖有偿许可。

两个趋势同步发生：公开数据供给在减少，私有高质量数据的价值在飙升。

数据质量危机的另一面，是一条意外的出路。

Epoch AI 在《Have AI Capabilities Accelerated?》中研究了 4 项能力指标，3 项显示 AI 能力在 2025-2026 年出现加速——驱动力不是更大的预训练数据集，而是推理模型（Reasoning Models）。

推理模型的关键突破在于：通过测试时计算（test-time compute）和强化学习，让模型在已有参数的基础上「思考更长时间」来解决难题。这在一定程度上绕过了预训练数据质量的瓶颈——模型不再需要从数据中「记住」答案，而是学会了「推导」答案的方法。

这也解释了为什么 GPT-6 的内部震撼（知情者描述：Sam Altman 称 5 个月前有重大突破，「人们完全没有准备好将要到来的东西」）背后可能不是更大的预训练数据，而是推理能力的质变。

数据策略正在从「算力之外的加分项」变成「决定下一轮竞争的核心变量」。四个具体判断：

我们以为 AI 的瓶颈在算力，Karpathy 告诉我们瓶颈在数据。旧叙事是「AI 能力天花板 = 算力」「scaling law 主导」「下一代靠堆参数」；新的判断是「AI 能力天花板 = 训练数据质量」「数据质量 + 推理增强」「下一代靠合成数据 + 推理模型」。

三种人的下一步各不相同：模型研究者需要把合成数据生成与数据质量评估当作接下来最重要的研究方向之一——单纯堆参数已经不是有效路径；模型部署者需要评估「推理增强」投入相对「更大模型」投入的 ROI；投资人的焦点需要从「算力 + 模型」扩展到「数据 + 推理」——合成数据公司、推理增强工具公司、数据质量评估服务是接下来最值得关注的赛道。