EPOCH AI
给 AI 画趋势线，也给基准挑错

Epoch 自称 “data-first research nonprofit”（官网 About 页）。创办时间有两种口径：官网写 2021 年起是一群志愿者在收集、分析 AI 模型数据，2022 年那篇训练算力趋势论文之后才正式成立 Epoch AI；Time 2024 年 6 月的人物报道把成立定在 2022 年 4 月，说创始团队在第一次线下 retreat 上决定成立组织，并用 Twitter 投票选了 Epoch 这个名字，创始人 Jaime Sevilla 为此暂停博士学业、发出志愿者招募，第一位志愿者员工是 Pablo Villalobos，当时团队 13 人、分散在各国；官网媒体页的短介绍写 “Founded in 2022”。法人这边，IRS 记录显示 Epoch Artificial Intelligence, Inc. 的免税认定日是 2024 年 9 月，登记地址是旧金山的一个邮箱，媒体页对外的标准介绍写总部在旧金山。

团队页现在列出 58 名工作人员：CEO Sevilla、COO María de la Lama、CSO Yafah Edelman、CTO Bret Sepulveda、基准负责人 Greg Burnham，另有研究、工程、传播和运营岗位；董事会 5 人，含 Tom Davidson、Ajeya Cotra、Steve Newman；顾问含 Miles Brundage、Daniel Kokotajlo。ProPublica 收录的年报目前只有一份（FY2024 的 990-EZ），这家法人当年收入 $180,010，高管是 Tamay Besiroglu（President）等 4 人。这个数字和下文官网披露的拨款对不上：官网列出 2024 年 4 月有一笔 $4,132,488，当时的资金由哪一个法人持有，本刊没有核到；2025 年度的年报也还没有出现。

按官网的分法，它做三类事。一是驱动因素：维护算力、模型、GPU 集群、数据中心等数据库，其中AI models 数据集在本刊 10 月 19 日读取的 CSV 里有 3,627 行，1,410 行带训练算力估计，其中标 Confident 的 945 行、Likely 的 339 行、Speculative 的 125 行；没有论文直报时，算力按硬件与利用率或参数量公式估。二是进展：用 Inspect 框架自己跑评测，并汇总基准作者的官方榜（评测中心说明）。三是影响：民调、用量数据和经济学研究，例如与 Ipsos 做的美国成年人 AI 使用民调。公开数据默认 CC BY。

它为什么出现在本刊：EP.108 页面没有直接点名 Epoch。它出现在前面两份档案里：№ 45 EquiStamp 官网的客户与合作方墙上有它，Epoch 牵头的 MirrorCode 论文里 EquiStamp 的一位创始人是任务贡献者，欧盟 AI Office 招标公告的中标方名单里两家同在；№ 46 Artificial Analysis 里它是同类参照，都发布跨模型的综合分，做法不同。读者可以把它理解成 “EquiStamp 这类工程承包商服务的评测机构之一” 和 “AA 的同类参照”，不是 EP.108 某个事件的当事方。本周它另外对 Meta 的 Muse Spark Open 跑了评测，见下一节。

ECI 把多个基准合成一个分：用项目反应理论，同时拟合每个模型的能力、每个基准的难度和斜率，在更难的基准上拿分高的模型得分更高。方法页写标尺是任意的，目前设 Claude 3.5 Sonnet 为 130、GPT-5 为 150，报 90% bootstrap 置信区间（500 次重采样）。按基准清单页，它用 62 个基准、给 277 个模型出分；基准分三类来源：Epoch 自己跑的 15 个、基准作者官方榜的 33 个、开发者自报的 14 个老基准；模型至少要有 4 个基准分才计入。方法论文是上面提到的 Rosetta Stone；文档写该论文由 Google DeepMind 出资、与其 AGI Safety & Alignment 团队合写，但 ECI 是 “an independent Epoch AI product that Epoch has full rights over”。

FAQ自己写了几条局限：值会随新模型、新基准加入而微调；开发者自报的分数可能挑选，靠自己跑评测和第三方榜单来缓解；开发者会针对基准优化，开放权重模型可能更激进，所以开放与闭源的差距可能被低估。10 月 19 日读取的CSV里，前三名是 Claude Opus 5.5（166.82）、GPT-6 Astra（166.41）、GPT-6.1 Sol（166.32），差距不到 0.5 分，90% 区间互相大幅重叠。同一个模型的值也会变：The Decoder 9 月 4 日写 Epoch 把 Astra 排在 267 个模型之首、169 分；Epoch 自己 9 月 16 日的Data Insight写 166.31；CSV 里是 166.41。本刊没有核到 169 变成 166 的原因。Epoch 也会撤回自己的结论：2025 年 12 月那篇说 AI 进展加速的 Data Insight，现在页首写 “has been superseded”。

和 Artificial Analysis 比，两者都发布跨模型综合分，做法不同：AA 的 Intelligence Index 以统一条件自己重跑为主，用 10 项评测，含私有留出题；ECI 综合 62 个基准，含开发者自报和第三方榜单。10 月 19 日两张榜的榜首都是 Claude Opus 5.5，第 2 到第 5 名不同；AA 榜上的 MiMo-V2.6-Pro 和 Muse Spark Open 在 ECI 的 CSV 里没有分。差别要看方法，不能直接当成谁对谁错。

FrontierMath 的口径是另一件事。基准页写 6 月 12 日的 v2 修掉了 42% 题目里的错误：更正 Tiers 1–3 的 123 题、Tier 4 的 12 题，另删 5 题和 7 题，现为 338 题；ECI 文档对 v1 按 43%（Tiers 1–3）和 40%（Tier 4）的错误率缩放分数。关于页却仍写 350 题、“approximately 1 in 20 problems had errors”，并标注错误赏金计划 9 月 22 日关闭，没有更新到 v2 口径；是不是疏漏，本刊没有核到，也没有找到 Epoch 解释为什么此前的二审抽样只看到约 1/20。

Epoch 也审别人的基准。9 月 17 日发布时 15 个基准里 4 个 Verified、9 个 Flawed、2 个信息不足，文档页10 月 19 日列出 18 个。Humanity’s Last Exam（本刊 № 41 CAIS 档案里的基准）抽 48 题，先让 Fable 5 找错再人工确认，22 题（46%）有实质错误，判 Flawed。规则写明不审 Epoch 自己做的基准，理由是利益冲突，并说这不代表它们没有错。本刊对照两张清单发现：HLE、Lech Mazur Writing、DeepSWE v1.1、SWE-bench Verified 四个被判 Flawed 的基准同时是 ECI 的输入；ECI 文档没有写它们怎么处理，本刊没有向 Epoch 求证。

Transparency 页只列 7 万美元以上的捐款：Coefficient Giving 从 2022 年 6 月到 2026 年 7 月共 8 笔，本刊逐项相加 $25,113,611（单笔最大是 2025 年 4 月的 $8,500,000；2026 年 3 月的 $2,740,000 注明用于公共数据中心追踪）。另有 Survival & Flourishing Fund $195,000（2026-05）、Jaan Tallinn $600,000（2025-01）、Likith Govindaiah $400,000 等个人与基金会捐款，Schmidt Sciences 一笔未写金额。第三方聚合器 Evaluator Bench 的条目也写八笔合计 $25.1M。

同一页的合作与咨询列表（30,000 美元以上，不写金额）：OpenAI（2024/25 开发 FrontierMath；2026 FrontierMath Data Audit；2026 FrontierMath: Open Problems Verifier）、Google DeepMind（2024/25 联合报告；2025 Model Evaluations；2026 在 FrontierMath 上评测 AI co-mathematician）、xAI（2025 Model Evaluations）、Anthropic（2024 小型新基准试点），此外有 EU AI Office、UK DSIT、METR、Sequoia Capital Global Equities、Bridgewater AIA Labs 等；咨询页另有订阅式服务。官网写选合作方时要问能否对可发表的产出保持完整编辑独立，收费 “at least on par with industry consultants”，利润再投入使命；还自述把部分资金投在半导体与 AI 股票的组合里。

FrontierMath 的所有权结构是这些关系里最具体的一件。2025 年 1 月的说明写：OpenAI 委托了 300 道核心题，拥有这些题，可看题面与解答，holdout 除外；Epoch 可以用这套题评测任何模型并发布，但未经 OpenAI 书面许可，不能把题和答案给其他方。现行的利益冲突声明写：OpenAI 可访问到 FrontierMath_12-04-24 为止的全部题面与解答，除 02-28-25 版本里随机扣留的 53 个解答；Tier 4 的 50 题里 OpenAI 可访问 30 题，其余 20 题留作 holdout。2026 年 3 月的帖子换了分母：Tiers 1–3 的 290 道私有题里 OpenAI 有解答的是 237 题，Tier 4 的 48 道私有题里有 28 题，两组数字与前者可以对上；v2 之后基准页只说 OpenAI 对其中一个子集有独占访问，不再给数字。

2026 年 OpenAI 仍是 Epoch 的合同方，合同列表里有数据审计和 Open Problems 验证器两项，没有金额，也没有说明数据审计与 v2 的 42% 审计是不是同一件事。Open Problems 页写验证器可以被任何一方购买，目前 OpenAI 是唯一买家，同时写这套题 “developed independently and owned solely by Epoch”。Google DeepMind 出资了 Rosetta Stone 论文，2026 年另有评测其 AI co-mathematician 的合同；Epoch 的 FrontierMath Tier 4（v2）榜上记录了这套系统 6 月 12 日的 76%（模型元数据里标为未发布）。这些事实本刊并列，不推断因果。

Epoch 也公开写过预发布评测：GPT-5.4 Pro 一帖写 “We had pre-release access to evaluate the model”；Meta 的 Muse Spark（2026-04-08）Tiers 1–3 为 39%、Tier 4 为 15%。预发布访问的条件、保密期和是否收费，Epoch 没有公开，本刊没有核到。政府与同行一侧：欧盟 AI Office 的 “AI 安全技术协助” 招标（6 个批次）的TED 公告 864574-2025中标方名单有 17 个名字，其中有 Epoch Artificial Intelligence, Inc.、METR 和 EquiStamp Inc.。TED 数据不给 “中标方对应批次”，本刊按字段顺序分成 3/3/3/3/3/2 组，三家落在第三批（损失控制，中标额 €1,167,484）；EquiStamp 在自己的周报里说牵头该批，见 № 45 档案。Epoch 官网只写 2026 年有 EU AI Office 的技术咨询合同，没有点名批次，联合体内的份额也没有披露。METR 在 MirrorCode 致谢里是资助方，David Rein 是作者之一，见 № 22 METR。

2025 年 1 月，这件事被外界追问。Epoch 在 12 月 20 日 o3 发布前后才公开 OpenAI 出资，一些参与出题的数学家并不知情（TechCrunch）。联合创始人 Tamay Besiroglu 在 LessWrong 上写 “We made a mistake in not being more transparent”，称合同限制了披露、事后应当争取更多透明，并说双方有 “不用于训练” 的口头协议；Epoch 1 月 23 日的说明承认与贡献者的沟通本应更系统、更透明，并承诺此后在贡献者参与前披露行业赞助与数据访问。Hacker News 上的批评集中在口头协议不可靠；LessWrong 的评论者还指出，holdout 一说在 Besiroglu 与首席数学家 Elliot Glazer 同日的表述里不一致，前者写已有，后者写还在开发。这些是个人评论者的说法，不是机构结论。

补课之后的做法写在页面上：关于页有专门的利益冲突声明，基准页注明 OpenAI 出资，2026 年 3 月 Epoch 给出 holdout 对照：GPT-5.4 Pro 在 Tiers 1–3 上做对非 holdout 题 52%、holdout 题 42%，Tier 4 上 25% 与 55%，Epoch 写两处差异都不显著。这只说明那一次的结果没有显示污染迹象，不能替代对 OpenAI 内部使用方式的核实；口头协议是否已改成书面，本刊没有核到。EquiStamp 10 月 9 日的《Evaluation quality》把 FrontierMath 的出资当作 “被测方不完全独立” 的例子，而 EquiStamp 官网把 Epoch 列为客户或合作方之一。

第三方聚合器 Evaluator Bench（页面标注 2026-10-15 前的分数为暂定）给 Epoch 的资金、治理、人员三项各 2/4，“访问深度” 1/4，理由包括：未经 OpenAI 书面许可不能把受委托的题给其他实验室；四家主要厂商都是付费客户而收入占比未披露。条目也记了反方意见：Coefficient 的拨款远大于客户费，捐款与客户逐项披露。这是聚合器的暂定判断，其策展人披露自己持有 Google 和 Meta 的少量股票。

人事上，Epoch 2025 年 4 月的周刊写 Besiroglu、Ege Erdil、Matthew Barnett 和 Alex Beal “are leaving Epoch AI to launch a new company”，即 Mechanize，自称做 “environments and evals for frontier coding agents”（官网）。EA Forum 的评论区有人质疑捐赠方当初是否按偏安全的预期出资，也有人问 Epoch 的基准套件被 Mechanize 使用时是否该收费；Sevilla 在同串回复不离开 Epoch，写自己 “become more skeptical of AI Risk”，并说个人观点不代表员工或公司。此后 Mechanize 的去向，本刊没有核到一手来源。

读 Epoch 的数要带日期和版本，因为它自己的数也会变：FrontierMath 从关于页的 “约 1/20 的题有错” 到 v2 的 42%；同一天（6 月 12 日），X 帖写 FrontierMath 的领先者是 GPT-5.5 和 Google 的 co-mathematician，周刊写 Claude Fable 5 居首；团队页的顾问名单里没有 Besiroglu，2025 年 1 月说明的作者简介却仍称 Besiroglu 是研究顾问。本刊没有核到的还有：合同金额与占收入的比例；2024 年免税认定之前资金由哪个法人持有；预发布评测的条件；Epoch 在欧盟联合体里的份额；FrontierMath v1 审计的逐题记录。第三方对 ECI 的系统性批评本刊也没有找到，上文的局限都来自 Epoch 自己的文档。