ARTIFICIAL ANALYSIS
给前沿模型排榜

Artificial Analysis 是总部在旧金山的私营公司，法人是特拉华州公司 Artificial Analysis, Inc.。官网列出 500 多个已评测模型、100 多家推理服务商和 1T 以上的评测 token，说它测的是模型、托管模型的云和运行模型的芯片。创始人是 CEO Micah Hill-Smith 和 CPO George Cameron：官网写 Hill-Smith 此前是 McKinsey 的顾问，Cameron 此前做过数据中心和科技公司方向的战略咨询。两人的国籍、学历和在 Google 实习时认识的经历，见于会议演讲者简介和 The Neuron 的访谈整理，官网没有写。

起点在 2023 年，Hill-Smith 在访谈里说，他当时在做法律 AI 研究助手，发现用大模型做东西，每一步都变成基准问题，而没有人独立比较各家模型的速度和成本，于是和 Cameron 做了个给开发者看的对比网站，起初“genuinely a side project”。AI News 在 2024 年 1 月介绍了这个网站；早期评测由两人自己出钱，Hill-Smith 说最初的全部花费在几百美元的量级。Andrew Ng 在 2024-07-06公开夸过它比较各家 API 速度的做法，他后来出现在官网的投资人名单里。团队规模在2026-01 是“just over 20 people”，2026-10-19 的招聘页写的是 40 人。

钱分两块来。公共榜单免费，Hill-Smith 在访谈里说“no one pays to be on the website”；收入来自两类客户，一类是要 AI 数据与洞察的企业，买订阅和标准化报告，另一类是做 AI 产品的公司，买私有定制评测。定价页现在标 Pro 为每席每月 $417（月付视图，页面另写年付可省 $984），Enterprise 面向 150 人以上的组织、定制报价，报告线有 State of AI、AI Adoption Survey、Model Deployment Report 等。政府服务是另一条线，包括韩国主权 AI 项目的评估合作和安全、网络安全审计。2026-08 上线的 Optima 让用户用自己的文件或 agent trace 建基准，把公共榜单的方法做成了自助产品。

融资官方没有披露：轮次、金额、估值都没有公开说明，收入、利润和客户构成同样没有。能对上的线索有三条。官网列出 8 位个人投资人：Nat Friedman、Daniel Gross、Andrew Ng、Adam D'Angelo、Clem Delangue、Guillermo Rauch、Shawn Wang (swyx)、Charlie Songhurst。AI Grant 第 4 批公司名单里有 Artificial Analysis，该项目的标准条款是 $250,000 的无上限 SAFE，页面没有写每家拿到多少。Latent Space 的访谈介绍称它是少数拿到完整种子轮的 AI Grant 公司，Nat Friedman 和 Daniel Gross 是导师兼投资人；创始人只说业务“working out pretty sustainably”。

实验室：既是被评对象，也是客户。AA 的首发评测文常在开头写明与厂商的事前接触：2025-08 的 GPT-5 一文写“OpenAI gave us early access”，Gemini 3 Pro和Gemini 3.1 Pro Preview两篇写 Google 给了预发布访问，Opus 4.6一篇写与 Anthropic 合作、在发布前完成评测，Muse Spark一篇写 Meta 给了早期访问，GPT-5.5一篇写 OpenAI 给了预发布访问。2026-06 起措辞变成“We supported … with pre-release evaluation”，见 Claude Fable 5、GPT-5.6、Claude Fable 5.1 三篇。这些文章没有写访问条件，也没有写是否付费。

招聘页把这层关系写得更直接。应用研究岗的职责里有“Work with Frontier Labs on Pre-Release Models”；商务岗要处理客户的预发布模型评测请求、续约和商务条款，同一页还写“commercial relationships never influence benchmark results”；前线工程师岗是“AI lab customers”的主要技术联系人，用 Slack 和视频会议解释结果、回答方法论问题。定价页同时写“Providers cannot pay for results, methodology changes, or listing on the website”。创始人在访谈里描述的是同一种分法：公共榜单无人付费，私有定制评测另算。

为了防止实验室在私有 endpoint 上换模型，创始人在访谈里说 AA 有“mystery shopper policy”：用非 AA 域名注册的账号匿名跑智能和性能评测，并向合作实验室明说了这一做法。2026-08 的 Endpoint Accuracy Index 是同一思路的延伸，AA 自托管官方权重作参照，去量各家托管商 endpoint 的偏差。官方没有说明预发布合作的合同条款，例如实验室能否在发布前看到结果。

合作方：多项评测是和基准作者合作做的。AutomationBench-AA 用的是 Zapier 的私有留出集，EnterpriseOps-Gym-AA 来自 ServiceNow 等，FrontierCode 来自 Cognition。2026-09-28 成立的 Cyber Index Alliance发起方有 Collinear AI、IBM、NVIDIA 和 Vercel：IBM 与 NVIDIA 对范围和方法论提供专家意见，Collinear AI 与 Vercel 贡献私有留出评测。数据平台条款则规定客户引用数据要署明出处，不得暗示 AA 为其分析背书，AA 保留审查客户公开使用并要求更正或撤下的权利。

NVIDIA：关系不止一处。它的 Nemotron 模型在榜上；护栏模型基准是与它合作做的；AA-AgentPerf 首批结果里，B300 与 GB300 的配置由 NVIDIA 提交，H200 与 MI355X 的配置由 AA 自己搭建，官方文章自己提醒 AMD 一侧的优化空间还很大。AA 官网“go-to reference”一栏还嵌了黄仁勋转发 Nemotron 3.5 Lightning 发布帖。AA 官方没有就这些关系另作说明；本刊只列出事实，不下结论。

政府：AA 在政府服务页自称是韩国“Sovereign AI Foundation Model”项目的评估合作方，参与评估方法设计、跑评测和汇报结果。2026-09-13 的官方帖说双方签了 MOU，最近一轮由 NIPA 主办的竞赛用 Intelligence Index 给参赛模型做评测，该指数占总评审标准的 25%。韩国政府的政策简报（2026-08-18）也用“AAII”论证：4 支参评队伍都在 31 分以上，并称参赛模型在开放权重模型的 AAII 排名里列全球第 6。

谁在引用它：Anthropic 的 Claude Opus 5.5 产品页直接引用 AA 的 GDPval-AA v2.1，写 Opus 5.5 在最高强度下为 1846 Elo；AA 在 2026-09-22 的文章里宣布它居 Index 首位。Elon Musk 在 2026-09-21 转引 AA 对 Grok 4.7 的评分帖，称 SpaceXAI 在智能体编码上排第三。分析师 Nathan Lambert 在2026-09-21 的文章里用 AAII 论证中国开放权重模型明显领先，他写作时（09-14）美国最高的 Inkling 系列是 26 分，同时提醒中国实验室聚焦较窄的任务分布，对公开基准“flattering them slightly”。AA 创始人自己在 2026-08 的帖子里说，Index 近三年的历史中，中国实验室的最强模型通常落后美国最强模型 3 到 9 个月。

官方说的独立，是不卖名次：定价页写服务商不能为结果、方法变更或上榜付费。上一节的材料显示，AA 与实验室之间另有客户关系和发布前接触，二者并不矛盾，但“独立”不等于“与厂商没有往来”。作为对照，SecureBio 官方的利益冲突政策写明，来自 AI 公司的服务收入目标是不超过年收入的 25%；AA 的收入构成、实验室客户占比和预发布合同条款，官方都没有披露，官网也没有单独的利益冲突政策页。本刊在此只摆出关系事实和 AA 自己的表述，不对是否存在利益冲突下结论。

第二个问题是分数不能跨时间比。官方版本史显示 Index 从 2024-01 到 2026-09 用过 19 个版本号，权重从 v4.0 的四类各 25%，变成 v4.1 的 34/24/24/18，再到 v4.2 起的 30/20/20/30（顺序为 Agents、Coding、Scientific Reasoning、General）。同一个模型 Claude Fable 5.1，在 2026-09-01 的官方文章里是 66 分，到 v4.3 口径下是 53 分。Ethan Mollick 在 2026-05-03 写过，这个指数用来大致比较模型可以，用于趋势分析没有用。引用 AA 的分数，至少要同时写版本号和日期。

2026-09 的 GPT-6 Astra 评分争议是这一点的实例。据 The Decoder 09-04 的报道，Epoch AI 综合 50 多项基准，把 Astra 排在 267 个模型之首；AA 当时给 Astra 61 分，与前代 GPT-5.6 Sol 持平，低于 Claude Fable 5.1 的 66 分。AA 在 09-04 发布 Index v4.2，Astra 比 Sol 高 4 分；The Decoder 在 09-05 的文章里写这“likely in response to criticism”，Hacker News 的讨论串里有人指为匆忙迎合预期，也有人反驳说修正方法本就是常态。AA 在 v4.2 发布文里的说法是，此前为保持大模型发布期间榜单稳定而推迟更新，v5 已筹备 8 个月；官方没有就“是否因 Astra 争议而改”作直接回应。

更正通常写在版本史和单篇文章里，没有单独的更正页。已知的几次：Llama 4 首评修正把 Scout 提高了 7 分；AA-LCR v1.1 改了 16 个答案键，新旧分数不可直接比；SciCode 的评分超时从 60 秒改为 300 秒，让慢但正确的代码不再被判失败。预发布评测还留下过低估：Claude Sonnet 5.5 的评测基于带结构化输出 bug 的预发布部署，Claude Haiku 5.5 的 AutomationBench-AA 因预发布期的过度拒答只有 35%，AA 都说修复后会重跑。截至 2026-10-19 的榜单页，Haiku 5.5 的这一项仍是 35.4%。

第三是外部很难复现。AA 把防刷榜的主要手段放在私有留出集上，权重从 v4.2 的 40% 升到 v4.3 的 45%，Omniscience 也只公开 10% 的题。一篇 agent 扩展性论文在附录里按 AA 的公开方法复现了部分评测，并写明 AA 的私有测试变体和过滤流程“cannot be fully reproduced”；AA 的数据平台条款还禁止客户复现或重建它的评测方法与指数构造。评分也依赖少数几个 LLM 评审：HLE、AA-LCR、AA-Omniscience、GDP.pdf 都由 GPT-5.6 Luna (medium) 评分，成对评审由 Claude Opus 5、GPT-5.6 Sol、Gemini 3.8 Flash 三家混合，2026 年内评分模型至少换过六次。

被评对象的可得性也要分清。AA 把带服务端 fallback 的 Claude Fable 5.1放进榜单，约 4% 的输出 token 由 Opus 4.8 或 Opus 5 生成；v4.1 发布文里排第一的 Claude Fable 5 当时是“currently unavailable”；2026-10-08 起，只通过 OpenAI Daybreak 项目开放的 GPT-6 Sol (Daybreak Blue) 也进了 Cyber Index。榜单页用“No publicly available API”标出不能公开调用的模型，读榜时要分清。

还有一条关系事实放在这里。本页引用的创始人访谈，主持人 swyx 同时出现在AA 官网的投资人名单里（Shawn Wang (swyx)）。他在访谈里说，2024 年 1 月 AI News 里对这个网站的介绍是他写的，访谈文本没有说明这层关系。