LMARENA
现名 Arena 的偏好榜

先分清名字。Reflection 在《Beam is now available》里感谢的 “Arena” 没有带链接，本刊把它认作 Arena.ai，依据见第 4 节。这家机构 2026-01-28 从 LMArena 改名 Arena（官方 X 帖同日发出），官网是 arena.ai，lmarena.ai 现在跳转到 arena.ai；更早叫 Chatbot Arena。另有两样东西也带 “Arena”，都不是这一家：Gray Swan 的 “Arena” 是它自己的红队测试场（出现在 Beam 的 Safety Technical Report里），Artificial Analysis 的图像、视频、语音 “Arena” 是它自己的榜（见 № 46 档案）。

起点是 LMSYS。LMSYS 官网写它 2023 年起于 UC Berkeley、Stanford、UCSD、CMU、MBZUAI 的多校合作，2024-09 成为 501(c)(3) 非营利法人，Chatbot Arena 被标为 “graduated” 的项目。首批榜单见 2023-05-03 的 LMSYS 博文：9 个模型、4.7K 票、Elo 评分。2024 年的论文署名 11 人，摘要写已有 24 万多票。2025 年，官网 About 页写 “we formed Arena Intelligence Inc.”；TechCrunch写成立时间是 2025-04，三位联合创始人是 Anastasios Angelopoulos（CEO）、Wei-Lin Chiang（CTO）和 Ion Stoica（董事长，TechCrunch 说其在公司成立前以顾问身份参与），招聘页同样只列这三人。品牌、数据和域名怎样从 LMSYS 或 UC Berkeley 转到公司，官方没有公开说明，本刊没有核到。

钱来自三轮。种子轮 1 亿美元（2025-05-27），a16z 与 UC Investments 领投；A 轮 1.5 亿美元（2026-01-06），Felicis 与 UC Investments 领投；B 轮 2 亿美元、估值 31 亿美元（2026-10-08），Lightspeed 与 Khosla Ventures 联合领投，Bloomberg 同日以 “Valued at Over $3 Billion” 为题报道。种子轮与 A 轮的估值官方博文没写，TechCrunch给的是 6 亿与 17 亿美元。营收口径要读清：官方称 2026-06 达到 1 亿美元的 annualized run rate，TechCrunch 记录 CEO 说公司按 “consumption”（用量）收费，收入并非经常性；A 轮时同一口径是 3000 万美元（2025-12）。About 页与招聘页仍写 “$250 million”，早于 B 轮，与官方三轮合计的 4.5 亿美元不一致。

产品面上，官网榜单菜单现有 Agent、Alignment Index、Text、WebDev、Image-to-WebDev、Text to Image、Image Edit、Text to Video、Image to Video、Video Edit、Vision、Document、Search。公共榜单免费，付费的是 2025-09-16 推出的 AI Evaluations，面向企业、模型实验室和开发者。2026 年起主打的 Agent Arena 不再靠成对投票，改用真实会话的因果评测（第 3 节）。排名代码在 GitHub 的 arena-rank，Hugging Face 上有榜单数据集。

基本机制：用户输入一个提示，随机得到两个匿名模型的回答，投票后才揭晓名字；FAQ写 “Only votes made while the models are anonymous count”，并排（Side by Side）与直选（Direct）模式的投票不计入榜单。分数用 Bradley-Terry 模型从成对投票里估出，它是为成对比较设计的统计模型，思路类似国际象棋的 Elo；style control 是在这个模型里加变量，把回答风格与格式的影响拆开。2025-11-14 起榜单同时给 raw rank 与 rank spread（由各模型置信区间推出的最好、最差名次）。读榜要看名次区间：10-19 读到的 Text 榜首位 Gemini 4 Argon (High) 是 1524 分，标 Preliminary，名次区间 1 到 3，榜单页头写 8,834,211 票、416 个模型（更新日 10-15）。

现行政策（2026-09-01 更新）规定：榜单只收全球公众可用的一方模型（开放权重、公开 API、公开服务，或满足条件的 “Public early release”）；未发布的模型可匿名测试，攒够至少 1,000 票后，Arena 把结果私下发给厂商，再把模型从 Arena 移除；每场对战至少有一个公开模型，至少 20% 的对战只在公开模型之间。排名代码开源在 arena-rank，并公开一部分数据，政策称外界可以用公开数据审计榜单；FAQ 同时写明不公开完整对话日志。所以外人能做的是用公开数据集跑公开代码，复不出完整的榜。

政策文字是改过的，三个版本可对照。2024-12-15 版（Wayback 在 2025-05-21 的快照仍是这一版）没有 “允许测试多个变体” 的条款，采样权重里综合榜前 10 的模型是 3。2025-10-28 版新增 “公开承诺 + 书面确认模型相同 + 30 天访问 + preliminary”，明写 “Model providers are all allowed to test multiple variants”，并写上榜概率随综合分和不确定性上升。现行版把采样改成 “typically uniform, with adjustments”，并加上 “分数公布后两周内公开” 的要求。两份快照之间本刊没有读到中间版本：2025-05-21 的快照仍是 12 月版，下一份读到的是 10-28 版，所以多变体与公开承诺条款最迟在 10-28 版写进文本，具体哪天改的没有核到。

2026 年的新榜不再靠成对投票。Agent Arena用 “causal tracing”：随机化 agent 的组件选择，从会话里读任务确认、用户夸奖或抱怨、纠正是否被改对、bash 失败和工具幻觉等信号，估成 “net improvement”。Alignment Index 由一个 LLM 裁判套 rubric，博文没有写裁判是哪个模型；博文称用了 90,000 个会话、27 个模型，榜单页10-16 的页头是 79,468 个会话、30 个模型，差别没有解释。口径也在动：Steerability（09-30）与 Bash Recovery 改为 Bash Reliability（10-12）两次重算，changelog写 “Many models have shifted”，回填数据 “soon” 放到 Hugging Face。

厂商怎么用它：预发布模型用代号匿名上线，例如 Google 的 Gemini 2.5 Flash Image 用过 “nano-banana”，Arena 在 2025-08-27 的博文里说明了这一点；How it works 页写 Arena 帮厂商测过预发布模型，并把部分反馈分享给模型开发者，FAQ说明这些数据经去标识。官方没有公开哪家测了几个、测了多久：政策写未发布模型的结果私下给厂商后移除，榜上只出现公开发布的模型。Arena 在回应论文的博文里自述，2025-01 以来帮 Cohere 评测了 9 个预发布模型，是 xAI 或 OpenAI 的 2 到 3 倍，这是官方自述，本刊无从独立核。

谁付钱：FAQ只写向 “enterprises, model labs, and developers” 提供评测；AI Evaluations 博文承诺所有模型评测 “with no preferential treatment”，并对开放权重模型与非营利机构提供灵活定价。客户名单与各客户的收入占比，官方都没有公布。TechCrunch 2026-01 的报道写的是 Arena 找营收时与 OpenAI、Google、Anthropic 这类公司合作，让其旗舰模型给社区评测，并没有写它们是付费客户；Startup Fortune 的评论直接写 OpenAI、Google、Anthropic、Meta 是付费客户，没有给出来源，本刊没有核到。CEO 对 TechCrunch 说，自己与 Mercor、Surge、Scale AI 这类人工标注公司争同一笔预算；Reflection 的致谢名单里，同时列有 Handshake 和 Mercor。

投资人：官方列出 a16z、UC Investments、Felicis、Kleiner Perkins、Lightspeed、Laude Ventures、The House Fund，B 轮新增 Khosla、Salesforce Ventures、Dell Technologies Capital、01 Advisors、Acrew Capital、Endeavor Catalyst（B 轮博文）。UC Investments 是加州大学的投资部门，与平台的发源地同属一个体系，领投了种子轮与 A 轮。Lightspeed 参与种子轮、联合领投 B 轮；本刊 № 43 档案写明 Lightspeed 联合领投过 Reflection 的 1.3 亿美元融资。本刊没有发现 Arena 对 Beam 有特殊对待的证据，这里只记录这个重合。

它自己也做产品和研究。Max是 Arena 自家的路由器，博文称它在一次 live test 里排 Agent Arena 第一（+14.7%，中位成本 $3.27 每任务），比当时的公开第一 Fable 5.1 (Max) 高 0.3%、成本低 37.5%，脚注说训练数据截至 9 月 17 日、早于 Opus 5.5 发布；10-19 读到的公开 Agent 榜里没有 Max，第一名是 Claude Opus 5.5 (Max)，净改进 +18.88%。学术合作计划首批 7 个课题里，CMU 两位学者的题目是 “Goodhart’s Law on the Leaderboard: Can Cheap Preference Optimization Game Arena?”（名单），即由 Arena 出资研究怎样低成本地刷 Arena。

它为什么出现在 EP.108 这批档案里：Reflection 2026-10-16 的博文感谢了在发布前协助测试 Beam 能力与安全的合作方，名单是 Andon Labs、Artificial Analysis、Arena、Gray Swan、Irregular、Nemesys、Perimeter Bio、SecureBio、Snorkel AI、Transfyr.ai、Handshake、Mercor。博文与 Safety Report 都没说 Arena 做了哪一种工作；本刊认作 Arena.ai 的依据是同一天 Arena 把 Beam 放上榜并在 X 上祝贺，这是推断。Beam 的读数来自 Arena 官方榜：10-19 读到 Agent Arena 52 个模型里 Beam 第 38，净改进 −3.67% ±3.84%；Arena 的官方帖称它是开放权重里第 12、榜上最高的美国开放模型，并写明误差大，统计上更接近上面两个 Qwen3.8；WebDev 榜 146 个模型里 Beam 第 80（1437 分，Preliminary），Alignment Index 榜 30 个模型里第 18（75.3 分）。同日另一条帖子称 Reflection 进了 Agent Arena 前 15 个实验室，美国第 6、总体第 13。Meta 的 Muse Spark Open（10-15 上线）在 WebDev 第 50，Text 与 Agent 主表里没有它。EP.108 页面本身没有提 Arena，这些位置是本刊补读的第三方读数。

官方说法：B 轮博文称 “The world needs a neutral third party”，AI Evaluations 博文把中立写成对所有模型一视同仁的承诺。这是承诺，配套披露不多：官网的 About、FAQ、政策页和融资博文里都没有利益冲突政策，没有客户名单，政策对预发布测试没有数字上限。付费方来自被评对象的客户群，TechCrunch Equity 栏目 2026-03 的节目标题就叫 “funded by the companies it ranks”，简介写 Arena 想做中立基准，而 OpenAI、Google、Anthropic 这样的公司 “back the project”。

批评一，《The Leaderboard Illusion》。它审计了 42 家提供方、243 个模型，称未披露的私有测试让少数提供方能测多个变体并撤回分数，Meta 在 Llama 4 发布前测了 27 个私有变体；Google 与 OpenAI 估计各得 19.2% 与 20.4% 的数据，83 个开放权重模型合计 29.7%；205 个公开模型被静默下线，其中 64% 是开放权重。论文自述作者里有人（Cohere）向 Arena 提交过开放权重模型，建议已事先发给 Arena（arXiv）。Arena 的回应称论文 “contains several incorrect claims”：开放模型占比官方统计是 40.9%；“预发布测试可提升 100+ 分” 那张图是高斯模拟，真实效应约 +11 Elo 且随新数据趋零；112% 的提升出自静态的 Arena-Hard，不是 Chatbot Arena。论文 v2 的摘要把这一项写成 ArenaHard。对照政策文本，论文最先提的两条建议，禁止撤回分数、设私有变体数量上限，在政策里没有对应条款：政策写允许多变体，未发布模型的结果私下发给厂商后移除。

批评二，Llama 4 事件：Arena 的说法是 Meta 的理解与其期望不符，并承诺更新政策（见上节时间线）；AA 同日声明其测的是 Hugging Face 权重，不是给 Arena 的实验版（见 № 46 档案）。批评三，偏好不等于正确。Surge AI 的《LMArena is a cancer on AI》（2025-12-01）称网友投票常被冗长、格式和 emoji 带偏，自己分析的 500 票里不同意 52%；Surge 自己卖评测与数据服务，是 Arena 的商业对手。刷票方面，Rui Min、Tianyu Pang 等的论文提出可通过识别目标模型来操纵排名；Arena 的 How-it-works 页列出自己的对抗攻击论文，本刊没有读到其内容。

Arena 自己的研究也在说同一类问题。自我偏好研究里，12 个 LLM 裁判在 1,460 场真实对战上选自己回答的比例比人类高约 70%，OpenAI 三个裁判对 OpenAI 模型比人类宽 37 分；而 Alignment Index 与 AutoEval 用的是 LLM 裁判与奖励模型，对齐榜前五名全是 OpenAI 模型。博文没有说裁判是谁，也没有讨论同系偏差，本刊没有核到；把这几件事连起来读是推断，不是已证实的结论。数字口径也没对齐：官方票数是 A 轮博文的 5000 万（种子轮以来）、6 月博文的 8200 万、10 月博文的 6200 万；规模单位从 conversations（7 亿多）变成 sessions（3.5 亿）；融资合计在 About 页是 2.5 亿美元。官方没有解释这些差别。

与 Artificial Analysis（№ 46）的区别：AA 自己用固定基准重跑模型，文章里写明 “gave us pre-release access” 之类的事前接触，定价页写 “Providers cannot pay for results, methodology changes, or listing on the website”；Arena 靠公众投票和真实会话，预发布测试用代号、结果私下给厂商，公开页面看不出哪家测了什么。两者都向实验室收费；本刊在两家官网都没有找到单独的利益冲突披露页。