跳到正文
← Live NEO LAB ·
← LiveNEOLAB · №41 · 2026 · OCT 16
DEEPDIVE / [NEOLAB] · CAIS · CENTER FOR AI SAFETY
v1 · 2026 · OCT 16
CASE FILE AI 安全研究 / 评测基准 / 倡导 SAN FRANCISCO

CAIS
出「人类最后的考试」的机构

旧金山的 AI 安全非营利机构,同时做研究、领域建设和政策倡导。MMLU 之后,它又出了 HLE、WMDP、VCT、Remote Labor Index 这些被前沿厂商反复引用的基准,也运营给模型排名的 AI Dashboard。在 Meta 的 Muse Wonder 模型卡里,它出现一次,是 SecureBio 评测套件的共同开发方。

类型 / TYPE
非营利 501(c)(3)(姊妹机构 CAIS Action Fund 为 501(c)(4))
领域 / FOCUS
AI 安全研究 / 评测基准 / 领域建设与倡导
总部 / HQ
旧金山(2026-06 起在华盛顿设 FSI)
成立 / FOUNDED
官网未写;Wikipedia 写 2022;免税资格 2023-01
规模 / TEAM
官网未披露总人数
融资 / FUNDING
捐款为主:FY2023 收入 $16.1M,FY2024 $10.2M
状态 / STATUS
运营中
最后核实 / VERIFIED
2026-10-16
§ 01 / 它是谁

一个机构,研究、建设、倡导三件事

Center for AI Safety(CAIS)在旧金山,是美国联邦认定的 501(c)(3) 非营利机构,官网把自己做的事分成三块:研究、领域建设、公共倡导。关于页列出的负责人是 Dan Hendrycks(Executive & Research Director)和 Oliver Zhang(Managing Director);2026-06-02,CAIS 宣布前 xAI 员工、更早在 Scale AI 工作的 Devin Kim 出任 President,并在华盛顿特区设立 Frontier Security Institute,把前沿 AI 和国家安全部门连起来。官网没有写成立年份,Wikipedia 写 2022 年,税务记录里免税资格 2023-01 生效,团队总人数官网也没有写,本刊没有核到。

它做的事分得很开。研究上,它是下面这些基准的主要出品方(见下一节)。领域建设上,它给机器学习安全研究者免费提供算力集群(80 张 A100,官网称已支持约 100 篇论文,目前不接受外部新申请),办过SafeBench 竞赛(奖金 $250,000),出版教材和课程。倡导上,2023-05-30 它发布了只有一句话的AI 灭绝风险声明(首页称已有 700 多位研究者和公众人物签署);它的姊妹机构 CAIS Action Fund 是 501(c)(4),做游说和政策倡导,是加州 SB 1047 的赞助方之一。

钱的情况,一手记录只有 Form 990 汇总:FY2022 收入 $6.66M,FY2023 $16.09M,FY2024 $10.24M,几乎全是捐款,不披露各笔来源。Bloomberg 2023 年的报道写 FTX 方称 2022 年 5 到 9 月付给 CAIS $6.5M,并要求提供账目(本刊只读到导语,后续是否追回没有核到)。Open Philanthropy(现 Coefficient Giving)的资助,本刊只在Manifund 的聚合页上看到 4 笔共约 $12.5M,没有回到官方资助页核对;80,000 Hours 2025-01写 CAIS 已不再拿 Open Phil 的钱。官网 FAQ 说不接受会损害使命的资金,同时说资金紧张、在找更多来源。本刊没有读到大模型厂商资助 CAIS 的证据,也没有读到否认。

§ 02 / 做过的基准

从 MMLU 到 HLE-Diamond

2020 / 2021
Hendrycks 等人的 MMLU(2020-09,57 个任务)和 MATH(2021-03,12,500 道竞赛数学题)。两篇都早于 CAIS 成立,本刊按“Hendrycks 等人早年的基准”写,不记作 CAIS 出品。HLE 论文写前沿模型在 MMLU 上已超过 90%;第三方 MMLU-Redux 估计约 6.49% 的 MMLU 题目有错。
2023-04-06
MACHIAVELLI:134 个选择式文字游戏、50 万多个场景,量化模型追求权力、违反伦理的行为。现在是 CAIS 排行榜里“欺骗”一列的来源。
2024-03-05
WMDP:3,668 道多选题,覆盖生物、网络、化学安全,同时发布遗忘方法 RMU,作者里有 Scale AI 的 Alexandr Wang 和 Kevin Esvelt。论文。OpenAI 的 GPT-6 Astra 系统卡和 xAI 的 Grok 4.7 模型卡都用了它。
2025-01-24
Humanity's Last Exam(HLE,人类最后的考试),与 Scale AI 联合发布,arXiv写 2,500 题,2026-01-28 登上 Nature,设了 $500,000 的奖金池。Nature 论文自己估计公开题集的专家不一致率是 15.4%。FutureHouse(2025-07-23)审了化学和生物类文字题,约 29% 的答案与文献直接冲突,CAIS 随后自查,认定生物/化学子集约 18% 有问题。第三方 HLE-Verified 把原题重分为通过、修订、存疑三类。
2025-04-21
Virology Capabilities Test(VCT),与 SecureBio 合作:322 道多模态病毒学排错题,专家病毒学家在自己专长领域平均 22.1%,OpenAI o3 达到 43.8%。题库由 SecureBio 托管,不公开。2026-09-11 升级为 VCT-v2。
2025-10-30
Remote Labor Index(RLI),与 Scale AI 合作:用真实自由职业项目(总计 6000 多小时、价值 $14 万以上)测 AI agent 能独立完成多少。CAIS 2026-07 的文章称发布时最强 agent 完成 2.5%,官网当前最高是 Claude Opus 5.5 的 21.25%。论文。
2026-09-22
HLE-Diamond:从原题集清洗出的 1,000 题(500 推理、500 知识)。官网首页写,做它是因为前沿模型开始碰到原 HLE 的“噪声上限”。页面的无工具成绩里,Muse Wonder 是 34.7%,GPT-6 Astra 是 59.9%。这页的日期是 9 月 22 日,却已包含 10 月 12 日才发布的 Muse Wonder,本刊没有核到原因。
持续更新
CAIS AI Dashboard:给前沿模型排文本能力、视觉能力、风险和自动化四类指数。2026-10-16 读取时,文本指数里 Muse Wonder 是 47.6,同一行三列数值相同,是否为显示问题本刊没有核到。风险指数里的“生物武器协助”一列直接用 SecureBio 的 VCT、HPCT、BioTIER。
§ 03 / 和前沿厂商的关系

被引用得多,点名得少

先看名字在哪里出现。CAIS 的名字在厂商文件里出现得不多,更常见的是只引论文。Meta 的 Muse Wonder 模型卡全卡只有一处:附录写 MBCT、VCT、HPCT 是 SecureBio 与 Center for AI Safety 共同开发的评测套件,Muse Wonder Full 的成绩是 MBCT 59.6%、HPCT 66.5%、VCT 55.9%。第 5 节只说 Meta 与第三方合作开发并授权了评测基准,没有把它们写成独立评估方。卡里的 HLE 只作为 Artificial Analysis 指数的一部分出现。

Anthropic 点名它。Claude Opus 5 的系统卡(2026-07-24)把 VCT 写成 “from SecureBio and CAIS”,Opus 5 得 0.59;HLE 无工具 56.3、有工具 64.7,Anthropic 还给有工具的 HLE 加了检索黑名单,把可能搜到答案的算错。这是 Anthropic 自己的防污染措施。

OpenAI、xAI、Google 用它的题,不写机构名。GPT-6 Astra 的系统卡页面用 SecureBio 提供的 322 道病毒学排错题,页面没提 CAIS,另用 WMDP 做沙袋评测,用 HLE 等做思维链评测;SecureBio 的独立评估报告把 VCT 写成 SecureBio 开发的基准。xAI 的 Grok 4.7 卡用 VCT、WMDP 和 MASK,参考文献引论文。Google 的Gemini 3 发布博客把 HLE 37.5%(无工具)当卖点,Gemini 4 的安全报告把 HLE 当作难题来源。

Scale AI 与 xAI,两条更近的线。Scale AI 是 HLE、RLI、WMDP 的共同开发方。Hendrycks 自 2023 年起是 xAI 的安全顾问,自 2024 年起是 Scale AI 的顾问,Observer(2025-10-28)写他的顾问报酬分别是每年 $1 和 $12。2025 年 Meta 入股 Scale AI,据报道占 49% 股权。Meta 与 CAIS 之间有没有直接的资金或授权协议,本刊没有核到。

§ 04 / 局限与争议

考题会过期,出题人也有立场

考题会过期,题目本身也有错。HLE 官网自己预测 2025 年底前模型有望超过 50%,CAIS 排行榜 2026-10-16 读取时,HLE 一列领先的几款模型已在 53% 到 55% 之间;FutureHouse 和 Nature 论文给出的错题率前面已经列了。CAIS 承认 HLE 在高分段会碰到噪声上限,所以拿出 HLE-Diamond。各家 HLE 成绩的评测设置不同(有无工具、评分器、检索限制),数字不能直接排成一张榜。

独立性有一组并列的事实,外界批评本刊没有找到。Hendrycks 是 xAI 和 Scale AI 的顾问;Scale AI 与 CAIS 共同开发 HLE、RLI、WMDP;新任 President 来自 xAI;CAIS 的排行榜给 Grok、GPT、Claude、Gemini、Muse 排名;HLE 的 Nature 论文声明作者没有利益冲突。Wikipedia和 Observer 转述 Hendrycks 的说法是,他为避免利益冲突只收象征性报酬、不持股;两处报酬金额不一致(Observer 写 $1 和 $12,Wikipedia 写一美元)。本刊没有读到主流媒体或学术评论对这一点的明确指控,也没有读到 CAIS 的正式回应。

倡导和基准放在同一个机构里,也有张力。2026-10 CAIS 发起 Team Human 活动,呼吁通过国际协议实现全球放缓,并把签名递交立法者;同一个机构也提供被各家发布文件引用的评测基准。外界对此的评论,本刊没有读到。

VCT 的数据集不公开,只向符合条件的机构提供,外部很难复核;同一个病毒学基准的署名在各家文件里不同:Meta 和 Anthropic 写 SecureBio 与 CAIS,OpenAI 的 Astra 页面只写 SecureBio。VCT 论文的作者里,Long Phan 和 Hendrycks 署 CAIS,其余多数署 SecureBio。

CAIS 的位置有两层。它是被厂商引用最多的几套基准的出品方,同时是排行榜运营方和政策倡导方。读发布文件里的“CAIS”,先看它是共同开发基准的一方,还是被某家厂商直接委托评估;目前公开材料里只有前者,没有读到任何厂商委托 CAIS 出具独立评估结论的记录。

来源 / SOURCES
← 全部实验室索引 · Live 首页

更新记录

首次发布 2026-10-16