旧金山的 AI 安全非营利机构,同时做研究、领域建设和政策倡导。MMLU 之后,它又出了 HLE、WMDP、VCT、Remote Labor Index 这些被前沿厂商反复引用的基准,也运营给模型排名的 AI Dashboard。在 Meta 的 Muse Wonder 模型卡里,它出现一次,是 SecureBio 评测套件的共同开发方。
Center for AI Safety(CAIS)在旧金山,是美国联邦认定的 501(c)(3) 非营利机构,官网把自己做的事分成三块:研究、领域建设、公共倡导。关于页列出的负责人是 Dan Hendrycks(Executive & Research Director)和 Oliver Zhang(Managing Director);2026-06-02,CAIS 宣布前 xAI 员工、更早在 Scale AI 工作的 Devin Kim 出任 President,并在华盛顿特区设立 Frontier Security Institute,把前沿 AI 和国家安全部门连起来。官网没有写成立年份,Wikipedia 写 2022 年,税务记录里免税资格 2023-01 生效,团队总人数官网也没有写,本刊没有核到。
它做的事分得很开。研究上,它是下面这些基准的主要出品方(见下一节)。领域建设上,它给机器学习安全研究者免费提供算力集群(80 张 A100,官网称已支持约 100 篇论文,目前不接受外部新申请),办过SafeBench 竞赛(奖金 $250,000),出版教材和课程。倡导上,2023-05-30 它发布了只有一句话的AI 灭绝风险声明(首页称已有 700 多位研究者和公众人物签署);它的姊妹机构 CAIS Action Fund 是 501(c)(4),做游说和政策倡导,是加州 SB 1047 的赞助方之一。
钱的情况,一手记录只有 Form 990 汇总:FY2022 收入 $6.66M,FY2023 $16.09M,FY2024 $10.24M,几乎全是捐款,不披露各笔来源。Bloomberg 2023 年的报道写 FTX 方称 2022 年 5 到 9 月付给 CAIS $6.5M,并要求提供账目(本刊只读到导语,后续是否追回没有核到)。Open Philanthropy(现 Coefficient Giving)的资助,本刊只在Manifund 的聚合页上看到 4 笔共约 $12.5M,没有回到官方资助页核对;80,000 Hours 2025-01写 CAIS 已不再拿 Open Phil 的钱。官网 FAQ 说不接受会损害使命的资金,同时说资金紧张、在找更多来源。本刊没有读到大模型厂商资助 CAIS 的证据,也没有读到否认。
先看名字在哪里出现。CAIS 的名字在厂商文件里出现得不多,更常见的是只引论文。Meta 的 Muse Wonder 模型卡全卡只有一处:附录写 MBCT、VCT、HPCT 是 SecureBio 与 Center for AI Safety 共同开发的评测套件,Muse Wonder Full 的成绩是 MBCT 59.6%、HPCT 66.5%、VCT 55.9%。第 5 节只说 Meta 与第三方合作开发并授权了评测基准,没有把它们写成独立评估方。卡里的 HLE 只作为 Artificial Analysis 指数的一部分出现。
Anthropic 点名它。Claude Opus 5 的系统卡(2026-07-24)把 VCT 写成 “from SecureBio and CAIS”,Opus 5 得 0.59;HLE 无工具 56.3、有工具 64.7,Anthropic 还给有工具的 HLE 加了检索黑名单,把可能搜到答案的算错。这是 Anthropic 自己的防污染措施。
OpenAI、xAI、Google 用它的题,不写机构名。GPT-6 Astra 的系统卡页面用 SecureBio 提供的 322 道病毒学排错题,页面没提 CAIS,另用 WMDP 做沙袋评测,用 HLE 等做思维链评测;SecureBio 的独立评估报告把 VCT 写成 SecureBio 开发的基准。xAI 的 Grok 4.7 卡用 VCT、WMDP 和 MASK,参考文献引论文。Google 的Gemini 3 发布博客把 HLE 37.5%(无工具)当卖点,Gemini 4 的安全报告把 HLE 当作难题来源。
Scale AI 与 xAI,两条更近的线。Scale AI 是 HLE、RLI、WMDP 的共同开发方。Hendrycks 自 2023 年起是 xAI 的安全顾问,自 2024 年起是 Scale AI 的顾问,Observer(2025-10-28)写他的顾问报酬分别是每年 $1 和 $12。2025 年 Meta 入股 Scale AI,据报道占 49% 股权。Meta 与 CAIS 之间有没有直接的资金或授权协议,本刊没有核到。
考题会过期,题目本身也有错。HLE 官网自己预测 2025 年底前模型有望超过 50%,CAIS 排行榜 2026-10-16 读取时,HLE 一列领先的几款模型已在 53% 到 55% 之间;FutureHouse 和 Nature 论文给出的错题率前面已经列了。CAIS 承认 HLE 在高分段会碰到噪声上限,所以拿出 HLE-Diamond。各家 HLE 成绩的评测设置不同(有无工具、评分器、检索限制),数字不能直接排成一张榜。
独立性有一组并列的事实,外界批评本刊没有找到。Hendrycks 是 xAI 和 Scale AI 的顾问;Scale AI 与 CAIS 共同开发 HLE、RLI、WMDP;新任 President 来自 xAI;CAIS 的排行榜给 Grok、GPT、Claude、Gemini、Muse 排名;HLE 的 Nature 论文声明作者没有利益冲突。Wikipedia和 Observer 转述 Hendrycks 的说法是,他为避免利益冲突只收象征性报酬、不持股;两处报酬金额不一致(Observer 写 $1 和 $12,Wikipedia 写一美元)。本刊没有读到主流媒体或学术评论对这一点的明确指控,也没有读到 CAIS 的正式回应。
倡导和基准放在同一个机构里,也有张力。2026-10 CAIS 发起 Team Human 活动,呼吁通过国际协议实现全球放缓,并把签名递交立法者;同一个机构也提供被各家发布文件引用的评测基准。外界对此的评论,本刊没有读到。
VCT 的数据集不公开,只向符合条件的机构提供,外部很难复核;同一个病毒学基准的署名在各家文件里不同:Meta 和 Anthropic 写 SecureBio 与 CAIS,OpenAI 的 Astra 页面只写 SecureBio。VCT 论文的作者里,Long Phan 和 Hendrycks 署 CAIS,其余多数署 SecureBio。
CAIS 的位置有两层。它是被厂商引用最多的几套基准的出品方,同时是排行榜运营方和政策倡导方。读发布文件里的“CAIS”,先看它是共同开发基准的一方,还是被某家厂商直接委托评估;目前公开材料里只有前者,没有读到任何厂商委托 CAIS 出具独立评估结论的记录。
首次发布 2026-10-16