FAR.AI 是加州的非营利研究机构,名字常和“评测”“对齐会议”“欧盟合同”分别连在一起,其实是三层不同的业务。它内部做对抗鲁棒性、红队和欺骗检测研究,办 Alignment Workshop 系列和伯克利的共享办公空间;2026 年 7 月起又对外发布 AI Security Leaderboard,给前沿模型排“找到通用越狱要花多少钱”,并牵头欧盟 AI Office 的 CBRN 评测联合体。这份档案把三层拆开写,也写出哪些细节官方没有公开。
FAR.AI 的官网标题写作 “Frontier Alignment Research”,法人是加州的非营利公司 FAR AI, Inc.,联邦税法下的 501(c)(3)。按其 Transparency 页,2022 年的大部分时间它是 Players Philanthropy Fund 的受财务担保项目,2022 年 10 月注册为独立法人;2022 年的 Form 990税年也从 10 月 4 日算起。其 GitHub 组织创建于 2022-07-03。联合创始人 Adam Gleave 任 CEO,官网简介写其在 UC Berkeley 读 AI 博士、导师是 Stuart Russell,曾在 Google DeepMind 工作;联合创始人 Karl Berzins 现任总裁,官网简介写其此前在澳大利亚的 Advanced Navigation 任战略负责人。
2023 年 1 月的官网快照把定位写成:孵化“对学术界太耗资源、对产业界又尚未成熟”的研究议程,方向是对抗鲁棒性、可解释性和偏好学习;团队页上 Gleave 的头衔还是 Designated CEO,Berzins 是 COO(2024 年的 Form 990里仍写 COO)。
今天的 FAR.AI 要拆成三层看。第一层是内部技术研究:对抗鲁棒性与红队、欺骗检测、可解释性、说服。第二层是领域建设:Alignment Workshop 系列、政策与控制类专题会议、伯克利的 FAR.Labs 共享办公空间、给学者的 re-grant,以及孵化过的 Safe AI Forum。第三层是对外的测试与评测:对前沿厂商的部署前红队与咨询、AI Security Leaderboard,以及牵头欧盟 AI Office 的 CBRN 联合体。2024 年 Form 990 能看出前两层的分量:项目支出里研究约 $2.96M,联合办公约 $1.14M,活动与研讨会约 $1.96M,对外资助 $1.46M;评测与咨询没有单列,红队合作被并在研究项下,申报的 “earned revenue” 只有 $429,091,约占 $24.29M 总收入的 1.8%(本刊计算)。
规模上,Form 990 显示雇员数从 2023 年的 11 人升到 2024 年的 22 人,收入从 $8.08M(2023 年)升到 $24.29M(其中捐赠 $23.25M),年末净资产 $22.46M。官网团队页现列 44 名员工、7 名合作研究者和 5 名董事(含两位联合创始人);官方2026-01 的稿子称 2025 年拿到超过 $30M 的资金承诺,并计划把研究团队从 15 人扩到 30 多人。
同一个机构,近几个月的自我介绍在变。2026-08-12 的官网快照写 “AI safety research non-profit”;09-17 的快照起改成 “AI security research and adoption non-profit”,运营模式里新增了对前沿开发方的部署前测试与咨询、以及公开的模型安全排名;首页仍写“研究与教育”,而 About 页现行写的仍是 “AI security research and adoption”。总部也有两种口径:新闻稿与排行榜写伯克利,Form 990 和 ProPublica 的登记里主办公室在圣迭戈。
FAR.AI 与前沿厂商直接合作、且能公开核到的一次,写在 OpenAI 的 GPT-5 系统卡里:第三方红队一节列 FAR.AI 对 OpenAI API 做了 80 小时、为期一周的红队,找到若干局部漏洞和一个能绕过部分防护层的通用越狱技术,没有找到能同时绕过所有层、输出又高质量的端到端越狱;OpenAI 说会处理其中一些漏洞。系统卡没写酬劳、合同形式或保密条款。Gleave 在 8 月 20 日 The Verge 关于 OpenAI 放慢部分开发的稿子里评价对方的新防护“是好的步骤”,稿子没有介绍两者的合同关系。FAR 的研究页另称其工作帮助“多家前沿模型开发方”改进防护,不点名。本刊在 Meta Muse Wonder 模型卡和 SecureBio 的 GPT-6 Astra 评估报告里没有找到 FAR.AI,也没有逐份核对 Anthropic、Google 的系统卡,所以“出现在厂商系统卡里”只核到 OpenAI 这一例。
这类合作有明文规则。Transparency 页的咨询政策写:对营利性开发方按市场价收费,来自这类客户的收入封顶为年总收入的 10%;保留发表不含保密信息的发现的权利,并称曾拒绝限制发表权的合同;但也允许签保密协议、把合同工作的知识产权转给客户,所以常常无法公开评论这些合作,例如对未发布模型的测试结果。页面承诺要披露这类收入的占比,本刊在页面上没有找到这个数字;2024 年 Form 990 里只有一行 $429,091 的 earned revenue,没写来源。
2026-07-29,FAR.AI 发布 AI Security Leaderboard与 Minimal Standard for Safeguards v1.0(官方博客、新闻稿)。报告说,测试把 60 多种公开越狱技术自动组合,对每个模型跑 1,000 个随机攻击和 500 个专家引导攻击;单个攻击在某个误用领域成功率超过 75%,就算“通用越狱”。首版测四家共七个版本:6 月 29 日当周测 Claude Opus 4.8、GPT-5.5、Grok 4.3、Gemini 3.1 Pro,7 月 13 日当周测 Claude Fable 5、GPT-5.6 Sol、Grok 4.5。结果是 Grok 4.5 共 448 个通用越狱(随机搜索 63 个,专家引导 385 个),平均约 $58 找到一个;Gemini 3.1 Pro 共 249 个(18 加 231),约 $278;Fable 5 与 GPT-5.6 Sol 一个都没有,找到一个的成本下限高于 $14.2k。WIRED在发布前旁观了工具运行并发了稿。
榜单随后滚动更新。官方 X 帖称 09-01 加入 Grok 4.6,通用越狱从 448 降到 39;09-11 加入 GPT-6 Astra 与 Claude Fable 5.1,各为零。本刊 10 月 19 日看到的站点就是这一版:Gemini 3.1 Pro 249 个、约 $280,Grok 4.6 39 个、约 $216,两个“零”的模型写成大于 $14K。报告与新闻稿说测五个风险领域,站点方法页列了六个,应是放射与核是否分列(本刊推断)。
限制 FAR 自己写得清楚:零通用越狱不是安全证书;首版刻意不含更复杂、更贵的动态攻击,被测的全是闭权重模型;评测有“不低”的假阴性率;不评估输出是否准确、能否真提升攻击者;成本数字是用 FAR 自己的工具得到的,不是市场价。Google DeepMind 的 Rohin Shah 对 WIRED 说结果不应被当成对 Gemini 安全与安防的全面评估;Anthropic 与 OpenAI 的发言人表示会继续加强防护;SpaceXAI 没有回应 WIRED。发布前,FAR 把未删节的完整发现发给了被测公司,报告没有写各家是否回应,也没有写资助来源或利益冲突;致谢只感谢 Nemesys Insights 和 Cyber Sierra 协助数据集的专家验证,前者同时是 FAR 在欧盟 Lot 1 里的分包商。
榜单读成“一个可比较的底线”比读成“安全评级”更稳:它回答的是用已公开的越狱技术自动组合,找到通用越狱要花多少钱,不回答模型在更强攻击者手下如何,也不回答输出对攻击者有多大用处。另一层要分开看:同一家机构既给 OpenAI 的 GPT-5 做过发布前红队,又在公开榜单上给 OpenAI、Anthropic、Google、xAI 的模型排名。其咨询政策和资金结构公开了一部分,与具体厂商的合同条款没有公开,读者不能据此断言有影响,也不能据此排除。
欧盟这条线有官方数据。TED 公告 864574-2025(2025-12-26 发布,买方是欧盟委员会 DG CNECT)把 “Artificial Intelligence Act: Technical Assistance for AI Safety” 分成六个批次,Lot 1 是 CBRN 风险建模与评估:估算值 €1,850,000,中标合同额 €1,434,080,工期 36 个月。公告元数据按批次给出一个投标方名称,Lot 1 是 “FAR AI, Inc.”(本刊把该字段读作牵头投标方,依据是它与 FAR 自己的公告一致)。FAR 的公告说联合体是 FAR.AI、SecureBio、SaferAI,分包商是 GovAI、Nemesys Insights 和 EquiStamp;SaferAI 的公告说其在联合体里负责风险建模与监测。€1,434,080 是整个联合体的合同额,内部怎么分,官方没有披露;招标文件原文本刊也没有核到。
这意味着本刊 №45 EquiStamp与 №40 SecureBio两页里的 FAR.AI,是一种嵌套的合作关系:Lot 1 里 FAR.AI 牵头,EquiStamp 与 SecureBio 是成员;Lot 4(有害操纵)里 TED 数据的投标方字段是 EquiStamp Inc.(本刊的读法,TED 没有写明是牵头方),FAR 在自己的公告里说其在该批次做红队分包。另有一条资金线:一篇后门持久性论文的致谢写,研究部分由 FAR AI 向 Measuring AI Progress 的一笔资助支持,论文作者里 Chris Canal 署 Measuring AI Progress、Connor Tabarrok 署 EquiStamp,金额没有披露。
钱从哪来,官方给了名单和部分金额。2026-01 的公告称 2025 年拿到超过 $30M 的承诺,主要支持者是 Coefficient Giving(原 Open Philanthropy)、Schmidt Sciences、Survival and Flourishing Fund、CSET,以及由 Frontier Model Forum 支持的 AI Safety Fund;re-grant 项目用的是 Coefficient 的一笔 $12M。聚合站grantmaking.ai转录的 Coefficient 记录里最大一笔是 $28,675,000,本刊没有核到 Coefficient 官网原页。SFF 2025 年的推荐名单里有 FAR AI 合计约 $919,000(含 $200,000 的 speculation 与 $719,000 的匹配额);Founders Pledge2026 年上半年资助 FAR.AI 的 Integrity Team $500,000,用于欧盟有害操纵评测。AISF的资金来自 FMF 创始成员 Anthropic、Google、Microsoft、OpenAI 与几家慈善基金会,其2025-12 的第二轮名单列了 FAR.AI 的 “Quantifying the Safety-Adversary Gap” 项目,金额没有披露。
圈子很近。METR 官网把 Gleave 列为顾问和董事,FAR 的新闻稿还称其是 Safe AI Forum 与 London Initiative for Safe AI 的董事;Safe AI Forum 自 2023 年起是 FAR 财务担保的项目,运营 International Dialogues on AI Safety,2025-05 独立。FAR 与 Redwood Research 共同主办 ControlConf,与 Center for AI Safety 共同主办 AViD 研讨会;Alignment Workshop 系列到 2026-07 的首尔站,官方称到场近 200 人。2026-09-22 的联合国大会边会上,OpenAI 的产品政策人员、联合国反恐机构官员和 Concordia AI(本刊 №09)的 Brian Tse 做了闪电演讲。排行榜站点还挂了 UC Berkeley、NIST、Mila、European AI Office、Mozilla.ai 的 logo,页面没有写各自是什么关系,本刊没有核到;与英国 AISI 的合作,官网称有,本刊同样没有核到独立来源。与新加坡网络安全局合写的《Securing Agentic AI》是已核到的政府合作成果。
独立性这件事,FAR.AI 有公开的材料,也有缺口。公开的有:咨询政策与 10% 上限、发表权保留,2022 到 2024 年的 Form 990(2022、2023、2024),以及多方出资名单。缺口有:与具体厂商的合同形式与酬劳、咨询收入占比、AISF 在预算里的比重、2025 年以后的财务数字。聚合站 Evaluator Bench对 FAR.AI 给了暂定评分,资金 3/4、与实验室的接入深度 1/4、角色相容性 2/4,并把“披露 AISF 占预算的比例”列为能提分的条件;那是聚合站的暂定判断,本刊只作参考。AI Evaluator Forum官网列出的八个成员 logo 里没有 FAR.AI。
公开可见的批评不多。本刊没有找到针对 FAR.AI 本身的第三方批评稿;CNBC 10 月 11 日写第三方评估方的稿子也没有提到它。能找到的是几处保留:Rohin Shah 对排行榜结论的限定;FAR 官方对10 月 14 日辩论的摘要里,Oliver Habryka 认为现有技术依赖“先观察到失败”,跨不过从人类到超人的缺口,还可能压掉需要的警示射击,Gleave 则认为分层防御、环境检查和监控能把风险从约 15% 降到 2% 以下(本刊没有看视频);出资方 Founders Pledge 称 FAR 的披露促使 Google 自建了操纵评测、并把 Gemini 的服从率降低 50 多个百分点,Google 自己的那篇博客没有提到 FAR,这一条本刊没有核实。
近两周的动态:10-08 发布 Telling FIBS 与开源数据集;同日在 X 上回顾 09-22 的联合国大会边会,称恐怖组织正从试验转向实际使用 AI;10-14 发布 Gleave 与 Habryka 的辩论视频;10-02 的招聘帖说团队在快速扩张。排行榜最近一次更新仍是 09-11,官网博客最新一篇是 09-22。
它为什么出现在这一批档案里:EP.108页面本身没有点名 FAR.AI。它出现在 №45 EquiStamp 与 №40 SecureBio 两页里,都是因为欧盟 AI Office 的那份招标,名录此前没有收录,所以补上。读者可以把它理解为:欧盟 CBRN 评测联合体的牵头方,一个同时做研究、办会议和做红队的非营利机构;它不是 EP.108 里被点名的第三方评估方,也不是 EquiStamp 那样的评测工程承包商。与 №46 Artificial Analysis的共同点只是都在给前沿模型排榜,一个排能力与价格,一个排找到通用越狱的成本,两者没有已核的合作关系。
把 FAR.AI 放回一句话里:它首先是一家做红队与鲁棒性研究的非营利机构,附带办会议和共享办公,近两年才加上对外的评测、咨询和欧盟承包。三层的证据强度不一样:研究产出可以回到论文逐条核,领域建设有 Form 990 的支出数字,评测与咨询这一层缺合同与收入的细节。写它与实验室的关系,更稳的说法是:有公开的政策、分散的资金,也有付费咨询和间接资金路径,细节没有披露。
首次发布 2026-10-19