跳到正文
← Live NEO LAB ·
← LiveNEOLAB · №70 · 2026 · OCT 30
DEEPDIVE / [NEOLAB] · FRONTIER DESIGN
v1 · 2026 · OCT 30
CASE FILE AI 评估 / 人类红队与桌面演练 美国弗吉尼亚州亚历山大市 · 官网写十周年

Frontier Design
十年老店的咨询公司,AI 评估是新业务线

Anthropic 在 2026-09-22 的 Claude Opus 5.5 发布稿里写,这个模型发布前由外部评估方测试过,点名了两家:METR 和 Frontier Design。METR 是站内已有的评估机构;Frontier Design 是弗吉尼亚州亚历山大市的一家小型咨询公司,官网自称 design + impact advisory firm,AI 评估只是它三条业务线里的一条。本档案把官网自述、Anthropic 和 Meta 的文件、论文和公开采购记录分开记:它在系统卡里做的是一项人类参与的生物风险桌面演练,评估结论由 Anthropic 署名,它自己没有发布过对任何模型的评估报告,缺的写“本刊没有核到”。

类型 / TYPE
营利性咨询公司(Frontier Design Group, LLC);联邦采购库登记为小型、女性拥有的小企业;官网自称 design + impact advisory firm
领域 / FOCUS
为前沿 AI 实验室做人类参与的红队与提升度评估(含 Anthropic 系统卡里的生物风险桌面演练)、基准设计、多语言数据整理;另有学习与领导力发展、影响评估两条老业务线
总部 / HQ
美国弗吉尼亚州亚历山大市(官网页脚与联邦采购登记均写 Alexandria, VA);招聘页称组织形态以远程为主
成立 / FOUNDED
官网写“十周年”,没写成立日;联邦采购库里最早的合同记录开始于 2017-09
规模 / TEAM
官网 Responsible AI 页列 12 人,全公司人数未披露;专家网络自称 1,000 多位(官网另一页写 2k,两处并列)
融资 / FUNDING
无股权融资披露;收入来自合同:联邦采购库有卫生与公共服务部、国务院、USAID 的合同记录,AI 实验室客户的合同官网不披露
状态 / STATUS
运营中;最近的公开记录是 2026-09-22 Anthropic 的 Claude Opus 5.5 发布稿与系统卡;评估结论由客户署名,它自己没有发布过对某个模型的评估报告
最后核实 / VERIFIED
2026-10-30
§ 01 / 它是谁

不是设计软件的公司,是十年老店的咨询公司

Anthropic 发布稿里 “Frontier Design” 的链接指向 imaginefrontier.com。官网把自己定位成一家 design + impact advisory firm,版权行写 Frontier Design Group LLC,三条业务线是学习与领导力发展、Responsible AI 和影响评估(监测、评估与学习),客户类型列了联邦机构、前沿 AI 实验室、非营利组织、基金会、企业和大学。首页写着“十周年”,who-we-are 页说公司从创始人的地下室里的小团队起步,如今业务遍及全球。这里的 design 指组织、服务和系统设计,与软件界面设计无关。

创始人兼 CEO 是 Alexa Courtney。官网个人页写 Courtney 有耶鲁学士和伦敦大学亚非学院硕士学位,早年在南亚、非洲和东欧的冲突地区做研究网络和评估,现在做组织转型、影响策略、AI 评估与安全、领导力发展。官网 Responsible AI 页列了 12 位团队成员;CTO Anthony Nyström 的个人简介写有机器学习与数据科学的从业经历。

公开采购记录可以印证这是一家真实经营的公司:美国联邦采购库 USAspending里登记的实体是 FRONTIER DESIGN GROUP, LLC,地址在亚历山大市,营业类型含小型企业和女性拥有的小型企业。本刊按名称检索到 6 份合同记录,最早开始于 2017-09,近期的三份是卫生与公共服务部下属机构的项目开发支持和员工与客户体验支持(2023-09、2024-08、2026-04 起),其余是国务院和 USAID 的咨询合同,都与 AI 评估无关。

AI 业务是后来长出来的。官网 Responsible AI 页列出的服务有:红队和规模化基准评估(示例提到在 Inspect 里实现)、提升度量化、护栏与防护措施测试、生态风险研究、统一调用 200 多个 LLM 的测试平台、380 多种语言的多语言数据整理,以及 AI 劳动力培训。招聘页把 AI 业务写成三块:风险评估与威胁缓解、训练数据与语言服务、AI 劳动力培训。另一页自称为全球科技公司做“业界最大规模的人类红队评估”,并为一家大型科技公司建过生成式 AI 产品的评估系统,都没有点客户名,没有第三方验证。

人类参与是它的做法。官网说 2024 年建了一个安全的红队平台,可以在不到三周内招募并执行 600 多人的评估,审核、签约和付款覆盖 3000 多位参与者,双盲接入 200 多个模型;红队参与者页登载了 2025 年 2、3 月的参与者反馈,称 98% 的参与者愿意再参加。这些都是公司自述。

§ 02 / 在 Anthropic 文件里

发布稿点名两次,系统卡里做的是一项桌面演练

Claude Opus 5.5 发布稿(2026-09-22)写:这个模型发布前由外部评估方测试,包括 “Frontier Design and METR”(稿内两处并列点名,第二处在安全实践一段,写发布前由 METR 和 Frontier Design 这样的外部机构评估)。稿子没有写它测了什么。

答案在系统卡(PDF)里,且全文只有一处点名:生物与化学风险一节写,Anthropic 与 Frontier Design 合作做了一项 “beneficial red-teaming” 桌面演练。题目是设计一个针对一种难治细菌感染的噬菌体疗法,需要相关的细菌生物学和噬菌体专业知识。共 7 个两人组,每组由一位博士级生物学家和一位 LLM 专家搭档(系统卡总述的写法);其中 2 组的生物学家是噬菌体专家,1 组是衣原体专家,4 组是两者都不懂的经验生物学家。每组共 16 小时,用 Claude Opus 5.5,成果由 4 位专家评分。因为耗时长,这项演练在早期发布候选版上做。

结果(Anthropic 的转述):表现最好的是一个通才组,各项都明显领先;全部小组合并后,专家组比通才组在可行性上高 23%、综合分高 11%;14 位参与者里 8 位说没有这个模型,16 小时内不可能完成。记录下来的问题有:过度依赖论文摘要而不是全文、设计出不编码目标蛋白的 DNA、7 个组里 3 个用了不适用的动物模型。另有 2 个组受到模型拒答的影响,Anthropic 写明这让它对该项评估的把握略有下降。在后文 CB-2(新型生物武器)阈值的判断里,Anthropic 把“缺少开放式的新想法”列为该模型的弱点之一。

更早的两张系统卡里也有它。Claude Fable 5 与 Mythos 5 的系统卡(2026-06-09)写 Frontier Design 的桌面演练找 6 位博士级生物学家,两个通才组在科学质量和可行性上胜过全部三个专家组,评分者估计没有 AI 工具时这类方案需要 40 到 95 个工作日,两人组用模型 16 小时做完,称它是所有单项评估里对 CB-2 最强的信号。Claude Fable 5.1 与 Mythos 5.1 的系统卡(2026-09-01)写与 “Frontier Design Group (FDG)” 做了同类演练,5 位博士,专家组略高、评分者区分不开两类组,并转述 FDG 的解读——通才在这个场景里基本补上了专业差距——称 Anthropic 认同这一解读;9 位参与者里 7 位说没有模型无法完成。Claude Opus 5 的系统卡全文没有出现这个名字。

同一天发布的 METR 预部署评估摘要独立成文,里面没有提到 Frontier Design;与 METR 不同,本刊没有找到 Frontier Design 为 Opus 5.5 单独发布过报告。№ 22 METR的档案可对照。

§ 03 / 还有谁点名

Meta 把它列进顾问名单,其他实验室本刊没有找到

Meta 的 Muse Spark 安全与准备度报告(文件日期 2026-05-26)在生物能力评估一节写,这项工作得到了多位在生物防御和生物安全领域有数十年经验的顾问的支持,涉及威胁建模、实验设计与测试、评估结果的解读与验证,参与者包括 Deloitte、Faculty、Frontier Design 和 SecureBio。同列的 № 42 Faculty和№ 40 SecureBio站内都有档案。报告没有写各方分别做了什么,也没有写是否付费。

Meta 的 Muse Wonder 模型卡(2026-10-12)没有出现这个名字。OpenAI、Google DeepMind 和 xAI 的公开文件里有没有点名它,本刊检索没有找到。官网案例里提到的“全球科技公司”“大型科技公司”都没有写名字,不能与上面两家对号入座。

§ 04 / 自己署名的产出

三篇论文,资助方有两种写法

公开署名的研究是 Biothreat Benchmark Generation(BBG)三篇 arXiv 论文,2025-12 发布,Nemesys Insights 与 Frontier Design Group 合署,版权行写两家:论文 I建任务与查询的层级结构;论文 II把查询变成提示,7,000 多条候选经去重和“提升诊断性”筛选后剩 1,010 条;论文 III在一个开源模型上做了试点,论文没有点名这个模型。论文 I、II 的 FDG 署名作者是 Sheriff Almakki、Noah Sheinbaum 和 Olivia Shoemaker,论文 III 只有 Shoemaker;论文正文没有写各方分工。基准内容、方法细节与公开程度,见站内 № 52 Nemesys Insights。

钱从哪来有两种写法并列。Frontier Model Forum 2025-06 的更新把 BBG 写在 Nemesys Insights 名下,没有提 Frontier Design;Frontier Design 官网的案例页写的是 AI Safety Fund 委托 Frontier 设计并实施一套 1,000 多条的生物恐怖风险基准,并附有一位前国土安全部化学生物防御处负责人的推荐语。合同主体、分工和金额,本刊没有核到。

另一类产出是演讲。FAR.AI 会议页登载了 Olivia Shoemaker 在 2025-05-31 的发言《Sandpaper Socks》(会议页,页面称 Shoemaker 来自 Frontier Design,官网个人页写 Lead Advisor):科学能力是必要的但不充分,评估要把操作层面的因素纳入,做法是让反恐专家和科幻作家编进同一个红队。官网 Responsible AI 页还提到 Shoemaker 在华盛顿的一次讲话和 Courtney 在国会山的一次发言,页面无日期,也没有链接到原始记录。

§ 05 / 公开履历

从联邦咨询合同到三张系统卡

2017-09
联邦采购库里最早的合同记录:USAID 的一份研究合同(开始日期 2017-09-18)。官网没有写成立日。
2023-09 至 2026-04
卫生与公共服务部下属机构的三份项目支持合同陆续开始(2023-09-30、2024-08-19、2026-04-22),属于它的咨询主业。
2024
官网自述这一年建成安全红队平台(见 平台页,无日期以外的细节)。
2025-05-31
Olivia Shoemaker 在 FAR.AI 的会议上讲 Sandpaper Socks。
2025-12-08 / 09
BBG 三篇论文上 arXiv(I:12-08,II 和 III:12-09)。
2026-05-26
Meta 的 Muse Spark 安全与准备度报告把它列为生物防御顾问之一。
2026-06-09
Anthropic 的 Fable 5 与 Mythos 5 系统卡写它执行的桌面演练。
2026-09-01
Anthropic 的 Fable 5.1 与 Mythos 5.1 系统卡写同类演练,并引用 FDG 的解读。
2026-09-22
Claude Opus 5.5 发布稿两处点名,系统卡写 7 个两人组的桌面演练。这是官方文件里最近一次出现它的名字。
§ 06 / 读法与局限

看到“Frontier Design 评估了某模型”,先问它在那份文件里是哪一层

它是执行方,不是结论方。在 Anthropic 的文件里,它负责招募、编组和执行一项人类参与的演练,评分与结论写在 Anthropic 的系统卡里,包括转述 FDG 的解读并表示认同;本刊没有找到它以自己名义发布的对某个模型的评估。在 Meta 的文件里,它只是名单上的一个名字。

样本很小,设计没有公开。Opus 5.5 的演练是 7 个两人组、14 位参与者,Fable 5.1 的是 5 位生物学家(9 位参与者),Fable 5 的是 6 位生物学家。任务设计、评分量表和原始数据系统卡只给摘要;练习在早期候选版上做,受拒答影响,Anthropic 自己写明置信度略降。系统卡里的各项数字是 Anthropic 的转述,不是 Frontier Design 的独立报告。

公司自述没有独立验证。红队平台的规模、“业界最大规模”的说法、参与者满意度、客户推荐语,都只见官网;专家网络的人数官网的 Responsible AI 页写 1,000 多位,未列入导航的资质页写 2k,两处并列,页内的 UEI 和 CAGE 号还是占位符。官网的站点地图显示 Responsible AI 页最近一次修改在 2026-07-20,新闻条目没有日期。

商业关系不透明。与 Anthropic、Meta 是否付费、合同范围、是否有保密条款,本刊都没有核到;官网案例不点名实验室,这是常见的保密做法,但读者无法据此判断独立性。它的收入以联邦咨询合同为主,AI 业务占多大比重没有数据。

本刊没有核到的有:成立日期与法人登记日期;员工总数;融资;与各实验室的合同;桌面演练的任务设计、评分量表与原始数据;BBG 里 Frontier Design 的具体分工;AI Safety Fund 的资助合同主体;LinkedIn 与新闻条目的近期动态;论文 I、II 里另两位署名作者(Almakki、Sheinbaum)在官网没有个人页。

把 Frontier Design 读成“替实验室招人、编组、跑人类演练的执行方”会比较准:它让 Anthropic 能在不自己招募博士级生物学家的情况下做一项耗时 16 小时的人类对照,结论的分量来自 Anthropic 的转述和小样本,而不是来自它自己发布的报告。它是否会长成像 METR 或 Irregular 那样以自己名义发布评估的机构,要看之后有没有以它署名的、可复核的评估报告。

来源 / SOURCES
← 全部实验室索引 · Live 首页

更新记录

首次发布 2026-10-30