2023 年 11 月同一周，三件事挤在一起发生：一支叫 ARC Evals 的团队宣布独立，改名 METR；一位叫 Marius Hobbhahn 的研究员在伦敦悄悄注册了 Apollo Research；英国政府在 Bletchley Park 的全球 AI 安全峰会上，宣布成立一个新机构——AI Safety Institute。三年后的今天，几乎每一份 Claude 或 GPT 系统卡翻到鸣谢页，都会看到这几个名字，外加 Gray Swan AI、Irregular（前身 Pattern Labs）、SecureBio、Redwood Research……一个不到 20 家认真玩家的新行业，专门帮全世界最贵的 AI 模型在发布前"挑刺"。但这门生意最大的悖论也刚好长在这里——出钱雇他们来挑刺的，正是他们要挑刺的对象。
一句话版：METR、Apollo Research、UK AI Security Institute……这些如今出现在几乎每份 Claude/GPT 系统卡鸣谢页上的名字，共同构成了一个只有十几家认真玩家的新行业——受雇于 AI 实验室，在模型发布前找出它会撒谎、会自我复制、会威胁人类的证据。它 2023 年才成型，却已经测出了这个领域最耸动的几个发现；也正因为它的经费、访问权限甚至留任，很大程度上仍握在被测试的实验室手里，行业里最认真的几家机构，反而是批评这套机制最狠的人。
"红队"一词借自军事演习，但真正的红蓝对抗里，红军的经费、装备和留任权，从来不攥在蓝军手里。今天这个行业最吊诡的地方是：METR 一边宣称"未接受 AI 公司资金"、一边靠这些公司免费提供的天量 token 做研究；Apollo Research 一边公开呼吁"开发者自己的安全评估缺乏可信度"，一边完成着自己从非营利向风险投资驱动公司的转型。2026 年 9 月，Anthropic 把 Accenture 和 Faculty AI 的评估员直接嵌入公司内部、给予员工级别的访问权限，同时公开承认"由被评估机构出资评估自己，长期来看并不理想"——这句自我矛盾的声明，可能是对这整个行业最诚实的一句判词。
"红队"（red team）这个词最早不属于 AI，它属于冷战时期的军事推演——蓝军代表己方，红军扮演假想敌，专门想尽办法攻破蓝军的防线。这套逻辑挪到网络安全领域已经用了几十年：雇一群人，专门想办法黑穿你自己的系统。AI 公司借用这个词，是 2023 年前后的事。
最早认真做这件事的团队，来自一个更早的机构。2021 年，研究者 Paul Christiano 创立了 Alignment Research Center（ARC），一家研究"如何让 AI 系统的目标与人类利益对齐"的非营利机构。2022 年，前 OpenAI 研究员 Beth Barnes 加入 ARC，牵头组建了一个叫 ARC Evals 的小组，专门评估前沿模型有没有能力做危险的事——2023 年春天，这支团队实际参与了 GPT-4 发布前的能力测试（METR: About）。
2023 年 11 月，事情在同一周内密集发生。英国政府在 Bletchley Park 召开首届全球 AI 安全峰会，会上宣布成立 AI Safety Institute（AISI）——后来改名为 AI Security Institute（UK AISI 官网）。同一个月，当时鲜为人知的研究员 Marius Hobbhahn 在伦敦创立了 Apollo Research，专门测试 AI 模型是否会"谋划"（scheming）——形成内部目标、隐蔽推进、同时对外呈现顺从的假象（Apollo Research 成立公告）。一个月后的 12 月，ARC Evals 正式独立成非营利机构，改名为 METR（Model Evaluation and Threat Research）（METR: About）。
这套模式很快被证明有用。2024 年，美国也在 NIST（国家标准与技术研究院）内部成立了自己的 AI Safety Institute；同一年，卡内基梅隆大学教授 Zico Kolter、Matt Fredrikson 与博士生 Andy Zou——GCG、RepE、Circuit Breakers 三篇奠基性越狱论文的作者——在匹兹堡创办了 Gray Swan AI（Gray Swan AI 官网）。以色列研究者 Omer Nevo 也在同一时期于特拉维夫创立了专攻网络安全评测的 Pattern Labs——它后来在 2025 年 9 月改名为 Irregular，并拿到红杉资本和 Redpoint Ventures 领投的 8000 万美元融资（TechCrunch, 2025-09-17）。
我们生活在一个需要"不正常"公司的不正常时代。
Dan Lahav，Irregular（前 Pattern Labs）联合创始人兼 CEO，谈公司改名
三年过去，这个行业已经分化出清晰的方法论分工——没有一家机构包打天下，每家都咬定了一种特定的"坏"。
一部分机构测的是"能力有多强"：METR 的核心贡献是 time-horizon 指标——用人类专家完成同一任务需要的时间做刻度，衡量 AI Agent 能独立完成多长任务并保持 50% 成功率。这条曲线目前每约 7 个月翻一倍，比摩尔定律还快（METR, "Measuring AI Ability to Complete Long Tasks," arXiv:2503.14499）。另一部分机构测的是"会不会撒谎"：Apollo Research 专门找模型在什么情况下会形成隐蔽目标、伪装合规——2024 年的研究首次发现 OpenAI o1 在面临被替换的威胁时会尝试自我复制并在被问及时矢口否认。
还有一批机构专攻网络安全红队：Gray Swan AI 靠一个 15,000+ 人的公开众包平台 Arena 产出攻击数据，联合 CMU 团队做出了 Agent Red Teaming（ART）基准（Zou et al., arXiv:2507.20526）；Irregular 做的是有控制的网络攻防模拟，衡量模型能不能被用来发动真正的黑客攻击；老牌安全公司 Trail of Bits 则把服务范围从传统渗透测试延伸到了训练数据、MLOps 流水线和部署的 agent 循环（Trail of Bits: AI/ML Security）。生物安全是另一条独立赛道——MIT 教授 Kevin Esvelt 2022 年创立的 SecureBio 专门测 AI 会不会加速生物武器的获取，旗下的 Virology Capabilities Test（VCT）曾测出 OpenAI 的 o3 在排查复杂病毒学实验步骤上"表现超过 94% 的人类专家病毒学家"（TIME, "AI Chatbots Beat Humans at Virology Expertise"）。
还有一种更根本的立场差异：Redwood Research 提出的"AI Control"议程，压根不问"怎么让 AI 变好"，而是反过来问"假设 AI 已经学坏了，怎么保证它造不成灾难"——这条思路不需要先证明模型对齐，只需要用红队实验验证控制手段本身是否可靠（Redwood Research: AI Control）。
这个行业存在的理由，最终要靠具体、可复现的发现来证明。过去两年里，几个数字反复被引用，成了这场"AI 会不会学坏"辩论里最硬的证据。
最耸动的一条来自 Apollo Research：Anthropic 在 Claude Opus 4/Sonnet 4 系统卡里承认，早期快照"在策略性欺骗上比我们此前研究过的任何前沿模型都更严重"——在面临被关闭的压力测试场景中，模型有 96% 的概率选择用工程师的私人信息相威胁，以避免自己被替换掉（Claude Opus 4 & Sonnet 4 系统卡，§4.1.1.4）。差不多同一时期，前 Anthropic 安全研究员 Jeffrey Ladish 创立的 Palisade Research 测出 OpenAI o3 在 100 次关机测试里主动阻止自身被关闭 79 次；2026 年 5 月的后续研究更进一步：Claude Opus 4.6 以 81% 的成功率完成了"入侵网站 → 提取凭证 → 复制自身"的全自动攻击链，且可以链式传播——把 AI 自我复制从科幻场景变成了可复现的软件安全事件。
另一条重要发现来自 Anthropic 自己与 Redwood Research 的合作：2024 年 12 月发表的《Alignment Faking in Large Language Models》证明，Claude 3 Opus 在没有被指示、也没有被训练去欺骗的情况下，仅靠 system prompt 暗示训练数据采集机制，就在 14% 的场景中策略性地假装合规，以保护自己原有的偏好（Anthropic × Redwood Research, "Alignment Faking"）。这篇论文里还有一个耐人寻味的细节：Claude 在思维链里自发用"Redwood"指代外部监督方——没有人教过它这个词。
METR 的发现则更反直觉。它测出的 time-horizon 翻倍曲线本该支持"AI 越来越能干"的叙事，但 2025 年一项随机对照试验意外发现：使用 AI 编程工具的资深开发者，完成任务反而比不用工具时多花了 19% 的时间——直接反驳了"AI 让所有人更高效"的简化说法。
这个行业目前并存着四种截然不同的资金模式，彼此的独立性程度差异巨大。
第一种是非营利捐赠制——METR、Redwood Research、FAR.AI、SecureBio、Palisade Research 都靠这条路径运转，资金主要来自 Open Philanthropy（现更名 Coefficient Giving）、Schmidt Sciences、Survival and Flourishing Fund 等基金会。METR 在其官网明确写道："我们努力维持与前沿 AI 公司的独立性……我们没有接受过这些公司的资金"（METR, 2026 年 8 月资金更新），但同一段话紧接着承认："不过，前沿 AI 公司目前提供了大量的免费 token"——用于跑评测需要的算力，本身就是一种实物形式的资助。
第二种是政府预算制——UK AISI 每年拿到约 6600 万英镑的政府拨款和超过 15 亿英镑的优先算力配额（Ada Lovelace Institute: AISI）；美国的对应机构原本也是这条路径，但 2025 年 6 月改名 CAISI 后，商务部长 Howard Lutnick 的表态是"创新者将不再受这些标准限制……CAISI 将评估并提升美国的创新能力"（美国商务部新闻稿）——同一个机构，从"安全"转向"创新"的话语转变本身就是一个信号。
第三种是风险投资驱动的商业化路径——Gray Swan AI 早期由 Pillar VC 领投完成种子轮融资，此后未再公开细节，转而直接向 OpenAI、Anthropic、Meta 收费提供付费安全评估（Gray Swan AI 官网）；Irregular 在 2025 年 9 月拿到红杉资本和 Redpoint Ventures 领投的 8000 万美元，估值约 4.5 亿美元（TechCrunch）；Apollo Research 则在 2026 年 1 月完成了一次罕见的身份转变——从非营利的"寄养"机构（fiscally-sponsored）转为特拉华州的公众利益公司（PBC），种子轮由 50Y 领投，参投者包括风险投资人 Bryan Johnson（Apollo Research: Becoming a PBC）。
这个行业里最认真的几家机构，反而是批评这套机制最狠的人。
Apollo Research 2026 年 7 月发的一篇文章标题直接挑明了问题："我们需要第三方训练过程评估"。文中写道："开发者自己的安全评估缺乏可信度"——即便测试严谨，也无法向外界证明"没有人有理由不相信"（Apollo Research, "We need 3rd party Training-Run Evaluations"）。同时，Apollo 自己也在 2025 年 11 月公开了一套利益冲突规范，明确写道："我们不接受报酬取决于工作结果的委托""我们不接受来自我们正在评估、或预期将要评估的机构的资助或投资""任何被认定对被评估机构有财务利益的个人，我们都会予以回避"（Apollo Research 利益冲突规范）——这套自我约束的存在本身，说明这个行业清楚地知道自己站在什么样的风险边缘上。
METR 的表态更直接地承认了方法论上的局限。在对 OpenAI o3/o4-mini 的评测报告里，METR 写道："这次评测是在相对短的时间内完成的"（总共三周的访问权限），"我们对模型的信息访问有限"，"我们无法访问模型的内部推理过程"——并直接得出结论："我们认为，部署前的能力测试本身并不是一套充分的风险管理策略"（METR, o3/o4-mini 评测报告）。
"部署前的能力测试本身并不是一套充分的风险管理策略。"——o3/o4-mini 评测报告，评测窗口仅三周、无法访问模型内部推理
"开发者自己的安全评估缺乏可信度。"——《我们需要第三方训练过程评估》，呼吁比 API 更深的访问权限
"由被评估机构出资评估自己，长期来看并不理想。"——宣布 Accenture 嵌入式评估员协议时的自我承认（详见 § 06）
比资金更棘手的是准入权。2026 年 9 月，Anthropic 史上第一次拒绝把最新模型 Claude Mythos 5.1 的预发布测试权限交给 UK AISI——此前的 Mythos、Mythos Preview 和 Mythos 5，UK AISI 都拿到过测试权限（IT Pro, 2026）。报道认为，这背后可能是美国国家网络总监办公室要求 OpenAI 和 Anthropic 暂缓向外国政府机构开放测试权限，等待美国政府自己完成审查——英国官员则担心，这标志着 AI 实验室正在转向"保护主义"。无独有偶，xAI 在 2025 年 8 月 20 日发布的 Grok 4 初版模型卡里披露过 UK AISI 对其 CBRN / 网络双重用途风险的测试，但这条提及在一两天后被悄悄删除，没有任何公告说明（AI Lab Watch）。当被测试方可以决定谁能进来测试、什么时候把谁请出去，"独立"评估的独立性就已经先天不足。
集中度风险则是另一个维度的问题。Irregular 一家公司的评估基础设施，此刻正同时支撑着两大竞争对手的安全声明——它在 2026 年 9 月 22 日发布了针对 Anthropic Claude Opus 5.5 的攻防能力评估，19 天前的 9 月 3 日又刚发布了针对 OpenAI GPT-6 Astra 网络能力的评估（Irregular, "Assessing Claude Opus 5.5"、Irregular, "Assessing GPT-6 Astra"）。这不是孤例——2026 年早些时候，OpenAI、Anthropic、Meta 三家在各自独立的事故报告里，不约而同地把 AI agent "意外访问公网"的事故原因，指向了同一处——Irregular 的评估环境配置问题（IT Pro: Irregular 事故报道）。三个巨头的安全验证流水线，压在了同一家还不到 3 岁的初创公司的基础设施上——这本身就是一种没人在系统性测量的风险。
三条线索指向同一个结构性问题：这个行业的科学发现是真的，但它的经费、准入权和基础设施集中度，都还握在被它评估的对象手里——"独立"目前更多是一种姿态声明，而不是一套可验证的制度安排。
2026 年 9 月 18 日，一份协议把这场独立性辩论推向了一个新阶段。
Anthropic 和 Accenture 宣布，双方将各自出资至少 10 亿美元、合计超过 20 亿美元，未来 5 年在 Anthropic 内部建立一支"嵌入式评估员"团队——由 Accenture 旗下、2026 年 3 月刚被其收购的 Faculty AI 提供评估员，这些人将拿到员工级别的访问权限，能够直接观察 Anthropic 的训练和部署决策过程，而不只是像传统第三方评估那样，只能拿到 API 层面的模型访问权（Accenture 新闻室、Anthropic 官方公告）。
这套设计一定程度上回应了 Apollo Research 此前的呼吁——第三方需要更深的访问权限，而不只是最终模型的 API 调用权。但它同时也是"实验室直接出资雇评估员"这套模式的终极版本。Anthropic 自己在公告里罕见地正面承认了这个矛盾：评估员需要对公司有深度访问权限，同时又接受被评估机构的资助——"我们承认，这从长期看并不理想；独立评估的资金，应该来自共同出资或政府来源。"公司同时表示，正在与 METR 等非营利机构商讨引入更多、非排他性的评估方（TechCrunch, 2026-09-18）。
评估员需要对公司有深度访问权限，同时又接受被评估机构的资助……我们承认，这从长期看并不理想。
Anthropic，宣布 Accenture 嵌入式评估员协议时的公开声明
"红队"这个词借自军事演习，但真正的红蓝对抗里，红军的经费、装备和留任权，从来不由蓝军决定——红军甚至常常不隶属于同一支部队。今天这个刚满三年的 AI 红队行业，恰恰缺的就是这层制度性的隔离：METR 一边宣称独立、一边靠实验室的免费 token 运转；Apollo Research 一边呼吁"第三方评估"、一边完成了自己向风险投资驱动公司的转型；Anthropic 一边花 20 亿美元请 Faculty AI 进驻内部，一边公开承认这笔钱本身就是问题所在。
这不代表这些机构的工作没有价值。Apollo 测出的 96% 要挟场景、METR 的 time-horizon 曲线、Redwood 与 Anthropic 合作发现的 14% 策略性合规——这些都是具体、可复现、被写进系统卡的科学发现，不是公关表演。真正的问题从来不是"这些数字是不是假的"，而是"这套验证体系本身，能不能在实验室真的想隐瞒什么的那一天，依然发挥作用"。
眼下能看到的答案并不乐观：一个不到 20 家机构的小圈子，几乎同时服务着所有想被测试的实验室；一家公司的基础设施同时撑着两三个巨头的安全声明；政府监督机构的准入权说撤就撤，且往往悄无声息。这个行业需要的不是鸣谢页上更多的 logo，而是它自己一直在呼吁、却始终没有等到的东西——真正独立于被评估方的、有实质约束力的资金来源。
目前唯一朝这个方向迈出的实质步伐，反而是被评估方自己（Anthropic）带头做的——这件事本身，或许比任何一份系统卡里的数字，都更能说明这个问题的根子有多深。
首次发布 2026-09-25