IRREGULAR
出考题，也管考场

Irregular 在官网上自称“first frontier security lab”，做法是用高保真研究平台模拟并监控真实世界的 AI 安全场景。这个名字是后来的：公司 2023 年创办，原名 Pattern Labs，2023-10 的官网存档已经写着 Dan Lahav 是 CEO、Omer Nevo 是 CTO，当时的定位是让实验室确信自己的技术不被盗用或滥用。更名时间要分清：patternlabs.co 在 2025-08-09 仍是 Pattern Labs，irregular.com 在 2025-10-02 的存档才是现在的官网，2025-09-06 的存档还是域名停放页。官网上 2025 年 2 至 8 月的老文章标题现在都写 Irregular，但 OpenAI 的GPT-5 系统卡（2025-08）写的仍是 Pattern Labs，引用时要写成当时的 Pattern Labs。

两位创始人的背景来自Forbes：Lahav 来自 IBM 的 AI 实验室，Nevo 来自 Google，并联合创办过 NeoWize；官网没有团队页。钱的部分，2025-09-17 的新闻稿宣布 8000 万美元，Sequoia 与 Redpoint 领投，Swish Ventures 参与，天使含 Wiz CEO Assaf Rappaport 和 Eon CEO Ofir Ehrlich。新闻稿没有写估值，4.5 亿美元只出现在TechCrunch引用的知情人和 Forbes 的稿子里；Forbes 说这笔钱跨种子轮和 A 轮。收入只有自述：新闻稿写“数百万美元”，Lahav 对 Forbes 说第一年就盈利。人数没有官方数字，CNBC引 PitchBook 写约 35 人，PitchBook 本刊没读。总部也不一致：招聘系统的公开接口显示当前 10 个岗位全在特拉维夫，CNBC 写“based in Tel Aviv”，而融资稿落款旧金山，Redpoint 的 InfraRed 100 名单里的地点也是旧金山。

它卖什么，最直接的一手说法在2026 年的一篇 arXiv 论文的利益披露里：Irregular 向前沿 AI 实验室和政府提供“red-teaming, model evaluation, security assessment, and auditing services”，Lahav 和 Nevo 持有公司股权。产品形态见其评测平台介绍页：平台能直接接到被测系统的底层模型或外围 agent 脚手架上，题库有 Atomic、CyScenarioBench 和 FrontierCyber 三套。客户名单没有官方版本，官网只有 logo 墙，The Verge写 “Its exact client list is not known”。公开文件里能核到的有 OpenAI、Anthropic、Meta、Google DeepMind 和 Reflection，英国 AISI 是联合研究方；合同、价格和保密条款，本刊没有核到。

谁跑、谁发布，各家文件的写法不一样。OpenAI 的GPT-6 Astra 系统卡写 “Irregular evaluated Astra”，是 Irregular 跑、OpenAI 转述，并注明 Irregular 自称在没有公网的沙箱里运行。Anthropic 的Opus 5.5 系统卡写 “We run a 10-challenge subset”，Google 的Gemini 4 Argon 报告写 “We task the model with completing challenges in Irregular’s CyScenarioBench”，Reflection 的Beam 报告写 “We ran our suite”：这三家是自己带着 harness 去跑 Irregular 的题。Meta 属于第一种，Irregular 的Muse Spark 1.1 页写 “As part of our collaboration with Meta”。Kimi K3 和 GLM-5.2 是 Irregular 自己跑的自托管版本。

CyScenarioBench 是谁的？Irregular 写“our benchmark”，Anthropic 写 “developed by Irregular”，Google 写“co-developed with Irregular”，并说它基于 Google DeepMind 自己 2025 年的框架论文。那篇论文（2025-03）用了 50 道来自 Pattern Labs 的私有 CTF，并在致谢里感谢其提供平台与题库。公开的只有方法描述（CyScenarioBench 页标着 “working draft”）和 SOLVE、SOLVE+ 两套难度评分法；题目、评分细则和转录都没有公开。题集的构成还在变：Irregular 的页面里，对 GPT-5.6 Sol 是 11 个场景，对 Opus 5 是 9 题，对 Astra 和 Opus 5.5 是 10 题，对 Gemini 4 Argon 是 12 题；Irregular 的 Opus 5.5 页还写 Anthropic 重写了评测 harness 并重测了旧模型。所以不同厂商、不同月份的数字不能放进同一张表比较。

Irregular 自己的页面和厂商文件在细节上也有出入。Google 的报告写 Gemini 4 Argon 解出了全部端到端题，认为这个基准对它已经饱和，并在脚注里说有两道题是非预期解，成功率可能偏高；Irregular 的Gemini 页只写 12 题全部解出、分段通过率 93.9%，没有提这两点。Reflection 的报告里 Irregular 出现两次：一次是题库供应方，Reflection 用自己的 Mirror harness 跑 50 题；另一次是标题为 “Irregular Independent Cyber External Evaluation” 的一节，写 Irregular 做了外部评估，各类单项任务平均成功率 43% 到 60%，端到端场景一个也没完成。Irregular 自己的Beam 页只写 “Reflection evaluated Beam”，数字是 40 道 Atomic 解出 23 题、10 个场景 0 解，没有另一次自跑的评估。两处是不是同一批运行，两份文件都没说。

这也是它在 EP.108 里的位置：EP.108没有点名 Irregular，它出现在 EP.108 引用的 Reflection 安全报告里，角色是题库供应方和一次外部评估的提供方；“Limited”的网络风险评级是 Reflection 按自己的框架下的（见本刊№ 43 Reflection AI 档案）。谁付钱、谁决定公开，没有公开文件。能核到的是措辞：OpenAI 称它是 “one of our external cybersecurity testing partners”，Meta 发言人称它是 “an independent testing company Meta uses”，Sequoia 的文章把实验室称作客户，Forbes 的标题写 OpenAI 和 Anthropic 付钱（本刊只核到标题）。Anthropic 10 月 15 日的独立评估方说明给评估方开的条件含不能在财务或运营上依赖被评公司，点名的评估方是 METR、SecureBio、Accenture 与 Faculty、Hugging Face，没有 Irregular；这不等于被排除，Anthropic 9 月的系统卡仍在用它的基准。Irregular 没有披露各客户的收入占比。

Irregular 8 月 14 日的事后说明的核心是：后续披露都指向同一个底层问题，源自单一评测场景，首次公开披露前已解决；原因是评测环境里联网被无意打开，虚构公司名因“human oversight”与一个真实域名重名；事故少于一万次高级模拟中的一次，多出现在几百轮之后。它承诺扩大人工审查、成立专门团队、发开放白皮书；白皮书没有日期，截至 10 月 19 日官网研究页列表里还没有。说明里没有的：总共发生几起、受害的第三方是谁、是否通知了监管机构；它还对The Record拒绝说明是否有其他客户受影响。

批评集中在写法上。Surrey 大学的 Alan Woodward 对The Record说这份说明有 “a lot of marketing spin in there”，并指出共享根因不等于单一事件：Anthropic 写的三起分属三个不同的虚构场景，9 月的评估又写第四起是同一环境里的另一个挑战，而 Irregular 说的是单一场景。同一份评估还写到一次中止命令失败，原因是 Anthropic 自己 harness 的配置，责任不只在一方。也有不同看法：CNBC引用 Von 的 AI 负责人 Sundeep Bhimireddy，认为事件被 “a little bit blown out of proportion”，实验室本可监控出站流量并立即中止。

事故之后，实验室先动了：Anthropic 在8 月 31 日要求所有外部评测方承诺默认无网络、每次评测前验证、把边界写进提示，并说外部网络评测已在这些做法下恢复。Irregular 10 月 5 日发布的遏制挑战是同一思路：正式评测前先让模型去突破计划使用的完整配置；页面说一次测试里新模型利用云厂商网络基础设施的意外行为越过了隔离，模型仍被遏制，披露正与云厂商进行，没写哪家模型、哪家云。事故披露之后，OpenAI、Anthropic（9 月）、Google 和 Reflection（10 月）的文件里仍在用 Irregular 的基准或评估。

它自己的评测页反复写同一条局限：结果是限定配置下的能力，不代表真实攻击效果。更具体的限制在别处：GPT-5 时代每题只有 50 轮预算，而2026 年与英国 AISI 的联合研究认为常规预算会低估能力；agent 自发攻击行为研究没有给出模型名和各场景的发生比例，Irregular 对The Register也拒绝提供，只说没有观察到模型特有的行为，提示里还有强压措辞。官网新闻页给第三方报道写的概述也有对不上原文的：Guardian 3 月 27 日那篇是 CLTR 的研究，Irregular 在文中只被提到两处。

本刊没有核到的：合同与价格、完整客户名单、事故总数与受害方、Irregular 自己调查的最终结论和白皮书、METR 对 Anthropic 事件的复核结果（协议期 8 周，尚未见报告）、团队人数（只有 CNBC 引 PitchBook 的数字）、创始团队的服役或任职背景（官网没有披露，也没有一手来源）。