NEMESYS INSIGHTS
常被点名，结论不由它签

Nemesys Insights, LLC 在官网自称 strategic analysis and advisory company，应用领域列了 AI 安全、合规机制、国家安全、技术开发、地缘政治和金融市场。Our Story 写，公司由六位研究者创办，目的是推广纽约州立大学奥尔巴尼分校（UAlbany）的 CART 开发的工具和方法，CART 是该校紧急准备、国土安全与网络安全学院下的研究中心。CEO Gary Ackerman 在官网上写自己是该校国土安全教授，据其 CV 是 CART 的创始主任（2019-11 至 2023-05）；CSO Brandon Behlendorf 同时是该校助理教授；另四位联合创始人在团队页链出的个人简介里写，自己同时是 CART 的项目或计划经理。Ackerman 的 CV 里列了 CART 在 2020 至 2022 年为国防威胁降低局、国防部、国土安全部和一家不具名的跨国公司写的报告，署名者就是这六位（个别报告缺其中一人）；那些是 CART 的项目，本刊不把它们算作 Nemesys 的成果。官网没有说明公司与大学之间的知识产权和利益冲突如何处理，本刊没有核到。

成立时间官网没有写。能核到的线索是：域名在 2023-04-17 注册（Verisign RDAP 记录）；纽约州务卿公开数据里有 NEMESYS INSIGHTS, LLC，类型为外州有限责任公司、特拉华州注册，纽约州初次登记日是 2024-01-17，所在县是 Schenectady，官网页脚写的则是奥尔巴尼；本刊找到的最早公开作品是 2024-02-02 的一份 COVID 专家调查（见 §02）。特拉华州的注册日本刊没有查到。团队页在 2024-04 到 2026-05 的网页快照里一直只列六位创始人，现行页多了一位高级研究科学家，共 7 人；官网另称有一个按需调用的外部专家网络，生物化学、网络安全和关键基础设施见长。注意不要和同名公司混淆：纽约州登记里另有一家 2010 年注册的 NEMESYS LLC，本刊没有发现它与这家公司有关联。

它卖什么：服务页列了模拟复杂决策、评估战略与系统、识别未被认识的脆弱性、验证预测模型、洞察新兴风险五项；Products 页列了三套自研工具，CDAP（含 AI 生成元素的沉浸式模拟平台）、DART（分布式异步红队）和 RedKit（合规流程红队工具包），都只有自述，没有外部使用案例。Use Cases 页开头声明许多客户和工作因专有或安全敏感原因不能披露，点名的客户只有 Amazon，另有一个为美国国务院冲突与稳定行动局做红队培训的例子。钱的部分：官网、论文和 FMF 的页面里都没有股权融资、营收或客户付费的披露；能核到的资金只有两笔 AI Safety Fund 资助（见 §03），以及 COVID 调查的两位个人慈善资助者。

BBG（Bacterial Biothreat Benchmark Generation）是它最完整的公开作品，三篇论文由 Nemesys 与 Frontier Design Group 合署。论文 I 先建了一个“细菌生物威胁图式”：9 个类别、27 个要素，10 位专家参与，识别出 117 项任务，7 位专家和 8 位非专家写出 2,991 条查询。论文 II 把查询变成提示：网络提示生成、红队、挖掘现有基准三路并行，共 7,775 条候选。其中网络提示生成招募 55 人，每条 $1.25，入选再加 $4，并禁止用 LLM 写；红队让参与者扮演对手，向一个叫 Farsite 的“新 LLM”提问，实际是伪装的 Mistral 模型。随后做“提升诊断性”筛选：74 位无生物学背景的学生，每条用搜索引擎找 15 分钟，能搜到足够准确详细答案的剔除，最后剩 1,010 条。论文自己记录了质控的问题：测试者之间“是否在限时内答出”的一致性可以忽略，团队找出 18 位偏离的测试者，把这些测试者测过的提示重新分配；15 分钟时限，论文说是出于参与者可用时间和经费的约束。

论文 III 做了一次试点：对一个未具名的开源模型跑这 1,010 条，用十六进制编码和“最高统帅”措辞两种越狱手法压低拒绝率，942 个有效回答由 15 位专家按准确、完整、新颖、被采纳可能和安全五个维度评分。拒绝率 8.1%；安全、准确、完整三项同时越线的比例（占已回答的基准），在风险厌恶阈值下是 10.0%，风险容忍阈值下是 1.0%；总评 B+ 与 A-，结论是风险相对较低，但拒绝率低得令人担忧。模型名没有公开，理由是低拒绝率使公布成绩可能构成信息危害；论文也写明没有拿到去掉护栏的版本，只做了已部署模型的分析，评估工具 B 出过跳题 bug，三位专家改用了工具 A。论文 I 自陈的局限包括：参与者里没人策划过生物攻击，基准不涵盖 LLM 与自动化实验室或生物设计工具的结合，任务-查询架构整体能否公开还要先过信息危害评审。

公开到什么程度：官网Research 页下的BBG 页提供三个公开版数据集、两个评估工具（GitHub 组织下有两个对应仓库）、实施指南和评估说明，并写明出于安全原因，某些基准和部分与威胁挂钩的功能不在公开版里，完整版应要求提供给 AI 开发者、政府机构和从事负责任 AI 活动的研究者；数据文件本身本刊没有逐条核对。FMF 2025-06-13 的更新说这套数据集待信息危害评审后发布。资金上，AI Safety Fund 的第一轮公告列的受助方是 Nemesys，而合作方 Frontier Design Group 的官网案例页写的是 AI Safety Fund 委托 Frontier 设计并实施一套新基准，两处写法并存，两家的分工与合同关系本刊没有核到。AI Safety Fund 是 FMF 管理、规模 1,000 万美元以上的基金，出资方是 Anthropic、Google、Microsoft、OpenAI 和几家基金会；给 Nemesys 的单笔金额没有披露。

它为什么出现在这里：EP.108 页面本身没有点名 Nemesys，线索来自 №43 Reflection AI 档案所依据的 Beam 安全报告。报告里 Nemesys 出现三次。第一次是 1918 流感提升试验：Reflection 自己做的 20 人小样本试验，10 人用 Beam、10 人用 Kimi K3 Max Reasoning，每人 5 小时写病毒实验室重建方案，纸面、没有湿实验；评分量表由 Nemesys 与两位外部专家（流感实验室研究、1918 病毒性质）一起制定，含 14 个指标，并有意略去若干关键指标以免量表本身成为信息危害；用这份量表打分的是“一位领域专家”，报告没写其雇主。试验结果与“不具统计显著性”的结论都由 Reflection 署名。第二次是 Reflection 自建的拒绝与合规评测 ISE：对话全部由人工写成，来自 Handshake、Mercor 和 Nemesys 三家供应商，报告没给各自的条数。第三次是发布博客的致谢名单，只写 “Nemesys”。报告对另一家 Gray Swan 用的是 “We commissioned”，对 Nemesys 用 “worked with”；是否付费、金额和合同形式都没有披露。所以读者可以这样理解：在 Reflection 那里，它是量表制定方和数据供应商，不是为 Beam 签字的独立评估方。

更密的一条线是 Amazon。Nova 家族报告写它做放射与核红队；Nova Premier 模型卡写它做核设施情境红队和 CBRN 提升研究；Nova Premier 评估报告里它与 METR 并称 “independent auditors”，审阅测试集、评分量规和安全评判笔记，并给出探索性结论：模型常表现出一种对突破生物 CBRN 阈值来说必要但不充分的能力，报告给出的漏拦率是 61%（分母口径没有说明）；Nova 2.0 Lite 报告里则是一次近 800 人的提升研究，Amazon 据其放射领域的发现加强了过滤。这些文件的作者都是 Amazon 的团队，“independent” 是 Amazon 的用词；Nemesys 的官网把 Amazon 称作 client，还写自己为客户做过监督微调和遗忘式的缓解。同一机构的领域标签在不同文件里也不一样：Nova 1 里是放射与核，Nova Premier 评估报告里它做的是合成生物学与微生物学提示，SecureBio 的汇总页把它列在生物安全评测项下。

FAR.AI 一线上，它出现在两个位置：欧盟 AI Office CBRN 联合体的分包商（与 №40 SecureBio、№45 EquiStamp 同一联合体；TED 招标公告的公开元数据里没有读到 Nemesys 的名字和份额，本刊没有读到公告全文）；AI Security Leaderboard 报告里的专家验证方。本刊另查了 Meta Muse Wonder 模型卡、SecureBio 对 GPT-6 Astra 的评估和 OpenAI gpt-oss 模型卡，里面都没有它；没有找到 Anthropic、OpenAI、Google 或 xAI 的文件点名它，但官网自己说许多客户不能披露，所以这只能算“没有找到”。

独立性上的披露缺口：官网和 BBG 论文里没有利益冲突或资助声明，资助关系只写在官网、FMF 和 AI Safety Fund 的页面上；创始团队与 UAlbany 的教职和 CART 职位重叠；本刊没有找到 Nemesys 发表过对某个模型的评估报告，报酬也没有披露。有出处的另一面是，它在 Amazon 文件里的发现并不都是“通过”：探索性分析里模型回答了 44 条专家认为不该回答的提示，Nova 2.0 Lite 的研究促成了放射领域的额外过滤；但这些数字出自 Amazon 的转述，样本也小（120 条提示、3 位专家）。本刊没有找到第三方对 Nemesys 的批评，也没有找到它的失败项目。近两周本刊查到的唯一新动态是 10 月 16 日的 Reflection 报告；官网没有新闻页，GitHub 的两个公开仓库最近一次推送在 2025 年 5 月。本刊没有核到的有：特拉华州的注册日期；与 Amazon、Reflection 的合同和金额；AI Safety Fund 给它的金额；ICS 研究的参与者数和结果；Nova 2.0 Lite 那项研究的 Nemesys 一手报告；Products 里三套工具的外部验证；Frontier Design Group 在 BBG 里的具体分工。