LawZero
不带目标的“科学家”

官网首页把 LawZero 说成一家“非营利初创机构”，要做的是为高能力 AI 提供“从设计上就安全”的技术方案，使命写作把先进 AI 当作全球公共品、负责任且公平地发展。2025-06-03 的宣布稿写它是一个非营利组织，“不受市场与政府压力的影响”，总部在蒙特利尔，由 Mila（魁北克人工智能研究所）孵化，Mila 当时是它的运营伙伴；2026-09 的稿子改写成“最初由 Mila 孵化”。TIME同日的报道写名称取自阿西莫夫的“第零定律”，Bengio 说希望避免利润激励、并“把政府引入 LawZero 的治理”。

公司法层面的信息官方没有给：隐私政策只写“LawZero”，不写法人全称和注册法域。加拿大政府和德国政府的公告也只写 not-for-profit。因此注册地（联邦或魁北克）、是否具备慈善机构资质、注册日期，本刊都没有核到；“成立”以官方 2025-06-03 的宣布日为准。

团队规模官网不写。官方 2025-06 稿写技术研究员 15 位以上；Globe and Mail在 2026-02-19 的报道里写公司成立一年左右、约 30 名员工、计划次年增至 100 人以上，Bengio 说新资金的“绝大部分用于算力”，也承认薪资无法与大型 AI 公司竞争。更近的数字本刊没有核到。

要解决的问题。2026-07-02 的新闻稿把风险根源说成“隐含 agency”：把 AI 训练成模仿人类、讨好人类，会让系统长出没人设计的目标，轻则谄媚，规模大了可能是欺骗或抗拒被关闭。LawZero 的回答是 Scientist AI，官网 research 页的描述是以“理想的科学家”为模型：用概率推理预测结果，不带隐藏目标或偏好，预测过程透明、可审计、可核查。

设计上的几个要素。据官方博客《The Case for Scientist AI》和新闻稿：核心是一个“预测器”，估计一句自然语言陈述为真的概率；训练数据要做“语境化”，把“有人声称 X 为真”和“X 为真”分开，争议性的说法只作为“谁说了什么”的记录进入训练；“后果不变性”（consequence invariance）指训练信号不会奖励输出带来的某种现实后果，只奖励解释力；需要动作（检索、调用工具）时，由独立的、可审计的代码去做，并有一道护栏——预测器估计放出某个输出的危害概率，高于阈值就扣留。

打算怎么用。官方列出三种用途：给 agent 型 AI 做护栏与监督、助力科学研究、增进对 AI 风险的理解。80,000 Hours 的访谈（录制于 2026-04-16）里 Bengio 说：先发一篇理论论文，说明可当护栏用的非 agent 版本有数学保证，请人检视其前提；“未来一两年”要加快工程、拿到更多算力；早期会是一个“粗糙”的系统，数学上的条件多半还不满足。agent 版的 Scientist AI 要用接近当前前沿的算力和网络规模，Bengio 称自己这个小规模的非营利机构做不到，需要公司、政府或慈善资金；为了说服这些出资方，先在小规模上展示——用 100 亿参数以下的模型从头训练、与同规模同数据的开放权重模型逐项比较（主要看诚实性），Bengio 自己说这样的小模型不会有竞争力。访谈页的整理文字还写了另一条路径：微调已有的开放权重模型，会失去数学保证，但能较快看出诚实性提升会不会拖垮能力。

目前公开的是论证，不是系统。官方 07-02 稿写明只做了“形式化论证”，没有实验结果；官网和论文页没有给出模型、权重、API 或模型卡，也没有路线图日期。

论证本身。《Safety from Honesty in a Disinterested AI Predictor》共 16 位作者（含 Bengio、Oliver Richardson、Michael Cohen、Joumana Ghosn 等）。摘要说：预测器近似“经认识论语境化的自然语言陈述”上的贝叶斯后验；在所述假设下，一个有害的预测器需要对许多查询协同地低估危害，这在初始化分布下不太可能，训练中也没有直接信号推向它；并且“保证并不排除把预测器放进更大的 agent 系统里使用”。论文页自称论证是“semi-formal”，把“根因是隐含 agency”写成假说（“We posit that”），称 Scientist AI 为“potential solution”。

PyINE。项目页与论文的作者列表有 8 人，含 Bengio。它把带插桩的 Python 程序当可验证环境：执行轨迹提供标准答案，任务变体可自动生成；v1 约 100 万条确定性执行轨迹、50 多万个 LLM 生成的代码变体，用 Qwen3-4B-Instruct 经强化学习训出一个“走捷径”的模型生物。结论是：探针、文本分类器这类廉价监督器在误导性切片上的 AUROC 有时低于 0.5；LLM 评审和辩论更均衡，但难设阈值，成本接近甚至超过被监督模型自身的服务成本；项目页称现有被测方法落在“便宜但脆”与“均衡但贵”之间，中间地带是空的。论文自述的局限是场景窄（确定性 Python 程序）、只有一个模型生物。

激活扰动。官网上的这篇论文测试 Llama、Olmo、Qwen 三个家族的 8B 到 32B 模型能否察觉施加在自身激活上的 dropout 或高斯噪声：定位容易；Qwen3-32B 零样本区分 dropout 的准确率为 96.2% 到 99.2%，区分噪声在最大强度下只有 15.5%（换成“masking”“jitter”之类近义词后到 89.6%）；论文自己写只有少数模型有明显信号，来源不明，“训练觉察”的含义属推测。

代码库。GitHub 组织 lawzero-org目前有 4 个公开仓库：pyine（Apache-2.0，8 星）、llm-dropout-noise-recognition 及其 v2（MIT）、conservative-bayesian-public（无许可证；2024 年论文实验代码）。官网 research 页没有列出代码、路线图或专门的 Scientist AI 项目页。本刊没有核到官方的 Hugging Face 组织。

没有的东西。PyINE 和激活扰动两项研究测的是别的模型的可监督性与自我觉察，不是 Scientist AI 预测器本身；公开材料里没有 Scientist AI 的训练结果、规模或基准成绩。

慈善与算力。官方首页列出的资助与合作方有 Future of Life Institute、Gates Foundation、Founders Pledge、Coefficient Giving、Schmidt Sciences、Silicon Valley Community Foundation 和 NVIDIA，Mila 是孵化方。官方 2025-08 稿给出的口径是慈善资金合计超过 3500 万美元；2025-06 的“近 3000 万美元”只见 TIME 与 Globe and Mail，官方稿不给金额。NVIDIA 在 2026-07 捐赠的是算力，规模和期限官方稿没写。

2026-09-16 的政府出资。LawZero 官方稿写“加拿大与德国宣布最高 3 亿加元的资助”，没有拆分。拆分在两国政府的公告里：加拿大创新、科学与经济发展部的公告写两国政府“计划”分别向 LawZero 投 1.5 亿加元（加方，经 Strategic Response Fund，用于研究与工程人才和算力）和 1 亿欧元（德方，用于 LawZero 新德国办公室的研发，并让欧洲的 AI 规范从一开始纳入项目），德方部分以欧盟委员会批准为前提，项目将在加拿大创造 360 个全职岗位，并与 Hypertec、5C 建专用主权算力。德国数字化与国家现代化部的新闻稿（德文）写德国承担一半、约合 1 亿欧元，同样标明待欧盟委员会批准，只提“新德国站点”、没有写城市；柏林出自 LawZero 自己的稿子。CBC的拆法与此一致（加方 1.5 亿加元，德方 1 亿欧元），并写这是联邦资金第一次进入这家机构；heise在 9-17 同样写德方部分仍待欧盟委员会批准。

这几处并列：官方稿是“最高 3 亿加元”，政府公告是“计划”“以批准为前提”。资金何时到账、是否分期、Hypertec 与 5C 的合同、柏林办公室的地址规模与开办日期，本刊没有核到；加拿大 360 个岗位也是项目口径，不等于 LawZero 自己的员工数。

站内 第 103 期把这笔出资放进了同一周的“政府的钱也开始站队”一段。

官网团队页列出：联席总裁 Yoshua Bengio（兼 Scientific Director）和 Sam Ramadori（兼 Executive Director），以及人才、法务、研究、发展与运营四位副总裁或高级总监。董事会 5 人：Bengio、主席 Maria Eitel、Valerie Pisano、Yuval Noah Harari、Sir John Rose。全球顾问委员会（Governor）有 Stefan Löfven 和 Jacinda Ardern。

科学顾问 8 位：Beth Barnes（METR 创始人兼 CEO）、Michael Cohen（UC Berkeley 博士后）、David Duvenaud（多伦多大学）、Gauthier Gidel（蒙特利尔大学）、Noah Goodman（斯坦福）、Geoffrey Irving（英国 AI Security Institute 首席科学家）、Chris Pal（蒙特利尔理工学院）、Jacob Steinhardt（Transluce 联合创始人兼 CEO）。本站有 № 22 METR 与 № 24 Transluce 的档案。Bengio 本人既是联席总裁、董事，也是 2026-07 安全论证（列第一位）和 PyINE 的作者之一。

招聘。招聘板（据公开接口）在 2026-10-30 挂出 13 条，地点为蒙特利尔与柏林，最近一条发布于 2026-10-27。其中 Director, Evaluations 的岗位说明写要新建评测团队、规模 8 到 10 人，并且“独立于主研究线运行”，对外发布模型卡和技术报告——这说明这支独立评测团队在 2026-05 开始招聘时还没有建起来，之后的进展本刊没有核到。

谁的论证、谁来验。2026-07 的这篇论文由 LawZero 自己的作者写成，本刊没有核到第三方的评审或复现。官方 07-02 稿自己写明：这是形式化论证，不是绝对保证；只处理“预测器自己长出隐藏目标”这一类风险，不涵盖蓄意滥用、一次性的诚实错误，也不涵盖建在预测器之上的更大 agent 系统；稿中没有实验结果。官方博客补充说抗越狱“需要更多研究”，设计避免的是“谄媚者”和“阴谋者”，不是“圣人”，因为预测器自己并不关心道德原则。

批评。本刊能找到的公开批评是 LessWrong 上 Matthew Khoriaty 的个人长帖（2026-05-26，作者自注是为一次申请写的，评论区没有 LawZero 人员回复）。两点：一是“成功本身制造同样的风险”，例如被问“怎样治愈癌症”，系统可能给出“去造一个 agent AI”的方案，类比 Yudkowsky 十多年前对“工具型 AI”的批评；二是方法在实践与理论上受限，例如不主动寻求信息会削弱能力，从观察数据推因果模型需要因果假设。这篇早于 07 的形式化论文，所以不能当作对它的反驳；Bengio 在访谈里自己说这个方案不能完全解决“潜在知识引出”问题，因为保证只覆盖可以用自然语言查询的陈述。

可得性。没有模型、没有权重、没有 API，也没有模型卡；开源的是研究代码。Bengio 在访谈里说“未来一两年”要加快工程、拿到算力，没有给发布日期。

钱的状态。政府出资是“计划”，德方部分待欧盟委员会批准；官方稿写“最高 3 亿加元”。

本刊没有核到的有：法人全称、注册地与注册日期；Gates 与 NVIDIA 的金额或规模；柏林办公室的地址和规模；当前员工总数；Hypertec 与 5C 的合同；Scientist AI 的任何训练结果、规模或基准成绩；07 论文的第三方评审。另外，官方新闻稿里有两处页面日期与稿内日期不一致（NVIDIA 稿、Gates 稿），本档案按页面日期写并注明。

同样做安全与监督方向的站内档案见 № 25 Redwood Research。