DeepDive [SIGNAL] · AI 治理观察 · 在线讲解
当规则遭遇能力
AI 治理的五重失效
同一周,五件看似无关的事。每一件背后都不是坏人,而是规则制定者与执行者共同失去了节奏。
文 / 冯小平 · 2026 年 5 月 · xiaopingfeng.com/deepdive
一句话讲完 · The Short Version
规则不少,
是规则追不上。
问题不是条款不够多,是能力扩张的速度让规则永远在追赶
路线图 · 同一周的五起事件
五件事,五重失效
01
NSA 违规使用 Anthropic 限制级模型 — 双层授权失同步
02
Atlassian 悄然开启数据收集 — 用户知情权被条款绕过
03
Notion 邮箱漏洞四年未修 — 披露吞吐跟不上发现速度
04
Claude Desktop 静默注册浏览器权限 — 安装时同意 ≠ 运行时权限
05
Tesla 隐瞒数千起自动驾驶事故 — 监管缺乏独立审计权
FIG 01 · 五起案例 × 五个失效维度
五起案例落在五个互不重合的维度上——不是同一条规则被违反五次,而是五种规则各自失灵一次
主失效取自原文 TL;DR 表的失效类型判定;Tesla 一案原文未展开单独信源核查,仅保留主失效标记
开场坐标 · Key Numbers
先记住三个数字
27 年
Mythos 自主发现的
Linux 内核漏洞潜伏期
4 年
Notion 邮箱漏洞
自 2022 年报告未修
同一套技术,一边几分钟找出数千个漏洞,一边四年修不完一个
§ 01 / NSA · MYTHOS
技术需求,
压倒合规限制
五角大楼把 Anthropic 列入供应链风险黑名单之后,使用规模反而扩大了
失效类型 · 双层授权失同步
合规边界由厂商定,
执法权却在政府
- Axios 报道:NSA 内部广泛使用 Mythos Preview,不仅没收敛,规模还在扩大
- 它能在 Linux 内核中自主发现 27 年未被察觉的安全漏洞
- 面对这样的工具,任何安全官员都很难真正说「不」
- 企业同理:Copilot、Claude Code、Cursor 都曾被禁,也都在默默使用中活了下来
对企业中高管的启示
禁止令很少真正有效,能力评估与受控试点远比硬性封锁更能管理风险——你封不住需求,只能选择是否看得见它。
MIT Technology Review · 人在回路的幻觉
当 AI 决策速度远超人类审批速度,「人类监督」就成了仪式性存在
合规框架假设人类有足够时间介入 —— 这个假设已经失效
§ 02 / 数据主权
你无法控制
你不了解的事情
同一周内,两个完全不同的隐私事件,指向同一个更大的问题
失效类型 · 知情权被绕过 · 披露跟不上发现
两条不同的路径,同一个结果
Atlassian · 默认同意
- Jira 与 Confluence 数据被悄然收集用于训练 AI
- 关闭入口被故意隐藏
- Zoom、Slack、LinkedIn 都走过同一条路
- 因为大部分用户不会采取任何行动
Notion · 四年未修
- 公开页面无需认证即可获取编辑者全名与邮箱
- 2022 年已被报告,四年后仍未修复
- 不是技术无能,是优先级判断
- 大多数受影响用户不知道,也不在乎
刺眼的对照
披露与修复流程的吞吐量,正在成为比漏洞发现能力本身更硬的瓶颈。
FIG 02 · 潜伏期与未修期 · 单位:年
瓶颈已经不在发现端——披露与修复流程的吞吐量,正在成为比漏洞发现能力本身更硬的约束
数字取自原文:Mythos 在 Linux 内核发现 27 年未被察觉的漏洞;Notion 漏洞 2022 年报告,四年后仍未修复
§ 03 / 边界扩张
权限扩张的速度,
超过了审计的速度
AI 工具拿到权限的速度,正在超过企业安全团队理解它的速度
失效类型 · 安装时同意 ≠ 运行时权限
两类新的风险面
Claude Desktop · 静默权限
- 安装时静默注册浏览器 Native Messaging 主机
- 由此获得读取浏览器状态、操作 DOM 的权限
- 意图善意,但全程没有显式提示用户
- 企业 IT 部署时,大概率无人检查过它做了什么
Vercel · 高价值目标
- 确认一起安全事件,部分客户数据受影响
- 攻击经由第三方 AI OAuth 集成的薄弱环节
- 平台上存的不只是代码,还有密钥与生产数据样本
- 任一集成审计不严,就是整个平台的入口
反共识之二 · Consent Is Broken
「同意」这个概念,
已经失效了。
决定数据边界的是软件运行时的实际行为,不是安装时的法律文件
§ 04 / 商业裂缝 · 硬币的另一面
能力展示与商业价值
之间的鸿沟
近 90%
6000 名高管认为 AI 三年
未对生产力产生实质影响
34 亿美元
Uber 的 AI 合作投入
Eats 部门文案被评无效果
- 集成成本 — 没有场景包装与流程嵌入,高管就看不到能力
- 多工具疲劳 — 同时用五种 AI,每一种都显得没什么用
- ROI 不可测 — 大多数企业没有衡量 AI 贡献的数据基础设施
FIG 03 · 投入侧 vs 兑现侧
治理失效讲的是能力跑得太快;这一侧讲的是大多数组织连已有的能力都还没学会怎么用
数字取自原文引用的 Fortune 6000 名高管调查与 Uber AI 合作报道;百格图按原文表述「近 90%」以 90/100 示意
带走的判断框架 · Takeaway
三条比新闻本身
更重要的判断
反共识一
规则不少,是规则追不上 — 不是加条款能解决,是结构性的速度落差
反共识二
「同意」已经失效 — 安装时的条款与运行时热加载的权限之间存在动态缺口
反共识三
披露跟不上发现 — 人工验证的披露流程,成了新的瓶颈
这对谁意味着什么 · What To Do
从五重失效
到一个建议
合规团队
把 AI 工具的运行时权限纳入审计周期:盘点 SaaS 训练数据条款、核对实际系统权限、建立粗糙的 before/after 测量
政策制定者
监管框架从「规则匹配」转向「能力监控」:与其等待完善的框架,不如先建立持续可见性机制
普通用户
你点的「我同意」已经失效 — 装了之后还要持续留意它实际在做什么
FIG 04 · 两种治理回路的结构对比
每秒在变化的能力,无法用每年更新的法条管理——治理可以从组织内部的可见性开始
两条回路依据原文 § 05「从规则匹配转向能力监控」与合规团队三步建议整理,为结构示意,非流程规范
结语 · Read Further
过时的不是规则,
是规则的设计假设
能力变化慢、披露周期长、同意一次有效 —— 三个假设全都已经过时。治理不必等制度完善,它可以从组织内部的可见性开始。
本幻灯片为《当规则遭遇能力:AI 治理的五重失效》配套讲解版 · 数据与事实均出自原文,原文内附一手来源链接
文 / 冯小平 · xiaopingfeng.com/deepdive