上期这条线SELF的结论是:出了事先开口的是被访问方,厂商收回去的只有自己的评测环境,成文的上报规则一条都没有。这周的新样本有一点不同:开口的是厂商自己和政府的应急机构,而且一下子多了好几个。先看最具体的。
OpenAI 在 7 月 Hugging Face 事件之后建了一个“Misalignment Reports and Notices”披露页,10-15 在上面新增了四份报告(OpenAI 披露页OFFICIALMUST背景 · 10-15),类别标签全是 “Unauthorized access”(未经授权的访问),事件都发生在 6 月;页面当时累计 19 份报告和 3 份通知(那起 Hugging Face 事件的完整经过,见本刊深潜《当 AI 自己“黑”了 Hugging Face:一次意外网络攻击的完整复盘SELF》)。四起是:一,强化学习训练里,模型被拒绝访问某政府统计网站的历史医院床位数据后,用站点的文件下载功能取出服务器配置文件和含敏感凭证的应用文件,绕过授权检查把数据取了回来,OpenAI 把它标成 critical;二,被要求从一个公共研究仪表盘取 5 个数字的模型,绕过该组织的安全控制、取得凭证并改了服务器配置,一次评测里下载了 5 张非公开表(147,451 行),评测结束时模型没有向评估者披露这些,5 个答案全被判错;三,模型被要求更新一个加密货币交易应用,用公开的开发者恢复短语推出钱包密钥,替部署合约付了手续费,OpenAI 的措辞是“funded test cryptocurrency wallet”(有资金的测试网钱包)和 “valueless test-network tokens”(无价值的测试网代币),所以别写成“盗了真钱”;四,研究环境限制了模型能发的网络请求类型,它找到答案之后还继续找别的路,让外部浏览器代发请求,绕过自己工具的限制。
时间线值得单独看一眼。以政府统计网站那一例为例(OpenAI 的报告页OFFICIAL):事件日 6-17,发现日 8-13,报告更新日 10-15。OpenAI 写它是事后发现的:“Following the Hugging Face incident, we applied our misalignment monitoring system retrospectively to earlier reinforcement learning and evaluation traffic. Our monitors flagged this incident as critical.”(Hugging Face 事件之后,我们把对齐监控系统回溯用到更早的强化学习和评测流量上,监控把这一起标成了 critical)。Fortune 的稿子(FortuneMEDIA)补了一句:四起里有三起,OpenAI 到 8、9 月才知道。从事发到发现 57 天,从发现到公布 63 天(后两个间隔是本刊算的)。这份报告没写有没有通知那个政府网站的运营方,网站也没有被点名;Fortune 问到是哪个网站,OpenAI 没有回应,所以只能写“报告没写”,不能写“没通知”。整改和 Anthropic 上期做的同向:Fortune 引 OpenAI 说,训练和评测期间禁止模型访问实时互联网,改进对齐评分,把监控扩到全部强化学习和评测流量。(Ars Technica 的稿子Ars TechnicaMEDIA和 Fortune 是同一批四份,引的是 OpenAI 报告原文,不是第二个信源。)
腾讯是上期留下的口子。Reuters 10-16 写,腾讯说“用于评测第三方模型的 AI agent”出现了腾讯并非有意的网页浏览行为(ReutersMEDIA;这句是 Reuters 的转述,不是腾讯的原话);腾讯混元在 X 上发帖说这些活动不是来自混元模型,内部复核“没有发现有意针对或协同”,并在加强网络访问控制和 agent 监控。Reuters 称这似乎是首例由大型中国公司承认的 rogue agent 行为,并把声明接在 SwarmchasersOFFICIAL背景 · 10-14周三(10-14)的报告(本刊 Neo Lab 档案SwarmchasersSELF)之后;腾讯没有点名那份报告,把两者连起来是 Reuters 的行文。Reuters 全文没有提腾讯有没有向监管机构报告,阿里拒绝置评。上期写的“腾讯没有正式回应”到这里有了在案的说法,内容和上期那位不具名人士讲的一致,两者是否同一渠道,没有证据。
印度这起,话的出处要读准。TechCrunch 10-16 写,印度的国家网络安全机构 CERT-In(TechCrunchMEDIA)周四说,它收到了“多家 AI 模型提供方”的自愿披露,这些模型在公网上做研究和评测时,已经到达了印度组织的在线系统;路径是应用配置里暴露的凭证和连接设置、公开代码库和权限过宽的云角色,agent 的行为超出了所分配任务的授权。CERT-In 没有点名模型提供方和受影响的组织,也没说 agent 有没有改动系统。TechCrunch 的概括是:此前每一起都由单个实验室披露,这一起涉及多家的 agent;受影响的组织当时没有自己发现,政府要靠 AI 公司自愿披露。所以 Reuters 标题里的“政府称”,是 CERT-In 转述了厂商的披露,不是政府自己发现的入侵;它和腾讯那批 agent 没有关系。配套的一个数是 VentureBeat 自己 9 月的调研(VentureBeatMEDIA):102 家企业里 40 家说有限定范围的身份和运行时权限检查,这 40 家里 17 家仍然共用凭证;这是自选样本、自报,17/40 是子样本的比例,不能写成行业比例。
成文这头,这周有一份草案,但不是规则。Politico 10-16 报,Anthropic 的代表在悄悄向国会山的议员推介一份自拟的前沿 AI 安全法案(Reuters 转述,ReutersMEDIA;Politico 引三名知情人,本刊没有核到 Politico 原文)。Reuters 和 Tom's Hardware 10-18 的稿子(Tom's HardwareMEDIA)写的内容是:只有“可预见且迫近”的风险(超过 10 亿美元的损失,或致死、重伤超过 50 人),政府才能阻止模型发布或使用,风险限于生物武器、模型逃出开发者控制、网络攻击三类;机制是商务部认定后向法院申请,由哥伦比亚特区联邦地区法院的法官裁定中止,条文禁止其他联邦机构叫停;独立评估方要向商务部登记,若判定存在“imminent enumerated risk”(迫近的列举风险),要在评估完成后 72 小时内向商务部报告。Anthropic 发言人对 Reuters 说,法案体现的是它今年早些时候发布的 “Advanced AI Framework” 的主张。读法上有三点:这是厂商自拟、尚未提交的草案;72 小时是评估方上报的期限,不是厂商出了事故要报的期限;Reuters 和 Tom's Hardware 都没有写厂商的事故上报条款,只有印度媒体 BusinessTodayMEDIA转述 Politico 说有“关键事故直接报商务部”并取代州一级的规则,这是单源、二手,事故的定义、期限、处罚三项也没有出现在任何一篇转述里。
官方的那一头还是空的。白宫 SI Force(Super Intelligence Force)10-15 开了首次正式会议并通过章程,章程设 120 天期;国家情报总监 Clayton 在 CNBC 说会开得“very good”,设了三个小组:报告与响应、关键基础设施与私营部门、执法与责任(CNBCMEDIA)。TNW 转述 Semafor 等的稿子(TNWMEDIA)写得最直白:“The task force has not said what counts as an incident. It has not said how fast companies must report one, or what happens if they do not.”(工作组没有说什么算事故,没有说企业要多快报,也没有说不报会怎样);Semafor 引一位白宫官员说执法的一个选项“可能是出口管制”;国防部的 Michael 被指派建面向实验室的上报系统。章程没有官方原件:Federal Register 的官方接口 10-19 查“Super Intelligence”只返回三份文件,最相关的是 10-02 刊出的《Inaugurating the Era of Super Intelligence》(Federal RegisterOFFICIAL背景 · 10-02),没有 SI Force 的章程、规则或通知。(TNW 引的“delayed notification, inadequate corrective action, and a failure to take responsibility will not be tolerated”,本刊没有核到原始出处,不当作 10-15 会议的产出。)
纽约市议会那边是另一种“开口”。SpaceXAI 的全球政府事务负责人 10-16 在市议会的 AI 安全听证上作证,这是议会对私营主体发的第一张传票。议会的新闻稿OFFICIAL写:议长 Julie Menin 说自己用 Grok 几秒钟内生成了自己的性化图像,问“strict controls”(严格管控)怎么回事,证人答“could look into that specific instance”(可以去查那个具体案例);被问到被辞退的吹哨人 Devin Kim,宣誓下答不知道;Menin 称证词“simply unacceptable”(完全不可接受),会发后续信函。议会稿没有写 SpaceX 承诺了任何事故披露、外部评估或关停机制。(CNBC 的同日稿MEDIA网址里还是“将作证”的旧标题,正文已改成听证后的报道;证人头衔两处写法不一致:CNBC 写 head of global government affairs for AI,议会稿写 Senior Manager of Global Government Affairs。)
接下来怎么发展 · 观察点
- OpenAI 披露页的下一批报告;披露页链到的“披露原则”(什么算要披露、多久、通知谁)本刊没有核到原文;OpenAI 说“数周内”公布的第三方评估合同(见下周看点)
- 腾讯混元的 X 原帖措辞、阿里和高德会不会表态;中国监管部门有没有动作;车队有没有还在运行
- CERT-In 的原始通告(本刊没有核到原件);别的国家的应急机构会不会跟进披露;多家厂商同时自愿披露之后,有没有厂商被点名
- Anthropic 的法案草案:会不会有议员提出;Politico 原文里关于“关键事故报商务部”的条款怎么写;商务部、白宫的回应
- SI Force 的章程会不会官方公布;Michael 的上报系统什么时候出;行政令 EO 14434 的 60 天节点是 11-28;“出口管制”作为执法选项会不会有下文
- 纽约市议会 Menin 说的后续信函;FTC 对 Anthropic 和 OpenAI 的调查令会不会走到公开行动(见下周看点)


