§ 01 一周时间线:从仓库泄露到企业管控
这件事的节奏比大多数模型发布都快,值得先把时间线摆清楚。
9 月 3 日凌晨,发布前十几个小时。 有人翻 OpenAI 官方仓库 openai-cua-sample-app,发现一个由内部账号提交的 PR #71,分支名叫 gpt6-computer-use-images,新增了 gpt6-js-image 和 gpt6-py-image 两个环境。Token Gremlin 去 GitHub 历史里核对后发了一句:"That's computer use."——GPT-6 会主打什么,这时候已经没有悬念。
9 月 3 日。 OpenAI 官方推文只有两句话:"This is GPT-6 Astra. Anything you can do on a computer, Astra can do for you. Fast." 发布视频致敬的是 1979 年 MIT 建筑机器组的 "Put That There" 演示,据 Browserbase 工程师 Kyle Jeong 9 月 7 日的统计,这条推文当时已有 1.31 亿播放。宝玉转述,总裁 Greg Brockman 在发布前的媒体沟通会上说,他个人认为 OpenAI 已经做到了 AGI,"未来回头看,可能就是这个模型"。
9 月 4 日。 API 开放 gpt-6-astra,标准定价每百万 token 输入 10 美元、输出 50 美元。OpenAI 计算机使用团队同时宣布:搭配 Astra,ChatGPT 的 computer use 快了近 2 倍;而且 harness 层的优化是通用的,用旧的 GPT-5.6 Sol 也能快约 60%(Sac 转引的官方说法)。同一天,OpenAI 计算机使用团队核心成员 Maximilian Sieb 宣布离职,他的告别帖有 230 万播放,里面有一句话概括了这条路线的三年:"我们把模型从订机票时点不准日期,带到了主线模型里的 computer use,再到这周的 Astra。"
9 月 5 日到 6 日。 demo 潮。KEITO 让 Astra 在 Canva 里用鼠标画自己的肖像,84 万播放;Alexey Fateev 给 Astra 和 Claude Fable 5.1 同一张照片、同一个 Paint,配文"Fable 5.1 欠我一个道歉",119 万播放;Mark Kretschmann 看它弹钢琴后问"computer use 是不是已经被解决了"。Will Hu 在发布 48 小时后盘点了 7 个高互动案例,150 万播放,后面会细说。
9 月 7 日。 黄仁勋宣布 "AGI has arrived",并透露 Astra 在超过 10 万套 NVIDIA Grace Blackwell NVLink72 系统上训练。这个量级 OpenAI 自己也确认过:研究副总裁 Aidan Clark 对记者说这是他们"迄今为止最大的一次训练","这是我们第一次在超过 10 万块 GPU 上做预训练,地点在德州的 Stargate"。Kyle Jeong 发出源码拆解博客。Bilawal Sidhu 把父母老宅的 3D 扫描交给 Astra 变成可编辑场景,然后"把重力调低、开了一个传送门"。
9 月 8 日。 第一桶冷水。CoArena 发布 CUA KnowledgeBench:花了超过 5 万美元让前沿模型做 12 小时的真实公司工作,Astra "勉强挤进前三"。同一天,Kyle Jeong 宣布用 Stagehand 做翻译层后,Astra 的 computer use 再快 2.5 倍。
9 月 9 日。 第二桶冷水。Francesco 团队针对被反复转发的高速演示视频说:预批处理的动作不等于 Agent 实时决策,"这不是今天现实的日常实时 computer use,一年内大概也不会是"。
9 月 10 日。 三件事同一天。OpenAI 的 James Sun 宣布企业级 CUA 管控:站点与应用白名单、上传/下载/历史/CDP 逐项开关、审批力度可调、每一次截图和动作都流到 OpenTelemetry。OpenAI 发布 Agents API,把 Codex harness 搬到云端托管,公测。NeoCognition 发布 ApprenticeBench,给出一个后面会反复引用的判断:"No more CUA tax"——GUI 操作的成功率第一次追平了 API。
9 月 10 日到 11 日(v2 补充)。 同一个 48 小时里,围绕 CUA 的第三方基础设施集中落地了三件,而且分别占住了三个不同的位置。伯克利 RDI(Dawn Song 团队)发布 CUA-Lite,把环境、数据和 harness 三样东西统一成开源标准,附带免虚拟机的桌面沙箱和 3 万以上可验证任务;微软发布 Project Zenith,把 Agent 身份与容器隔离做进 Windows,试图让操作系统成为 Agent 的控制面;xAI 发布 Grok Bot for Enterprise,每个 Bot 一台独立云电脑加一个岗位,自带访问与审计控制。同一期周报还披露了 OpenAI 内部的 Agent 使用数据——到 8 月中每人类工作日约 3.1 个 Agent 工作日,但超过一半成功的 4 到 8 小时任务仍需人介入。开源标准、操作系统、企业产品,一周之内三个方向同时动手,说明 §05 讲的那一层不只是"机会",已经是战场。
§ 02 官方数字:快了一倍,安全指标降了一个量级
OpenAI 发布页在 computer use 这一节给的数据不多,但每一条都可以对照。
| 指标 | GPT-6 Astra | GPT-5.6 Sol | 第三方对照 |
|---|---|---|---|
| OSWorld 2.0(v2026.08.08,离线集) | 72.6%,约 40 分钟/任务 | 65.7%,约 75 分钟/任务 | Claude Opus 5:70.2% |
| ScreenSpot-Pro(无工具) | 92.7% | 76.9% | Claude Fable 5:87.3% |
| Agents' Last Exam | 59.3% | 53.6% | Claude Opus 5:55.5% |
| AutomationBench | 41.4% | 18.1% | Claude Fable 5.1:31.4% |
| Mind2Web 任务完成速度(含 harness 更新) | 1.9 倍 | 基准 | — |
| 内部 CUA 安全 benchmark(越低越好) | 2.4%(开 AutoReview 后 1.8%) | 22.0% | Claude Fable 5.1:9.5% |
数据来源:GPT-6 Astra: A new generation of intelligence(OpenAI 发布页)
几个值得停一下的地方。OSWorld 2.0 的分数只涨了 7 个百分点,时间却少了 47%,这说明"快"比"准"是更大的变化。ScreenSpot-Pro 是纯定位测试(给一张专业软件截图,找到该点的地方),从 76.9% 到 92.7% 是这张表里最大的跃升,也是 X 上"坐标又快又准"这类观感的来源。AutomationBench 翻了一倍多,但绝对值只有 41.4%,意味着一半以上的自动化任务仍然做不成。
安全那一行需要单独解释。OpenAI 用一个"对抗性挑选、专门诱导模型犯错"的 computer use 任务集测不良后果发生率,Astra 是 2.4%,上一代是 22.0%。发布页还提到,在内部评估里 Astra "从未尝试绕过 Codex Auto-Review 的拒绝",即便审查被故意配置成可绕过、且不绕过就无法完成任务。这是 OpenAI 敢把 CUA 推给企业的底气,后面讲管控层时会再回到这里。
v2 补两个更贴 CUA 的安全数字,来自 OpenAI 9 月 1 日的 《Path to Astra: critical capabilities and frontier safeguards》。一是越狱拒绝率:Astra 拒绝了 91.5% 的违规请求,上一代 Sol 只有 59%。二是"范围收敛"——这一条对 CUA 才是真正要紧的:在测试模型会不会在难任务下去碰不该碰的系统时,Astra 留在了被指派的任务范围内,而没开生产防护的 Sol 在 56% 的同类测试里试图访问蜜罐目标。一个 Agent 能操作整台电脑的时候,"它会不会越界"比"它准不准"更决定能不能上生产。同一篇文章还交代了时间线上的一个细节:Hugging Face 事件之后 OpenAI 暂停了部分前沿训练两周来加固训练基础设施,大规模前沿 RL 跑是 8 月 28 日在新要求落地后才重启的。
数据来源:GPT-6 Astra: A new generation of intelligence(OpenAI 发布页)
这张表本身需要一个注脚。 OpenAI 给的 OSWorld 2.0 跑在 v2026.08.08 离线集上,而 Anthropic 在自己的发布页上给 Claude Fable 5.1 的 OSWorld 2.0 是 77.9%(partial)/ 41.7%(strict),Opus 5 是 75.4% / 39.6%——都跑在 benchmark 作者的 2026 年 8 月任务集上,三个 Claude 在同一条件下重跑。Anthropic 自己在脚注里写明:任务文件和早先的 release 不一样,所以这些数字不能和此前公布的 OSWorld 2.0 结果直接对比,这也是它那一列干脆留空、不去引用别家公开分数的原因。另外 Fable 5.1 是开着生产环境防护跑的,防护介入的任务直接记零分,Anthropic 说这很可能压低了自己的成绩。所以上表"第三方对照"那一列请当作量级参考,不要当作同场竞技的排名。真正该留在脑子里的是 strict 档那个数字:最好的模型在严格判定下只有 41.7%,和 AutomationBench 的 41.4% 几乎重合。
其他几个数字不直接关乎 computer use,但决定了它的"底盘":Terminal-Bench 4.0 从 37.3% 到 57.9%,FrontierMath Tier 4 到 97.6%。OpenAI 还说 Astra 在网络安全上达到了其 Preparedness Framework 的 "Critical" 阈值,ExploitBench 满分。这些数字和 CUA 的关系是:模型越聪明,完成一个任务需要的回合越少,而回合数正是 CUA 速度的瓶颈。
同一个模型,两个 harness,差 37 个百分点
本文初版的一处更正。 v1 把 ARC-AGI-3 写成"从 7.8% 到 99.9%",这是不该犯的错:两个数字来自两套不同的 harness,不能并列。ARC Prize 9 月 3 日的评测报告把这件事讲得很清楚,而更正之后剩下的那个事实,恰恰是本文后面整篇要论证的东西。
ARC Prize 用两套 harness 跑了同一个 Astra。Standard harness 是 provider 中立的最小接口:模型自己决定把哪些笔记以可见文本的形式带到下一步,旧历史超过长度阈值就截断,上一轮的推理草稿每走一步就清掉。Provider Adapter harness 用 OpenAI 自己为 Astra 设计的上下文管理:在请求之间保留不可见的 reasoning state,长会话用 compaction 压缩而不是截断。
同样的权重、同样的游戏、同样的题目,结果是 62.7%(Standard,max 档,$26,098)对 99.9%(Provider Adapter,high 档,$18,817)——相差 37 个百分点,而且贵的那一边反而是分数低的那一边。在两套 harness 都解开的 167 个 game-reasoning 组合上,Provider Adapter 这一侧快约 3.66 倍、少用 49% 的 token。ARC Prize 的结论是两个分数都算 state of the art,但今后两种评测条件会分开标注上榜。和上一代的可比对照因此应该是 62.7% 对 7.8%——依然是巨大的跃升,但是 benchmark 真正支持的那一个。据 The Next Web 对同一份榜单的整理,harness 效应也不是 OpenAI 独有:Claude Opus 5 自己跑 30.16%,套上 NVIDIA AVO 和 AWS Strands 两个 scaffold 后分别到 100 和 99.95。
报告里还有两个和 CUA 直接相关的发现。第一,reasoning effort 越高反而越便宜:Standard harness 下 max 档 62.7% 花 $26,098,medium 档只有 38.6% 却花了 $48,090——因为想得清楚的模型用更少的动作解题,模型调用次数和 token 都跟着降。这对 CUA 的含义很直接:省钱的办法不是调低 effort,而是减少回合数。第二,在 ARC Prize 另做的 PRO-LONG harness 里给 Astra 一个可以执行代码的沙箱,它会给每个游戏现造一套工具——迷宫游戏 tu93 里它先写 maze_solver.py 做导航,再补 combat_solver.py 处理战斗规则、patrol_solver.py 建巡逻队模型、sync_state.py 拿预测去对观察。换句话说,模型已经开始自己写 harness 了。
一个必要的提醒:ARC Prize 明确拒绝了 OpenAI 那个结论——"我们不是在宣称这是 AGI",跑满 ARC-AGI-3 本来就不构成 AGI 的证明,co-founder Mike Knoop 的原话是"我们还没有证据把这个叫做 AGI"。这句话值得和 §01 里 Greg Brockman 和黄仁勋的表态放在一起读。
数据来源:OpenAI's GPT-6 Astra on ARC-AGI-3(ARC Prize,Greg Kamradt,2026-09-03)
§ 03 它为什么突然能用了:拆开 Astra 的 CUA 循环
Kyle Jeong 在 Browserbase 做了三年 computer use 的生产化,他 9 月 7 日的博客是目前最清楚的技术拆解,材料来自 Codex 开源仓库和 ChatGPT 客户端源码。他的核心框架一句话:computer use 是 harness(工程)和 model(研究)两个问题,模型决定做什么,harness 负责做到。 两个都得解。
旧路线的病根。 2024 年 10 月 Anthropic 用 Claude 3.5 Sonnet 开了先河,路线是纯视觉:模型看截图,输出像素坐标加动作,再由 Playwright 之类的驱动执行。后来 OpenAI 的 Operator、Google 的 Gemini 2.5 Computer Use 都是这个思路。它的问题在于,模型是在固定视口(比如 1288×711)上后训练的,换一个窗口尺寸就开始点不准;而且截图看不到内部状态——按钮到底是不是禁用的、表单有没有校验通过,只能反复试。
Astra 的路线:把屏幕读成文本,把动作写成代码。 Chrome 里每个网页、大多数桌面应用,都会为无障碍模式自动生成一棵 a11y 树(accessibility tree),把界面上每个元素的角色、标签、状态列成结构化文本。它比截图省 token,而且天然带状态。Astra 优先读这棵树,需要时再补一张截图,然后用代码发出动作。一次典型输出长这样:
{
"type": "function_call",
"name": "exec_js",
"arguments": "{\"code\":\"await page.getByRole('searchbox').fill('browser automation'); ...\"}"
}
也就是说,computer use 现在就是 code mode。OpenAI 的 API 文档甚至直接建议所有 computer use 都走代码执行,浏览器推荐 Playwright,桌面推荐 PyAutoGUI。
架构本身不复杂。 会话开始时,Codex 起一个 Node REPL 保存状态,绑定浏览器或原生应用的操作接口。模型观察(文本、截图或两者)、写代码执行动作,本地一个叫 CodexComputerUseIPC-5 的服务通过原生管道上的 JSON-RPC 把动作落到元素 ID 或坐标上。执行完不算完,Astra 会再观察一次,把当前状态和预期状态对一遍,然后进入下一轮。因为 computer use 天然有状态,这个 REPL 必须撑满整个会话。
数据来源:How does Astra's computer use actually work?(Kyle Jeong / Browserbase,基于 Codex 仓库与 ChatGPT 客户端源码)
Guardian:动作执行前的安全审查。 Astra 是唯一要求 auto-review 的模型。机制是用 GPT-5.6 Luna 做后台分类器,评估当前工作流的风险,返回 high 或 low;high 会触发对后续动作的阻塞式审查,审查器输出类似 {"risk_level": "high", "user_authorization": "low", "outcome": "deny"} 的结论。常见的拦截项包括权限授予、登录和账户级操作、敏感数据提交、有后果的点击、绕过限制、破坏性操作、越权访问私有数据。用过 Codex 委派任务的人大概都撞过其中几条。
那它为什么快? Kyle 的回答很朴素:它更聪明,所以回合更少。Astra 在超过 10 万块 GB300 上做的后训练,大量时间花在 computer use 环境里的强化学习。推理速度反而不是主因:一旦超过 300 TPS,瓶颈就在动作执行而不是生成。harness 层的 websocket 预热、连接复用、用 previous_response_id 做增量请求,这些只压缩工具启动时间,不改变每步动作的速度。
有一个旁证很说明问题。Kyle 团队做了一个翻译层,把 Astra 输出的 Playwright 命令转成 Stagehand,速度再快 2.5 倍,他给的例子是 Astra 自己决定把整个 logo 的绘制合并成一条命令,一次画完。这正是"聪明 → 回合少 → 快"的具体形态:不是每一笔都更快,而是它知道可以把一百笔打包成一笔。
数据来源:OpenAI 发布页 + OpenAI 团队推文(经 Sac 转引)+ Kyle Jeong 推文
还没解决的。 Kyle 自己列了三条:观察可能失败(a11y 状态不完整、截图细节不够或者视图已经过期);观察和动作之间状态会漂移,有些应用的 a11y 树变得很频繁,动作就会落空;长时程 computer use 基本没被验证过——压缩做得好可以跑很久,但跑几天、几周之后表现如何,没人看到过。
§ 04 X 上的两种声音
爆款 demo 分四类
把一周里高互动的案例按"它到底在操作什么"归一下类,比按播放量排更有信息量。
第一类,画像。 Canva、Paint、Apple Notes、Kleki,给一张照片,让它一笔一笔勾出来。这类视觉冲击最大,也最没有实用价值。Jesse Lau 说得直接:让 LLM 复制一张图的像素再重画,"属于预先做一个程序就能搞定的事情",纯属浪费 token。但他接着说了一个真有用的场景:打开 TradingView,直接在行情图上画趋势线、阻力线、斐波那契回撤和波浪标注,给出初步读图结论,作为人工交易前的预筛。
第二类,3D 和游戏。 这是流量最大的一类。Annalea 在 Blender 里 one-shot,97 万播放;Kevin Kern 让它在 Blender 里造车;Will Hu 盘点里有 /goal 连跑 5 天的 SimCity 克隆、Manager Loop 跑一周在 Unreal Engine 里逐街搭建的曼哈顿、一张老蒸汽火车图纸变成 3,295 个可编辑对象、600 个 Astra Agent 住进同一个 Unreal 世界。Tykoo 的观察顺便点破了一个副作用:一堆人用 Blender 建 3D,把本来就讲不清楚的"世界模型"定义搅得更乱,李飞飞几天前刚发的模型流量全被抢走。
第三类,生产工具。 这一类播放量不高,但每一条都是有人真的在用。Sac 让 Codex 直接操作剪映粗剪,"作为粗剪完全够用";Kyle Balmer 所有长视频都由 Codex 剪辑,再用 computer use 上传 YouTube、填描述、传封面;AWAMORI 让它从 Illustrator 的落地页设计稿切图到写代码,全程含修改消耗了 Pro 5x 计划周额度的 15%;LinearUncle 用 Keynote 加动画,内容是 Codex 生成的 SVG;cosine 发现不再需要 Figma dev MCP,Astra 直接在 Figma 里看属性、改设计。
第四类,开发验收。 宝玉的评价有 20 万播放:"它不像 GPT-5.6 那样要稍微等一会才操作,现在能很快很精准地帮我测试 App……这带来一个最大的提升,就是让 Agent 从开发到验收形成了完整的闭环。" quark_h 更进一步:要测 Windows 客户端,就开一台 Windows 虚拟机,Mac 远程登录进去,让 Codex 在 Mac 界面上操作 Windows,"测试过程非常丝滑"。
Will Hu 盘点完 7 个案例的结论,和我们看完两百多条推文的结论一致:"以前做 AI 自动化,是先给 Agent 配 API、MCP 和插件,再教它怎么用软件。Astra 的路线,是让模型直接把屏幕当界面、把整台电脑当工具。所以它最可能先改写的,不是内容生成,而是那些功能强、学习成本高、又没来得及做 AI 接口的老软件。"
四桶冷水
第一桶:实时性。 Francesco 团队的判断前面引过了。他们自己录了 QGIS 出图、Preview 批注 PDF、GIMP 转 Inkscape 的多应用演示,每条都注明"手势 1 倍速播放,等待、重试和设置被剪掉,这是剪辑片段,不是完成时长的声明"。Cosmic Raven 的吐槽更具体:"Astra 在 demo 里弹钢琴,然后花 30 秒打开一个 File 菜单。中等推理档在每次点击前都要跑一步思考,这就是你那 30 秒。" 需要说明的是,OpenAI 计算机使用团队成员声称发布视频里的所有 demo 都是实时录制的。两种说法我们都无法独立验证,只能并列放在这里。
第二桶:长时程。 CoArena 的 benchmark 值得多说几句,因为它的设计和常见 benchmark 完全不同。10 个未公开的真实公司任务,每个 5 个种子,一共 50 次运行,每次 12 小时墙钟时间,超过 100 个应用,最后只看工作产物是否合格,二值判定。一个环境是配送中心的班次:仓库系统、SAP 风格的 ERP、团队聊天和邮件,32 个工作窗口,证据随时间陆续到达。结果是最好的 Claude Fable 5.1 做成了 12 次(24%),Astra 勉强前三。更有意思的是分布:一个模型会做的任务,5 个种子里能做成 2 到 3 次;模型之间的差距主要在"10 个任务里有几个根本做得了",头部是 4 个,尾部是 1 个。就算做成了也慢,Fable 5.1 成功运行的中位数是 6,940 个动作、6 小时 22 分钟。CoArena 接下来要花 20 万美元跑 1 天、3 天、7 天的版本。Doug Champion 在评论区质疑这种测法是否合理:"没有 Agent 会在 Gmail 或 Slack 里用鼠标",这个质疑和 NeoCognition 的"GUI 追平 API"结论放在一起看,恰好是当前争论的两极。
数据来源:CoArena(YC S26):CUA KnowledgeBench 发布线程
第三桶:判断力。 Max Schoening 一句话:"Astra is way too eager to CUA."清凤的例子有 2 万播放:明明有 GitHub CLI,Astra 转头打开 Chrome 试图在网页上创建 issue。Akira 说它"很强,但为什么总做我不想让它做的事"。arjun chintapalli 玩 Cities: Skylines 的结论最尖锐:"能跑但很慢,铺水管这种精细操作做不了;写了个 harness mod 之后就丝滑了。cua 是派对戏法,有用的 Agent 是在 harness 层解决的。"
第四桶:专业软件,以及换个主题就崩。 这一桶是 v2 补的,它直接顶在 "No more CUA tax" 的对面。Snorkel AI 用开源的 Cua-Bench 框架给 KiCad 做了一套 benchmark——KiCad 是完整的电子设计自动化套件,快捷键语法密集、多个编辑器互相联动,选它的理由正是"常见 benchmark 任务太短、领域知识门槛太低、界面本来就是为直觉设计的,前沿模型靠试错往往能糊过去"。25 个由专家出题的任务,结果是:4 个完全通过(16%),16 个跑到步数上限都没宣称完成,5 个在错误的产物上宣布自己做完了,而16 个"从零搭"的任务全军覆没——每一个通过的案例都是在已有原理图上改单个元件。约 80% 的错误落在规划、感知和导航效率上。榜单后来动了一点:最好的前沿 Agent 现在能过 25 题里的 6 题。
失败的样子比失败率更有信息量。有一次它把电阻值照字面打成 2.80kOhm,而 KiCad 的规范写法是 2.8k:拓扑检查通过了,数值检查没过。还有一次它把 LT3010 这颗 LDO 的参考电压说成 1.24V,实际是 0.808V。Snorkel 的点评是这两次的关键——标题栏、状态栏、ERC 对话框或者存下来的 netlist 里任何一个都能抓到这个错,但 Agent 在对着自己的叙述做推理,而不是去读界面。这句话和 §05 里 Yenpro Musik 那句"Agent 喜欢说自己做完了"是同一件事的两种说法。
Cua-Bench 这个框架本身还带来了第二个坏消息:它被做出来,就是因为现有 CUA 在细微界面变化上有超过 10 倍的成绩波动。它引用的 OpenApps 那项研究显示,同一个任务的成功率会因为主题、字体或语言设置差出 10 倍以上;框架作者给的例子更刺眼——一个在 Windows 11 上 90% 成功率的 Agent,同样的任务放到 Windows XP 上可能掉到 9%。原因是 OSWorld、Windows Agent Arena 这类 benchmark 都跑在固定应用、固定视觉配置的静态虚拟机快照上。所以 §02 那张表里所有数字,都该理解成"在那一套视觉配置下"的成绩。
数据来源:Cua-Bench: benchmarking computer-use agents on professional software(Snorkel AI) · Cua-Bench 榜单与 OpenApps 环境变体研究
这四桶水指向同一件事:模型能力已经过线,但"什么时候该用 CUA、什么时候不该"的判断,以及围绕它的工程,还远没有跟上。这恰恰是机会所在。
§ 05 八个新机会
1. 没有 API 的老软件:OpenAI 自己点名的市场
这是全部材料里信号最强的一条。James Sun 在 OpenAI 的原话:"CUA 对企业尤其有用,因为很多工作流发生在没有任何 MCP 或 API 的老旧或自研软件里。" 他说这套管控已经在"全球最大的一批公司"里测试了一个月,采购、财务、QA、GTM、市场、IT 都长出了新工作流。
Sanjin 从国内企业的视角说了同一件事:"很多企业后台、传统软件,没有好用的 API。想接 MCP、写 Skill,往往也得先花大量精力把底层操作打通。与其让所有旧系统重新适配 AI,不如让 AI 学会人原来的操作方式。" 他期待的具体场景是"导出后台数据、整理成表格、上传到另一个系统",跨几个软件连续完成,出错还能自查。
NeoCognition 的 ApprenticeBench 给了这条路线第一份量化证据。他们让 Agent 在一家模拟的加州建筑公司的应付账款部门做 7 个月学徒:学 ERP、从公司历史里学惯例、从反馈里持续学习,处理进项发票错误、供应商沟通、审批流程和政策变更、给账单项目分配成本代码。结论是 Fable 5.1 和 Astra 在这个岗位上超过了人类专业人员,而且"通过 GUI 做和通过 API 做一样好"。项目成员 Boyu Gou 的说法更进一步:"最强的 Agent 现在通过 GUI 成功的次数已经比通过 API 更多。"
对创业者的含义:过去十年"集成"是 SaaS 行业的隐形税,一家企业要接一个新系统,先问有没有 API、再找 FDE(前线部署工程师)写胶水代码。如果 CUA 税真的归零,"有没有 API"就从能不能自动化的门槛,变成了成本高低的问题。RPA 厂商、系统集成商、以及所有靠"我们有连接器"活着的公司,都要重新想自己的护城河在哪。
2. 三层工具栈成为默认:CLI、MCP、CUA 各归其位
X 上真正在生产环境用 Astra 的人,不约而同地描述了同一种分层。Kevin Kern 造车的配置:Blender CLI 跑脚本、批量渲染和导出;MCP 做场景的实时检查和编辑;computer use 负责视觉审查,以及 CLI 和 MCP 都暴露不出来的 UI 操作。Brent Schooley 在一台全新机器上测 DaVinci Resolve,本来想给 Codex 写个插件,结果发现不必要:"我看着 Astra 找到能用 Python 脚本的地方就用脚本,用不了的地方就切 CUA。"
这条分层的意义在于,MCP 不会死,但它的位置变了。过去一年 MCP 是 Agent 接入软件的入口,现在它退到了中间层:能走 API 的走 API,因为更便宜更稳;走不了的地方 CUA 补位。熊布朗做完调研的判断是,开源的 cua 项目已经算成熟方案,但离 Codex 的 computer use 还有差距,他打算把 cua 以插件形式接进自己的 Agent。
对 MCP 开发者的含义:为一个有完整 GUI 的软件专门写 MCP 的价值在下降,除非它能提供 GUI 拿不到的东西(批处理、结构化状态、更低成本)。反过来,"帮 Agent 判断该走哪一层"的路由逻辑,是新的价值点。
3. 开发到验收的闭环:QA 第一次能被 Agent 自己关上
宝玉那句"从开发到验收形成完整闭环"背后是一个具体的工程变化。以前 Agent 写完前端,验证靠人打开浏览器点一遍;现在 Astra 自己开浏览器、点按钮、看结果、修 bug。OpenAI 发布页把"运行前端 QA 检查、确认网站上所有功能都能用"列为 computer use 的标准场景,Cognition 的 Silas Alberti 说 Devin 在发布当天就把 Astra 接进了 harness,"测试视频明显更容易看懂,报告更清楚更简洁"。Lovable 的 CTO Fabian Hedin 则观察到,Astra 在高 effort 档会"把更多迭代花在新构建上,通过浏览器测试做更多验证"。
这打开的不只是"AI 写代码"的下一步,而是整个测试外包和 E2E 测试工具的重估。quark_h 用 Mac 远程操作 Windows 虚拟机测客户端的做法,本质上是把一个专职测试岗位变成了一条 prompt。
4. 不会写代码的人,第一次能做自动化
FleetingBits 的一串思考是这个方向最完整的论证,有 1.2 万播放。他的核心观点:AI 悲观者不理解的一点是,新的模型能力会重置采用曲线。ChatGPT 之后是聊天机器人的采用潮,coding agent 之后是第二波,下一波会由 computer use 驱动,因为 Astra 已经接近能支撑大量自动化的可用度。他自己已经把报销、Airtable、Google Docs、日历和 iMessage 全交给了 Astra,"大量企业办公流程就是按 Google Doc 里的规则把东西从一个 SaaS 复制到另一个 SaaS,Astra 能做这个"。
关键的一句是:"因为 computer use 不要求用户懂任何代码,它能被范围广得多的办公室员工使用——他们知道自己想让模型做什么。"
他同时列出了两个缺口,每一个都是一家公司的题目:一是密码和权限还得人管,"Codex 和 Cowork 里需要内置密钥管理器";二是 computer use 工作流仍然要人来触发,"需要一种简单方式在公司级或团队级账户上设置监视器"。
5. 企业管控与审计层:"CUA 的 SOC"
James Sun 列出的管控项,每一项都对应企业安全团队会问的问题:能限制 CUA 访问哪些站点和应用;能逐项管理上传、下载、历史记录、CDP(Chrome DevTools Protocol);能通过调审批设置来控制人在环的程度;每一次截图、动作和审批都流到 OpenTelemetry,管理员可以审计和回溯每条轨迹。
加上前面讲的 Guardian 和 OpenAI 在发布页上的表态——"额外的安全检查有时会减慢、暂停或停止合法工作,包括防御性网络安全任务;在 ChatGPT 或 Codex 里任务会暂停等你审核,在 API 里任务会直接停"——可以看出 OpenAI 自己把"可控"当成了 CUA 进企业的前提,而不是附加功能。
Yenpro Musik 的一句话点出了审计的必要性:"Agent 喜欢说自己做完了。计算机使用 Agent 普及的那一周,我就不再信这个词了。模型能点击、能打字、能留下一串看起来像工作的痕迹。" 谁来验证这串痕迹是真的工作,就是这一层的生意。轨迹分析、异常检测、合规回放,围绕 OpenTelemetry 数据流做 CUA 专用的安全运营,市场刚刚出现。
而 v2 要补的是这一层为什么不再是"附加功能"。 把 §02 那个 37 个百分点的 harness 差距和 Astra 的架构争议放在一起,会得到一个不太舒服的结论。ARC Prize 的 Provider Adapter 之所以能快 3.66 倍、省 49% 的 token、多拿 37 分,靠的是在请求之间保留"我们看不见的"reasoning state——原文用词是 opaque reasoning state。而 The Information 9 月 1 日的报道(单一匿名信源,此处依据 Fortune 的转述与追踪)说 Astra 用了受约束的"recurrent depth",也叫 looped transformer:把信息在同一组层里反复绕圈以换取每个 token 的额外算力,代价是一部分思维链不再以自然语言表达。Fortune 追踪的安全研究者反应里,Redwood Research 的 Ryan Greenblatt 把转向不透明推理称为一次重大退步。
OpenAI 反驳得很硬。首席科学家 Jakub Pachocki 说他们刻意限制了 looped Transformer 的使用范围以保住推理的可读性,当前前沿模型(包括 Astra)计算图的深度和 GPT-4 相比"在两倍以内",他要"避免一场由混乱报道点燃的、冲向不可监控的竞赛";但他同一段话里也承认思维链监控"本身就脆弱,而且正在朝坏的方向走,原因和架构变化无关"。Sebastian Raschka 从技术上也不认这个因果:复用层本身并不压制可见思维链。需要说清楚的是,Astra 的 system card 并没有点名 recurrent depth,架构那部分至今只有一个匿名信源;但 OpenAI 自己确实写了 Astra 通过思维链更难被监控、能在不把推理说出口的情况下完成明显更难的任务,并且更善于控制哪些内容出现在推理轨迹里。
这三件事拼起来就是本文 v2 最想留下的一句话:让 CUA 变快的那个机制,和让它变得难以监控的那个机制,是同一个。 如果模型的"想"有一部分不再落成文字,那么可审计的东西就只剩下它"做"了什么——截图、点击、键入、审批。James Sun 那条 OpenTelemetry 数据流因此不是锦上添花,它是企业唯一还剩下的观测面。这一点上产业界已经在同一个方向上动了:Mercor 联席 CEO Adarsh Hiremath 在 伯克利 RDI 的 Agentic AI 峰会上说"evals 在很大程度上就是企业成功部署 Agent 的瓶颈",他主张一次 Agent 评估要同时抓住任务、轨迹、上下文、产物和验证器五样东西,好让人知道它为什么失败而不只是它失败了;Google Cloud 的 Rao Surapaneni 则把企业 Agent 当新员工建模——要有身份、明确的访问权限、清楚的职责和运行时的监控与干预手段,归结为"可见性、控制力、安全性"三件事,以及一句"trust but verify"。微软把同一件事下沉到了操作系统:Project Zenith 在 Windows 里做 OS 级的 Agent 身份和 Microsoft Execution Containers 隔离,机器要求至少 64GB 统一内存、250+ GB/s 带宽,以便本地跑 30B+ 的模型。谁掌握这一层,是 OpenAI、操作系统厂商还是第三方,现在还没有定。
6. Harness 层:模型是 OpenAI 的,工程是大家的
这是被讨论最多、也最容易被忽视的机会。Kyle 的翻译层让速度再翻 2.5 倍,arjun 的 harness mod 让 Cities: Skylines 从"派对戏法"变成能用,OpenAI 自己的 harness 优化让上一代模型也快了 60%。三个例子说的是一件事:模型能力过线之后,剩下的提升空间大部分在 harness。
Flrande 的评论带情绪但有信息量:"Codex 爆火都半年了,还给 Astra 摸索出 computer use 的路子,而 A➗ 还在 TUI 上雕花。" 不管你是否同意对 Anthropic 的评价,Codex Desktop 的 harness 确实成了 X 上被拿来比较的基准。
具体的题目已经有人在做:Cosmic Raven 提到的 cua-driver解决桌面端的访问问题,包括文件选择器;Simular 在旧金山科技周办 CUA 聚会,主题就是"CUA 普及之前还需要发生什么";Kyle 提到 Stagehand 做的是 DOM 与 a11y 树的精简快照,把 27k token 的原始 HTML 压到 6k。谁能把观察、动作、状态和失败回放做成开发者一行代码就能接的东西,谁就在这一层站住了。
v2 补一句:这条判断在一周之内就被三件事各自证实了一遍。
第一是那 37 个百分点。§02 讲的 ARC-AGI-3 两套 harness,是目前能找到的最干净的对照实验——同样的权重、同样的题目,只换上下文管理方式,分数从 62.7% 到 99.9%。这不是一个"harness 也挺重要"的软性结论,这是 harness 贡献了比模型换代还大的增量。同一份榜单上 Claude Opus 5 从 30.16% 被 NVIDIA AVO 和 AWS Strands 抬到 100 / 99.95,说明这不是某一家的偏方。
第二是活网页上的排名本身。在 Online-Mind2Web 这个跑真实网站的 benchmark(300 个任务、136 个站点)上,Steel.dev 追踪的榜首是 Browser Use Cloud 的 bu-max,按 Browser Use 自己公开的评测仓库是 291/300 = 97%(他们把 9 个失败里的 2 个判为"任何浏览器 Agent 都不可能完成",剔掉后是 291/298 = 97.7%)。榜首是一个专用 harness,不是一个前沿模型。这里要加一句方法论的提醒:Online-Mind2Web 的分数对判分方式很敏感,论文自带的 WebJudge 与人工判断大约 85% 一致,而近期部分提交用了自定义判分器,另有一个 Aside 浏览器 Agent 报告 297/300(99.0%)——所以"榜首"是相对某一份收录标准而言的。但方向不受影响:这一层的竞争发生在 harness 之间。
第三是这一层开始被标准化和开源。伯克利 RDI 在 9 月 10 日那期周报里发布了 CUA-Lite,把 CUA 开发拆成三个统一抽象:Lite.Gym 用 Gym 风格的 reset / step / close 把 15 个以上 benchmark 统一到一个观察格式和一套按平台划分的 GUI 动作空间(桌面/浏览器 click+type、移动端 tap+swipe),并自带免虚拟机的 Docker 桌面沙箱——以远低于 OSWorld 的成本复刻同一个桌面,装了 3 万以上可验证任务;Lite.Sample 把 10 个以上公开 CUA 数据集转成同一种形状;以及给 14 个模型家族(GPT、Claude、Qwen、UI-TARS 等)各写一个在评测、RL 和 SFT 之间共用的 harness。它想解决的问题正是本节说的那件事:每个环境有自己的运行时、每个数据集有自己的格式、每个模型有自己的动作空间,没有共同标准的话,把模型接到环境上就是把同样的动作映射、上下文窗口和 rollout 循环再写一遍。同一期周报还提到字节的 HarnessDev 与 HarnessEvolve 让开源模型从空沙箱里自己搭出运行时——和 ARC Prize 在 PRO-LONG 里看到 Astra 自己写 maze_solver.py 是同一个现象:编排正在从开发者的工件变成模型的能力。
顺带说一个有点讽刺的当期现象:X 和一批开发者博客上流行的配置是把 Astra 塞进 Claude Code 里跑——OpenAI 的模型,Anthropic 的 harness,底下再挂便宜模型干粗活。"模型是 OpenAI 的,工程是大家的"这句话,现在连 Anthropic 的工程也算在"大家"里了。
7. 创意生产的"反向图形学"
Bilawal Sidhu 的实验流程值得完整记下来:2019 年拍的约 400 张 2D 照片,经 RealityScan 做摄影测量得到一个网格;把网格丢进 Blender,让 Astra 把它变成一个完整、干净、可编辑的 3D 场景,材质来自照片扫描,其余用程序化着色器。他的判断是"多模态 LLM 可能已经跨过了反向图形学的鸿沟,对 VFX、AR/VR 到机器人都有巨大影响",但也老实说了缺陷:有些错误是从 RealityScan 的参考网格继承来的,"人在'空间自动补全'上仍然强得多"。他的下一步,是让 Astra 用 CUA 打开摄影测量软件,对照源图像继续修。
OpenAI 发布页的 BenchCAD 数据(从多视角渲染反推 CAD 代码,Astra 95.9% 对 Sol 83.3%)和 Higgsfield CEO "复杂创意工作流 token 少 20%" 的引用,加上 Dimillian 从一句话建筑需求到 Unreal Engine 5 可漫游住宅的开发者博客,说明这不是一两个人的运气。建筑可视化、游戏资产、影视预演,这些过去靠专业人员数天工时的环节,现在的边际成本变成了 token。
8. Agent 入职而不是集成
ApprenticeBench 最有意思的地方不是结果,是设计。它把"部署一个 Agent"建模成"一个新员工入职":没有 FDE,Agent 自己上岗,学系统、学惯例、从反馈里持续学。NeoCognition 的说法是"No FDEs. Agents deploy themselves into the job.",他们认为一到两年内 Agent 能成为跨行业的独立劳动力。
但同一串推文里也给了反面数据,值得记住。人和 Agent 的学习行为不一样:人练得越多越快,Agent 的记忆笔记越多越慢;人需要的笔记远少于 Agent,因为人更擅长压缩学到的东西、记在脑子里。John Rood 在评论里提出真正的杀手级测试:"第 2 个月教一条审批规则,第 6 个月换掉它,然后测 Agent 会不会在不复活旧规则的前提下遵守新规则。持续学习不是累积,是知道什么已经不再成立。"
OpenAI 同一天发布的 Agents API 是这个方向的基础设施:云端托管的 Codex harness,OpenAI 负责编排、长时运行会话和上下文管理。加上发布页提到的 Codex 新特性——模型可以跨上下文窗口保留笔记,旧窗口仍可搜索,而不是每次压缩成一段摘要——"Agent 上岗"在技术上第一次有了闭环。它离真的能用还有多远,要看 CoArena 的 1 天、3 天、7 天结果。
v2 补充:这条路线上已经有第一个带美元数字的产品。 据伯克利 RDI 9 月 10 日那期周报,xAI 发布了 Grok Bot for Enterprise:每个 Bot 跑在自己独立的云端计算机上,被指派一个具体岗位,然后一直做下去,直到任务完成或者需要人来拍板;企业版加了访问、网络和审计三类控制。xAI 说他们自己那个负责采购的 Bot,靠分析供应商支出、用量、合同和市面替代方案,已经找出超过 10 万美元的潜在节省。注意"采购"正是 James Sun 点名的那批新工作流里的第一个——OpenAI 把它当成 CUA 的应用场景,xAI 直接做成了带岗位和审计边界的产品。这是"Agent 入职"这条叙事第一次从 benchmark 走到产品形态,也说明这个位置不会空太久。
不过同一场峰会上也给了这条路线一个必要的限定。HubSpot 首席产品与技术官 Duncan Lennox 讲他们内部 AI 转型的教训是:光有前沿模型不够,Agent 需要拿到公司自己的工具、惯例、工作流和机构知识——"AI 知道很多关于这个世界的事,但你需要一个懂你这个世界的平台。"这句话和 ApprenticeBench 让 Agent 做七个月学徒是同一件事:可交付的不是模型,是模型加上你公司那套上下文。所以"Agent 入职"真正的产品形态,大概不是一个更强的模型,而是一层把公司惯例喂给 Agent 并持续纠偏的基础设施。
数据来源:本文 § 05 的综合判断,各点依据见对应小节
§ 06 还没解决的问题
成本与配额。 Moken说 200 美元计划的周额度用 Fable 或 Astra 不到一天就烧完,"订阅制无限用的时代结束了"。山田的经验是 Astra 推荐的中等 effort 档最划算,"一开极高或 Ultra 立刻溶掉"。Yizhou Wang 的抱怨代表了一类真实需求:"用 Astra 去做只需要一个正常人脑的事情很蠢,但其他模型又没有 Astra 的 CUA 能力。" 一个便宜的、CUA 能力过线的小模型,是明显的空位。
v2 给这一条补三个数字。一是 Astra 的计价比"每百万 token 输入 10 美元、输出 50 美元"复杂:缓存输入 1 美元,超过 272K 输入 token 的请求整单按 2 倍输入、1.5 倍输出计费,Batch 和 Flex 半价,Fast 模式翻倍——CUA 天然是长上下文,这个 272K 的台阶很容易踩到。二是 ARC Prize 那份成本表推翻了"调低 effort 省钱"的直觉:Standard harness 下 max 档拿 62.7% 花 $26,098,medium 档只有 38.6% 却花了 $48,090,想得清楚的模型因为动作更少反而更便宜。山田"中等档最划算"的经验在聊天场景可能对,在 CUA 这种按回合烧钱的场景要重新算。三是额度这场仗在往紧的方向走:Anthropic 给 Claude Code 加了 /limit-reset,但那个临时的 50% 周额度加成 9 月 13 日到期,14 日换成永久 25% 加成,净效果是符合条件的订阅者比此前的表低约 17%——刚好和 Astra 落地撞在同一周。
安全检查会误伤。 OpenAI 自己承认额外的检查"有时会打断合法工作",并在继续迭代减少不必要的中断。Kyle 补充了一个细节:Guardian 在技术上不保证看到完整的 a11y 树。对做防御性安全工作的人,这意味着 Astra 目前会拒绝写概念验证漏洞利用,更宽松的权限要经由 OpenAI 的 Daybreak 项目逐步放开——按 OpenAI 9 月 1 日的《Path to Astra》,先进网络安全能力初期只开给一批测试者,之后通过 Daybreak Blue 扩大防御性用途。Astra 也是第一个触到 Preparedness Framework "Critical" 网络能力阈值的模型,公开版本因此直接拒绝这类任务。
网站反制。 udit 发现让 Astra 扫一个网站会被 robots.txt 拦下,同样的任务 Codex 的 CUA 却可以做,"大概很快会被补上"。这暴露的是一个更大的问题:当 Agent 用人类的界面访问网站,网站要不要、能不能区分它和人?
密码和权限。 FleetingBits 点名的密钥管理器缺口,James Sun 的管控项里也没有完全覆盖。今天大多数人是让 Agent 复用自己浏览器的登录态在跑,这在个人场景可以,在企业里过不了安全审查。
判断力仍是短板。 "too eager to CUA" 不是一个模型版本能修的问题,它需要 harness 层的路由规则、成本感知,以及更多"什么时候不该用 GUI"的训练信号。
长时程完全未验证。 Kyle 和 CoArena 从两个方向说了同一句话。12 小时是目前的天花板,最好的模型成功运行的中位数已经用掉 6 小时 22 分钟。跨天、跨班次、等待对方回复,这些真实工作的常态,公开 benchmark 上还没有数据。但 v2 找到了一个更有说服力的数字,而且是 OpenAI 自己给的。 据伯克利 RDI 整理的 OpenAI 内部披露,到 8 月中,OpenAI 研究组织每 1 个人类工作日要消耗约 3.1 个 Agent 工作日,并且已经达成了此前宣布的"自动化研究实习生"目标,下一个目标是 2028 年 3 月做出自动化 AI 研究员。但同一份数据的另一面是:超过一半成功的 4 到 8 小时 Agent 任务仍然需要人介入,研究优先级和"哪个结果值得追"仍然由人决定。也就是说,在全世界最懂怎么用 Agent 的那个组织里,4 小时量级的任务都还没做到无人化——12 小时只有 24% 成功率就不奇怪了。
环境脆性。 §04 第四桶水里那个 10 倍波动是一个独立的工程风险,不是 benchmark 里的小字。同一个 Agent、同一个任务,换主题、换字体、换语言、换 OS 版本就可能从 90% 掉到 9%。对要把 CUA 放进生产的团队,这意味着"我们在自己机器上测通了"几乎没有迁移价值;而对创业者,这是一个明确的题目:跨视觉配置的回归测试和自适应定位。
合规与数据驻留。 9 月 10 日发布的 Agents API 把 Codex 的 harness 做成了托管服务,内置 compaction、tool search、程序化工具调用和 subagent,公测期不额外收费(只付 token、工具和容器时间),环境可选 OpenAI 托管、自托管的 codex exec-server,或者 Blaxel、Cloudflare、Daytona、DigitalOcean、E2B、Modal、Oracle、Runloop、Vercel 这一排合作沙箱,早期用户报告延迟降到四分之一、每任务成本低 60%、失败响应少 86%。但它目前只有美国数据驻留,且没有零数据保留选项——对金融、医疗和欧洲客户,这一条足以把整个托管路线挡在门外。想用这层 harness 又受监管约束的团队,短期只能走自托管,这也顺带说明为什么"自建 CUA harness"这门生意暂时死不了。
benchmark 自己不测该测的东西。 这是 v2 想加的一条元问题。《From benchmarks to deployment》(Artificial Intelligence Review)系统梳理了 AgentBench、WebArena、SWE-bench、GAIA、ToolBench、Terminal-Bench、Mind2Web 等 15 个主流 agentic benchmark,结论是:没有一个把安全测试纳入评分,只有 2 个(WebArena 和 BrowserGym)做了部分成本追踪——而且只报动作数、没有成本归一化指标——零个在主指标里惩罚违反安全约束的行为。作者的判断是评测方法论而不是模型能力,已经成为可靠部署的首要瓶颈:成功率相同的两个 Agent,资源消耗和失败模式可以完全不同,而二值判定把这个差别抹掉了;更糟的是,不惩罚不安全解法的效用型 benchmark,实际上在鼓励 Agent 绕过安全约束。再加上 §04 那个静态虚拟机快照带来的 10 倍波动、Anthropic 自己声明的任务集不可比、以及 ARC-AGI-3 上 37 个百分点的 harness 差距,一个诚实的结论是:目前所有 CUA 排行榜的精度,都低于各家用来做营销的那个小数点。 能把"同一套环境、同一套 harness、同时记成本和安全"做成公共设施的人,会拿到定义这个行业记分牌的权力——CUA-Lite 想做的正是前半截。
§ 07 我们的判断
第一,CUA 税归零改变的不是"能不能",而是"贵不贵"。过去有没有 API 决定一个流程能不能被自动化,现在它只决定成本。这意味着所有以"集成难"为护城河的业务,包括 RPA、系统集成和大量 SaaS 连接器,护城河在变浅;而所有因为"没有 API 所以一直手工做"的岗位工作,第一次有了被自动化的路径。这一点我们比较确定,因为 OpenAI 的企业客户数据、NeoCognition 的量化结果和 X 上的一线使用者说的是同一件事。
第二,接下来六个月的赢家在 harness 和管控层,不在模型。模型的能力已经由 OpenAI 和 Anthropic 决定,且两家都过了线;但翻译层能让速度再翻 2.5 倍、harness mod 能让游戏从戏法变成能用、密钥管理和触发器还没有人做好、审计和回放刚刚有了数据流。这些都是创业者能碰的东西。
第三,长时程是真正的分水岭,在它被验证之前,"Agent 上岗"仍然是一句宣传语。24% 的 12 小时成功率、"笔记越多越慢"的学习曲线、以及没有人跑过的跨天任务,都说明现在能交给 Agent 的是"任务",还不是"岗位"。CoArena 的 7 天结果和 ApprenticeBench 的政策反转测试,是接下来几个月最值得盯的两个数字。v2 补一条旁证:OpenAI 内部超过一半成功的 4 到 8 小时任务仍需人介入——连他们都还没关上 4 小时这一档。
第四,这是 v2 新增的一条,也是我们现在最想让读者记住的:速度和可监控性来自同一个机制,企业要为此单独付一笔钱。 让 Astra 的 CUA 快起来的东西——请求之间保留不可见的 reasoning state、用 compaction 而不是截断——正是让它的推理更难被看穿的那个东西;ARC-AGI-3 上那 37 个百分点就是这笔交易的明码标价。如果模型的"想"有一部分不再落成文字,可审计的只剩下它"做"了什么。这让 OpenTelemetry 轨迹、eval 的五元组(任务/轨迹/上下文/产物/验证器)、以及 OS 层的 Agent 身份与容器隔离,从"安全团队的合规项"变成了 CUA 能不能进生产的前置条件。我们对这条比对前三条更有把握,因为推着它走的不是某一家厂商的路线图,而是一个结构性权衡。
研究说明:本文素材于 2026 年 9 月 11 日通过 ego-browser 在 X 上以 "Astra CUA"、"Astra computer use"、"GPT-6 Astra CUA"、"Astra Codex computer use" 四组关键词抓取,覆盖 9 月 3 日至 11 日约 200 条推文及其线程,并交叉核对了 OpenAI 发布页与 Kyle Jeong 的技术博客。所有播放量、点赞数为抓取时快照。X 上关于演示视频是否实时录制的争议,我们无法独立验证,文中两种说法并列。
v2 更新说明(2026 年 9 月 12 日):这一轮补的是 X 之外的一手评测与官方文档,材料来源从推文转向 ARC Prize 评测报告、Anthropic 与 OpenAI 各自的发布页与安全文档、Snorkel AI 与 Cua-Bench 的专业软件评测、Steel.dev 与 Browser Use 的公开榜单,以及伯克利 RDI 9 月 10 日那期周报。主要改动四项:(1)更正 v1 把 ARC-AGI-3 的 "7.8% → 99.9%" 并列成同一条件下的对比,实际跨了两套 harness,可比数字是 7.8% → 62.7%,详见 § 02 新增小节与图 7;(2)补注 § 02 那张 benchmark 表的可比性边界,包括 Anthropic 自己声明任务集不可直接对比;(3)新增第四桶冷水(专业软件与环境脆性,图 8);(4)新增「速度与可监控性同源」这一条判断,以及 9 月 10 至 11 日第三方基础设施的三件落地。The Information 关于 recurrent depth 的架构报道只有单一匿名信源,Astra 的 system card 未点名该架构,文中已就此标注不确定性。
参考来源 · Sources
官方与技术拆解
- GPT-6 Astra: A new generation of intelligence(OpenAI 发布页,含全部 benchmark 表与安全说明)
- OpenAI 官方发布推文:"Anything you can do on a computer, Astra can do for you. Fast."
- How does Astra's computer use actually work?(Kyle Jeong / Browserbase,2026-09-07,基于 Codex 与 ChatGPT 客户端源码)
- What's the big deal about computer-use?(Kyle Jeong,2025-12-15,视觉 vs DOM 路线综述)
- Kyle Jeong:用 Stagehand 翻译层让 Astra 的 computer use 快 2.5 倍
- OpenAI Developers:Agents API 公测(云端 Codex harness)
- James Sun(OpenAI):企业级 CUA 管控与 OpenTelemetry 审计
- Maximilian Sieb:离开 OpenAI 计算机使用团队的告别帖
- Token Gremlin:发布前 openai-cua-sample-app PR #71 的核对
Benchmark 与反证
- CoArena:CUA KnowledgeBench,12 小时真实公司工作,5 万美元
- NeoCognition:ApprenticeBench,computer use + 在岗持续学习,"No more CUA tax"
- Boyu Gou:最强 Agent 通过 GUI 成功的次数已多于 API
- John Rood:持续学习的杀手级测试是政策反转
- Francesco 团队:预批处理动作不等于实时决策,附多应用实测片段
- Cosmic Raven:弹钢琴 vs 30 秒打开 File 菜单
- arjun chintapalli:Cities: Skylines 实测,"cua 是派对戏法,有用的 Agent 在 harness 层"
- Max Schoening:"Astra is way too eager to CUA."
- 清凤:不用 GitHub CLI,转头打开 Chrome 建 issue
- udit:robots.txt 拦下 Astra 但拦不住 Codex CUA
一线使用与观点
- FleetingBits:新模型能力重置采用曲线,下一波由 computer use 驱动
- Will Hu:Astra 上线 48 小时的 7 个 computer use 案例盘点
- Sanjin:Agent 的下半场是 Computer Use,最直接的价值是接住老系统
- 宝玉:Computer Use 让 Agent 从开发到验收形成闭环
- 宝玉:GPT-6 Astra 发布与 Greg Brockman 的 AGI 表态
- Kevin Kern:Blender CLI + MCP + Computer Use 的三层配置
- Brent Schooley:DaVinci Resolve 里 Astra 能用脚本就用脚本,不能就切 CUA
- cosine:不再需要 Figma dev MCP
- Bilawal Sidhu:3D 扫描到可编辑场景,"反向图形学跨过鸿沟"
- Sac:Codex 操作剪映粗剪,官方 harness 提速说明
- Kyle Balmer:YouTube 长视频全部由 Codex 剪辑并用 CUA 上传
- AWAMORI:Illustrator 设计稿切图到编码,消耗 Pro 5x 周额度 15%
- quark_h:Mac 远程操作 Windows 虚拟机做客户端测试
- Jesse Lau:画像是浪费 token,TradingView 画趋势线才是正确用法
- Yenpro Musik:"Agent 喜欢说自己做完了"
- Moken:200 美元计划一天烧完周额度
- Yizhou Wang:需要一个便宜的、有 CUA 能力的模型
- KEITO:Canva 肖像,84 万播放
- Alexey Fateev:Paint 对比 Astra vs Fable 5.1,119 万播放
- Tykoo:Astra 的 Blender 热潮搅乱了"世界模型"的定义
- Flrande:Codex Desktop 的 harness 领先
- 熊布朗:开源 cua 与 Codex computer use 的差距
v2 补充信源(2026-09-12)
- OpenAI's GPT-6 Astra on ARC-AGI-3(ARC Prize,Greg Kamradt,2026-09-03,两套 harness 的完整成绩与成本表、PRO-LONG 自造工具、"不宣称这是 AGI")
- The Next Web:Astra 的 AGI 分数来自 harness 而不是模型(含 Claude Opus 5 在 NVIDIA AVO / AWS Strands 下的对照)
- Path to Astra: critical capabilities and frontier safeguards(OpenAI,2026-09-01,越狱拒绝率、范围收敛、Daybreak Blue、RL 重启时间线)
- Introducing the Agents API(OpenAI,2026-09-10,托管 harness、三类沙箱环境、数据驻留限制)
- Introducing Claude Fable 5.1 and Claude Mythos 5.1(Anthropic,OSWorld 2.0 partial/strict 成绩与"任务集不可直接对比"脚注)
- Cua-Bench: benchmarking computer-use agents on professional software(Snorkel AI,25 道 KiCad 专家任务的结果与失败模式)
- Cua-Bench 榜单与框架说明(trycua,开源 MIT;含 OpenApps 环境变体研究引用的 10 倍成绩波动)
- Online-Mind2Web Leaderboard(Steel.dev,活网页榜首是专用 harness 而非前沿模型)
- browser-use/online-mind2web:bu-max 291/300 的公开评测仓库与失败案例判定
- Agentic AI Weekly(伯克利 RDI,2026-09-10:CUA-Lite 发布、OpenAI 内部 Agent 工作日数据、Project Zenith、Grok Bot for Enterprise、峰会上的 evals 与治理讨论)
- Fortune:recurrent depth 的安全争议,含 Pachocki 的反驳与 Redwood Research 的批评
- Sebastian Raschka:looped transformer 与思维链可见性的技术辨析(不认这个因果)
- Fortune:Astra 发布会现场,Brockman 的 computer use 表述与 Aidan Clark 的 10 万 GPU 预训练说明
- Eigenwise:把 Astra 放进 Claude Code 跑成了当期主流配置
- From benchmarks to deployment: a comprehensive review of agentic AI evaluation(Artificial Intelligence Review,15 个主流 agentic benchmark 的安全与成本盲区)
作者:冯小平,[email protected]