机器人在爬一座“不偏科”的山，
LLM 从四个口子往上爬

RoboDojo 的论文 7 月 5 日挂上 arXiv，官网 7 月 6 日上线。共同项目负责人是港大 MMLab 的陈天行和北京大学的 Yue Chen。榜单由非营利组织 AI MMLab Club 维护，官网写明不接受商业资助或赞助。它要解决两个老毛病：任务太短太单一；评测不是只在仿真，就是只在真机。

它的做法有三件事，对应机器人领域现在在追的三个目标。

论文 7 月的发现里，有三条决定了后面的故事：

• 偏科。 最好的模型在泛化和长程上成功率也不到 15%；开放指令一列最好的 π0.5 只有 1.67%。
• 随机化一刀切。 场景随机化让几乎所有策略大面积掉分：Hy-Embodied-0.5-VLA 的标准布局平均分 21.98，随机布局 1.57，掉了 92.9%。
• 真机不等于仿真。 两个榜只部分一致；真机上还出现动作抖动、重复无效动作，论文点名 DM0 部署时控制信号不稳，需要人盯着。

四个月后，非 Agent 的最好成绩涨到了 34.97%，约 4 倍。真机榜有 14 个模型，前四名里三个是世界动作模型（WAM，在预测动作的同时预测未来画面）：InternW0-Δ、OpenWAM-α、MWA-Phoenix-Preview；第一名 SLA-Preview 是 VLA。官网的“后续扩展”写了下一站：移动操作、灵巧手、触觉、人形，沿用同一条评测流水线。

榜上的 LLM 条目看着是一堆名字，按“LLM 在控制回路的什么位置”分，是四种做法：

顺着表往下读有一条规律：LLM 在往控制回路外面挪。入口一里它每一步都在回路里，入口三里它只在开发期出现，评测时一个 token 也不花。分数和精度也是顺着这个方向涨的。这是我对这几个数字的读法，不是定论：四行的任务面板不同，入口三的任务是挑过的，入口四的做法官网没披露。

设定。 Astra 论文（RoboProbe 与 RoboDojo 团队，9 月 21 日挂 arXiv）给“LLM 当策略”划了两条线：控制链里没有任何学出来的策略；LLM 的权重不为机器人或这批任务微调。模型每一轮必须调用 move_eef（给任一只手臂的位置、姿态、夹爪目标）或 give_up，不提供抓取、放置这类原语；目标点交给不含学习的逆运动学和路径规划，按 25 Hz 执行。每回合最多 100 次模型调用，推理强度中档，输入是三路相机画面加机器人状态。任务说明里还带一份从 RoboDojo 文档整理的任务配方，写任务和计分阶段，不写动作序列。公开策略没有拿到这份文字，论文自己写明了两边的输入不完全一致。

结果。 GPT-6 Astra 28.97 / 22.48%（平均分 / 成功率，42 个任务 × 50 次，共 2,100 次），在论文的对比里排在 40 个公开策略之上（榜单快照是 9 月 10 日）。同一套接口和后处理下，GPT-5.5 是 1.13 / 0.88%，DeepSeek-Flash 是 2.99 / 1.92%（每任务只跑 10 次）。差了约 25 倍，“LLM”不是一个能放在一起打分的类别。

形状极端偏科。 五个维度的成功率：泛化 30.50%、记忆 38.67%、开放 31.00%，长程 8.25%、精度 4.00%。看单个任务更直观（成功率，右列是当时最好的公开策略）：

左边这几个任务，难处是读懂规则：按数字大小排、解方程、听懂语言指令、照着给定的顺序来。右边的任务要的是手上的功夫：对准、接触、避开已有的东西。make_kong 值得单说：论文的录像里 Astra 选对了该出的牌，成功率仍是 0%，读对了不等于做得出来。论文自己的失败录像也落在这一侧：传送带上的运动目标抓不准，两只手的协同失败，伸手拿下一块时把搭好的塔撞倒。

什么有用，什么没用。 给一次演示不但没帮上，还拉低了成绩：在 340 个匹配的任务-布局对上，零样本 22.9%，图片加末端位姿的演示 17.9%，文字描述的演示 12.9%；论文说原因没有分离出来。有用的是边做边改。项目页的扰动测试用 general_pickup 的 8 个布局（每个 1 次）：画面上下翻转 8/8，左右镜像 6/8，坐标轴符号取反 4/8，末端位姿加 10 厘米随机抖动 3/8。模型能靠“我让它往这走、它实际往那走”的对比纠正符号；抖动大到抓取精度不够，就纠不回来了。

真机。 没跑完官方协议：模型反复给出不合理或不安全的动作，有设备被损坏（没有人受伤），测试被叫停。留下的 12 个任务、33 次试验里只有 1 次完全成功（stack_bowls），3.03%。

这个方案来自一份非官方的社区报告（报告原页，RoboDojo 的报告页把它列为社区报告）。作者栏是 Jiayi Su、Yixin Zheng 等；EP.103 核到一作是苏佳奕、导师是王鹤和张直政，团队是银河通用。做法是：π0.5 先给出一个 50 步的关节空间动作块；Astra 看同样的画面、执行历史，加上这段动作对应的双臂正运动学轨迹，然后二选一：原样执行前 1–15 步，或者用末端位姿修正 1–5 步。每执行一段，两个模型重新决定一次。

十个任务、每个任务 5 次、场景和随机种子对齐：混合方案成功率 48%、平均分 62.60；Astra 直接控制 26% 和 37.81；同一批任务上 π0.5 自己的重新加权参考值是 15.67% 和 24.43。Astra 只改了 14.4% 的控制步，其余 85.6% 照 π0.5 走；token 比直接控制少 44.8%。报告归纳的三种行为：纠正选错的物体或目标位置；先把东西推一推再抓；发现仿真没结束，推断还有哪个成功条件没满足，继续修正。

这个 48% 不能和榜单比。每个方案只有 50 个回合，任务是按 π0.5 的成功率分层挑的，偏向它做得差的；Astra 用的是最高档推理；作者自己写了：把机器人当成可以暂停的电子游戏，是在给 Astra 最宽松的条件，现实里物理世界没有暂停键，延迟仍然没解决。同一份报告里，换到单臂 Franka 的 RoboLab（10 个任务 × 5 次），直接控制 98%、混合 92%、π0.5 36%，“混合优于直接”的次序就翻过来了。

设定。 北京大学 DAGroup 的 Agent × Robot 博客（9 月 20 日）让 Astra 和 Fable 5.1 写机器人策略代码，用评测器的反馈迭代（名义预算 10 个开发回合），然后每个任务冻结一份策略，在 20 个场景布局上评测。评测时没有编码 Agent 参与，感知、规划、检查和程序化恢复都在本地跑。

结果。 从 54 个设置里挑了 18 个，挑的标准是 Astra 在开发阶段有进展，所以这是个有选择的面板：Astra 46.94%，Fable 5.1 42.50%，每个任务 20 次。符号类任务最强：井字棋两个都是 80%，按数字按钮 100% 和 90%。随机化很伤：叠积木 Astra 从 85% 掉到 40%，叠衣服从 50% 掉到 10%。投币和敲木琴，两个都是 0。

账。 冻结后的策略每回合平均约 60.3 秒（不含仿真器启动）、0 个 token、0 次 API 调用；同一个 Astra 在线逐步控制（70 回合 × 14 个设置，含失败）平均 510.6 秒 API 等待、46.8 次调用、约 87.7 万 token。在线参考在 54 个设置里有 32 个至少成功过一次，冻结策略在选定的 18 个里有 14 个；两个面板不同，不能直接比。

真机。 同一个组的另一篇用 Franka 双臂做叠积木、汉诺塔分类、网线插入：Astra 15/15，Fable 5.1 10/15（网线插入 0/5，10 天观察期内没成功）。第一次成功的耗时，叠积木约 80 分钟对约 40 分钟，汉诺塔约 1 天对约 7 天，网线约 1.5 天对没有；这些是操作员自报，开发条件不对等，“网线成功”指机械上插进去。人在其中做标定、解释场景、指方向；Agent 会在一个方法上花很久，很少主动换方法。

和入口一的真机 1/33 放在一起看：这里的任务是人陪着做了几天的三个专门搭的任务，机器人和任务都不同，不能比成功率；能比的是位置。LLM 在真机上目前站得住的地方，是开发时，不是控制时。

还有一个最不起眼的入口。 XPolicyLab 的论文写了一个对照：把一个代表性策略接进标准，按标准做从五个多小时降到两小时，用打包好的 Agent 技能降到三十分钟。LLM 在这里是机器人评测生态的工程师，没人在榜上给它排名。

官网的排行榜有一个单独的 Agent 榜。条目的类型标签来自提交方自述，协议让提交者在 Agent、VLA、WAM、LLM、VLM、IL 里选一个或几个组合。到 11 月 3 日，榜上 66 个模型里有 10 个带 Agent 标签：

另有 DeepSeek-Flash（1.92%）和 GPT-5.5（0.88%）两个 RoboDojo 团队自己测的通用模型。PhysicalRSI 在榜单新闻里写的是“基线方案”。PyRUA-Lean 的贡献者和写入口三报告的是同名的组，官网没披露它是不是那套做法。

六周里，Agent 的最好成绩从 Astra 的 28.97 涨到 Q0-Preview 的 74.20（平均分）。分维度，最好的 Agent 和最好的非 Agent（成功率）：

差距最大的是开放和记忆。开放一列，成功率过 50% 的 4 个条目全是 Agent；标成 VLM + WAM 的两个条目（HWM-0 Preview、Liber-0 Preview）只有 6.08% 和 5.33%，远低于这一列最好的纯 WAM（Awomo-0.5，22.92%）和纯 VLA（WALL-OSS-1.0-lite，19.58%）。Q0-Preview 的记忆一项 93.67%，已经接近满格。

随机化的对照。 论文 7 月的发现是场景随机化让几乎所有策略大面积掉分。泛化榜上，学出来的策略掉得很狠：VPP2 标准布局 46.44%，随机布局 12.56%；Liber-0 Lite 从 33.22% 到 5.00%。Agent 条目保得住：Q0-Preview 58.67% 对 58.67%，PyRUA-Lean 45.33% 对 41.00%，HexaShell-Preview 38.00% 对 31.00%；带 WAM 的 GO-3 Nano Preview 是 43.00% 对 24.33%，保得没那么好。这和“感知、几何、规划”这条流水线对布局变化不敏感相吻合，但官网没披露这些条目的做法，这只是对数字的读法。

规则怎么管它。 官方主榜的排名把 Agent 条目淡显，不计名次。协议要求每个提交是“一个固定系统”，允许系统内部有 Agent 或规划器做指令理解、子目标拆解和闭环重规划；不允许按任务切换策略的路由器，也不允许“每个任务挑已知最好的策略”拼出一个成绩。要进官方验证榜，需要在官方系统里评测、仿真跑三个随机种子、通过隐藏布局验证，并在上榜后三天内放出训练与部署代码、检查点、配置和复现说明。官网没披露这 10 个 Agent 条目各自走到了哪一步。

修正 EP.103。 9 月那期专题 04（EP.103）的结论是“上层会被打，下层暂时不会”。上半句六周后更硬了；下半句要改。到 10 月底，榜上精度成功率最高的两个条目是 Agent 条目，76.00% 和 58.50%；7 月精度最好的 VLA（X-VLA）是 12.00%，现在非 Agent 最好是 35.17%。但下层被打的方式，不是 LLM 学会了手感（Astra 直接控制，精度只有 4.00%），而是 Agent 把下层写成了代码、接上了规划器，有的还带着 WAM。

• 除了两处真机，全是仿真。 两处是 RoboDojo-RealWorld 榜单和 Astra 的 33 次诊断试验；仿真任务全是桌面操作。
• LLM 条目拿到了从文档整理的任务配方，公开策略没有。 论文自己写明了两边输入不同；Agent 条目是否也拿到，官网没披露。
• Agent 条目的做法官网没披露。 Q0-Preview 等的实现、是否通过隐藏布局验证，都没有披露；官方主榜把它们淡显、不计名次。
• 两个社区面板都是挑过的。 PKU 的 18 个设置是 Astra 开发阶段有进展的；银河通用的 10 个任务按 π0.5 的弱项分层，每个方案 50 个回合。两者都不能和 42 任务的官方成绩比；PKU 报告没写开发时用的布局和评测的 20 个布局是否重合。
• 人类专家 76.03% 是论文 7 月的口径。 Agent 条目是否按同样条件评测，官网没披露。
• 仿真和真机的任务不配对。 OpenWAM-α 的真机成功率（24.4%）反而高于它的仿真成功率（11.92%），所以“真机更差”只能在相对排名上说，不能直接比绝对值。
• 榜单天天在变。 官网自标 11 月 3 日更新，本文数字取自 11 月 5 日的榜单；Astra 论文里的对比是 9 月 10 日的快照。
• 没核到： Qoo Tech、HexaFuture、Einsia.AI 这几家的公司背景；PKU DAGroup 的 PyRUA-Lean 和它的 Code-as-Policies 报告是不是同一套做法；社区报告作者与银河通用的对应，只引用了 EP.103 的核对。