首页
资讯
品牌
选型
社区
活动
视频
排行
------
反馈
登顶 RoboDojo-Agent 超过 GPT-6!世界模型 ICL 抢跑三个月后,Manifold AI 流形空间交出 R²SI 技术答卷
2026-10-19 20:33:02   转载自Manifold AI 流形空间

近日,Manifold AI 流形空间在权威机器人学习基准测试 RoboDojo-Agent 榜单中登顶,超越 GPT-6-Astra、英伟达 GR00T-N1.7 等国际知名模型。

三个月前,我们首次发布了具备上下文学习(In-Context Learning,ICL)能力的世界动作模型。随后,Generalist AI 和 Skild AI 也官宣了各自具备上下文学习能力的具身模型 Gen-1.5 与 S1。

模型能力的提升,也需要与系统的自我改进相结合。Manifold AI 提出了 WorldScape R²SI(Recursive Robot Self-Improvement,机器人递归自进化)框架:通过内外双层 Agent 系统执行任务复盘、技能修正、经验积累,让有效经验进一步推动机器人模型和系统的双重自我改进。

01 登顶背后的两项技术支撑

RoboDojo 面向机器人操作能力,覆盖双臂操作、长程任务、记忆、泛化和精细操作等维度,要求系统在任务规定的原生动作步数限制内取得有效进展。

此次评测中,WorldScape R²SI 取得 46.58 的宏观进度分数,高于 GPT-6 Astra 取得总榜第一。

整个系统背后有两项核心技术支撑:

ICL,一次示范学习新任务

ICL 关注机器人如何在不后训练的情况下,通过一次人类示范学习新任务;

R²SI,多次执行持续改进

R²SI 将任务执行、经验复盘与技能更新连接起来,关注机器人如何在多次执行中持续改进。

两者共同指向一个目标:让机器人更有效地调用已有能力、应对变化,减少遇到新情况时从头探索的需要。

02 ICL:让机器人 "一次就会"

今年 7 月发布 WorldScape Policy 2.0 时,我们提出一个问题:面对新任务,机器人能否不重新训练模型,仅看一遍人类示范即可完成任务?

毕竟真实世界可不是按照训练数据固定运转 —— 模糊的指令、多样的操作物、多个任务随机组合、边干活环境边改变等等,这才是我们人类面对的日常。

通常机器人面对这些变化时,需要额外采集数据 - 训练 - 微调。而 ICL 将人类示范作为上下文,让模型在执行阶段利用示范适应新任务,不必改变模型参数。

WorldScape Policy 2.5 的能力体现在三个层面。

1 动作迁移,物体规格随意改

观看印章操作示范后,机器人迁移了 "盖章动作" 到不同颜色和形状的新印章、不同位置和材质的落款页,超越了对某个物体和固定动作轨迹的简单记忆和模仿。

2 技能组合,独立记忆完美衔接

从拿起鞋子到松开鞋带,任务涉及多个衔接的操作阶段。机器人需要根据当前观察调整行为,协调各阶段的操作。

这考察的是机器人能否根据新的任务要求组织已有技能,而非重复单一动作。

3 零样本学习长任务

长程任务推理的难点是,前一步的结果会影响后续任务从而发生 "宕机",为管理长程任务中的信息,我们在 WorldScape Policy 引入视觉记忆与事件记忆机制,帮助系统保留环境变化、任务进度等关键信息。

经过我们这些实验,发现面对预训练已知任务,上下文学习已显著超越 VLA 模型;进一步面对未知任务,两者正确率甚至相差数倍。

03 R²SI:让执行经验转化为持续改进

机器人每次执行任务,都会产生可用于改进的信息。抓取失败,可能需要调整接近方向;推移未达预期,可能需要改变接触高度;任务虽已完成,却耗费过多动作步数,也说明策略仍有优化空间。如果这些经验无法被有效复用,机器人就可能在下一次执行中重复犯错。

因此,从持续执行中进行经验积累、提升,是支撑具身智能通往真实世界任意任务的本质能力。

R²SI 正是围绕这一问题提出的自进化系统,通过双层 Agent 结构,连接任务执行与经验分析、修正和积累,尝试形成持续改进的闭环。

R²SI 由内外两层 Agent 构成:内层负责执行,外层负责改进。

内层 Robot Agent:任务执行

内层 Robot Agent 以多视角 RGB 图像、机器人本体状态、任务描述与回合记忆作为上下文进行决策,并通过按任务加载的 Skill 执行任务。调用 reactive model(WSP)本身也是一项 Skill:加载后,Robot Agent 依据观测调用 reactive model(WSP),该模型执行一个动作块即交还控制权,Robot Agent 再依据新的观测决定下一步。

外层 Recursion Agent:经验分析与改进

外层 Recursion Agent 跨轮次复盘执行记录,修订 Skill,并以 Harness 更新的形式作用于内层。对于使用 reactive model(WSP)的任务,外层还将执行记录组织为训练数据,训练并更新该模型。各类更新均须通过测试,方可自动发布并纳入版本管理。

任务实例:从失败诊断到技能改进

以下两个案例分别展示这两条改进路径:push_T 中,外层改进 Skill;装箱任务中,内层调用 reactive model(WSP),外层对其进行训练。

案例一:push_T,改进 Skill

在 RoboDojo 的 push_T 任务中,机械臂需将 T 形物体沿桌面推入目标区域,使位置、朝向与接触状态同时满足要求,并在 600 个原生动作步数内完成任务。该任务不使用 reactive model(WSP)。

首轮执行中,Robot Agent 采用的夹持方向与任务不相适配,且在平移过程中同步转向,导致物体发生明显偏转。对齐完成后,夹爪一次性释放,又使物体偏离目标位姿。本轮共耗用 723 步,超出预算。

外层 Recursion Agent 据此修订 Skill:调整夹持方向;将平移与转向解耦,先平移、后分段转向;分阶段释放夹爪,并逐段检查物体是否偏移。修订版本通过测试后,自动发布至内层 Robot Agent。

更新后的 Skill 首次在预算内取得原生满分,耗用 596 步。经后续迭代,同一布局下的原生动作步数进一步降至 389,降幅约 35%。

此后,该 Skill 冻结,外层停止更新。内层 Robot Agent 以 RGB 图像与公开的机器人状态作为观测,在 push_T 的三种随机布局上自主执行,分别以 222、312、256 步完成任务,均取得原生满分,且均未超出 600 步预算。

案例二:装箱,调用并训练 reactive model(WSP)

当任务切换至装箱时,外层 Recursion Agent 为内层加载调用 reactive model(WSP)的 Skill。执行中,Robot Agent 依据观测调用该模型;模型执行一个动作块后即交还控制权,Robot Agent 再依据新的观测决定下一步,如此往复。外层 Recursion Agent 随后将执行记录组织为训练数据并训练 reactive model(WSP),更新后的模型继续供内层调用。该模型由此既承担执行,又能在外层 Agent 的训练下持续改进。

内层通过 Skill 执行,调用 reactive model(WSP)即是其中之一;外层持续改进 Skill 与 reactive model(WSP),试错经验持续沉淀为可复用的能力。这就是 R²SI。

04 从榜单成绩到机器人通用能力

回看 ICL 模型发布后的三个月,WorldScape Policy 从 2.0 探索通过一次示范学习新任务,到 2.5 探索动作迁移、技能组合与长程执行,我们持续研究机器人如何在复杂操作中利用观察、示范与记忆。

WorldScape R²SI 则进一步连接执行与经验改进:提炼技能、验证修改,并探索 Agent 与动作模型的协同进化。此次登顶,是这一系列探索的阶段性成果,下一站我们将在落地实战中见分晓。

(来源:Manifold AI 流形空间)

友情链接
粤ICP备2026052944号-1
违法和不良信息、涉未成年人有害信息举报电话:12377 zhl@jushenhome.com
@2025-2026 www.jushenhome.com All Rights Reserved 具身之家 版权所有