机器人如何在仿真环境中完成任务、在真实场景中实现进化，并将真实交互、程序改进与技能部署贯通为闭环？

11 月 5 日，众擎机器人与北京大学研究团队联合发布论文《PyRUA-REAL: Robot Exploration and Adaptive Learning through RSI in the Real World》，给出了答案。该研究探索了让具身 Agent 从经验中持续进步的方法：Agent 在执行任务后复盘，将有效做法沉淀为技能与记忆，再用于后续任务。在基础模型参数保持不变的设置中，经过自进化迭代在 RoboDojo Benchmark 上获得超过 80% 的平均任务成功率。

该研究在具身智能权威评测基准 RoboDojo 的 42 项仿真任务中取得 84.42% 的成功率。RoboDojo 由香港大学 MMLab 牵头，联合加州伯克利、清华大学、北京大学、麻省理工等全球近 20 所顶尖学术机构推出，从泛化、精细操作、长程任务、记忆和开放语义理解五个维度考察机器人完成复杂任务的能力，致力于推动具身智能行业走向可验证的工程化竞争。在其 42 项仿真任务评测中，团队方案取得了 84.42% 的平均成功率（按五类能力等权平均），综合平均得分达到 88.53。相较官方公开榜单中的 Q0-Preview，两项指标分别提升 15.55% 和 14.3 分。

在众擎具身大脑 EngineAI Awaken 的技术框架中，机器人与环境的每一次交互，都是学习的一部分。一次抓取中的偏差、一套有效的操作顺序，都可能成为下一次行动可调用的经验。

沿着这条路径，研究团队走进真实的操作现场：搭积木、折毛巾、把圆盘逐一套上立柱。机器人在反复尝试中找到方法，把方法存下来，再做得更稳、更快。

01｜何以进化：技能与记忆协同，让经验成为可复用的能力

一次操作结束，现场会留下很多信息：物体在哪里偏移，夹爪在哪一步失手，哪条路径有效，哪次修正只是偶然奏效。自进化的起点，是记录这些信息并进入下一轮决策。

研究的主线很清晰：在真实环境中探索，把反馈转化为代码改进，再把成熟的方法沉淀为可执行的技能。系统反复经历 "探索 — 执行 — 诊断 — 改代码"，把环境事实、尝试记录和有效程序保存下来，供后续实验调用。让技能越用越可靠、越高效。研究既追踪一项技能在多个版本中的变化，也检验程序在仿真任务和真实操作中的表现。进步最终体现为三件事：任务完成更稳定、执行时间更短、积累的方法能被再次调用。

这一过程由两个编程智能体推动：研究者智能体（Researcher）定目标、选路线、选经验，并决定一轮探索何时收尾；局部修改解决不了问题时，它会回到任务层面重新审视，决定继续细调、换一条技术路线，还是进入下一阶段。工程师智能体（Engineer）负责写程序、跑实验、诊断失败、改代码，再把结果、经验、证据和最终代码交回。研究者判断下一步试什么，工程师让想法接受真实环境检验，两者之间往返的是带执行结果和失败原因的实验记录。论文记录的多个任务里，正是研究者重新评估路线之后，局部修改的僵局才被打破。

这些记录按三层存进经验库：事实层记机器人、工作空间与操作条件；记忆层存问题、尝试、结果和失败原因；实现层保留完整任务程序与可复用基础技能。

基础模型参数全程冻结。系统持续更新完成任务的方法、方法的适用条件，以及支撑判断的证据。人的目标与任务要求也进入闭环，为探索指方向。当积累被写入程序，机器人就有了可再次调用、继续修订的技能载体。

02｜何以精进：真实交互驱动，先做成，再做好

真实操作让 "经验有效" 变得具体：抓取点略有偏差，物体可能滑落；圆盘没对准，套柱动作就会受阻；毛巾形状随操作变化，双臂必须协调完成后续动作。

为验证这些经验，团队在由两台 Franka Research 3 机械臂组成的双臂平台（配 Robotiq-85 夹爪、头部 ZED Mini 相机和腕部 RealSense D405 相机）上开展了八项真机任务：井字棋、五块积木按顺序堆叠、圆盘按大小排序套上立柱、网线插接、毛巾折叠、T 形物体推移、积木按颜色分类，以及将散落积木收纳入碗。

系统能直接获得传感器观测和底层控制接口，但平台标定结果、各项任务的专用求解程序，都要在探索中逐步建立。

最终，八项任务中有七项形成了无需运行时调用语言模型的程序，依靠实时感知、控制与恢复逻辑独立执行；网线插接一项仍需在线辅助。

论文汇总的八项任务开发记录平均成功率为 91.1%；其中七项可由程序独立执行的任务，开发记录中的成功率介于 91.67%—100%。这些数字背后是多轮尝试、多个程序版本的积累。

第一次做成，只是后续改进的起点。团队进一步追踪堆叠、井字棋和圆盘套柱的版本变化，观察技能如何在成功之后继续变得熟练。

积木堆叠经历了 33 个版本的持续修订。堆叠并复位的周期中位用时从 285.3 秒降至 156.0 秒，缩短约 45%；基于视觉估计的平均横向放置误差从 2.69 毫米降至 0.44 毫米。这一误差指标来自图像估计，反映该测量方式下的变化。

井字棋的改进则与动作策略调整相连。程序将反复经过多个高位路径点的移动改为更直接的关节运动，整局操作与复位用时由 577 秒降至 535 秒。圆盘套柱先着力提高完成的稳定性，再优化速度，期间有的版本更稳、却也更慢。

这些过程让 "持续学习" 有了可以追溯的细节：一段搬运动作被反复打磨，一种技术路线被重新选择，可靠性与速度在不同阶段得到不同的优先级。

已有技能也开始帮助新任务。在另一组八项仿真目标任务中，提供此前积累的基础技能库后，任务平均成功率由 21.3% 提升至 40.0%，其中五项获得提升。经验复用的价值，也将在具体任务的持续优化中逐步显现。

03｜何以求真：执行与反馈互证，辨明每一次进步的来源

在真实环境里，一次 "失败" 究竟发生在哪里，并不总能从最终结果看出来。机器人可能没有做好动作，感知与检查程序也可能没有看清动作。

论文记录了一个井字棋案例：两个相接的圆环被检测器合并识别，已经完成的放置因此被误判为失败。修正检测器后，同一张图像通过了原有验收条件，机器人没有重新移动。

另一个堆叠案例中，错误选择的摄像头视角造成较大的归位误差读数。修正视角后，视觉误差估计下降。要判断动作本身是否更准，仍需进一步测量。

这些案例说明，反馈既是改进的依据，也需要被检查。系统应当先分清问题来自执行、感知还是测量，再决定修改哪一部分。

团队还专门设计了 4 项 RoboDojo 仿真任务的反馈对照。在相同的 5 轮修改预算下，分别提供基础结果报告、数值状态，以及视频与同步关节轨迹，再把形成的程序放到六个未见布局上测试。

只提供 "任务是否完成" 这一基础结果时，四项任务平均成功率只有 15.3%；补充视频与同步关节轨迹后，提升至 54.2%。这组独立对照说明：反馈信息如何帮助修改代码 —— 系统不仅要知道 "有没有完成"，还要看见动作在什么情境下发生、偏差从哪一步开始。

程序还需要面对初始位置、姿态与任务要求的变化。在另一组鲁棒性实验中，团队补充了工作空间边界、目标位置和朝向范围等明确要求，并继续探索修订；在相同的未见场景上，五类能力的平均成功率均有提高，部分单项任务仍有退步。

一项技能能在哪些条件下可靠工作，应当随技能一起被保存。从反馈诊断到场景变化，研究逐步明确经验的适用范围，也为后续如何调用、修正这些经验提供依据。

04｜何以致远：Awaken 贯通具身闭环，走向真实世界的持续学习

经验写入程序之后，还有一个部署问题要回答：机器人每次执行熟悉的任务，是不是都得重新等语言模型做决策？

PyRUA-REAL 的答案是：不用。探索中形成的方法被保留在可执行程序里。程序运行时，感知、规划、条件判断和恢复逻辑仍会根据现场反馈实时工作；而那些已经明确的操作流程，可以直接调用，不必每次重新决策。

论文记录里，井字棋任务的 PyRUA-REAL 执行周期为 8.99 分钟，在线编程方法为 44.6 分钟；积木堆叠分别为 2.99 分钟与 13.7 分钟。两项任务中，在线编程用时约为前者的 4.6—5.0 倍，差距主要来自执行期间反复等待智能体决策。

这指向一种部署思路：研发阶段充分探索，把有效经验保留在程序里，减少执行熟悉任务时的重复推理。但前期探索仍有成本，程序能覆盖哪些条件，也决定了这种方式能用到哪里。

网线插接给出了一个具体边界：对准接口并完成接触操作仍有难度。现有程序在记录的 4 次无在线辅助尝试中均未成功；加入在线智能体辅助后，完成了 17 次尝试中的 10 次。面对尚未覆盖的情况，系统仍需保留进一步判断与探索的能力。

EngineAI Awaken｜让交互经验沉淀为持续成长的能力

从这一层技能积累向外延伸，是众擎 "Body for AI，AI for Body" 的整体思路：本体与环境交互，交互产生数据，数据支撑算法与模型迭代，部署再带回新的反馈。

EngineAI Awaken 的分层架构沿着这个方向展开：从本能反射、运动控制，到认知推理，再到集体学习与自我成长。不同层级承担不同时间尺度的任务，共同支撑机器人从短时动作执行，走向长时任务处理与持续能力积累。

RoboDojo 上的 84.42%，是这条研发路径的一次阶段性记录。任务集有边界，分数能说明的范围也有边界。把既定任务做得更熟练，与让机器人胜任真实工作之间，仍有一段不能靠排名跨过的距离。

众擎的研发始终围绕人形机器人的应用落地展开。本次采用双臂作为操作能力的验证平台，让感知、决策、执行与经验积累在真机上反复接受检验。沿着本体、运控与具身大脑协同推进的路线，这些积累将走入商业和工业的真实应用场景。

在这一过程中，双足人形打开了更大的任务空间：从固定工位走向跨区域作业，把移动、平衡与双手操作连成完整的工作过程。对 EngineAI Awaken 而言，操作技能的积累是其中一环；让经验进一步支撑全身协同，让机器人在变化的环境中连续完成复杂任务，是这项研究所通向的长期目标。

本论文代码即将开源，更多研究成果也将陆续开放，让真机上的技术积累成为更多研究可复用、可验证、可推进的基石。

榜单分数记录的是阶段进展，机器人能力的边界，最终要通过其在真实世界里可完成的工作来衡量。

（来源：众擎机器人）