大语言模型的能力,已经在海量文本训练与规模化扩展中得到验证。它之所以能够持续强化,一个重要基础是:海量来自书籍、网页还是对话的知识,最终都能被统一到 "文本" 这一输入输出空间中,模型才能在其中完成学习、组合与迁移。
那么,具身智能能否找到一条类似路径?机器人如何从不同来源的经验中学习,让感知、动作与物理世界的变化形成统一理解?走向 Physical AGI,它的 "原生统一空间" 又应该是什么?
今天,跨维智能(DexForce)发布全球首个机器人任务原生 3D 世界模型 UNITAS(A 3D-Native World Action Model for Embodied Manipulation),探索为 Physical AI 建立统一表示空间的新路径。
UNITAS 提出的核心观点是:只有让模型原生理解三维物理世界,世界模型才真正接近 "世界" 本身。
这不仅是一个技术思路,UNITAS 已在多项机器人操作评测中展现出 "屠榜" 实力:仅凭 1.7B(17 亿)参数,在 LIBERO 上取得 99.8% 的平均成功率、在 LIBERO-Plus 上达到 89.1%,并在 RoboTwin 2.0 双臂操作的 Clean 与 Randomized 设置中分别取得 92.94% 和 93.04% 的成功率,超越参数规模达 6B(60 亿)的 Fast-WAM、8B(80 亿)的 Motus,以及 π0.5、LingBot-VA、PointWorld 等模型,在多项基准测试中全面夺冠,进一步在真实机器人操作执行上同样表现突出,任务平均成功率达到 85%!
论文地址:https://arxiv.org/abs/2610.12099
项目地址:https://dexforce.com/technical-report/#/unitas-wam
开源代码:https://github.com/DexForce/UNITAS
01 大模型靠文本,机器人需要什么样的 "原生空间"?
对于语言模型而言,无论是一篇论文、一段代码,还是一次对话,只要转换为文本,就可以进入同一个模型进行学习。
但机器人面对的情况完全不同,现实世界中的数据天然存在异构性:视觉信息来自摄像头,动作信息来自不同机器人本体的控制系统,环境变化则对应物体在真实空间中的运动过程,这些信息之间并没有天然统一的表达方式。
例如,一个机器人执行 "推动杯子" 的任务。摄像头记录到的是二维图像变化,而机器人真正需要理解的是杯子在三维空间中的位置变化、机械臂与杯子之间的距离关系,以及动作对后续环境状态产生的影响。
从不同角度观察,同一个动作可能产生完全不同的视觉结果;但在真实物理世界中,物体的位置关系和运动规律并没有改变。
如果模型只能从二维视觉变化中推断物理规律,就需要不断学习不同表示空间之间的映射关系。这意味着,模型的大量能力是被消耗在 "翻译" 上,不是对物理世界本身的理解上。
因此,具身智能进一步发展的关键,并不仅仅是增加更多数据或者扩大模型规模,而是找到一种能够承载物理经验的统一表示空间。
UNITAS 给出的探索是:三维物理世界本身,就是机器人理解世界的一种原生表示。
▲ UNITAS 总览。(a) 多本体数据:仿真、真机、人类双手;(b) 一个世界坐标接口:动作流与场景流在同一坐标系中联合建模;(c) 以 1.7B 参数在多项基准上领先(来源:UNITAS 论文 Figure 1)
02 让机器人在三维世界里理解 "动作" 与 "变化"
机器人真正进入物理世界,面对的不只是 "如何行动" 的问题,也包括 "行动之后世界会如何变化"。
传统机器人策略模型关注的是:机器人下一步应该执行什么动作;而世界模型关注的是:执行这个动作后,环境会发生怎样的变化。过去,这两个问题通常被作为不同任务分别建模,但从真实物理过程来看,二者本质上是一件事。
当机器人伸手拿起一个杯子时,机械臂移动是动作,杯子离开桌面并发生位移是结果,两者共同构成了一次完整的物理交互过程。机器人如果只学习 "怎么动",却不了解动作会如何影响世界,就很难真正理解物理规律。
UNITAS 提出的核心思路,正是将观察、行动和世界变化统一到同一个三维物理空间中建模。
也许你会好奇,机器人领域已经有不少方法引入了三维信息。UNITAS 的 "3D 原生"(3D-Native)究竟意味着什么?
关键区别在于:3D 是作为辅助信息存在,还是作为模型理解世界的基础。
过去的一些方法可以称为 3D-aware World Action Model(3D 感知世界动作模型)。它们会引入深度、点云或几何约束,帮助模型获得额外的空间信息,但模型的核心表示仍然建立在二维视觉或其他潜在特征之上。换句话说,模型能够 "感知" 三维信息,但三维并不是它理解世界的原生语言。
例如,视频世界模型主要通过连续图像预测未来状态。它可以判断画面中的物体如何变化,但物体之间真实的距离、空间关系以及运动规律,需要模型从二维视觉变化中进一步推断。
部分 3D 方法进一步增强了空间理解能力。比如 PointWorld 能够预测三维场景变化,但动作轨迹由外部输入,模型更接近一个预测环境变化的模拟器(Simulator),而不是同时理解 "为什么行动" 以及 "行动后世界如何变化" 的统一模型。
包括蚂蚁灵波的 LingBot-VA、英伟达的 DreamZero,主要沿着二维视觉建模的路线展开,将未来视频预测与机器人动作生成结合。这条路线能够利用视频中的丰富经验,但描述世界变化的主要载体仍是二维画面及其潜在特征,物体之间的距离、位置与运动关系,需要模型从中学习和推断。
而在 UNITAS 探索的 3D 原生的思路中,核心变化在于:它不再让模型从二维视觉中推断三维世界,而是直接让模型在三维物理空间中学习世界,简而言之,"世界" 模型直接作用在统一坐标系下的三维 Token 上,而不通过图片 Token 作为桥梁。
UNITAS 的主干模型直接处理三维 Token,将三维空间作为机器人观察、行动和理解环境变化的共同表示:
观察(Observation)对应环境中物体的三维位置关系;
动作(Action Flow)对应机器人末端执行器或人手等操作端的运动轨迹;
场景变化(Scene Flow)对应物体受到动作影响后产生的运动变化。
例如,机器人执行 "拿起杯子" 任务时,模型不仅需要知道杯子在哪里、机械臂应该如何移动,也需要理解夹爪靠近、抓取、抬起过程中,杯子的位置如何变化,以及整个场景将如何响应。
UNITAS 用三维点的轨迹描述这个过程:
动作流(Action Flow):人手或机器人夹爪上的点如何随时间移动。
场景流(Scene Flow):以这些点为条件,杯子等场景中的点如何移动。
▲ 预测的动作流以及对应的场景流
在 UNITAS 中,这些过程不再被拆分成多个独立问题,而是在同一个三维坐标系中进行联合建模。因此,模型既能够根据任务目标生成可执行动作,也能够根据动作预测未来的世界变化。
论文中的消融实验进一步显示,引入场景流监督后,机器人动作策略性能仍然获得提升。这说明,对世界变化规律的理解,能够帮助机器人做出更准确的动作决策。
03 从人手、夹爪再到机器人:让机器人经验成为同一种 "语言"
对于机器人而言,获得泛化能力的另一关键挑战,是如何利用来自不同来源的经验。现实中,机器人数据高度分散:有的来自仿真,有的来自真机采集,有的来自人类操作示范。同时,不同机器人机械结构与控制方式各异,同一任务在不同设备上的表现形式也不相同。如果没有统一表示,这些经验很难被同一个模型有效吸收。
UNITAS 尝试解决的正是这一问题,从硬件形态看,人手与机器人完全不同;但从运动规律看,它们都可以被描述为:某些关键点在三维空间中如何随时间变化。因此,在 UNITAS 表示体系中,人手、机器人夹爪以及仿真环境中的操作端,都可以被转换为三维空间中的点轨迹,不同来源的数据拥有了共同表达方式 —— 仿真操作数据、真机采集数据与人类双手完成任务的数据,都可以进入同一个三维空间进行学习。
▲ 跨数据源的共享点流表示:仿真、真实机器人、人类双手,在 UNITAS 内部都是同一坐标系中的点轨迹;右图显示混合数据训练持续降低末端执行器误差(来源:UNITAS 论文 Figure 3)
论文中,UNITAS 将九个数据来源进行混合预训练,再针对具体任务微调。在 LIBERO-Plus 测试中,混合预训练使整体成功率提升 2.6 个百分点;面对机器人初始状态扰动时,任务成功率从 84.8% 提升至 94.2%。这验证了一个重要方向:当不同来源的物理经验能够被统一表达,机器人学习就有机会突破单一数据源限制。
打通数据鸿沟,让机器人经验真正流动起来
要实现多源数据统一,并不是简单地把不同数据放在一起训练就能完成。不同机器人、不同数据集之间,仍然存在大量底层差异。例如,部分数据可能缺少完整深度信息,不同机器人的轨迹采样频率并不一致,不同任务的持续时间也各不相同。为了让这些数据能够在同一个三维空间中被理解,UNITAS 提出了两个关键模块。
首先是世界对齐的 3D 位置嵌入(World-Aligned 3D Position Embedding)。该模块为观察、动作流和场景流引入统一三维坐标编码,使不同来源的信息能够映射到同一个物理空间中。
针对部分视觉数据缺少深度信息的问题,UNITAS 还能够在视锥范围内学习补全深度,使模型能够同时适配 RGB-D 和 RGB 数据。
其次是物理时间轨迹编码器(Physical Time Trajectory Encoder)。在机器人数据中,不同数据集往往存在轨迹长度和采样频率差异。例如,有的数据以 10Hz 采集,有的数据以 30Hz 采集;有的任务持续时间较短,有的任务需要完成长程操作。UNITAS 通过按照轨迹点实际对应的物理时间进行编码,将不同时间尺度、不同采样频率的轨迹转换到统一特征空间中。
解决了以上数据异构之后,UNITAS 的主干模型 Point Dynamics DiT 就可以在统一的特征空间(Observation: 同空间下的三维点;Action Flow: 同空间下的操作本体上采样点轨迹 Token + 初始点位置编码; Scene Flow: 同空间下的场景点轨迹 Token + 初始点位置编码)上进行学习泛化。UNITAS 还兼具机器人控制与场景预测能力:策略模式根据任务生成可执行动作;模拟器模式根据给定的动作轨迹,预测场景接下来如何变化。
04 凭 1.7B 参数跑赢 8B 模型!UNITAS 全球多项评测领先
在具身智能领域,模型能力的竞争,最终要回到可比较的评测结果。
UNITAS 已在多项机器人操作评测中展现出 "屠榜" 实力:仅凭 1.7B(17 亿)参数,超越参数规模达 6B(60 亿)的 Fast-WAM、8B(80 亿)的 Motus,以及 π0.5、LingBot-VA、PointWorld 等模型,在多项基准测试中全面夺冠,进一步在真实机器人操作执行上同样表现突出,任务平均成功率达到 85%!
99.8% —— LIBERO 平均成功率达到 SOTA。长程任务子集 LIBERO-Long 也达到 99.4%,在需要连续完成多步操作的任务中保持高成功率。
92.9% / 93.0% —— RoboTwin 2.0 双臂操作成功率。分别对应 Clean 和 Randomized 设置,超过 Fast-WAM(6B)和 Motus(8B)等参数规模更大的视频世界动作模型。
89.1% —— LIBERO-Plus 整体成功率。面对相机视角、机器人初始状态等七类扰动,模型依然保持较强的任务完成能力。其中,机器人初始状态扰动下的成功率达到 94.2%,展现出对物理条件变化的适应能力。
0.427 厘米 —— 场景运动预测误差降低约 35%。在 RoboTwin 仿真测试中,运动点平均轨迹误差由 PointWorld 的 0.656 厘米降至 0.427 厘米,误差不超过 1 厘米的预测准确率达到 92.31%,四项场景预测指标全部领先。这检验的是模型对 "动作之后,物体会怎样运动" 的预测能力。
▲ RoboTwin 动作条件场景预测:UNITAS 在全部四项指标上领先,Moving ADE 从 0.656 cm 降至 0.427 cm(来源:UNITAS 论文 Table 4)
真实机器人测试则进一步检验 UNITAS 在实际物理环境中的执行效果。
在论文报告的真实任务中,UNITAS 平均成功率达到 85%,其中在 Organize Books(整理书本上架)上达到 90% 成功率,在 Pack the Ball(装球并拉上拉链)上达到 80%。
综合来看,UNITAS 的成绩并非某一项指标的突破,而是体现了标准操作、双臂协作、扰动适应、场景运动预测和真实机器人执行等多方面综合实力。
更值得关注的是,UNITAS 仅有 1.7B 参数,却在多个指标和表现上均超过参数规模更大的对比模型。 这说明 UNITAS 的价值不仅仅停留于 "3D 原生" 的技术理念,它已经将机器人操作能力带到了真实物理环境中,为机器人从多源学习提供了真正行之有效的路径。
UNITAS 以小胜大的关键:消融实验逐项验证设计
把视觉 3D 位置编码、动作流监督、动作流历史 token 这三项 3D 原生设计全部去掉,模型即退化为常规 VLA 基线,整体成功率从 86.47% 跌到 67.58%—— 近 19 个百分点的差距,全部由表示方式本身贡献。论文在 LIBERO-Plus 上逐项验证:
3D 位置编码 —— 去掉后相机视角扰动下成功率从 79.11% 跌至 66.73%,对齐的三维信息是跨视角泛化的关键。
动作流监督 —— 去掉后整体成功率从 85.74% 降至 78.89%,对齐输入观测和输出动作空间是学习可泛化机器人动作控制的核心。
动作流历史 token—— 去掉后机器人初始状态扰动下成功率骤降 19.87 个百分点,历史动作上下文增强了模型鲁棒性。
场景流监督 —— 在上述三项之上叠加后整体成功率从 85.74% 升至 86.47%,"看懂世界会怎样" 反过来让 "自己该怎么动" 更准。
四个组件各司其职、彼此增益:参数省下来的每一分,都是被更贴合物理世界的表示方式省下来的。
05 从统一表示到数据飞轮:跨维探索 Physical AI 落地路径
UNITAS 解决的是机器人学习中的一个关键问题:如何让来自不同来源的物理经验拥有统一表达方式。而要推动机器人真正走向更广泛的真实世界,仅有统一表示还不够,还需要持续增长的高质量物理经验。
从 2021 年成立以来,跨维持续建设生成式世界模型和具身智能基础设施。跨维自研的 DexVerse® 生成式仿真引擎,能够根据语言、图像等多模态输入生成三维场景,并结合物理仿真与传感器模拟,构建机器人理解和交互所需的虚拟世界。EmbodiChain 具身智能工具链则进一步连接场景生成、数据扩增、模型训练与部署流程,让机器人能够在更加丰富、多样的环境中持续积累经验。
随着 UNITAS 3D 原生技术路线的发展,仿真在 Physical AI 技术链条中的价值也正在被重新定义。它不再只是补充真实数据,而是成为生成和组织物理经验的重要环节。真实环境中,机器人难以完整记录每一次交互背后的运动过程与环境响应,而在生成式仿真环境中,这些物理变化可以被计算、生成并用于模型学习,为机器人理解动作与世界变化之间的关系提供更加丰富的经验来源。
UNITAS 与跨维生成式仿真体系的结合,正在形成 "仿真生成 — 模型学习 — 真实验证 — 数据回流" 的 Physical AI 数据闭环,让机器人经验能够跨视角、跨本体、跨场景迁移,并探索 Physical Token 经济学所关注的核心方向:不断降低机器人获得下一项能力的成本。
论文也展示了这一方向的潜力:UNITAS 的场景流监督主要来自仿真数据,但在 DROID、RH20T 等真实世界观测数据上,仅根据夹爪运动轨迹,模型依然能够预测合理的场景变化。这说明,通过统一的三维物理表示,机器人正在具备从虚拟经验迁移到真实环境的能力。
▲ 零样本迁移:UNITAS 在真实世界画面上直接预测场景流 —— 模型没有见过这些真实场景的三维监督,依然能预测 "动作之后世界怎样变化"(来源:UNITAS 论文 Figure 11)
从生成式仿真引擎,到具身智能模型,再到真实场景应用,跨维持续探索 Physical AI 的发展路径。
未来,跨维愿与全球开发者、产业伙伴携手,让机器人真正理解物理世界,并在持续学习与进化中走向更广泛的应用,推动具身智能成为下一代生产力的重要组成部分,让机器人逐步走进更多生产与生活场景,服务千行百业,创造更广泛的价值。
跨维智能是一家以生成式世界模型驱动具身智能高效落地的高新技术企业。公司自研生成式具身智能引擎,打通 "数据 - 模型 - 本体 - 场景" 全链条,致力于打造全球落地能力领先的机器人具身大脑。此前跨维已推出国产自研具身仿真引擎 DexVerse®、世界模型 DexWorldModel,并登顶全球顶尖模型榜单 RoboTwin、WorldArena 首位;公司以 "迈向通用物理世界智能,打造通用机器人" 为长期愿景,采用 "沿途下蛋" 实战策略,依托目前智能制造、商业文旅等 50 余个落地场景,以复杂非结构化实操任务持续反哺通用模型泛化能力,实现通用算法迭代与商业落地同步推进。
(来源:跨维智能)
