选具身机器人,就上具身之家
行业动态返回

从语义到空间,OLA 验证了两条具身模型路线

最近,我们让 OLA 的两种模型路线参加了一次 "考试"

在最新更新的 RoboTwin 2.0 Leaderboard 中:OLA-Sem 取得 71.3% 的 Average 综合成绩,排名第一;

OLA-Geo 在 clean2clean 设置下取得 83.0%,排名第一;

同时,OLA-Sem 在更强调环境变化与泛化能力的 clean2random 设置下取得 67.6%,排名第二。

【Average 综合榜】源自:https://robotwin-platform.github.io/leaderboard
【clean2clean 榜】源自:https://robotwin-platform.github.io/leaderboard
【clean2random 榜】源自:https://robotwin-platform.github.io/leaderboard

RoboTwin 2.0 是一个面向双臂机器人操作的数据生成与评测框架。当前 Leaderboard 固定使用 50 个任务、每个任务 50 条 clean demonstration,共 2,500 条训练示范,并分别在 clean 和 randomized 环境中测试;RoboTwin 2.0 本身还通过场景杂物、背景、光照、桌面高度与语言等维度的随机化来考察策略面对环境变化时的表现(机器人仿真平台)。但对我们来说,比 "第一" 更值得讨论的问题是:

机器人从一个 Benchmark 走向真实世界,到底还需要理解什么?

答案可能不只有一种。

OLA-Sem 和 OLA-Geo,恰好代表了我们目前正在探索的两个方向。

01 OLA-Sem:机器人不只是要知道 "下一步做什么"

想象一个很简单的家庭任务。

你对机器人说:

"把桌上那个能喝的拿给我。"

这句话并没有直接告诉机器人应该抓哪个物体,也没有给出动作轨迹。

它首先要理解你的意图。

识别环境里的对象。

判断 "我要喝的" 到底指向什么。

再把这些理解转换成连续的机器人动作。

具身智能进一步走向真实世界,需要解决的不只是构建更强的动作策略,还需要把视觉观察、语言指令、任务推理与最终行动更紧密地连接起来。

这就是 OLA-Sem 想回答的问题。

如果缺少这种更统一的语义 — 行动建模,会发生什么?

对于 "抓起桌上的红色杯子" 这种目标明确、表达直接的任务,机器人可以更容易建立指令与动作之间的对应关系。但真实用户的表达通常不会如此标准。

"把我刚才喝水的那个拿过来。"

"不要大的,拿旁边那个。"

"先把这个放回去,再帮我拿另一个。"

当指令中同时包含上下文、属性、指代甚至任务变化时,问题就不只是 "下一步怎么动",而是机器人能否持续把用户的任务意图、当前环境和接下来应该执行的行为联系起来。

OLA-Sem 想加强的,正是从 "听到一句话" 到 "形成可执行行为" 之间的关联。

在技术上,OLA-Sem 尝试在一个统一模型中联合动作预测、图像生成与文本推理,让视觉、语言和动作共享统一表征;预训练则联合使用第一视角视频、视觉问答和机器人操作数据,让模型同时学习人与环境如何交互、如何进行语义推理,以及如何将这些信息转化成动作。

换句话说,我们希望机器人学习的并不只是:

"下一步应该向左移动 5 厘米。"

而是建立任务意图、当前观察与动作之间更强的关联。

这次 RoboTwin 2.0 的结果,是 OLA-Sem 这一方向的一次阶段性验证。

在 clean2clean 和 clean2random 两种不同设置下保持较高表现,并最终取得综合榜第一,也意味着模型在标准任务执行与面对环境变化时的表现之间取得了较好的平衡。

但仅仅理解 "我要做什么",还不够。

02 OLA-Geo:知道 "这是什么",还得知道 "它在哪里"

今天的视觉语言模型,已经可以很好地回答很多问题:

桌面上有什么?
哪个是杯子?
用户想拿什么?

但对于一个真正要伸手完成任务的机器人来说,这只是开始。

当问题从:

"桌上有没有杯子?"

变成:

"从遮挡物后面把杯子拿出来。"

机器人面对的就不再只是语义问题。

因为 "认出来了" 和 "拿得到",其实是两回事。

一个模型可以准确识别 "这是一个杯子",也可以知道用户想拿这个杯子。

但同一个杯子:

离机械臂 20 厘米还是 50 厘米;
在另一个物体前面还是后面;
是否被部分遮挡;
抓取方向上是否存在障碍;

都可能直接改变机器人下一步应该如何行动。

所以,从 "看懂图像" 到 "真正作用于物理世界" 之间,还有一个关键问题:

机器人不仅需要知道 "这是什么",还需要形成关于 "它在哪里、与其他物体是什么关系,以及这些关系如何变化" 的空间表征。这也是 OLA-Geo 想解决的问题。

相比语义与动作建模,几何空间能力如何系统地进入大模型预训练,仍然存在大量值得探索的问题。

OLA-Geo 的思路不是在一个完成训练的 VLA 后面,再简单增加一个独立的 3D 模块,而是尝试让几何空间信息从预训练阶段就参与模型表征的形成。

训练过程中,OLA-Geo 引入空间感知基础模型作为 "空间教师"。

同一组多视角 RGB 图像分别进入 VLA 与空间模型,通过特征层面的对齐,把位置、深度、尺度、遮挡等几何信息逐渐融入 VLA 自身的视觉表征之中。

更重要的是,这个 "空间教师" 只在训练阶段提供监督,模型真正执行任务时并不需要额外参与计算。

所以我们真正希望形成的,不只是:

机器人知道 "这是一个杯子"。

而是:

它同时知道杯子是什么、在哪里,以及应该如何作用于它。

这次 OLA-Geo 在 RoboTwin 2.0 clean2clean 设置中取得 83.0%、排名第一,是这一路线目前的一次公开阶段性结果。

03 Sem 和 Geo,不是两道孤立的题

为什么同时做 OLA-Sem 和 OLA-Geo?

因为真实世界本身不会把 "语义" 和 "空间" 拆开考。

当用户说:

"把沙发旁边那个蓝色的东西拿给我。"

机器人必须同时处理:

"蓝色的东西" 是什么;
"沙发旁边" 意味着什么空间关系;
目标在哪里;
应该如何移动;
机械臂从哪里接近;
执行过程中环境有没有发生变化。

语义告诉机器人 "要做什么"。

几何帮助机器人理解 "物理世界是什么状态"。

最终,两种能力都必须落到行动上。

因此,对欧拉万象而言,OLA-Sem 和 OLA-Geo 并不是两个彼此无关的 Benchmark 项目。

它们是我们对同一个问题的两种探索:

怎样让机器人获得足以真正作用于物理世界的模型能力?

04 而 Model,也只是家庭机器人的一层

RoboTwin 2.0 这次验证的,主要是 OLA 在 Model 层的一次阶段性探索。但当机器人真正进入家庭,仅有模型能力还不够。它还需要理解并拆解用户任务,在真实空间中移动与操作,并把持续产生的数据重新用于下一轮训练与迭代。

因此,OLA 正在围绕四层能力,为机器人构建持续进化的技术闭环:

Model:基于 OLA-Sem、OLA-Geo 等架构设计,以 human data 持续强化机器人对语义、空间与行动的理解。同时围绕 Mobile Manipulation 持续优化,让机器人不仅走得到,也拿得到。

Embodiment:AI-native 的机器人本体设计。

Agentic OS:连接用户意图、任务规划、技能调度与执行过程,让机器人从 "完成一个动作" 进一步走向 "完成一个任务"。

Data & Model Infra:连接数据采集、数据处理、训练、评测与部署,并将真实执行中的失败 Case 重新转化为数据,让系统持续迭代。

最终,这四层并不是彼此独立的模块,而是形成一个持续循环:真实任务→Model→Agentic OS→本体执行→真实反馈→Data & Model Infra→再训练、再部署

这本质上是一套 Real-world RSI System。

而 OLA-Sem 与 OLA-Geo 是今天这个循环中 Model 层已经公开的两种探索。

05 Benchmark 是一次考试,真实世界才是下一道题

一个统一、公开、可以重复比较的 Benchmark,可以帮助我们更清楚地知道模型在什么地方进步了,又在哪里仍然存在不足。

但我们也同样清楚:

Benchmark 不等于一个真实家庭。

真实家庭中的语言更加自由。

空间更加复杂。

人与物持续变化。

任务可能持续更长时间。

机器人还会遇到错误恢复、安全、人机协作以及长期学习等一系列问题。

这些都无法由今天的一张排行榜回答。

所以,对 OLA 来说:

第一名不是结论。

它更像一次阶段考试的成绩。

接下来,我们会把一些能力从 Benchmark 中拿出来。

放到更接近真实世界的任务里。

下一道题,很快给大家看。

(来源:欧拉万象)