Liber-0 技术报告

今天，我们正式发布 Liber-0。

完整技术 Blog：https://www.liberai.com/blog/liber0/

可交互在线仿真 DEMO：https://sim.liberai.work/

Zero-Shot 评测合集：https://reel.liberai.work/

01｜引言：从推理到行动

人类智能不仅体现在推理与思考，也体现在我们与物理世界交互时所依赖的直觉能力。

拿起一件物品、旋转把手、折叠毛巾，或者在操作过程中根据物体的变化调整动作，这些看似简单的行为，都需要视觉感知与身体运动的紧密配合，以及对接触、力度和环境反馈的持续响应。我们通常不需要逐步思考每一个动作，就能自然地完成这些操作。

人工智能已经在推理能力上取得了显著进展，但要让机器人具备类似的操作直觉，仍然是一个尚未解决的基础问题。

长期以来，机器人操作主要依赖针对特定机器人和任务采集的示范数据。研究人员通过遥操作等方式，让机器人重复执行抓取、放置、开关抽屉等动作，再利用这些轨迹训练策略模型。这种方法能够有效学习具体技能，但数据采集需要专门的机器人设备、操作人员和实验环境，成本较高，也难以快速覆盖丰富的真实世界任务 [1]。

相比之下，人类每天都在与物理世界进行大量交互。从整理物品、使用工具到完成复杂的手工操作，人类活动天然包含了丰富的物体、环境和动作模式。其中相当一部分经验，已经以视频的形式被记录下来，并形成互联网规模的数据资源。

如果机器人能够有效利用这些经验，就有可能突破传统真机数据采集的规模限制。近期的研究已经开始验证这一方向的可行性，并观察到人类经验数据在机器人学习中呈现出的积极 Scaling 趋势 [2][3][4]。

然而，从人类视频中学习机器人动作，远比语言模型从文本中学习知识复杂。

文本为语言模型提供了相对统一的知识载体。不同作者写下的文字，最终都可以被表示为统一的 Token 序列。相比之下，人类活动视频记录的是观察结果，而机器人需要输出的是能够由自身执行的动作。

人类如何完成一个任务，并不等于机器人能够直接复现这一过程。

我们认为，从大规模人类经验到机器人操作能力之间，主要存在三个需要解决的问题。

第一，本体差异（Embodiment Gap）。

人手与机器人灵巧手在几何结构、关节配置、运动学特性和活动范围上存在差异。即使目标相同，不同本体也可能需要采取不同的运动方式。

例如，人类转动把手时，可以主要依靠手腕完成旋转；而手腕自由度不足的机器人，可能需要通过肩部和手臂的复杂运动来代偿。

因此，从人类示范中学习的动作，不能简单地复制到机器人关节空间。

第二，动作监督差异（Action-Supervision Gap）。

大部分人类活动视频只包含视觉信息，而不包含直接测量的动作轨迹。

虽然可以利用视觉算法从视频中重建手部姿态，但遮挡、深度估计不准确和运动重建误差等问题，都会影响动作标签的可靠性 [5]。

对于粗粒度的抓取和放置，这些误差可能尚可容忍；但对于需要精确手指运动、持续接触和细微姿态调整的灵巧操作，监督信号的质量将直接影响模型能够学到的能力。

第三，视觉差异（Visual Gap）。

人类视频与机器人实际运行时的视觉观测并不完全一致。

拍摄角度、相机位置、手部外观和身体结构的差异，都会造成视觉分布偏移。例如，人类第一视角视频中看到的手部与物体关系，可能与机器人胸前相机或腕部相机所观察到的情况不同 [6]。

即使模型已经从人类视频中学习了某种动作模式，也需要在机器人实际观测到的视觉条件下正确调用它。

这三个问题共同指向一个核心研究问题：

如何将大规模人类活动中蕴含的物理经验，转化为能够跨任务、跨物体、跨本体泛化的机器人行动能力？

Liber-0：从人类经验中学习行动

围绕这一问题，我们构建了 Liber-0，一个基于超过 220 万小时人类经验 进行预训练的世界动作模型（World Action Model，WAM）。

Liber-0 的基本思路，是将大规模视觉学习与可靠的动作监督结合起来，并尽可能缩小人类示范与机器人执行之间的差异。

为此，我们从模型、数据采集和机器人硬件三个层面协同设计了整套系统。

将本体信息作为模型的条件输入。我们提出统一本体表示（Unified Embodiment Representation），将人类与机器人的几何形态和运动学信息编码到共享的表示空间中。

模型不仅学习应该执行什么动作，也学习不同身体应当如何完成同一个目标，使从人类示范到机器人动作的迁移成为可能。

使用实测动作，为大规模人类视频建立动作锚点。我们研发了 LiberSense Glove 数据采集系统，将精确测量的手部运动与第一视角视频同步记录。

这些数据为模型提供可靠的视觉 — 动作对应关系，使大规模人类视频中的视觉经验能够与可执行动作联系起来。

从硬件层面缩小人类与机器人之间的差异。我们设计了机器人平台 LEO，采用灵巧手、拟人化手腕、可活动腰部以及与人类采集视角接近的相机配置。

通过让机器人的视觉观测和运动方式更接近人类，降低模型从人类数据迁移到机器人时所面临的分布差异。

核心实验结果

基于这套系统，我们开展了一系列规模化训练与跨本体迁移实验。

实验表明，不同来源的人类经验都能为机器人操作提供有效的学习信号，但其数据效率与迁移能力存在明显差异。

其中，手套数据在精细操作任务上展现出尤其显著的 Scaling 效果。

在我们的评测中，1 万小时手套数据的表现超过了 200 万小时互联网人类视频数据，在抓取放置（PnP）和非抓取放置操作（Non-PnP）两类任务上均取得更好的结果。

手套数据还能够降低对机器人示范的依赖。在一组控制变量实验中，将手套数据与少量真机示范结合，使用比完整机器人数据基线少 75% 的真机示范，就取得了更高的任务进度分数。

更重要的是，人类数据不只是用于提高机器人已经学会的技能。

我们发现，即使某项操作从未出现在机器人的示范数据中，只要存在相应的人类手套数据，模型也有可能将这项技能迁移到机器人上。

在进一步的零样本泛化评测中，我们使用 GPT-6 随机生成的 60 项任务，开展了共计 600 次真机测试。Liber-0 在抓取放置、短程非抓取放置，以及具有挑战性的多步骤操作任务上，取得了 36.0% 的总体成功率。

这些任务均未使用专门针对目标任务采集的机器人示范进行训练。尤其值得关注的是，模型已经能够在部分多步骤任务中连续执行不同类型的操作，而不再局限于单次抓取和放置。

仅需少量后训练，Liber-0 即能可靠地完成长程、组合泛化的任务，如制作不同配方的奶茶。这表明海量预训练能够极大地降低真实场景的部署成本，展现了从通用泛化走向落地应用的潜力。

以下将介绍 Liber-0 的模型设计、数据采集与机器人平台，并通过一系列对照实验，分析人类经验如何转化为机器人操作能力。

02｜模型：连接视觉经验与动作

Liber-0 的模型设计主要围绕两个问题展开。

一方面，如何利用海量没有动作标签的人类视频进行预训练，同时让模型学到的视觉经验能够转化为实际动作？

另一方面，如何让模型理解不同本体之间的差异，使人类动作能够迁移到机器人上？

我们的方案由三个相互补充的部分组成：动作驱动的预训练、统一本体表示，以及语义能力联合训练。

2.1 动作驱动的预训练：联系观察与动作

大量人类活动视频记录了物理交互发生的过程。

例如，视频可以展示一只手如何接近抽屉、握住把手，并将抽屉逐渐拉开。模型可以从这些画面中学习物体状态如何随时间变化，以及动作与视觉结果之间存在怎样的关系。

但仅仅预测未来画面，并不意味着模型就知道机器人应该采取什么动作。

这是纯视觉预训练在机器人操作中面临的一个重要限制。

为了解决这一问题，我们采用世界动作联合建模（World-Action Modeling）[7]，让模型同时预测未来视觉帧与动作序列。

其中，LiberSense Glove 数据发挥了关键作用。

与仅包含视频的人类数据不同，手套数据将第一视角视觉观测与直接测量的手部运动进行同步记录，为模型提供可靠的动作监督。

在这些数据中，模型不仅能够观察到物体状态如何变化，还能够学习产生这些变化所对应的手部运动。

我们将这种监督关系视为连接人类视觉经验与可执行动作的动作锚点（Action Anchor）。

通过视觉与动作的联合预测，模型可以在两种数据之间建立联系：一方面利用大规模、未标注动作的视频学习丰富的物理交互模式；另一方面通过手套和机器人数据，学习这些交互对应的动作规律。

这样，动作学习就不再完全受限于具有精确动作标签的数据量，而能够受益于规模更大的人类视觉经验。

在模型结构上，Liber-0 采用 Mixture-of-Transformers 架构 [8]，分别设置语言、视觉和动作专家，使不同模态能够在共享框架下进行建模与交互。

这一设计的核心，是让模型同时获得理解环境变化和生成动作的能力，而不是将视觉预测与机器人控制视为两个完全独立的问题。

2.2 统一本体表示：让模型理解不同的本体

即使获得了可靠的动作标签，人类动作与机器人动作之间仍然存在本体差异。

人手和机器人灵巧手可能具有不同的关节配置、手指长度、运动范围与运动学约束。相同的目标动作，在不同身体上可能对应不同的关节运动。

因此，我们希望模型学习的不是某一套固定关节动作，而是操作目标、身体结构与实际动作之间的关系。

Liber-0 引入了统一本体表示（Unified Embodiment Representation）。

这一表示将人类和机器人身体的几何信息与运动学特征编码到共享空间，并将其作为模型动作预测时的条件输入。

对于同一个操作目标，模型可以根据当前本体的条件信息，学习不同身体所对应的动作模式。

这种设计使模型能够同时利用来自不同人类、不同机器人平台的数据，学习跨本体共享的操作规律，以及由身体结构差异带来的动作变化。

从更长远的角度看，我们希望模型能够逐步形成对身体差异的连续表示，而不是为每一种机器人分别学习一套孤立的控制策略。

这样，随着参与训练的本体种类不断增加，模型也有机会获得更强的跨本体泛化能力。

2.3 语义联合训练：理解任务、空间与执行

机器人操作不仅需要准确的运动控制，也需要理解语言指令、物体关系和任务进度。

例如，面对 “将笔放入收纳袋，再把收纳袋放进抽屉” 的指令，机器人需要识别涉及的物体，理解它们之间的空间关系，并判断当前应该执行哪一步。

这些能力并不能完全通过动作预测获得。

因此，我们在世界动作模型的训练之外，引入多种视觉语义任务进行联合训练，包括：

视觉问答（VQA）： 学习物体识别、场景理解、视觉关系，以及根据当前和历史观测判断任务执行到哪一步。

图像分割： 建立语义类别与具体图像区域之间的对应关系，增强细粒度空间理解。

图像编辑： 通过语言指令与视觉变化的对应关系，学习任务目标在视觉上应当呈现的结果。

视频理解： 学习动作顺序、事件之间的时间关系、物体状态变化和任务执行进度。

这些训练目标与世界动作建模相互补充，使 Liber-0 在学习物理交互的同时，保持较广泛的视觉理解与语义能力 [9]。

对于复杂的多步骤任务，Liber-0 还可以根据需要与推理智能体结合，例如使用 GPT-6 Astra 规划中间目标，再由 Liber-0 完成相应的操作执行。

我们认为，任务级推理与底层操作控制具有不同的需求。前者关注任务分解与目标选择，后者需要在连续的视觉反馈下，完成精确、及时的动作调整。

让两者各自发挥优势，是实现复杂机器人任务的一条可行路径。

03｜从数据到本体：LiberSense Glove 与 LEO

模型之外，硬件设计也是人类经验迁移到机器人的重要组成部分。

如果数据采集时使用的身体与机器人差异很大，模型就需要额外学习大量本体适配关系；如果人类示范与机器人实际运行时的视觉视角不同，模型还需要应对额外的视觉分布偏移。

因此，我们没有将数据采集硬件与机器人本体视为彼此独立的系统。

围绕人类经验学习这一目标，我们研发了两套互相配合的硬件平台。

LiberSense Glove 负责在自然的人类操作过程中，采集可靠的动作监督。

LEO Robot 则通过拟人化的运动结构和视觉配置，让机器人尽可能直接地利用从人类示范中学到的操作方式。

3.1 LiberSense Glove：以更自然的方式采集动作数据

人类活动数据的规模优势，首先来自采集方式本身。

传统机器人遥操作需要机器人在场，并受到设备数量、操作空间、部署成本和操作者技能等因素限制。

而人类本身就具备丰富的操作能力。如果能够在不明显改变人类自然动作的前提下，准确记录手部运动，就可以在更广泛的环境中采集操作经验。

LiberSense Glove 正是为此设计。

它是一套轻量化的可穿戴数据采集系统，用于同步记录人类的手部运动与视觉观测。

与采用刚性外骨骼结构的方案不同 [10]，LiberSense Glove 的厚度仅为 0.3 毫米，重量为 131 克。

轻薄的设计能够尽可能减少设备对手指运动和人与物体接触的干扰。

这一点对于灵巧操作数据尤为重要。

如果采集设备本身改变了人类握持、捏取和接触物体的方式，那么即使获得了高精度的动作轨迹，所记录的行为也可能偏离自然操作。

我们希望采集到的，是人在日常环境中原本就会采取的动作，而不是为了适应设备而产生的动作。

手套采用接近自然肤色的外观，也有助于保持与常见第一视角人类视频之间的视觉一致性。

在数据记录上，LiberSense Glove 将直接测量的手部姿态和运动轨迹，与一个第一视角相机、两个腕部相机采集的视频进行同步。

这样，每段采集数据同时包含了两个重要部分：

一是人类在操作过程中观察到了什么；二是人手实际执行了怎样的运动。

这种视觉与动作的同步关系，让手套数据能够作为模型预训练中的动作锚点。

相比单纯依赖视频重建手部动作，直接测量可以减少由于视觉遮挡、深度估计和姿态重建所带来的监督误差，从而为精细操作提供更可靠的学习信号。

更重要的是，手套采集并不需要在现场部署机器人。

数据可以来自不同人的真实操作，覆盖不同手部形态、物体、任务和环境。这使其具备比专用机器人遥操作更灵活的扩展方式。

随着采集规模增长，我们不仅可以增加数据时长，也可以进一步扩大操作者、物体和交互方式的多样性。

3.2 LEO：让机器人更接近人类的运动方式

如果说 LiberSense Glove 解决的是如何从人类活动中获得可靠动作监督，那么 LEO 解决的是另一个问题：

如何让机器人真正执行从人类示范中学到的动作？

机器人与人类之间的身体结构差异，会直接影响技能迁移的难度。

例如，某些机器人在执行旋转操作时，需要通过大幅移动手臂来补偿手腕活动能力不足；在狭窄空间中抓取物体时，也可能因为前臂结构较大而受到碰撞限制。

即使模型能够理解人类示范中的操作方式，机器人硬件本身也未必能够复现相应的运动。

因此，我们在设计 LEO 时，重点考虑如何减少人类动作与机器人运动空间之间的差异。

LEO 配备灵巧手，用于完成需要精细手指控制的操作；采用较为纤细的前臂结构，减少在狭小空间中运动时发生碰撞的可能性；同时引入拟人化手腕和可活动腰部，扩大机器人能够执行的动作范围。

其中，LEO 的手腕具备三个旋转自由度。

这使机器人能够在前臂基本不动的情况下，完成较大范围的手腕姿态调整。

对于旋转把手、调整手掌朝向，以及在空间受限的位置进行抓取等任务，这种运动能力非常重要。

例如，人类开抽屉时，通常会自然地弯曲手腕，使手掌与把手形成合适的接触姿态，然后沿抽屉运动方向施力。

如果机器人缺少相应的手腕自由度，就可能需要通过更加复杂的手臂轨迹实现同样的效果。

通过提高运动学上的兼容性，LEO 能够更直接地复现人类示范中出现的操作模式。

与此同时，可活动腰部能够帮助机器人调整身体姿态，扩展可达空间。

面对位置较低或角度特殊的物体，机器人可以通过腰部与手臂协同运动，完成类似人类弯腰、伸手和抓取的动作。

这些设计并不是为了在外观上简单模仿人类，而是希望从运动学层面降低跨本体迁移的难度。

3.3 从采集开始缩小视觉差异

除了动作能力，LEO 也在视觉系统上与人类数据采集保持对应。

LiberSense Glove 使用第一视角和腕部相机记录人类操作，而 LEO 配备胸部与腕部相机，使两者能够从相近的角度观察手部与物体之间的交互。

这种一致性可以减少预训练和实际推理时的视觉分布偏移。

例如，当人类伸手抓取桌面上的物体时，第一视角与腕部视角所记录的手 — 物关系，可以与 LEO 执行相同操作时的视觉观测形成较直接的对应。

上图展示人类第一视角记录与 LEO 胸部相机画面的并排对比。可以观察到，两者对手部与物体交互的观测角度具有较高的一致性。

通过数据采集、模型表示和机器人本体之间的协同设计，我们希望尽可能减少人类经验迁移到机器人时需要跨越的差异。

这也是 Liber-0 整套系统的一个重要设计原则：不仅让模型适应机器人，也通过硬件设计，让机器人更容易利用人类经验。

04｜Scaling：人类经验能否持续转化为机器人能力？

有了模型框架、动作监督和硬件对齐，接下来需要回答的是一个更直接的问题：

随着人类经验数据规模增加，机器人的操作能力是否能够持续提升？

这一问题不仅关系到预训练是否有效，也关系到不同数据来源究竟具有怎样的价值。

互联网人类视频数量巨大，但缺少精确的动作标签；手套数据提供可靠的动作监督，但需要专门采集；机器人数据与最终执行环境最为接近，却有较高的采集成本。

这些数据各自具有什么优势？不同来源的数据能否相互补充？模型能力是否能够通过规模化预训练继续增长？

我们首先通过数据 Scaling 实验研究这些问题，随后测试模型在未针对目标任务进行真机训练时的泛化能力。

4.1 不同数据来源的 Scaling Law

为了比较不同数据来源对机器人操作能力的贡献，我们选择了五类预训练数据。

Glove Data（手套数据）使用 LiberSense Glove 采集的人类操作记录，包含精确测量的手部运动及同步视觉观测。

Cross-Embodiment Robot Data（跨本体机器人数据）来自不同机器人本体、任务和环境的操作示范，提供直接的机器人动作监督。

OpenEgo（公开第一视角数据）整合自公开数据集的人类第一视角视频，覆盖多样化的人类活动和手 — 物交互。

VendorEgo（外部采集第一视角数据）由外部采集的人类第一视角操作视频，相比一般互联网视频，具有更一致的操作示范和更接近机器人执行的运动模式。

Web Human Data（互联网人类视频）从互联网筛选的人类活动视频，提供广泛的物体类别、场景、观察角度和物理交互经验。

在实验中，我们分别使用五类数据进行独立预训练，并设置 1,000、2,000、5,000 和 10,000 小时的数据规模。

对于互联网视频，我们进一步增加 10 万和 200 万小时两个规模，以考察更大数据量下的训练效果。

为了保证不同数据来源之间的可比性，所有模型在完成各自的预训练后，都使用相同的机器人数据进行后训练。

评测包含 60 项抓取放置任务（PnP），以及 16 项非抓取放置操作任务（Non-PnP）。

我们使用平均任务进度分数（Progress Score）衡量模型表现，而不是仅统计任务最终是否成功。

这一指标能够反映模型完成操作过程中各个关键步骤的程度，具体定义将在后文介绍。

实验得到以下五个主要结论。

发现一：不同来源的数据均呈现积极的 Scaling 趋势

没有使用上述特定来源数据进行预训练的基线模型，在 PnP 和 Non-PnP 两类任务上的平均进度分数分别为 39.3 和 34.1。

加入各类数据进行预训练后，模型表现均超过相应基线。

虽然部分数据规模之间存在局部波动，但总体来看，随着预训练数据增加，模型的操作表现呈现改善趋势。

这说明，不同来源的物理经验都可以为机器人学习提供有效信息。

即使数据不直接包含可执行的机器人动作，人类视频中的物体交互、状态变化和视觉动态，也能够在预训练中发挥作用。

不过，不同数据来源的增长幅度并不一致。

发现二：PnP 与 Non-PnP 的 Scaling 规律存在明显差异

PnP 主要涉及物体选择、抓取、移动和放置。Non-PnP 则涵盖折叠、打开、关闭、按压、拉动和推动等操作，往往需要更持续、更精确的手 — 物接触。

实验发现，对于手套以外的数据来源，随着数据规模增长，Non-PnP 任务的收益普遍小于 PnP。

换句话说，增加大量视觉经验通常能够帮助机器人更好地识别、抓取和放置物体，但对于需要精细动作控制的操作，收益相对有限。

手套数据表现出不同的规律。

当手套数据量从 1,000 小时增加到 10,000 小时时，PnP 进度分数提高了 14.7 分，Non-PnP 提高了 13.1 分。

这意味着，手套数据在两类任务上都保持了较明显的 Scaling 收益。

我们认为，这一差异反映了不同操作类型对监督信号的需求。

抓取放置能力可以在较大程度上受益于物体识别、空间理解和粗粒度运动信息；而精细操作对手部运动、接触过程及连续动作变化更为敏感，因此更加依赖可靠的动作监督。

发现三：手套数据在精细操作上具有显著优势

在 PnP 任务中，手套数据与跨本体机器人数据表现出相近的 Scaling 趋势，且整体优于其他几类来源。

在 Non-PnP 任务中，手套数据的优势更加明显。

它不仅取得更高的进度分数，也在数据规模增加时保持了更强的增长趋势。

这一结果说明，对于精细且持续的操作任务，高质量的人类动作监督能够有效弥补单纯视觉经验的不足。

更进一步，手套数据虽然采集自人类而非目标机器人，但在本体表示与硬件对齐的支持下，仍然能够为机器人带来有效的操作能力。

发现四：仅仅增加互联网视频规模，无法完全弥合动作迁移的差距

互联网视频拥有明显的规模优势。

在实验中，我们将 Web Human Data 扩展到 200 万小时，最终在 PnP 与 Non-PnP 上分别取得 64.6 和 51.2 分。

然而，这两个结果仍然低于仅使用 1 万小时手套数据 进行预训练所取得的成绩。

两者的数据时长相差 200 倍。

这并不意味着互联网视频缺乏价值，而是说明数据规模并非决定操作能力的唯一因素。

特别是对于灵巧操作，模型需要的不只是看到大量交互过程，还需要建立视觉变化与实际动作之间可靠的对应关系。

这一实验凸显了动作监督与跨本体对齐的重要性，也说明高质量数据与大规模数据之间并不存在简单的替代关系。

发现五：完整的多阶段预训练取得最好的总体表现

尽管手套数据在单一数据来源对比中表现突出，但我们并不认为只扩大手套数据规模就足以解决全部问题。

不同数据来源在视觉覆盖、动作精度和本体多样性上具有互补优势。

通过将大规模人类视频、动作监督数据和跨本体机器人数据进行分阶段组合训练，完整的 Liber-0 在机器人后训练后取得：

PnP：83.6 分

Non-PnP：73.8 分

这一成绩明显超过所有单一数据来源的配置。

综合来看，实验揭示了两类监督信号的不同作用。

大规模人类视频提供丰富的视觉经验，使模型能够接触更多物体、场景与物理交互；手套与机器人数据则提供动作监督，帮助模型将这些经验与可执行动作联系起来。

对机器人操作而言，扩大经验覆盖范围与提高动作监督质量，是两个需要共同推进的方向。

这一发现也构成了 Liber-0 多阶段预训练策略的实验依据。

4.2 Zero-shot：零样本泛化挑战

规模化预训练的价值，不应只体现在一组预先定义好的评测任务上。

更重要的问题是：面对没有专门采集过机器人示范的新任务，模型能否利用预训练中学到的经验直接执行？

我们将这一能力称为任务级零样本泛化（Task-level Zero-shot Generalization）。

这里的 Zero-shot 有一个明确的定义：被评测的模型没有使用专门针对目标任务采集的机器人示范进行训练。

我们关注的是，在没有目标任务专门示范的情况下，模型能否组合已有的视觉经验与操作能力，完成新的任务要求。

评测任务与实验设置

为避免完全由内部研究人员选择任务，我们使用 GPT-6 提出 60 项操作任务，并将其与前述内部 Scaling Benchmark 分开评估。

任务覆盖三个难度层级，每类 20 项。

第一类：PnP，抓取与放置。主要考察模型根据指令识别物体，并将其移动到指定位置的能力。

第二类：Short Non-PnP，短程非抓取放置操作。包括需要改变物体状态、进行局部精细控制或持续接触的操作任务。

第三类：Challenging Multi-Step Non-PnP，具有挑战性的多步骤操作。需要连续完成多个相互依赖的动作，并在执行过程中根据物体状态推进任务。

每项任务进行 10 次测试，总计 600 次真机测试。

所有任务均在没有针对目标任务进行专门机器人示范训练的模型 Checkpoint 上评估。

Zero-shot 评测结果

PnP 抓取放置成功率：63.5%

Short Non-PnP 短程操作成功率：34.0%

Challenging Multi-Step 多步骤操作成功率：10.5%

总体成功率：36.0%

从结果可以看到，模型在抓取放置任务上已经具备较好的泛化能力。

面对需要更加精确接触与运动控制的 Non-PnP 任务，成功率有所下降；而多步骤任务由于涉及连续动作协调、物体状态变化和误差累积，仍然具有明显的挑战性。

其中值得关注的是，模型已经能够在部分多步骤任务中成功执行完整操作序列。

这意味着，Zero-shot 能力开始从相对简单的单次抓取与放置，扩展到需要连续改变物体状态的操作任务。

例如，在一项多步骤桌面任务中，机器人需要依次打开抽屉、将笔放入黑色收纳袋、将收纳袋放进抽屉，最后关闭抽屉。

这一任务同时包含抽屉操作、物体抓取、精细放置和状态切换，并要求机器人在多个步骤之间保持任务连续性。

Liber-0 能够在测试中完成这一完整过程。

当然，10.5% 的复杂多步骤任务成功率也表明，当前模型距离可靠执行长时序任务仍有较大提升空间。

我们认为，这组结果更重要的意义在于验证了一种能力来源：机器人可以通过大规模人类经验预训练，获得超出特定机器人示范任务范围的操作能力。

与 GPT-6 Astra 原生机器人策略的对比

为了进一步理解大规模推理模型在直接机器人控制中的表现，我们还将 GPT-6 Astra 作为独立机器人策略进行了评测。

在这一设置中，Astra 直接承担机器人策略生成，而不是仅作为 Liber-0 的上层任务规划器。

我们使用相同的 60 项 GPT-6 生成的桌面任务，每项执行 3 次，共计 180 次测试。

Astra-only vs. Liber-0 的成功率：

PnP 抓取放置成功率：8.3% vs. 63.5%

Short Non-PnP 短程操作成功率：5.0% vs. 34.0%

Challenging Multi-Step 多步骤操作成功率：1.7% vs. 10.5%

注：两组评测使用相同的任务集合，但 Liber-0 每项任务测试 10 次，Astra-only 每项任务测试 3 次。

在这组实验中，Astra-only 在需要精确接触和持续动作调整的任务上遇到了较大困难。

例如，当机器人需要将手指准确放置到抽屉把手附近，并在保持接触的同时完成拉动时，执行误差可能导致动作失败。

从成功案例来看，Astra-only 更擅长对精度要求相对宽松的粗粒度抓取和放置。

其动作控制在精细对齐、接触保持和持续反馈调整等方面仍存在限制。

推理延迟也是影响执行效果的重要因素。

实验中，Astra-only 每次决策的平均推理时间为 87.3 秒。对于成功完成的任务，从推理到机器人实际执行结束的平均总耗时为 17.8 分钟。

较长的控制周期意味着模型难以及时根据物体接触状态和执行偏差进行调整。对于需要连续视觉反馈的精细操作，这会进一步增加控制难度，与已有研究对大模型直接机器人控制延迟的观察一致 [11]。

需要说明的是，这一实验比较的是两种具体的独立机器人策略，并不意味着推理模型与动作模型只能相互替代。

对于复杂任务，推理模型能够在目标分解、步骤规划和语义理解上发挥作用；而世界动作模型则可以承担需要精确控制与连续反馈的底层执行。

Liber-0 也可以根据任务需要，与 GPT-6 Astra 等推理智能体结合，由后者提供中间目标和执行指导。

从固定任务评测到开放物体泛化

除了真实机器人上的任务级 Zero-shot 评测，我们还构建了一套交互式在线仿真应用（https://reel.liberai.work/），用于探索模型对新物体的泛化能力。

在使用 100 小时仿真遥操作数据对 Liber-0 进行后训练后，用户可以上传自定义物体，并观察模型在仿真环境中的操作表现。

对于这些新上传的物体，不需要额外进行针对该物体的训练。

相较于固定的真实机器人 Benchmark，这种交互形式能够支持更加开放的物体测试，为探索模型的泛化能力提供补充。

总体而言，Zero-shot 实验说明，人类经验预训练所带来的收益并不局限于预先定义的机器人任务。

随着动作监督与跨本体迁移能力的提高，模型有可能逐步将大规模人类经验转化为更加通用的操作能力。

4.3 三阶段预训练：从视觉经验到精细操作

不同数据来源的 Scaling 实验表明，大规模视觉经验与高质量动作监督具有明显的互补关系。

基于这一发现，我们为 Liber-0 设计了三阶段预训练策略，在超过 220 万小时的人类经验上逐步训练模型。

整个过程从广泛的视觉预测开始，逐渐引入动作监督，并最终提高精细操作数据的训练权重。

第一阶段：通用视觉预测

第一阶段主要使用多样化的人类活动视频进行视觉预测预训练。

数据覆盖不同物体、环境和交互行为。模型学习根据已有视觉观测预测未来画面，而不引入动作训练目标。

这一阶段的目标，是建立对物体交互和物理状态变化的广泛先验。

例如，模型可以学习抽屉被拉动后如何移动、物品在不同接触方式下如何改变位置，以及人手与物体之间常见的交互过程。

这些知识并不直接等同于机器人控制能力，却为后续的动作学习提供基础。

第二阶段：世界 — 动作联合预训练

第二阶段开始同时预测未来视觉帧与动作。

训练数据不仅包含大规模人类视频，也包含手套和机器人数据提供的运动监督。

通过将两类监督信号结合，模型学习物体状态如何随动作发生变化，并逐步建立视觉交互与动作之间的对应关系。

这一阶段将不同本体的数据放入统一的学习框架中，使模型能够利用广泛的视觉经验，同时学习更具体的操作方式。

第三阶段：面向操作能力的强化预训练

在第三阶段，我们进一步提高了手套数据与遥操作数据的采样权重。

经过前两个阶段，模型已经建立了一定的视觉与物理交互先验。最后一个阶段则更加关注精确运动、持续手 — 物接触和复杂操作行为。

通过增加具有可靠动作监督的数据比例，进一步强化机器人所需的精细控制能力。

这一训练策略并不是从一开始就将所有数据混合到一起，而是让模型逐步完成从广泛观察到动作学习，再到精细操作的能力积累。

预训练逐步减少对后训练的依赖

为了评估不同阶段的效果，我们分别考察模型在不进行额外机器人后训练，以及完成机器人后训练两种设置下的表现。

实验显示，无论是否进行机器人后训练，模型表现都随着预训练阶段推进而持续改善。

在第三阶段结束后，预训练模型直接评测取得：

PnP：81.4 分

Non-PnP：72.3 分

经过机器人后训练后，成绩进一步提高至：

PnP：83.6 分

Non-PnP：73.8 分

也就是说，在第三阶段结束时，额外机器人后训练分别只带来了 2.2 分和 1.5 分的提升。

与此同时，随着预训练逐步深入，机器人后训练带来的增量收益持续缩小。

这一现象值得关注。

传统机器人学习通常将大部分操作能力的获得寄托于真机训练，而预训练主要提供通用视觉表征。

但我们的实验表明，通过充分结合人类视觉经验与动作监督，模型在预训练阶段就已经能够获得相当一部分操作能力。

我们据此推测，随着预训练进一步发展，模型对特定机器人后训练数据的依赖有望继续降低。

这还不意味着后训练已经不再必要，但为减少机器人专用数据需求提供了一个值得继续验证的方向。

4.4 训练数据与评测体系

为了更准确地理解上述结果，下面进一步介绍 Liber-0 使用的数据构成与内部评测方法。

训练数据

Liber-0 的预训练数据由不同来源的视觉经验和动作监督组成。

五类主要数据分别是：

手套数据（Glove Data）使用 LiberSense Glove 采集的人类操作记录，包含实测手部姿态和轨迹，以及同步的第一视角与腕部相机视频。数据涵盖 PnP 与 Non-PnP 操作，并覆盖不同人体形态、物体和环境。

跨本体机器人数据（Cross-Embodiment Robot Data）来自不同机器人平台的操作示范，覆盖多种任务与环境，为模型提供直接的机器人动作监督。

公开第一视角数据（OpenEgo）整合公开数据集中的人类第一视角视频，覆盖多种日常活动与手 — 物交互。

外部采集第一视角数据（VendorEgo）通过外部采集获得的人类操作视频。这类数据具有相对一致的操作示范方式，运动模式也更加接近机器人执行。

互联网人类视频（Web Human Data）从互联网筛选的人类活动视频，主要用于扩大模型接触到的物体、场景、视觉角度和交互行为范围。

不同数据来源在覆盖广度、动作监督质量和本体多样性上各有特点，共同构成模型的预训练数据基础。

视觉语义联合训练数据

除上述主要数据来源之外，Liber-0 还使用通用视觉理解任务进行联合训练，增强模型对语言、空间和时间关系的理解。

主要包括四类。

VQA 与子任务预测：图像问答和图像描述数据用于学习物体识别、场景描述及视觉关系。此外，我们还引入任务条件下的子任务预测数据，将总体任务指令与当前、历史视觉观测结合，训练模型判断当前执行到了哪个步骤。这为任务语义与实际操作进度之间建立了联系。

图像分割：使用像素级分割数据，学习物体区域、边界与语义类别之间的对应关系，增强模型对精确空间位置的理解。

图像编辑：通过语言指令与目标视觉变化的对应关系，让模型学习一项操作完成之后，场景在视觉上应当出现怎样的变化。

视频理解：包含视频问答、密集视频描述和时间定位等任务，覆盖连续动作、事件顺序、物体状态变化和执行进度。视频问答关注对动作过程与交互关系的理解；密集描述提供连续交互及结果的文本监督；时间定位则将语言描述的动作与相应视频片段对齐 [12]。

这些任务共同帮助模型理解操作过程中随时间发生的变化。

内部 Scaling Benchmark

我们的内部 Benchmark 包含两类互补的操作任务。

PnP：抓取与放置

PnP 评测由两组各 30 项任务组成，共计 60 项。一组使用已有物料，另一组使用单独采购的物体实例，覆盖模型较熟悉的类别及额外的物体类别。

每组包含 40 个物体，分布在 5 种桌面场景中，每个场景放置 8 个物体。

任务要求模型根据指令选择目标物体，并将其放置到指定位置，例如放入容器、放在物体表面，或放置在另一物体附近。

每项任务测试 3 次，主要考察物体识别、抓取与具有空间约束的放置能力。

Non-PnP：非抓取放置操作

Non-PnP Benchmark 包含 16 项任务，覆盖六类操作：折叠、打开、关闭、按压、拉动和推动。

具体任务包括将毛巾折叠放入收纳盒、关闭眼镜盒、操作抽屉，以及按下电子秤按钮等。

其中一部分任务还需要结合抓取和放置，完成完整的操作序列。

每项任务测试 6 次，因此每个模型在这组 Benchmark 上共执行 96 次测试。

评测指标与控制变量

与仅统计任务是否成功不同，我们在 Scaling Benchmark 中使用 0—100 的任务进度分数。

对于 PnP 任务，评分过程考虑接近目标、姿态对齐、完成抓取、运输物体、释放物体，以及最终稳定放置等关键步骤。

对于 Non-PnP 任务，则根据具体操作要求，为不同动作里程碑设置相应权重。

这种设计能够区分完全失败、部分完成与最终成功的情况。

例如，机器人可能已经正确抓住抽屉把手，但未能成功拉开抽屉。相比完全没有找到把手的模型，它仍然完成了部分有效操作。

实验中，我们通过参考图片或视频恢复物体初始状态，并在模型对比时保持任务指令与场景配置一致。

需要特别区分的是：

上述 Scaling Benchmark 使用进度分数，而前文 60 项 GPT-6 提出的 Zero-shot 任务使用完整任务成功率。

两者衡量的是不同方面的能力，不应直接混合比较。

05｜从人类到机器人：跨本体迁移的关键因素

前面的 Scaling 实验说明，人类经验能够在预训练中持续改善机器人操作能力。

但还有一些更深入的问题值得研究。

手套数据究竟能在多大程度上替代机器人示范？机器人能否从手套数据中学到此前没有展示过的技能？不同人的身体形态是否会影响模型的泛化能力？拟人化机器人硬件又能带来多大收益？

为了进一步理解跨本体迁移的机制，我们围绕这些问题设计了四组实验。

5.1 减少机器人数据：手套数据能够替代多少遥操作示范？

机器人数据通常与目标执行本体最为接近，但采集成本较高。

相比之下，手套数据不需要部署机器人，能够更加灵活地扩展采集规模。

一个自然的问题是：当机器人示范数量受到限制时，能否通过增加手套数据来弥补？

我们在 LEO 平台上进行了对照实验，机器人使用 WUJI2 灵巧手。

实验共包含 8 项操作任务，每项任务测试 10 次，因此每种训练配置均进行 80 次测试。

同时，为了保持对比条件一致，各种配置采用相同的训练步数，机器人数据池与手套数据池包含相同数量的示范。

我们主要比较三类训练方式：

Robot-only： 仅使用机器人遥操作数据。

Glove + Limited Robot Data： 使用少量固定的机器人数据，并逐步增加手套数据。

Glove-only： 仅使用手套数据，不在该策略训练实验中引入机器人示范。

少量真机数据结合手套数据

在第一组实验中，我们将机器人示范量固定为完整机器人数据池的 25%，并逐步增加手套数据。

结果如下：

训练数据配置：进度分数

25% Robot + 25% Glove：61.2

25% Robot + 50% Glove：68.4

25% Robot + 100% Glove：75.6

100% Robot-only：72.8

当机器人示范量保持不变，手套数据从 25% 增加到 100% 时，模型表现从 61.2 提升至 75.6。

最终，25% 的机器人示范加上完整手套数据，超过了只使用 100% 机器人数据训练的基线。

也就是说，在这组任务与实验条件下，手套数据使模型在减少 75% 机器人示范的情况下，仍然取得了优于完整机器人数据基线的成绩。

这一结果说明，人类操作数据能够在相当程度上补充机器人数据，降低模型对于真机示范规模的依赖。

完全不使用机器人示范，手套数据是否仍然有效？

第二组实验更加直接。

我们仅使用手套数据训练操作策略，不引入该组实验中的机器人示范。

结果显示，使用 50% 手套数据时，模型取得 49.4 分，已经接近使用 25% 机器人数据所得到的 50.0 分。

当手套数据增加到 100% 时，进度分数进一步提升到 60.3，超过 25% 机器人数据基线的表现。

这说明，即使没有在该策略训练阶段提供目标机器人的示范，模型仍然能够从人类手部运动中学习到可迁移的操作行为。

当然，这种迁移并不是无条件发生的。

它依赖于模型所学习的跨本体表示，以及人类与机器人之间在视觉和运动学上的对齐程度。

总体来看，两组实验共同表明：手套数据既可以作为机器人示范的有效补充，也可以在一定条件下独立提供可迁移的操作监督。

对于需要大规模扩展操作能力的机器人系统，这为减少对传统遥操作采集的依赖提供了实验依据。

5.2 学习新技能：手套能否教会机器人从未示范过的操作？

减少机器人示范数量固然重要，但我们更关心另一个问题：

手套数据能否让机器人学会其真机示范数据中从未出现过的技能？

这涉及跨本体迁移更本质的能力。

如果手套数据只能改善机器人已经具备的动作，那么它的价值主要体现在数据效率上。

但如果模型能够通过人类动作数据获得新的操作技能，那么人类经验就有可能成为不断扩展机器人能力边界的数据来源。

为验证这一点，我们改变了机器人数据与手套数据中 PnP、Non-PnP 两类任务的覆盖范围。

实验设计了四种训练配置。

Teleop PnP：只使用 PnP 类型的机器人遥操作示范。

Teleop All：使用包含 PnP 与 Non-PnP 两类任务的完整机器人遥操作数据，作为对照。

Teleop PnP + Glove Non-PnP：机器人示范仅包含 PnP，但额外加入 Non-PnP 类型的人类手套数据。

Teleop PnP + Glove All：机器人示范仍然只包含 PnP，同时加入覆盖 PnP 与 Non-PnP 的完整手套数据。

评测由 4 项 PnP 任务和 6 项 Non-PnP 任务组成，每项测试 10 次。

人类手套数据能够迁移新的操作技能

实验首先发现，当机器人示范只包含 PnP 时，模型在 Non-PnP 任务上的进度分数仅为 2.2。

这符合直觉：如果机器人训练数据中只有抓取与放置，模型通常难以直接掌握折叠、按压、开合等不同类型的操作。

但当我们在不增加 Non-PnP 机器人示范的情况下，加入 Non-PnP 手套数据后，模型的 Non-PnP 分数提高到了 47.5。

进一步加入覆盖所有操作类型的手套数据后，Non-PnP 表现达到 54.6，接近使用完整 PnP 与 Non-PnP 机器人示范训练所得的 56.3。

这一结果具有重要意义。

模型并没有通过目标机器人示范学习这些 Non-PnP 技能，而是利用人类手套数据中的动作监督，将相应的操作模式迁移到了机器人上。

也就是说，手套数据不仅能够改善已有技能的执行效果，也能够扩展机器人的技能范围。

共享技能能够帮助跨本体对齐

实验还揭示了另一个有价值的现象。

在 Teleop PnP + Glove Non-PnP 配置中，模型的 PnP 和 Non-PnP 分数分别为 54.3 和 47.5。

当我们将手套数据从仅包含 Non-PnP 扩展为同时包含 PnP 与 Non-PnP 时，两类任务的分数分别提升到 69.5 和 54.6。

这说明，人类与机器人之间共享的任务类型，有助于模型学习跨本体对应关系。

例如，当 PnP 操作同时出现在机器人和人类数据中时，模型能够观察相近的操作目标如何通过两种不同的身体完成。

这些共同出现的行为，可以帮助模型建立人类运动与机器人动作之间的关联。

在此基础上，模型也更容易将只在人类数据中出现的其他技能，迁移到机器人本体上。

因此，高质量的人类操作数据与机器人示范之间并不是简单的数量替代关系。

少量具有对应关系的机器人示范，可以为跨本体学习提供有效的对齐信息；而大量人类数据则有机会在这一基础上扩展模型的能力范围。

这一发现进一步支持了我们对动作监督与本体对齐的设计思路。

5.3 Morphology Scaling：人的多样性本身是否有价值？

除了数据量和任务类型，人类数据还存在另一个容易被忽视的维度：操作者之间的身体差异。

不同人的手掌大小、手指长度、身体比例和动作习惯都不完全相同。

即使执行相同任务，不同人的运动轨迹也可能存在差异。

这些差异究竟是模型需要消除的噪声，还是有助于跨本体学习的有效信息？

我们通过控制数据总量，研究了人类形态多样性对机器人操作能力的影响。

实验设置

在这一实验中，我们改变参与采集的人数，但保持手套数据的总 Episode 数量不变。

实验分别使用来自 1、3、10、30 和 100 名操作者的数据。

所有操作者组使用相同的采集任务与环境，尽可能排除任务分布和场景差异的影响。

我们比较两种使用手套数据的训练方式。

第一种是 Glove + Limited Robot Data，将不同人数的手套数据与一组固定的少量机器人示范结合。

第二种是 Glove-only，仅使用不同人数的手套数据训练策略。

同时使用 Robot-only 作为参考。

评测覆盖 2 项 PnP 和 4 项 Non-PnP 任务。

更多样的操作者带来更好的迁移效果

实验结果显示，随着参与采集的人数增加，两种手套训练配置的表现均持续改善。

在 Glove + Limited Robot Data 设置下，操作者数量从 1 人增加到 100 人，模型平均进度分数由 60.6 提高到 69.5。

在 Glove-only 设置下，提升更加明显。

同样从 1 人增加到 100 人，进度分数从 12.7 提高到 40.1，逐渐接近 Robot-only 的参考分数 51.8。

值得注意的是，在这一实验中，增加操作者数量并没有增加手套数据的总 Episode 数量。

因此，这一收益不能归因于数据量增长。

实验说明，即使数据量相同，来自更多不同人体形态的示范，也能提供额外的学习价值。

一种可能的解释是，当模型看到不同人如何使用各自的身体完成相同任务时，就能够更好地学习操作目标与身体结构之间的关系。

如果模型只见过一种手部形态，它可能会将特定的关节运动模式与技能本身绑定在一起。

而当模型见过更多手部结构和运动方式时，就有机会学习到更具有本体适应性的动作表示。

从这一角度看，人体形态多样性不仅是数据集的一个附加属性，也可能是跨本体泛化能力的重要来源。

这还引出了一个值得进一步研究的可能性。

如果训练数据覆盖了足够多样的人类身体形态，而目标机器人在运动学上与人类较为接近，那么机器人本体有可能在模型已经学到的本体表示空间中，逐渐从一个外部迁移目标转变为更接近插值的目标。

这意味着，随着人类本体多样性的进一步扩大，模型对特定机器人监督的依赖有望继续减少。

目前，这仍然是基于实验现象提出的研究方向，需要更大范围的本体与任务验证。

5.4 拟人化机器人设计：身体结构会影响技能迁移吗？

前面的实验主要研究数据与模型如何影响跨本体迁移。

但硬件本身同样重要。

即使模型已经学会了人类动作中的操作规律，如果机器人无法执行相应的运动，技能迁移仍然会受到限制。

因此，我们进一步研究机器人运动学结构对人类技能迁移的影响。

实验比较了我们设计的 LEO 与另一套搭载天机 Marvin M6 机械臂的平台，以下简称天机平台。

我们重点选择了对手腕旋转、精确手部放置，以及腰部与手臂协调运动要求较高的任务。

控制变量

为了尽可能排除数据差异带来的影响，两套平台分别训练对应的机器人策略，但使用相同的手套数据和相同数量的平台专属遥操作数据。

对于每项任务，均由同一位操作人员分别在两套平台上采集示范。

同时，我们尽可能保持物体初始位置、动作顺序和预期操作方式一致。

这样可以减少操作者风格与任务设置的差异，使实验更加集中于机器人本体结构的影响。

我们选择了三个具有代表性的任务。

任务一：旋转旋钮

旋钮操作需要手指保持稳定抓握，同时完成较大幅度的手腕旋转。

对于人类来说，这通常可以通过手腕关节自然完成。

但如果机器人手腕活动范围不足，就可能需要通过整个手臂移动进行补偿。

LEO 的手腕设计能够在较少依赖手臂补偿运动的情况下，完成较大范围的旋转，使模型能够更直接地复现人类示范中的转动方式。

任务二：整理拖鞋

这一任务需要机器人接近地面附近的物体，完成低位抓取和重新摆放。

人类通常会通过弯腰、伸手和调整手部方向，完成一整套连续动作。

LEO 的活动腰部可以与手臂配合，使机器人降低上身位置，并在较低的操作空间中调整手掌姿态。

这一运动结构使机器人更容易复现人类示范中的弯腰、伸手、抓取和摆放过程。

任务三：打开抽屉

开抽屉任务对手部姿态和接触位置要求较高。

实验中的抽屉把手距离桌面较近，手掌和手腕的活动空间受到限制。

人类通常会让手掌朝前、手腕向上弯曲，再将手指准确放置在把手附近，随后沿抽屉的运动方向拉动。

这一过程需要精确的手指定位与灵活的手腕姿态调整，同时避免抓取和拉动过程中的碰撞。

LEO 的拟人化手腕与纤细前臂，有助于执行这一类动作模式。

实验结果

在上述三个任务中，LEO 均取得了优于天机平台的表现。

三项任务的平均进度分数，LEO 比天机平台高 28.3 分。

这一结果说明，机器人本体与人类运动方式之间的兼容性，会直接影响从人类数据中学习的技能能否有效执行。

对于需要复杂手腕运动、精确接触和身体协调的任务，具有相应运动能力的机器人，能够更加直接地利用人类示范中的操作模式。

当然，这并不意味着机器人必须在所有结构上都与人类一致。

更关键的是，目标机器人需要具备执行相关操作所必需的运动自由度，并尽可能减少将人类动作映射到机器人运动空间时所需的补偿。

从模型到数据再到机器人硬件，跨本体迁移的效率取决于整个系统的协同设计。

06｜总结与未来方向

我们在本文中介绍了 Liber-0，一个基于超过 220 万小时人类经验进行预训练的世界动作模型。

我们的研究围绕一个核心问题展开：如何让机器人有效利用大规模人类活动中已经存在的物理经验，而不再完全依赖针对特定机器人和任务采集的示范数据？

为解决这一问题，我们将大规模人类视觉学习、基于 LiberSense Glove 的动作监督、统一本体表示，以及与人类运动方式对齐的 LEO 机器人平台结合起来，构建了从数据采集到模型训练，再到机器人执行的完整系统。

实验结果从多个角度验证了这一设计。

不同来源的人类经验均表现出积极的 Scaling 趋势，其中手套数据在精细操作任务上具有尤其明显的优势。

通过将手套数据与少量机器人示范结合，我们能够显著减少训练所需的真机数据，并获得优于完整 Robot-only 基线的表现。

更进一步，手套数据能够将未出现在目标机器人示范数据中的操作技能迁移到机器人上，而不仅仅是提高已有技能的执行效果。

我们还发现，扩大人类操作者的身体形态多样性，即使不增加数据总量，也能够改善跨本体迁移；拟人化手腕、腰部与视觉配置等硬件设计，同样有助于提升人类技能的迁移效率。

在零样本评测中，Liber-0 已能够执行部分未针对目标任务进行机器人示范训练的操作，其中包括具有挑战性的多步骤任务。

这些结果说明，大规模人类经验不仅可以用于学习视觉表征，也有可能通过可靠的动作监督和本体对齐，持续转化为可执行的机器人技能。

与此同时，我们也观察到当前方法仍然存在的局限，以及两个值得继续推进的方向。

6.1 更丰富的物理监督：从运动到接触与力

LiberSense Glove 已经能够记录较为精确的手部运动，但真实世界的物理交互并不只由运动轨迹决定。

在很多操作任务中，接触状态和作用力同样重要。

例如，插入、紧固以及柔性物体操作，都需要机器人根据实际接触情况调节动作。

仅通过观察手部运动，未必能够完整恢复这些过程中的物理信息。

因此，我们希望进一步探索触觉、接触和力觉信号的采集与建模，为接触密集型操作提供更丰富的监督。

这里的一个重要挑战，是在增加物理信息的同时，保持手套足够轻薄，避免传感器影响人类自然动作。

只有在动作测量质量与采集规模之间取得平衡，才能让这些新增监督信号真正服务于大规模人类经验学习。

6.2 进一步扩大人类经验的规模与多样性

相比机器人遥操作，手套数据采集不需要在每个现场部署机器人。

这一特点使它能够覆盖更多操作者、任务与日常环境，为持续扩大人类操作经验规模提供了条件。

未来，我们希望在现有采集系统的基础上，进一步扩展数据规模、任务覆盖与人体形态多样性，让模型接触到更加丰富的真实世界交互。

与此同时，结合更可靠的动作监督和更丰富的物理感知信号，不断提升模型将这些经验迁移到机器人上的能力。

我们的研究表明，人类经验与机器人行动之间的差距，并非只能通过增加目标机器人示范来弥合。

通过模型、数据和本体的协同设计，这一差距可以在预训练阶段得到系统性缩小。

从观察人类如何行动，到理解动作与物理变化之间的关系，再到让机器人使用自己的身体完成操作，是 Liber-0 正在探索的方向。

我们希望随着模型和数据规模进一步增长，机器人能够从越来越广泛的人类经验中学习，不断扩展可以自主完成的任务范围，逐步具备更加通用、可靠的物理操作能力。

(来源：LiberAI）