选具身机器人,就上具身之家
产品发布返回

灵御智能首次开源第一视角双臂真机数据集

灵御智能正式发布 灵御真实世界机器人数据集(LingYu Real-World Robotics Dataset),首次面向社区开放高质量第一视角双臂真机数据。首批数据规模约 139.4 小时(短期内计划达到 1000 小时),包含 13,263 个轨迹片段,涵盖 15 类桌面任务、22 个子集,覆盖可变形物体操作、细粒度精密操作以及物体分拣与摆放场景。此外,数据集另设真实零售任务子集,采集自正在运营的超市场景,通过受限访问机制开放申请。目前,灵御智能 TA2 机器人真机数据产能已达到 2 万小时 / 月,未来数月内仍将保持快速增长。

项目地址:https://huggingface.co/datasets/LingYu-Robotics/lingyu-realworld-robotics-dataset

01|机器人学习,为什么需要真机数据?

与仿真轨迹、预设动作序列,以及脱离机器人本体采集的人类动作或视频记录相比,遥操作真机数据直接来自机器人在真实环境中的执行过程。操作员通过机器人的控制接口完成任务,记录下来的动作已经处于机器人的动作空间中,并受到真实机构、接触关系和执行约束的影响。因此,这类数据记录的不只是任务 “要完成什么”,也保留了机器人在实际执行中 “如何完成” 的连续过程。

每个片段同步记录视觉观测、末端执行器状态、夹爪信号和动作指令,形成时间对齐的感知、状态与动作记录。由于数据来自机器人与环境的连续交互,它还保留了操作员应对物体状态变化、不完整观测和执行偏差时的调整过程。这些信息通常难以从静态标注、预设轨迹或脱离机器人本体的动作记录中完整获得;仿真数据也可能无法覆盖真实传感器、机构运动和接触过程中的全部变化。

因此,真机数据的价值不仅在于来自真实环境,也在于能否完整记录并可靠组织机器人与环境的交互过程。基于这一目标,灵御真实世界机器人数据集在采集与组织上重点体现为以下 5 项特点:

1 机器人高清第一视角采集。 遥操作通过 VR 头显开展,操作者直接使用机器人机载摄像头回传的画面,获得与机器人一致的第一视角,减少对机器人视野之外信息的依赖。头部双目达到 4k 精度,也属于行业少有的数据标准。

2 独有的数据指纹。每条数据在采集过程中均打上数据指纹,在后续的数据流转中确保数据来源可追踪,精确到每一台特定机器。

3 统一时空基准。 微秒级的时钟同步。依托自研标定方案实现全工作空间内的坐标系精准对齐,可达到 1mm 的末端执行器绝对位置精度。

4 丰富且同步的多模态数据。每个片段均包含三路高分辨率 RGB 视频流,以及完整的双臂本体感觉数据(14 个手臂关节与 2 个夹爪的关节位置、速度及作用力)、双臂末端执行器位姿,还有对应的遥操作指令(关节位置与关节速度目标、夹爪指令及末端执行器目标位姿),所有数据均重新采样到统一的 45 Hz 时间轴上。

5 专业采集与质量筛选。数据由经过训练的操作员采集,并结合人工审核和异常筛选,保留完整的操作片段。

02|数据集核心规格

2.1 规模与覆盖

数据总量:139.4 小时、13,263 个片段,9.16 TB 公开提供

任务覆盖:15 类桌面任务

数据子集:22 个桌面子集

真实零售场景子集:独立数据集,受限申请访问

机器人本体:灵御 TA2 双臂机器人,配备两个七自由度机械臂与平行夹爪

采集方式:VR 遥操作

2.2 多模态数据

视觉:3 组立体 RGB 视图:头戴式立体相机(3840 × 1920)以及左 / 右手腕立体相机(2560 × 800)

机器人状态:关节位置、速度、作用力;双臂末端执行器位姿,共 62 维

动作指令:关节位置与速度指令、夹爪指令、末端执行器目标位姿,共 62 维

时间对齐:45 Hz,所有数据流均同步至同一时钟

多模态同步记录,使操作过程中的环境变化、机器人状态与控制指令能够相互对应,便于分析多个操作步骤如何衔接,以及执行中出现偏差时如何调整。这些示范可用于模仿学习、策略预训练与微调,也可作为仿真数据生成和增强的源数据。

2.3 桌面任务与真实零售场景

15 类桌面任务,涵盖基础操作与长时程协作。

任务包括毛巾与袜子折叠、盒子组装等可变形物体操作,形状配对、2—9 层积木堆叠、螺丝与螺母分拣、盖子闭合等精细操作,以及多种物体的分拣与放置。

单个片段从数秒到数分钟,覆盖单次拾取放置和多步骤任务。 以盒子折叠为例,操作员必须连续执行一系列双臂交互,在盒子形状不断变化的过程中保持对齐,并在整个折叠过程中持续进行调整;积木堆叠任务则体现了另一种长时程结构,随着任务推进,策略必须反复抓取和放置物体,同时保持空间对齐和堆叠稳定性。这些示范呈现了动作衔接、中间状态和执行调整,为长时程操作研究提供素材。

真实零售场景任务,将机器人示范与业务流程联系起来。

零售子集采集于灵御 TA2 机器人正在参与运营的超市日常食品试吃活动,该场景引入了许多难以在受控环境中复现的动态变化,为探索策略对物体与布局变化的适应,以及从桌面操作向真实运营场景的迁移提供素材。

注:该子集不在本文所提供数据集的涵盖范围内。我们计划在符合合规使用与隐私保护要求的前提下,通过需经人工审核的申请制访问通道,将其开放给经审批的研究项目使用。感兴趣的团队可在数据集页面申请权限,也可联系 contact@dexteleop.com 交流数据需求。

2.4 数据质量保障 —— 人工审核与异常筛选

数据在发布前经过人工审核与异常筛选,主要检查以下内容:

手臂指令异常:筛除出现指令突变等异常的片段

指令与状态跟踪:筛除控制指令与实际状态跟踪异常的片段

录制完整性:筛除录制中断或重启的片段

传感器数据完整性:筛除数据流不完整的片段

人工审核:对采集片段进行人工检查与筛选

保留的片段以完整形式发布,异常片段整段剔除。 这一处理方式保留动作之间的衔接与任务过程,为后续分析和训练提供完整示范。

03|后续运营和开放计划

目前,灵御现有数据已在真实场景训练中展现出意料之外的优秀效果。数据完整保留了物体状态变化、连续操作与执行调整,为策略学习与任务适配提供了基础,也坚定了我们持续投入真机数据采集、逐步开放实际业务数据的方向。

接下来,我们将进一步提高真机实际部署、真实业务流程与垂直行业场景的数据占比:在零售场景基础上,围绕具体工序与任务目标拓展更多垂直场景,丰富物体、流程与环境变化的覆盖,让数据更贴近机器人真实工作中面对的问题。

未来,我们将持续增加任务种类、有效片段与采集时长,向行业领先的开源数据规模迈进;新增数据延续现有标定与质量筛选标准,按计划逐步开放。期待这次首发成为长期数据开放的起点,让真实工作中的操作经验被更广泛地使用。

(来源:灵御智能)

资讯评论 (0)

评论审核通过后展示。0/2000

全部评论

暂无评论,来发表你的看法吧