机器人学习领域盛会 CoRL 2026 日前在美国奥斯汀落下帷幕。大会汇聚了全球机器人学习领域的研究者与企业,集中展示具身智能数据、模型及机器人学习方法等方面的最新进展。诺亦腾机器人(Noitom Robotics)携三篇入选论文亮相,并现场展示多项研究成果,获得广泛关注。
大会期间,诺亦腾机器人正式推出全新真实场景数据类型 ITW-Ego Plus,在第一视角视频基础上,提供按需任选的多模态信息,将自然环境中的人类行为转化为更加完整、可用于机器人学习的数据,为 Physical AI 模型训练提供新的数据支持。
Physical AI 发展面临的挑战不仅在于数据规模,更在于数据的可学习性(Learnability)。日益丰富的第一视角视频能够记录人类观察到的环境,但真实世界数据需要进一步理解「人类如何完成动作」,机器人学习需要镜头背后对应的身体运动、空间关系及物理接触等信息。能够将这些信息与真实场景准确关联的多模态数据资源,目前仍较为稀缺。
ITW-Ego Plus 正是针对这一需求推出。该数据类型面向开放、非受控环境(In-the-Wild),以诺亦腾机器人自主研发的 Sol 第一视角采集系统为基础。ITW-Ego Plus 支持按需扩展五种模态:全身运动(Body)、腕部视角(Wrist)、第三人称视角(Exo)、手部压力(Touch)及环境音频(Sound)。不同模态可以根据具体训练任务灵活组合,让同一段真实行为不仅包含视觉画面,还能够关联身体姿态、操作细节与环境交互等信息。
少量追踪设备 如何获得完整的全身运动数据?
本届 CoRL 诺亦腾机器人重点展示了 ITW-Ego Plus Body,通过 Sol 与诺亦腾机器人自主研发的 Jupiter 全身运动捕捉系统协同工作,将第一视角视频与人体全身运动数据同步采集。
与依赖固定式光学动捕场地的传统方案不同,Jupiter 仅需在身体不同部位佩戴少量小型化追踪设备,无需传统动作捕捉服,即可在真实环境中记录人体运动。采集者能够自然地行走、转身、弯腰及完成各类日常任务,降低采集设备和场地条件对自然行为的限制。
系统通过 Jupiter 获取人体关键部位的运动测量信息,再结合由 MOV 数据集所累积的高密度动作捕捉先验(Dense Mocap Prior),将稀疏追踪数据重建为完整的全身骨骼运动,并生成高精度 BVH 动作数据。
同时,Sol 利用多摄像头视觉信息追踪手部运动,以 OM 数据集所积累的手部交互与接触真值数据为基础,无需在手部额外佩戴追踪传感器,即可完成精准的手部还原重建。
更关键的是,Jupiter 采集的全身运动数据能够与 Sol 的 VSLAM 空间参考对齐,使视觉画面与人体动作建立统一的空间对应关系。
例如,当一个人从书架上拾取物品时,第一视角视频能够记录其所看到的物体和操作过程,重建的手部骨骼数据展示他如何抓取物体,而同步的全身运动数据则进一步描述躯干如何弯曲、手臂如何伸展,以及身体各部位如何协调完成动作。再加上重建的环境信息。最终形成的数据不再只是操作过程的视频记录,而是包含第一视角视觉、头部运动轨迹及全身六自由度骨骼运动的多模态数据。
除全身运动外,ITW-Ego Plus Wrist 则针对第一视角视频中的视觉遮挡问题,提供了另一种数据扩展方式。当人伸手进入抽屉、柜体或其他容器内部时,头戴摄像头可能无法完整观察手部与物体的接触过程。Wrist 通过增加同步的左右手腕 RGB 摄像头,补充头部视角难以覆盖的近距离操作细节,并将多视角数据关联至 SOL 的空间参考系统。
这种头部与双腕相结合的视觉配置,与部分双臂机器人的感知结构相契合,能够为双臂协同操作、精细装配及遮挡环境下的灵巧手策略学习提供数据支持。
Noitom Robotics 创始人 & CEO 戴若犁博士表示:
第一视角视频是真实场景数据中相对容易获得的一部分,真正的难点在于获取镜头背后的人体运动信息 —— 人站在什么位置、如何伸手操作,以及在完成任务过程中如何移动。此前要在实验室之外获取这些信息,需要穿戴动作捕捉服,或在房间中部署复杂的追踪设备。而 ITW-Ego Plus 仅通过少量小型化可穿戴设备,就能够完成相关数据记录。相对于目前已规模化的镜头前数据,镜头后的那部分信息,才是让大规模数据真正具备可学习性的关键。
从机器人学习的角度看,不同模态的价值也体现在各自对应的训练任务中。Body 提供的视觉与全身运动关联数据,可用于人形机器人的移动操作、全身运动控制及运动基础模型训练;Wrist 提供的多视角操作数据,则能够支持双臂操作与精细操作策略学习。此外,视觉与身体运动的同步信息,也为研究环境观察、动作执行及状态变化之间关系的世界模型(World Models)提供数据基础。
在诺亦腾机器人的 ModalityNet 数据体系中,ITW-Ego Plus 与 HiPHI-MOV、HiPHI-OM 形成互补:从受控环境中的高精度人体运动与物理交互,到开放环境中的自然行为与多模态数据采集,共同覆盖具身智能模型训练对数据精度、场景多样性及模态丰富度的不同需求。
从记录人类眼中的世界,到进一步记录人类如何与世界交互,诺亦腾机器人将持续完善面向 Physical AI 的数据基础设施,推动真实世界中的自然行为转化为更具可学习性的数据。
(来源:诺亦腾机器人)


资讯评论 (0)
全部评论
暂无评论,来发表你的看法吧