
人类每天都在和真实世界交互。
拿起杯子、推开一扇门、折一架纸飞机...... 我们似乎天然知道如何靠近一个物体、调整手部姿态,并在环境变化时作出反应。
但这些看似简单的动作,也并非与生俱来,我们也曾通过观察、尝试和无数次纠错,才学会如何在这个世界中行动。
如果这些积累于真实世界的经验,也够成为机器人学习的起点,那么机器智能的成长,是否会有更多的可能?
今天,行元智能(Action Intelligence)正式发布 "Chorus 众行",一套面向机器人预训练的跨本体数据引擎。
Chorus 将不同来源的人类操作示范纳入统一的数据处理管线,通过共享的中间表示,将人类经验转化为适配不同机器人本体的训练数据。
在当前测试配置下,Chorus 可实现约 40 倍的有效训练数据扩容。
作为行元构建机器人基础模型技术路径的第二个 Chapter,Chorus 希望打破人类经验与特定采集设备、机器人本体之间的绑定,让更多真实世界的经验得以被利用,并在不同的机器人身体中延续。
Human data is latent robot data.
我们相信,人类经验中,蕴含着尚待释放的机器人学习数据。
01 / CHORUS 从异构数据到跨本体复用
人类操作数据正在从更多设备中产生。
智能眼镜、胸戴相机、腕部相机、UMI 设备及智能头环,记录着不同视角下的人类动作,但采集设备、数据形式与机器人身体结构的差异,仍然限制着这些数据向机器人训练数据的规模化转化。
Chorus 以统一数据模型为基础,构建连接多源人类示范与不同机器人本体的自动化数据管线,具备三项核心能力:
01 / INPUT SCALING 多源异构数据统一表征
兼容不同采集设备与数据形态,打通多来源人类示范,实现规模化数据接入。
02 / ACTION SCALING 对复杂操作行为的鲁棒重建
应对快速运动、频繁遮挡与复杂手物交互,提升真实操作数据的可用性。
03 / OUTPUT SCALING 跨本体动作泛化与增广
将同一份人类示范适配到不同机器人本体,实现机器人训练数据的规模化复用与扩增
在当前测试配置下,Chorus 实现了 16 种机器人本体适配、约 85% 的平均可用数据转化率;结合约 3 倍指令增广,可实现约 40 倍的有效训练数据扩容。
在处理成本方面,每小时有效机器人轨迹的处理成本约为 15 元;计入 3 倍指令增广后,单位训练样本的等效处理成本约为 5 元 / 小时。
以上是 Chorus 技术路径的简要概览。本次发布,我们也同步公开了 Chorus 技术博客,更加完整的系统实现、实验设置与评估结果,均在技术博客中展开。
报告重点包括:
统一数据表征: 如何将不同采集系统的人类示范映射到共享的中间表示。
空间运动恢复: 如何从不同视角的人类视频中重建三维动作信息,并处理相机运动与遮挡带来的干扰。
跨本体适配: 如何利用共享处理结果,将单份人类示范转换为适配不同机器人运动约束的训练数据。
数据评估与处理效率: 如何衡量转换后的轨迹质量、有效数据规模与处理成本。
02 / CHORUS Chorus 之后,行元的选择
如果说 Chorus 让不同来源的人类经验得以转化为机器人可用的预训练数据,那么,让这些经验真正转化为机器人在物理世界中持续成长的能力,则是行元更长期的探索。
我们相信,机器人基础模型的突破,不会只发生在某一个孤立的模型、算法或系统之中。
对真实世界的理解、可持续扩展的数据供给、再到机器人在真实场景中与人协作,这些能力需要在同一条技术路径上不断连接、共同演进。
围绕这一判断,行元智能致力于构建面向物理世界的机器人基础模型,并以三个技术篇章逐步推进:
Chapter I — Continuo 随行
让智能持续感知、理解人类所处的世界,获取人类日常行动与交互的操作经验。
Chapter II — Chorus 众行
将分散、异构的人类经验规模化地转化为适配不同机器人本体的预训练数据。
Chapter III — Duet 同行
探索机器人在真实部署中,如何通过人机协作、指导与纠错,让经验不断回流,推动学习与能力改进。
从人类经验的积累、转化,到机器人在真实世界中的行动,三个篇章连接起一条持续运转的机器人学习路径。
我们相信 Scaling 的力量,但比起数据、参数或算力规模本身,我们更关心这些增长能否转化为机器人在真实世界中解决问题的能力。
这也是行元对 System Scaling(系统规模化)的理解:让数据、模型与真实部署相互连接,让真实世界中的经验能够持续进入学习系统,也让新的能力在实际行动中得到验证。
我们希望建立的,不是一套在训练完成后便停止成长的系统,而是一条能够持续积累经验、学习与进化的机器智能体系。
这是行元的选择,也是团队正在共同推进的事情。
(来源:行元智能)