第一视角（Ego）视频让数据采集从专业场地走进真实生活和工作，成为具身智能预训练的重要数据来源。但拍下操作，并不意味着就能获得具身模型预训练所需的 4D 数据，系统还需要准确辨认佩戴者的双手、还原手指的弯曲姿态，并测量手在空间中的移动距离。
近日，觅蜂科技联合西北工业大学、西安交通大学发表论文，提出第一视角运动重建框架 "MEgoVista"，用以将 Ego 视频更精准地转化为 4D 数据。论文实验结果显示，MEgoVista 在 Ego 视频上具备较高的重建精度，可将无需预先布置场景的第一视角录制数据，有效转化为具有真实尺度的双手动作和头部运动轨迹。
通过独立动捕系统测评和真实场景对比，研究团队检验了 MEgoVista 的重建精度与跟踪表现。结果显示，经位置、朝向和尺度对齐后，MEgoVista 的手指姿态误差为 4.29 毫米，低于 HaWoR 的 16.30 毫米和 Dyn-HaMR 的 49.18 毫米；动作抖动指标为 1.11 毫米／帧 ²，也低于两种对比方法。在制作奶茶、美甲和给宠物洗澡三个真实场景的画面对比中，MEgoVista 整体跟踪更稳定，在美甲场景中也是三者中唯一正确区分佩戴者与顾客双手的系统。
论文链接：https://arxiv.org/abs/2609.16684
01 从 "看见动作" 到 "测准动作"，难在哪？
Ego 视频要在模型训练阶段 "派上用场"，关键是将人的操作精准 "翻译" 成机器人的动作。然而，要从采集的视频中准确提炼 4D 数据，仍面临诸多挑战。
首先，场景覆盖范围与重建精度往往难以兼顾。固定场地中的多摄像头系统能够较准确地还原手部动作，但需要提前布置设备，采集范围有限。覆盖真实生活的大规模视频数据集，则往往缺少具有真实尺度的三维手部标注，无法直接提供手部的实际位置和移动距离。
其次，"姿势像" 不等于 "位置准"。现有算法已能根据图像估计手指姿态，或从视频中还原手部运动轨迹。但仅靠单个摄像头，距离估计主要依赖模型从训练数据中学到的经验，缺少现场测量作为依据。因此，重建结果即使与画面中的手部轮廓吻合，其空间位置也可能存在偏差。
真实操作中的多人互动和遮挡，也增加了识别难度。以美甲为例，美甲师和顾客的手同时入镜，系统需要持续辨认佩戴者的双手，避免跟错对象。工具、物体或前臂遮住手指，以及双手暂时移出画面，都可能造成跟踪中断或重建误差。
头部运动同样会影响重建。摄像头随佩戴者转头、移动，画面也随之变化，系统需要区分手部运动与镜头运动。尤其在头部转动较多、实际位移较小时，空间距离更难准确估计。
因此，MEgoVista 要应对一系列相互关联的挑战：在无需预先布置的场景中，准确识别并持续跟踪佩戴者的双手，还原具有真实尺度的手部动作和头部轨迹，再通过独立的外部测量验证重建精度。
02 三步还原：认清手、测准距离、连贯动作
针对上述问题，MEgoVista 设计了一套离线重建流程：先识别佩戴者的双手，再利用多摄像头测量距离，最后对整段动作进行优化。
首先，识别并持续跟踪佩戴者的双手。MEgoVista 在检测手部位置、区分左右手的同时，还会辨别哪些手属于佩戴者，避免在多人互动时跟错对象。以美甲为例，当美甲师和顾客的手靠近或接触时，MEgoVista 可以分清双方身份，避免将顾客的手误认成佩戴者的手。
其次，通过多摄像头测量手部距离。MEgoView 头戴设备配备三个鱼眼摄像头，以每秒 60 帧拍摄画面。中央摄像头分别与左右摄像头配对，形成两组立体视觉。系统根据同一只手在不同视角下的位置差异，结合事先标定的相机间距和相对位置，估计手与摄像头之间的实际距离。
针对鱼眼镜头畸变和相机安装角度带来的影响，系统先对画面进行校正，再使用 Foundation Stereo 估计深度，最后综合两组结果，并优先采纳可信度较高的信息，提高距离估计的可靠性。
最后，优化整段动作，减少抖动和姿态异常。逐帧还原的手部姿势，单独看可能没有问题，连起来却可能出现位置突变、手指过度弯折等现象。为此，MEgoVista 先筛选可靠的观测结果，再结合前后帧的信息调整整段动作，使运动更连贯、手指姿态更符合人体结构。
除了还原双手动作，MEgoVista 还可以减少佩戴者 "转头" 带来的影响。MEgoVista 利用多摄像头画面还原头部运动轨迹，在重建初期确定真实尺度，并结合惯性信息判断上下方向，从而区分手部运动与镜头运动。最终，双手动作和头部轨迹被纳入同一个具有真实尺度的坐标系，呈现它们在空间中的位置和移动距离。
03 测试结果：精度更高，手部识别更准
研究团队使用一套由 26 台摄像头组成的独立光学动作捕捉系统，提供参考数据，检验 MEgoVista 的重建精度。评测手部漏检算作惩罚，避免算法通过跳过困难画面获得更好成绩。
检查动作捕捉数据与相机画面是否对齐
测试中，MEgoVista 的手指姿态误差为 4.29 毫米，HaWoR 和 Dyn-HaMR 分别为 16.30 毫米和 49.18 毫米。需要说明的是，这一指标是在对齐位置、朝向和整体尺度后计算的，反映的是手指姿态精度，不代表整只手在空间中的绝对位置误差。
在这批测试数据中，MEgoVista 没有出现手部漏检或误检，动作抖动也低于两种对比方法。两组头部轨迹测试中，完整片段的平均位置误差分别为 2.87 毫米和 0.75 毫米。
团队还在三类真实场景中进行了进一步对比：
制作奶茶：双手快速移动时，MEgoVista 和 Dyn-HaMR 的骨架较贴合手部，HaWoR 的左手骨架出现明显错位。
美甲：HaWoR 和 Dyn-HaMR 都曾将顾客的手误认为佩戴者的手，MEgoVista 正确区分了两人的身份。
给宠物洗澡：手部沾有污物且快速运动时，MEgoVista 和 Dyn-HaMR 均检测到了手部，HaWoR 的左手和手腕出现偏移。
从画面来看，在快速操作和多人互动场景中，MEgoVista 能够较完整地检测手部，重建骨架与实际手部位置较为吻合，也能较稳定地区分佩戴者和旁人的双手。
论文指出，MEgoVista 将第一视角视频中的操作还原为具有真实尺度的 4D 动作数据，并通过独立测量检验重建精度，为机器人学习提供了更可靠的数据来源。
觅蜂科技正持续推进 MEgo 系列设备量产，以及数据采集、治理和评测能力建设。此次 MEgoVista 的研究成果，为这一布局提供了新的技术支撑：在拓展数据来源的同时，提高三维动作重建精度，让真实生活的数据更好地服务于具身模型训练。
（来源：觅蜂科技）