诺亦腾机器人开放 HiPHI-Hand，数据已用于训练 NVIDIA EgoHand

11 月 9 日至 12 日，机器人学习大会（CoRL 2026）在美国奥斯汀举行。诺亦腾机器人（Noitom Robotics）在大会首日正式发布 HiPHI-Hand 高精度手部动作捕捉数据集，面向全球科研社区开放。

这套数据已被用于 NVIDIA EgoHand 的训练工作中。数据包含同步采集的第一视角视频与亚毫米级精度的三维手部真值数据。此次公开，让更多研究人员能够利用这一批次数据，开展第一视角手部重建与机器人学习等相关研究。

HiPHI-Hand 现通过 Hugging Face 发布，是诺亦腾机器人继 HiPHI 高精度人体运动与人 - 物交互数据集之后，第二个基于 “World Compiler” 理念发布的公开数据集，旨在让真实物理世界成为人工智能系统可学习的对象。

数据集地址：huggingface.co/datasets/noitomrobotics/HiPHI-Hand

HiPHI-Hand 公开了什么？

此次开放的 HiPHI-Hand 收录了 11 小时同步采集的立体鱼眼第一视角视频，并提供光学动作捕捉获得的三维手部关节位置，以及以头戴设备惯性测量单元（IMU）为参照的相机外参。

这些数据记录的是人用手操作物体的过程。第一视角视频呈现操作者眼前的画面，三维关节位置记录双手如何运动，相机外参则描述摄像头相对于头戴设备 IMU 的位置与朝向。

通过同步记录，研究人员可以将同一时刻的视频画面与三维手部动作对应起来，观察手指如何弯曲、手掌如何转动，以及这些变化如何体现在第一视角画面中。

手被遮住时 如何记录它的位置？

手部动作采集有一个常见难点。在抓握和操作物体时，手指可能被物体挡住，双手之间也会相互遮挡。摄像头能够拍到操作过程，但画面中并不总能看清每一根手指的位置。

为获得可靠的三维参照，诺亦腾机器人团队在采集人员的手指上布置微型标记点，利用光学动作捕捉系统记录手部关节的三维位置，同时使用诺亦腾机器人自研的 SOL 第一视角数据采集设备拍摄视频，并将两类数据进行时间同步。

即使手部在第一视角画面中受到遮挡，光学系统仍可提供亚毫米级精度的三维手部真值。这类通过实测获得、可作为模型学习参照的数据，让视频中的手部动作有了可对照的三维记录。

HiPHI-Hand 如何用于 EgoHand 训练？

NVIDIA EgoHand 是一款基于 NVIDIA Isaac Capture 构建的单目三维手部重建模型。仅需单个摄像头拍摄的第一视角视频，模型即可重建手部的三维姿态和形状。

EgoHand 的训练结合了合成数据、真实场景视频和多相机动作捕捉数据。NVIDIA 将诺亦腾机器人采集的 HiPHI-Hand 数据处理为 SOMA-Hand 表征，作为模型的真实世界训练数据来源之一。

HiPHI-Hand 将第一视角画面与实测手部位置配对，为模型学习视觉信息与三维手部动作之间的关系提供了训练依据。此次公开的版本包含此前交付给 NVIDIA 的采集数据，研究人员可以在这些记录的基础上继续开展研究。

诺亦腾机器人也已将 EgoHand 接入一套第一视角数据处理流程，目前正在评估其在手部标注环节的表现。EgoHand 模型依据 OpenMDW 许可发布，允许免费商用。

nvidia.github.io/IsaacCapture/main/ego_post_processing/egohand.html

从 HiPHI 到 HiPHI-Hand

2026 年 8 月，诺亦腾机器人发布 HiPHI 高精度人体运动与人 - 物交互数据集，记录人的全身动作及人与物体的交互。HiPHI-Hand 为这一公开数据系列补充了更精细的手部动作数据，以及与之同步的第一视角视频。

从全身运动到精细的手部操作，模型需要学习的行为不同，对数据的要求也随之变化。高精度、同步且结构清晰的记录，能够帮助研究人员把视频中看到的动作，与实际测得的三维运动联系起来。

Noitom Robotics 创始人 & CEO 戴若犁博士表示：

"人通过双手与物理世界交互，而手部恰恰是第一视角视频中最难精确测量的部位。我们以亚毫米级精度采集这批数据，让 EgoHand 这样的模型能够从中学习。把这些数据公开，是希望研究社区能在同一套真值数据的基础上继续开展研究。数据规模和可学习性需要同步提升，高精度数据是让模型从海量第一视角视频中学习的基础。"

HiPHI-Hand 沿用 HiPHI 的 ModalityNet 开放研究许可 v1.0（ModalityNet Open Research License v1.0）。研究人员可免费将数据用于科学研究、教育和评估，商业使用需另行获得诺亦腾机器人授权。商业授权与合作需求可通过 ModalityNet 联系诺亦腾机器人。modalitynet.com

在 CoRL 亲身体验 EgoHand 首个实机 Demo

体验时间丨 11 月 9 日 - 11 日

活动地点丨美国奥斯汀 JW 万豪酒店三层

展位编号丨 1105

本届 CoRL 期间，诺亦腾机器人还将与 NVIDIA 联合开展 EgoHand 现场演示，这或将成为 EgoHand 的首个实机 Demo。现场演示由诺亦腾机器人研究团队搭建，参会者可以佩戴诺亦腾机器人 SOL 第一视角数据采集设备，像日常生活中一样拿取和操作物品。SOL 将拍摄的视频实时传输至 EgoHand，模型在 NVIDIA RTX PRO GPU 上逐帧重建手部姿态与形状。

诺亦腾机器人研究人员还将在大会 11 月 10 日下午的 Poster Session2 （5:00-6:30pm）报告 HiPHI、OmniContact 和 AdaPT 三篇论文。欢迎来到现场，与团队交流数据采集、模型训练及相关研究。

相关链接

HiPHI-Hand 数据集：huggingface.co/datasets/noitomrobotics/HiPHI-Hand

NVIDIA EgoHand 模型：huggingface.co/nvidia/EgoHand-v1

关于诺亦腾机器人

诺亦腾机器人专注于 Physical AI 全模态数据服务，以 “数据” 为核心交付界面，为机器人本体企业、具身智能模型团队、高校与科研机构提供高质量、可规模化的多模态训练数据及相关基础设施能力。 依托高精度动作捕捉与真人数据采集领域的技术积累，公司构建了 MOV（多模态大空间交互）、OM（全模态灵巧操作）和 ITW+（真实场景多模态数据）三大数据体系，为具身智能模型提供高质量、结构化且可直接用于训练的数据基础。

（来源：诺亦腾机器人）