现科技与 BitRobot 开展合作，探索视觉 — 触觉多模态操作数据采集

Fabric Tactile 织物触觉数据采集手套为第一人称视觉记录补充接触压力信息。

在 CoRL 2026（机器人学习大会）期间，BitRobot 公布与墨现科技（MX MATRIX）的合作。双方围绕真实场景下的人类操作数据采集展开探索，将 Fabric Tactile 织物触觉数据采集手套与 BitRobot 的第一人称视觉采集设备相结合，拓展操作示范数据的感知维度。此次合作中，BitRobot 的 RoboCap、RoboWrist 设备提供第一人称视觉及近距离操作观察能力；Fabric Tactile 聚焦手部接触压力采集，为操作过程增加接触区域、压力空间分布及其时序变化信息。双方通过互补的感知方式，为研究人手与物体之间的交互过程提供数据采集基础。

01 接触压力是操作过程的重要观测量

人类操作技能包含手部运动、物体状态变化，以及接触建立、维持和释放过程中持续发生的受力调整。视觉数据能够提供场景、物体外观与动作过程等信息，但对于被手部遮挡的接触区域，以及外观变化较小的施力过程，仅依赖图像往往难以直接量化。分布式触觉测量则能够提供来自接触界面的局部压力观测，补充视觉对交互过程的描述。Fabric Tactile 采用柔性织物触觉传感方案，记录手部传感覆盖区域内的接触压力分布及其动态变化。在操作示范采集中，这类数据可用于分析接触起止时刻、受力区域变化，以及不同操作阶段的压力分配特征，为理解策略提供额外的观测依据。

02 单一动作记录，拓展至多模态交互表征

第一人称视角能够将场景观察与操作者的任务过程联系起来，腕部视角进一步补充手与物体附近的操作细节。触觉数据则从接触界面提供压力信息，使同一任务能够从视觉观察与接触测量两个层面进行分析。以物体拿取任务为例，视觉信息可用于观察接近、抓取、移动及放置等过程；触觉信息可进一步描述接触建立后的压力增长、持握阶段的压力分布变化，以及释放阶段的压力衰减。不同模态所提供的信息具有互补性，有助于研究人员构建更细致的操作过程描述。

此次合作围绕上述互补关系开展数据采集探索，为后续研究视觉与触觉信息的关联、多模态操作阶段划分，以及接触相关特征提取提供硬件支持。

03 面向机器人学习的数据研究价值

将接触压力纳入人类操作示范，可为接触密集型任务提供额外的观测信息。基于视觉与触觉数据，研究人员可探索以下方向。

- 操作过程分段 - 结合视觉事件与压力变化，研究接近、接触、持握及释放等阶段的识别。

- 接触特征分析 - 比较不同物体、任务和操作方式下的压力分布与时序特征。

- 多模态表征学习 - 研究视觉特征与触觉观测之间的关联。

- 示范数据评估 - 利用压力记录辅助检查接触事件与操作过程的完整性。

人手示范向机器人执行策略的迁移，仍需结合机器人末端结构、传感配置及具体学习方法进行验证。

04 柔性触觉在真实场景采集中的应用

Fabric Tactile 以柔性织物为传感载体，面向可穿戴手部接触压力采集需求，为真实操作中的触觉观测提供支持。其在此次合作中的作用，是补充接触层面的测量信息，为多模态数据研究增加可分析的压力维度。

墨现科技将以此次合作为基础，持续探索柔性触觉传感与第一人称采集设备的协同应用，支持面向真实场景的人类操作数据积累，为具身智能领域的接触感知与操作学习研究提供感知工具。

05 关于双方

墨现科技（MX MATRIX ）专注于柔性压力与触觉传感技术及相关解决方案，提供薄膜、织物触觉传感产品与数据采集手套，面向机器人、具身智能数据采集、医疗康复等领域，支持标准化产品供应与定制开发。

BitRobot 是面向具身智能研发的开放协作网络，连接研究人员、硬件运营者和计算资源提供者，通过真实场景的数据采集和研究任务推动机器人研发。

（来源：墨现科技）