CoRL 2026：首个通用触觉基础模型 FTP-1 如何构建跨传感器表征？

2026 年 11 月 9 日至 12 日，CoRL 2026 将在美国奥斯汀举行。Sharpa 将在 #400 展位与全球开发者交流，期待与你见面！

地址：美国得克萨斯州奥斯汀 JW 万豪酒店二层 Griffin Hall 400 号展位。

我们特别推出 CoRL 2026 专题合集，将陆续介绍 Sharpa 研究团队被本次大会收录的论文，分享背后的思考与探索，并带来会议现场的交流动态与活动亮点。

第二篇继续聚焦 CoRL 2026 入选成果，深入介绍首个通用触觉基础模型 FTP-1。从论文解读到现场高光时刻，更多精彩，敬请期待。

过去几年，机器人视觉学习已经跨过了一个重要门槛。π₀.₅、GR00T N1.5 这类在大规模异构数据上预训练的 VLA 模型，正在成为下游操作任务的通用起点：拿到 checkpoint，针对具体任务微调，再部署到真实机器人上。

但触觉操作一直没有这样的 "基础模型时刻"。

今天的触觉策略大多仍然是 "为特定硬件定制"：一个传感器、一只手、一个任务集，单独训练一套模型。无论是 GelSight、Contactile，还是力 / 力矩传感器，它们都在提供 "触觉"，但输入格式、分辨率和物理形态并不兼容。一旦更换指尖传感器，或切换机器人平台，许多已有经验就很难直接复用。

FTP-1 正是为了解决这个长期卡住触觉学习规模化的问题。

来自 Sharpa、清华大学、UC Berkeley、上海交通大学、ETH Zurich 等机构的研究者提出了首个通用触觉基础策略 FTP-1：A Generalist Foundation Tactile Policy Across Tactile Sensors for Contact-Rich Manipulation。它基于约 3,000 小时、来自 26 个数据来源和 21 种触觉传感器的数据进行预训练，结果显示它不仅能够在不同具身平台之间迁移，在预训练阶段从未见过的传感器上也展现出很强的泛化能力，成功率提升超过 31 个百分点。

论文地址：arXiv:2606.13102

项目主页：https://ftp1-policy.github.io/

01 一个长期难题：触觉数据很重要，却难以被统一利用

通用视觉 - 语言 - 动作（VLA）策略已经证明，大规模数据和异构数据可以带来可迁移的操作能力。但真正的接触密集型操作，例如插入、力控擦拭、手内调整、拧瓶盖等，不能只依赖视觉。机器人需要知道接触是否稳定、力是否偏移、物体是否即将打滑，以及当前动作是否需要减速或调整。

长期以来，触觉学习难以规模化，主要卡在三个问题上。

不同传感器难迁移

现有触觉策略大多绑定特定硬件，不同传感器、具身平台和观察格式之间难以复用，GelSight、Contactile 与力 / 力矩数据之间也很难直接迁移。

简单融合往往无效

直接把触觉 token 注入 VLM backbone，可能反而干扰原有视觉 - 语言知识。在 Sharpa North 长程任务中，Tactile-VLA 成功率为 35.8%，低于 π₀.₅ 的 45.3%，说明触觉需要专门架构处理。

缺少统一预训练语料

相比互联网图像和 EgoScale 超 20,000 小时人类视频，触觉操作长期缺少跨传感器、机械手和夹爪的统一数据集，FTP-1-Dataset 开始补上这一缺口。

FTP-1 想回答的核心问题是：一个触觉策略能否吸收异构触觉经验，并迁移到预训练之外的传感器和机器人本体上？

02 方案：形态感知 token + 独立触觉专家

FTP-1 基于 π₀.₅ 的多专家 VLA 架构进行扩展，实现了两点核心创新。

2.1 Morphology-Aware Tactile Token Space（MTTS，形态感知触觉 token 空间）

MTTS 提供了一个统一接口，可以把任意触觉输入映射到 24 个功能区域 token 上。输入可以是 GelSight 这类图像，也可以是 Contactile 这类阵列，或是力 / 力矩状态量；映射后的 token 则对应语义一致的手部区域，例如拇指指尖、食指指尖、掌心、腕部力 / 力矩等。

功能区域 embedding 会告诉模型：每个 token 来自末端执行器的哪个位置，而不依赖具体物理传感器。平行夹爪可以映射到拇指和食指槽位，灵巧手可以使用 0-14 号槽位，腕部和手指力 / 力矩传感器使用 15-20 号槽位。硬件不同，但语义保持一致。

2.2 Independent Tactile Transformer Expert（独立触觉 Transformer 专家，约 300M 参数）

不同于 adapter 式融合，FTP-1 会把所有触觉 token 路由到一个专门的触觉专家模块，再由动作头读取这些触觉表示；同时，它不会把梯度反传到视觉 - 语言专家中。这样既能保护原有 VLM 知识，又能学习可复用的触觉表示。

在下游微调阶段，如果遇到预训练中没见过的新传感器，只需要从头训练对应的传感器 encoder；预训练好的触觉专家、功能区域 embedding，以及共享的图像 - 触觉 Transformer 模块都可以继续复用。

03 数据：FTP-1-Dataset，3,000 小时、21 种传感器、26 个来源

基础模型能否成立，数据规模至关重要。FTP-1-Dataset 汇集了来自 26 个来源的约 3,000 小时触觉操作数据，包含 21 种不同触觉传感器（7 种图像、5 种阵列、9 种状态），重采样后的数据混合约 20% 人类数据、30% 灵巧手数据、50% 夹爪数据。

其中，Sharpa 贡献了 Sharpa North-FTP-1：4,000 条在 Sharpa North 上采集的长程灵巧操作示教，使用 Sharpa DTC（Dynamic Tactile Array，动态触觉阵列）传感器。Sharpa DTC 也是预训练混合数据中的 21 种传感器之一。

所有标注都在 MTTS 框架下统一标准化，语言指令也通过 GPT-4o 进行改写，以增强表达多样性。它的意义类似触觉领域的 ImageNet：不是简单堆更多数据，而是在异构原始信号之上建立一个共享表示层。

04 测试：5 家机构、14 个任务，覆盖已见与未见传感器

FTP-1 的 checkpoint 被分发给全球 5 家独立机构，用于下游微调和验证。这是一次对可复现性和迁移能力都更严格的测试。

4.1 已见传感器设置（出现在预训练混合数据中）

4.2 未见传感器设置（未出现在预训练中）

整体来看，14 个任务覆盖手内调整、力控按压、插入 / 拔出、柔性物体交互，以及长程双臂操作。

05 结果：已见传感器提升 17.2 个百分点，未见传感器提升 31.6 个百分点

在仿真环境 UniVTAC 中，FTP-1 的平均成功率达到 66.7%，比最强基线高出 17.5 个百分点。如果排除相对简单的抓取，只看更依赖接触反馈的任务，FTP-1 达到 59.5%，而只做架构改造、没有触觉预训练的 FTP-π₀.₅ 为 42.0%。

在真实机器人、且传感器已出现在预训练数据中的设置下，FTP-1 的平均成功率为 62.5%，比 π₀.₅ 的 45.3% 高出 17.2 个百分点：

任务 /π₀.₅/Tactile-VLA/FTP-1：Draw Balloon 35%/20%/45%；Twist Cap 40%/10%/65%；Flip Book 65%/45%/85%；Wipe Dish 30%/35%/60%。

Twist Cap 和 Wipe Dish 这两个任务尤其能说明问题。π₀.₅ 会持续顶住瓶盖，却缺少对力的反应式调整；擦盘子时也容易丢失接触。相比之下，FTP-1 能保持更稳定的压力，并在触觉反馈提示对位不准时主动放慢插入动作。

未见传感器上的结果更关键：FTP-1 比最强基线模型高出 31.6 个百分点，而且只需要从头训练传感器 encoder。Insert Hanoi 任务中，FTP-1 展现出反应式插入控制，在对位不准时会减速；Insert USB 中，即使只有 100 条示范数据，FTP-1 也能生成稳定的接触感知动作，而基线模型更容易抖动并失败。

方法 / 平均成功率：π₀.₅ 15.00%；Tactile-VLA 8.30%；FTP-π₀.₅（仅架构，无预训练）15.00%；FTP-1 46.60%。

消融实验进一步说明，这不是 "数据距离更近" 带来的偶然结果。没有触觉预训练的 NTP-1，即使采用相同微调架构，在未见 FlexivXense 传感器上仍明显落后于 FTP-1。这表明 FTP-1 学到的是可迁移的触觉知识，而不是某个传感器或某个任务的局部技巧。

06 触觉进入基础模型时代

多年来，触觉机器人一直面临一个循环难题：没有共享表示，就难以形成共享数据集；没有共享数据集，又难以训练共享模型。FTP-1 用三个核心组件打破了这个循环：

MTTS：一种覆盖 21 种传感器的通用触觉 token 语言；

FTP-1-Dataset：约 3,000 小时异构触觉操作经验；

Tactile Expert：可复用的预训练触觉表示，而不是每个传感器从零训练；

结合 SaTA 的空间触觉定位、Tacmap 的触觉仿真到现实迁移、T-Rex 的高频触觉反应，以及 CraftNet 的分层 VTLA 架构，FTP-1 让 Sharpa 触觉智能的技术路径变得更完整：触觉能力可以像视觉能力一样，被预训练、共享并迁移。

这些突破扎根于 Sharpa 的技术体系，研究成果的背后是 Sharpa 相互支撑、共同积累的硬件、数据和模型能力。

Sharpa W01（Wave）的 Dynamic Tactile Array（动态触觉阵列）在每个指尖提供超过 1,000 个触觉像素，并支持 6-DoF 力 / 力矩信息，是 FTP-1 预训练语料中的重要组成部分；Sharpa North 则作为真实机器人评测平台，承担 Draw Balloon、Fix Hand、Twist Cap 等长程接触任务，验证触觉预训练在复杂操作中的价值。

此外，Sharpa W01 的 22-DoF 拟人化动作空间，与 EgoScale、T-Rex 等研究中的动作表示形成呼应，使硬件、数据和模型围绕同一具身标准逐步对齐。FTP-1 也进一步验证了 CraftNet 的判断：触觉不应只是视觉 - 语言模型的附属输入，而需要独立、高频、可迁移的表示与控制通路。结合 Isaac Sim 资产与真实 W01 灵巧手，Sharpa 正在从触觉硬件走向基础模型与生态闭环。

同时，这项工作也成为 Sharpa W01 硬件投入持续复利化的软件层。每一小时在 Sharpa 平台上采集的触觉数据，都不只服务于单个任务，而是在持续改善一个能够惠及整个生态的触觉基础模型。

（来源：Sharpa机器人）