灵巧手的能力边界，由什么决定？

10 月 16 日，ROSCon China 2026 在上海开幕。临界点具身首席科学家黄碧丹登上大会首日主论坛，以《灵巧操作的算法边界在哪里？—— 从 OmniHand 的夺金实践谈起》为题，分享了灵巧手算法与硬件系统协同的实践经验。

她讨论的问题很具体：灵巧手硬件已经到了一定水平，为什么在真实任务里，表现往往跟不上参数？

硬件参数不等于操作表现

行业内一种常见观点是，硬件规格决定了机器人的操作上限：自由度更高的灵巧手、精度更高的工业相机，往往被视为更强操作能力的基础。但今年 8 月举行的第二届世界人形机器人灵巧手专项赛中，临界点团队的表现提供了另一种观察视角。

在这场汇聚全球 100 余支战队的赛事中，临界点团队经过两个多月的准备，最终在灵巧手专项赛中取得 7 金 4 银 3 铜的成绩。值得注意的是，团队使用的并非高规格工业硬件：主力设备为量产型 OmniHand 3 灵巧手，搭配消费级相机；部分参赛队伍则采用了工业视觉方案和更高自由度的灵巧手。单从硬件配置来看，临界点并不占优。

积木搭建赛项，直观呈现了算法优化如何改变任务表现。该任务要求机器人抓取零散积木并搭建成五层塔体，对抓取、放置和定位精度都有较高要求。预赛阶段，一支采用工业相机、工业机械臂和高端灵巧手的队伍用时 3 分 26 秒完成搭建；临界点团队则在 5 分钟内仅搭建了 7 块积木，未能完成任务。

此后的一周内，团队没有更换硬件，而是针对 "拼手速" 的任务目标，围绕感知、规划与抓取三个环节进行优化，压榨硬件性能，提升算法鲁棒性。

在感知环节，团队反复调整相机位姿，优化积木检测与位置估计算法，将单图定位误差控制在 1 毫米以内；

在规划环节，基于单次全局检测结果，建立标准化的抓取与叠放流程，并对全路径速度规划进行优化，减少不必要的动作耗时；

在抓取环节，团队针对 OmniHand 3 的 10 个主动自由度优化多指协同策略，以三指抓取替代常见的两指夹取方式，提高积木在运动过程中的稳定性，降低滑动和位置偏移的风险。

最终，稳定抓取与轨迹优化让量产手进一步发挥了性能，临界点团队在决赛中以 2 分 07 秒完成 20 块积木的搭建，实现了从预赛落后到决赛领先的逆转。

黄碧丹得到的启发是："绝大部分硬件的性能天花板，并没有被算法释放出来。当软硬件深度协同后，硬件潜力得到充分发挥，会得到事半功倍的效果。"

理论最优不等于现场稳定

如果说积木搭建验证了算法优化对操作表现的影响，那么镊子夹豆赛项则揭示了另一个问题：在实验室中表现良好的算法，能否直接应对真实任务中的变化？

该赛项要求机器人使用镊子，将豆子从黄色碗夹入绿色碗，以 5 分钟内夹取的豆子数量计分。

赛前团队针对满碗豆子的情况设计了 "固定点" 的夹取策略，在实验室测试中表现稳定，且成绩优异。但到了预赛现场，任务规则与物料分布均发生了变化：规则调整为每次只能夹取 1 颗豆子，碗中豆子也从赛前公布的满碗状态变为仅剩底部薄薄一层。

原有策略难以适应新的条件，预赛中团队仅夹取了 3 颗豆子。

从预赛到决赛的一周内，团队快速迭代了两套方案：

视觉热力图策略：通过识别豆子分布，优先选择豆子相对密集的区域，以减少低豆量情况下的空夹。但现场测试发现，该方案对视觉输入较为敏感。受限于开发和调试时间，其测试结果波动较大，稳定性不足，难以满足比赛对可靠性的要求。

最终团队转向螺旋夹取策略：以碗心为起点，沿螺旋轨迹逐步向外扩展夹取范围。这一方案虽然无法针对每颗豆子的具体位置进行最优选择，却具有轨迹明确、执行过程可重复等优势。多次测试中，该方案均能稳定夹取 70 颗以上豆子。

决赛中，团队凭借这套 "非最优但最可靠" 的方案实现反超，拿下该赛项冠军。这也印证了落地场景的核心逻辑：算法的价值不能由理论最佳表现来定义，更重要的是面对真实任务，方案的稳定性、可复现性，以及对环境变化的适应能力。

软硬协同不是让算法迁就硬件

谈到软硬协同，一种常见的理解是让算法适应硬件的能力限制。但在黄碧丹看来，在算法设计阶段，就要把硬件的物理特性当作输入，而不是先算出理想解，再让硬件去追。

这一思路在临界点的灵巧手重定向方案中得到了体现。重定向是把人手动作映射到机器人手上，是数据采集与遥操作中的基础环节。映射准不准，决定了采到的数据能不能用。

针对 OmniHand 3 的硬件特性，临界点团队设计了兼顾末端与关节跟踪精度的重定向方案。在模型训练和轨迹生成过程中，团队将灵巧手的实际运动能力纳入约束，避免先生成超出硬件能力的 "理想轨迹"，再让硬件被动追随。

这种设计既关注末端操作的准确性，也兼顾关节运动范围、力矩等执行约束，减少无法有效执行的指令，使算法规划与硬件执行之间形成更紧密的衔接。相比单纯追求轨迹精度的方案，这种将硬件特性融入算法设计的方式，有助于在既定硬件条件下提升操作的稳定性与效率。

黄碧丹认为，软硬协同不是简单地让算法适应硬件，而是让算法从设计之初就理解硬件的能力与约束。只有建立算法输出与硬件执行之间的有效匹配，硬件参数才更有可能转化为实际操作能力。

Project Eureka 把 OmniHand 交给开发者

灵巧操作能力的拓展，不仅依赖单个团队的技术研发，也需要更多开发者在不同任务和应用场景中的实践。

临界点面向全球开发者推出长期生态计划 Project Eureka。"Eureka" 源自希腊语中表达 "我发现了" 的感叹，寓意从提出想法到获得发现的过程。该计划围绕 OmniHand 系列灵巧手，持续提供开发资料、课程实训、技术挑战赛、Demo 共创及产学研合作机会，此前的多城开发者活动中，已有学生团队基于 OmniHand 灵巧手开发出手指舞等创意 Demo。

10 月 29 日智元创新日，临界点还将发布 OmniHand 灵巧手挑战赛与全新数采手套。这款手套可跟踪手部姿态，并结合全手视触觉传感能力，采集操作过程中的接触位置与接触力等信息，为开发者开展数据采集、算法开发与操作验证提供工具支持。

从赛事中的任务验证，到复杂操作架构的探索，再到开发者生态的建设，灵巧操作能力的提升需要在技术研发与真实应用持续探索。随着更多开发者参与其中，新的任务、新的算法和新的应用方式也将不断涌现。

对临界点而言，技术研发不仅要回答灵巧手在既定条件下能够完成什么，更要探索它在不同任务、不同环境中还能完成什么。灵巧操作的能力边界，也将在这样的持续实践中不断拓展。

（来源：临界点）