选具身机器人,就上具身之家
技术前沿返回

觅蜂联合发起具身评测平台 RoboColiseum,GPT-6、Opus5.5、Gemini4 同台决战!

当 OpenAI、Anthropic 和 Google 三大 AI 巨头的旗舰模型同台决战,谁更会操控机器人?

10 月 20 日,由觅蜂科技、Hugging Face、NVIDIA、清华大学等全球近 20 家高校、企业、科研机构共同联合发起的具身角斗场 RoboColiseum 公布本轮评测结果:Claude Opus 5.5 位列四款旗舰模型综合第一,GPT-6 Astra 紧随其后。

分项来看,在四款旗舰模型中,GPT-6 Astra 在指令跟随与整体扰动适应上领先,其中指令跟随得分达到 99.35;Opus 在空间理解与通用操作上表现更好,并以最少的全轮评测 token 消耗拿下旗舰组综合第一。在图像质量受扰动的测试中,GPT-6.1 Sol 明显落后于其他三款模型,显示出不同模型应对视觉信息变化时的稳定性差异。

但本轮综合排名前两名,仍由具身策略模型占据,尤其是在通用操作维度保持优势。这场同台较量,为行业看清通用大模型与具身策略模型的能力优势与短板提供了直观参考。

RoboColiseum 围绕指令跟随、空间理解、扰动适应和通用操作,推出四类能力子榜、78 个高保真仿真评测任务,既呈现模型的分项表现,也记录任务完成步骤与失败位置,帮助开发者快速定位模型能力短板。

作为联合发起方,觅蜂为 RoboColiseum 提供高保真物体资产和仿真场景,支持构建复杂机器人操作任务的评测环境,并为不同物体交互、空间布局与环境条件下的模型能力测试提供基础资源。

模型在仿真中的成绩能否反映真实操作表现,同样是评测的关键。根据平台公布的实测结果,RoboColiseum 仿真评测与实机部署的相关性达到 89.5%,相同模型在仿真与真实世界中的评测差异小于 10%,可为开发者进入真机测试前的模型筛选与问题定位提供参考。

觅蜂科技提供 "又全又好又快" 的数据供给体系,覆盖真机、仿真与无本体三大数据范式。在仿真方面,觅蜂提供物体资产与环境资产两类资源,覆盖多种日常物品及室内场景,并提供场景重建、专家轨迹数据获取和评测结果可视化等能力,帮助模型团队开展多样化训练与评测。

Coliseum 原指古罗马圆形竞技场,RoboColiseum 以此为意象,构建多维度的系统评测体系,以与真机表现高度一致的仿真评测,给具身智能模型搭建一个公开、中立、可复现的 "竞技场" 和 "训练场"。任何高校、研究机构或企业开发者,都可以把自己的模型提交上去,接受一套标准化 "考试"。自 8 月上线以来,已有海内外 100 多支队伍在平台开展模型训练与评测。

RoboColiseum 现已面向全球开发者开放,欢迎模型团队参与评测。

(来源:觅蜂科技)