选具身机器人,就上具身之家
科技资讯返回

智元开源首个真实场景 Physical Agent 数据集,助推具身智能落地部署

作为 AI WAVE 的开篇,智元正式开源 AGIBOT WORLD 2026 第四期 "具身推理"(Physical Reasoning)数据集 —— 首个真实场景 Physical Agent 数据集。本期任务设计从 "操作难度" 转向 "决策难度",覆盖九类逻辑推理场景,支持机器人根据现场条件判断 "该做什么、先做什么、接下来怎么做"。该数据集已用于智元即将推出的 Agent 框架与新一代基座大模型训练,后续随着 AI WAVE 系列成果陆续揭晓,智元将系统呈现从数据、模型到场景落地的全栈 AI 能力,让真实数据转化为机器人的作业能力。

"帮我准备下出门物品。"

收到指令后,Agent 首先调用工具查询明天的天气,再根据天气预报判断需要携带哪些物品,由机器人完成取放。如果明天阳光充足,就提前备好防晒霜;如果天气转雨,则需要准备雨伞。

这个人类不假思索的决策过程,恰恰是当前具身智能最难的关口:机器人光会 "照着做" 还不够,还得学会 "看情况做"。

10 月 22 日,智元正式开源 AGIBOT WORLD 2026 第四期 "具身推理"(Physical Reasoning)—— 首个真实场景 Physical Agent 数据集。本期数据集覆盖九类逻辑推理场景,围绕同一任务人为构造多种现实状态与执行分支,同时提供高层问答和低层动作轨迹,支撑从任务决策到真机执行的协同训练,让机器人既能 "想清楚",也能 "做出来"。

01/ 真实任务的真相:没有标准答案,只有当下的最优解

真实世界里的任务,从来不是固定动作的组合。

把客房迷你吧的饮料 "补到 3 瓶":机器人要先区分空瓶与满瓶、数清现有数量,再决定回收几瓶、补充几瓶 —— 初始状态不同,操作步骤完全不同。从多个抽屉里找洗漱用品:哪怕当前画面一模一样,"已经查过哪个抽屉" 也会改变下一步的搜索位置。完成状态判断、步骤依赖、外部条件理解…… 这些决策需求遍布客房清洁、烹饪、出门准备等日常任务。

要让机器人自主完成这些事,只有 "如何执行动作" 的数据远远不够 —— 必须有 "如何根据目标与条件做出决策" 的数据。第四期正是围绕这个缺口构建。

02/ 同一任务、多种状态:九类推理能力

本期数据集以真实任务目标为驱动,围绕物品数量、遮挡关系、位置占用、任务进度四类关键因素,刻意采集同一任务在不同状态与约束下的决策与执行过程:

目标同是取出盒子后的钥匙 —— 空间够就直接抓,被挡住了就得先移开盒子。目标相同,现场条件不同,行动路径就不同。

由此,数据集组织了九类核心推理能力的任务覆盖:属性约束选择、情境条件化选择、操作可行性评估、前置条件推理、目标导向搜索、状态与数量推理、长程规划、记忆状态维护、子任务顺序推理。这些能力在真实任务中交叉出现 —— 补货要同时做商品辨别、数量判断与状态维护;寻物要结合搜索策略、历史记录与空间条件持续决策。

任务按 Easy、Medium、Hard 形成难度梯度:基础任务考单项判断(属性、形状匹配),中等任务加入数量与前置条件,高难度任务叠加多子目标规划、长程状态维护与多种情境约束 —— 既方便研究者拆解单项能力,也能观察它们在复杂任务里的组合表现。数据同时标注执行结果:物品选对没有、放对没有、数量够不够,成功与错误样本并重,支持 "执行偏差发生后如何调整" 的研究。

03/ 一条数据链路串起 "决策 — 过程 — 动作"

覆盖多样的任务情况,还需要通过标注将决策依据与执行过程联系起来。本期数据通过任务指令描述完整目标,以 Task Frame、子任务区间和动作步骤刻画任务结构,帮助研究者对应任务进度与当前子目标,开展任务分解、阶段识别和下一子目标预测等研究。

在动作层面,Dense Prompt(详细动作描述)明确目标对象、操作部位、左右臂分工、运动过程与预期结果,并与真机动作配对;框、点、线等空间标注进一步明确目标区域、接触位置与操作路径,将语言要求对应到具体空间位置。

成功、干扰等标注,则为完成判断、目标辨别及执行结果检查提供信息。由此,研究者可以在同一条任务链路中关联任务目标、当前阶段、操作要求与执行结果,将高层决策研究与动作策略训练衔接起来。

04/ 从任务训练走向真实场景应用

基于本期数据,研究者可开展联合训练与端到端训练,提升模型的情境理解、过程记忆与任务推理能力;也可用于具身 Agent 的决策 - 执行协同训练 —— 结合当前情境与执行历史选择子目标,由动作策略完成操作,再依据结果更新任务状态、调整后续安排。

本期数据集为大模型能力进入物理世界提供了面向真实任务的训练基础。其通过连接任务决策、过程记忆与真机执行,支撑基础模型和具身 Agent 将对用户目标的理解转化为实际行动。长期来看,这有助于推动机器人融入家庭服务、酒店餐饮和商业运营的完整流程,承担需要持续判断与执行的现实工作,为具身智能在实体经济中的规模化应用奠定基础。

(来源:智元)