
训练机器人,离不开海量 3D 数据。
但互联网上现成的 3D 模型,大多只有 "好看的皮囊"。
视觉真实≠物理可交互。外观逼真,却缺少关键物理信息,没法直接用于机器人训练。
为破解这一难题,群核科技联合浙江大学推出 UniPhysGen 模型:面向已有 3D 资产补全物理语义,让资产从 "视觉真实" 走向 "物理可交互"。
群核科技联合浙江大学发布 UniPhysGen 模型论文
目前,UniPhysGen 模型及配套数据资源 UniPhys-40K、UniPhys-Bench 已同步上线于技术开源平台 Hugging Face 和 GitHub。
开放仅一周,UniPhys-40K 下载量将近 2 万次,UniPhys-Bench 更登上 Hugging Face 首页。
UniPhys-Bench 登上 Hugging Face 首页
UniPhysGen 是什么?
UniPhysGen 是群核科技首个面向已有 3D 资产、执行统一物理属性推理的开源模型。
它能联合学习并推理 3D 资产的铰接语义与内在物理属性,打通了一条规模化生成高质量物理语义资产的新管线,显著缓解物理 AI 的数据瓶颈。
听起来有点抽象?那我们举个例子。
机器人如何在仿真环境中学会 "拉抽屉"
一个抽屉的 3D 资产:木纹可以逼真、把手可以精细、外形可以完整 —— 看起来无懈可击。
但要让机器人在仿真环境里真正 "上手" 拉动它,还得回答一连串问题:
抽屉沿哪个方向滑动?最多能拉出多远?
把手、面板和抽屉盒,是不是一起动?
质量和接触摩擦,又该怎么设置?
这些信息,决定了仿真环境如何描述物体的运动和接触行为。
缺了它们,再精致的模型,也只是一个 "只能看、不能动" 的手办。
而 UniPhysGen 要做的,正是给这些 3D 资产补上物理信息:
让它们真正进入仿真环境、用于机器人训练,让机器人更好地理解物理世界。
怎么给 3D 资产补充物理信息?
批量补全不同格式的 3D 资产
把已有 3D 资产用于机器人仿真训练,首先要面对一个现实问题:
不同来源的模型,在部件划分、结构层级和几何完整性上往往存在差异。
以抽屉为例:把手、面板和抽屉盒,既可以分别建模,也可以合并为不同粒度的组件。
这意味着,物理推理方法必须适应多样的部件组织方式 ——
一旦依赖某种特定的部件划分,就可能在处理不同来源的资产时出现判断偏差,还会增加人工整理结构、修正参数的工作量。
针对这一问题,UniPhysGen 以物体及部件的 3D 几何为输入,面向异构部件划分开展物理语义推理:
无需预设统一的对象层级模板,即可支持批量推理,为已有资产补充运动与物理信息。
结合资产拆分、参数配置与一致性验证等流程,还能把部分重复加工工作纳入自动化处理,为扩大可交互资产的供给开辟一条路径。
批量推理异构 3D 资产的物理信息
统一建模运动关系与物理属性
一个可用于交互仿真的 3D 物体,需要同时具备运动描述与物理属性描述。
仍以抽屉为例:滑动方向与行程决定它的运动范围,把手、面板和抽屉盒之间的联动关系决定哪些部件共同运动,而质量、密度和摩擦等属性,则参与描述物体的动力学与接触行为。
UniPhysGen 通过物理语义对齐,将局部部件几何、整体对象上下文与功能及物理信息关联起来,在统一框架下覆盖四类结构化推理任务:
部件物理属性:推断部件语义、材料、密度、摩擦等信息。
关节运动参数:推断关节类型、运动轴、支点及运动范围。
部件联动关系:识别与目标部件共同运动的组件集合。
物体整体属性:估计对象的真实尺度与质量。
由此,UniPhysGen 将运动参数、部件联动与物理属性纳入统一推理框架,为 3D 资产提供从部件到整体的物理描述,支持更完整的仿真交互配置。
统一建模运动关系与物理属性
数据体系是怎么搭建的?
多样资产上的物理推理,离不开相应的训练数据与评测机制。
围绕这一需求,研究团队构建了 UniPhys 数据体系,覆盖物理标注生成、模型训练与能力评估三大环节。
用于模型训练的数据集 UniPhys-40K,包含 40014 个对象、覆盖 84 类对象,提供约 37 万个经过筛选的训练部件。
数据涵盖不同材质、尺度、质量与结构复杂度,为模型学习多样资产中几何、运动与物理语义的关联提供支撑。
用于评测的 UniPhys-Bench 则包含 1927 个异构铰接对象、约 5500 个运动相关组件。
研究团队对关节参数、部件联动关系及物理属性合理性进行了人工核验,为模型评估提供参考标注。
除评测数据外,项目还公开了配套的评测流程与工具:覆盖关节类型准确率、运动轴误差、运动范围重合度、部件联动关系,以及材料、密度、摩擦、尺度、质量等属性的预测表现,支持研究者按一致协议复现结果、比较方法。
UniPhys-Bench 数据样例展示
这些数据集均由自动化流程 UniPhys Pipeline 生成。它将原始资产的部件拆分、物理属性推断、运动关系推断与一致性验证组织成一条流水线,产出用于后续训练与评估的结构化物理标注。
这一数据体系的价值在于:既为模型提供多样化的物理语义学习基础,也让模型能力可以被系统地检验与比较,为模型改进、泛化能力研究与仿真应用评估提供依据。
正是在这套数据体系上,UniPhysGen 学会了把物理语义泛化到更多新资产。
训练数据集 UniPhys-40K 与评测基准 UniPhys-Bench
未来,UniPhysGen 将接入群核科技旗下物理数据引擎 SpatialVerse 的管线,把部分重复配置工作纳入自动化流程,规模化补充可用于仿真训练的 3D 资产供给,为机器人交互仿真夯实资产基础。
机器人仿真训练
大模型让 AI 读懂了语言,空间智能让 AI 看懂了三维世界,而物理 AI,要让 AI 真正理解世界。
当越来越多的 3D 资产拥有自己的 "物理说明书",机器人学到的就不再只是世界的 "样子",而是世界的 "规则"。
物理 AGI 的愿景,也会更进一步。
(来源:群核科技)