如何在动态空间感知中，实现机械臂与底盘协同控制，是移动操作的难点。
近日，Xspark AI 联合香港科技大学（广州）、清华大学和香港大学，提出通用移动操作基础模型 MM-ABC。模型围绕 "感知、协调、想象" 三大原则进行组织，能够统一建模环境理解，协调机械臂与底盘的动作，并在训练中学习下一步的空间变化。
五项真机长任务上，每项用 200 条示教微调之后，MM-ABC 的平均成功率达 83%，比 π0.5 高 12 个百分点。
01 两路各自建模，同一步互相参考
过去几年的具身智能主线，是让固定基座的机械臂变得更聪明。但一个固定的身体，不管脑子多好，都走不出它的工作空间。移动操作应运而生。移动底盘的出现，把可达工作空间从固定属性变成可控变量。
从这个角度看，移动操作的本质不是 "先移动，后抓取" 的简单拼接，而是在策略自身控制的、可重构工作空间上做操作。
但移动不等于会操作。底盘一动，目标和机械臂的相对位置也跟着变，模型必须按新的画面重新估计距离和角度。而两类动作的控制语义截然不同 —— 底盘负责大幅度的空间重定位，机械臂负责毫米级的精细交互。它们既要各干各的，又必须彼此配合。
既有做法大致分两路：
一条路是先把几何搞清楚。重建三维场景，或者再训练一个预测未来画面的模型。这能让空间关系更明确，但所需建模和推理的成本都相当高。
另一条路是把动作拆开。用独立动作分支、子系统感知或结构化动作空间，解耦移动和操作。但解耦本身并不保证协作。如何让属于不同分支的机械臂与底盘进行有效的信息交换，成为关键。
MM-ABC 解决的正是动态空间感知中机械臂与底盘协同控制的问题，其设计的核心有两处：
一是机械臂和底盘分开建模，再用带掩码的联合注意力，让两路在同一步里互相参考，保持紧密的信息交互和协调。
二是用 x-prediction 直接预测下一步要执行的干净动作（clean action）。这样做能够减少对噪声的建模负担，双流网络就能够把更多表示能力用于机械臂与底盘之间的有效协同。
这两处设计带来的效果是：对空间接下来如何变化的预判，只留在训练阶段。这条分支给策略更密的学习信号，部署时整支拿掉，因此不会额外增加推理成本。
02 看见当下，协调两路，想象留在训练
MM-ABC 接收多视角 RGB 观测和语言指令，输出同一时间窗口内的机械臂动作与底盘动作。一条指令从输入到动作，要经过感知（Seeing）、协调（Coordinating）、想象（Imagining）三层处理。
MM-ABC 架构。左：稀疏 VLM 特征条件化 MM-APT；仅训练期的未来分支接受来自冻结 VGGT-Ω 的几何监督。中：关节 Transformer 块以流专用变换与带掩码注意力组合各流，感知上下文只读。右：动作流在各段内部通信；远端标记额外可读近端标记。未来查询遵循同一时间次序，但始终与动作隔离。
感知：多层视觉特征增强感知
底盘移动时，模型最需要识别的往往不是 "这是什么物体"，而是手离物体多远、被挡住的边缘在哪里。但纯几何信息又不足以支撑语言指令所要求的语义理解。
Sparse DeepStack 接口让动作专家从 VLM 的多层特征中读取信息，让动作专家同时拿到细粒度几何与高层语义：中间层保留距离、轮廓等细粒度信息，最后一层提供语义与共同语境；动作网络不反向改写视觉特征，两条信息通路始终保持清晰。
协调：解耦建模与跨流交互
底盘和机械臂的控制形态差异很大，同一套参数很难同时学好。MM-APT 因此分成两条动作流：操作流负责双臂的关节与末端，移动 / 身体流负责底盘与躯干，各自拥有独立的归一化、注意力投影与前馈层。
分开建模只是前提，用带掩码的联合注意力做跨流交互才是关键。机械臂要伸向哪个物体，会影响底盘停在哪里；底盘准备平移，机械臂会据此决定该伸出去还是先收回来。
跨流信息交换需要遵循严格的顺序。近 — 远非对称注意力规定：可执行的近端动作不能看投机性的远端动作，因为远端动作此时还没有定论；后续动作则建立在更早动作的基础上，沿着已经定下的近端动作继续往下写。
团队还通过一组简化实验验证了这一选择：干净动作主要集中在低维动作空间中，而速度预测需要额外拟合大量噪声成分，因此在采样早期更难准确恢复目标动作。相比之下，x-prediction 能保留更少的噪声，并在少步采样时更准确地协调机械臂与底盘，因此最终采用 x-prediction 直接预测干净动作。
想象：利用未来几何分支预测
对空间接下来如何变化的预判，由一条与动作流并行、但互相隔离的未来分支完成。这条分支拿不到任何动作标记，不替手臂或底盘写动作，只给策略更密的学习信号，从而强化当前场景感知与操作意图。
这一分支仅存在于预训练阶段，部署阶段不发挥作用，不会额外增加推理成本。
跨本体预训练：让不同机器人共享同一套模型
不同机器人在机械臂结构、移动能力和控制方式上差异很大。为了让这些异构数据能够进入同一套模型训练，MM-ABC 构建了统一的数据与动作接口，并汇集 5000 + 小时机器人数据，覆盖 12 个数据集、51 个子集、400K + 条轨迹和 17 种机器人本体。
多本体预训练语料总览。扇区为按数据集聚合的训练采样概率；周围面板展示环境与本体。
其中 MM-30 是团队自采的真机移动操作数据集。其采集平台是 HexFellow Trigger-A3 全向底盘与两台 AgileX PiPER-X 六自由度机械臂上采集，超过 30 小时多视角示教，覆盖 40 + 项任务。
自采的真机移动操作数据 MM-30 总览。
为保证异构数据能进同一模型，MM-ABC 做了两步处理。一是建立统一的规范动作空间，把左臂、右臂和身体放进同一格式。二是本体感知掩码，把某台机器人没有的关节通道留空，并不计入损失。这样一来，各本体自己的控制结构还在，没有的部分也不会被当成零动作去学。
03 真机五项长任务，平均成功率 83%
实验结果则证明了模型在真实场景、长程任务中的有效性。测试平台就是采集 MM-30 的机器。真机任务包括五项，每项任务都只有一句自然语言，各用 200 条遥控示教微调，各测 20 次，只有全部步骤完成才算成功。
五项真机任务。自上而下是任务类型：生日布置、办公文件夹整理、厨房作业、工业零件整理、化学实验操作。每行从左到右是同一次任务的先后步骤。
数据显示，MM-ABC 五项平均成功率为 83%，领先 π0.5 12 个百分点，领先 StarVLA-GR00T 29 个百分点。拉开差距最大的是厨房和化学实验，各比 π0.5 高 20 个百分点。这两项任务的特点在于，底盘移动和手臂动作写在同一条指令，配合难度高。这说明 MM-ABC 提升的是身体调度能力本身。
五项真机任务的成功率。每种方法、每项任务 20 次试验。
研究团队在多个基准上分别评测 MM-ABC，检验其跨任务、跨形态的迁移能力。
五个基准覆盖移动操作、家庭复合长程任务、双手与工具使用、固定基座精细操作以及扰动鲁棒性，MM-ABC 在各维度的平均成功率均高于该项领先基线。这说明 MM-ABC 既能处理需要移动的操作，也能处理不需要底盘的精细任务，具备良好的迁移能力。
研究团队通过消融实验证明了 MM-ABC 作为完整模型设计的有效性。在 RoboCasa365 的 16 项复合任务上，团队不使用机器人数据做预训练，所有变体共用同一训练预算：12 万步、batch 64，每次只改动一个设计。
数据显示，完整模型平均成功率 32.8%。去掉未来几何监督降到 24.9%，只用 VLM 最后一层是 25.6%，把 x-prediction 换成速度预测是 29.2%。多层交叉注入（interleaved，让动作层交替读取视觉特征，而不是稀疏地取少数层）为 22.0%，低于稀疏多层。这说明，拉开差距的不是某一项技能的堆叠，而是 MM-ABC "分层看、分开写、一起协同" 这一整套结构。
04 结语
MM-ABC 的亮点在于，它把底盘停在哪里、手怎么动、空间接下来如何变化，写进了同一个模型。它的每层设计都十分精妙：Sparse DeepStack 让动作专家同时拿到几何细节与语义信息；双流 MM-APT 让机械臂与底盘实现解耦协同，训练阶段利用未来几何预测增强空间与操作意图学习。
它给行业提供了一个务实的判断，通用移动操作的能力，可能不在更复杂的世界模型里，而在更干净的动作建模里。MM-ABC 把几何理解留在训练期，推理时只保留两路之间的协同，实现了用更低的部署成本换取更稳的身体调度。
这也是继 MoPA 后，Xspark AI 在通用具身智能与移动操作基础模型方向上取得的又一突破。此前，MoPA 解决的是移动操作中底盘和机械臂感知错配问题，而 MM-ABC 则更进一步，解决二者的动作协调的问题。
未来，这一通用基础模型仍将持续进化，为大规模化采集和跨本体复用提供坚实基础。
（来源：Xspark AI ）