跨维智能联合发布 TaskAnchor：引入历史上下文，激发机器人长程任务能力

让机器人把红色积木放到蓝色垫子上，再送回原来的槽位。听起来并不复杂：抓取、移动、放下，都是它可能已经掌握的动作；但同一个画面，却可能藏着两个完全不同的任务。

请想象两个瞬间：第一次，机器人拿着积木悬在垫子上方，准备放下；第二次，它刚从垫子上重新拿起积木，准备送回。此时，夹爪姿态相似，垫子和两个候选槽位都空着，任务指令也没有改变。机器人眼前是同一幅画面，下一步该做什么却完全不同：它得知道自己进行到哪一步了，还得记住积木应该放回哪个槽位。

这个例子揭示了长程操作中的一个关键问题：当前画面未必包含正确决策所需的全部信息。在长程任务中，机器人观测到的往往只是任务过程中的一个瞬时图像，其可能无法直接反映哪些步骤已经完成、哪些对象此前被操作过，以及当前究竟处于任务的哪个阶段。

近日，跨维智能联合香港中文大学（深圳）、佛山大学、华南理工大学发布 TaskAnchor。TaskAnchor 的核心思路，是让预训练的具身模型利用执行历史识别当前任务状态，完成更复杂的长程任务。

通过一个轻量适配器，TaskAnchor 将历史信息分别接入具身模型 原有的语言和视觉接口。在 RMBench 的单任务训练设置下，TaskAnchor 将 π₀.₅ 的平均成功率从 14% 提升至 79%；每个动作块的额外推理开销仅为 2.08 毫秒。其中一组真机实验还展示了模型利用机器人执行历史以外的人类演示进行上下文学习（In-Context Learning，ICL）的潜力。

01 机器人长程操作中的任务状态混淆

反应式具身模型通常根据当前观测与语言指令，预测接下来的一小段动作。这种设计适合判断 "眼前应该怎么做"，但当动作依赖此前发生的事件时，相似的输入就可能对应相互冲突的正确动作。论文将这一现象称为任务状态混淆（task-state aliasing）。

具体混淆分两种：

第一类：关乎执行阶段。机器人当前进行到任务的哪一步？积木是即将被放上垫子，还是已经完成放置、需要送回？重复抬起物体三次时，当前是第一轮还是第三轮？这些问题决定了技能何时切换、重复动作何时终止。

第二类：存在于同一阶段内部。即使都处于 "送回" 阶段，目标槽位仍取决于积木此前的位置。比如，人拿走一个物体再放回后，桌面恢复原状，但机器人接下来应该选择哪个物体，取决于刚才的交互。仅靠阶段标签，无法保留这些细节。

这两类歧义需要不同的信息支持。单纯增加历史帧，会要求模型同时从大量视觉内容中辨认阶段、提取细节；只提供高层子任务，又可能丢失位置、身份和姿态等信息。

因此，TaskAnchor 采用两条互补路径：一个紧凑的坐标表示语义阶段，另一个用历史条件化的视觉特征保留具体的决策证据。历史由此成为能够影响下一步动作的上下文，也为探索 ICL 潜力提供了基础。

02 两条路径，TaskAnchor 让执行历史参与动作决策

TaskAnchor 位于视觉编码器与原有多模态融合模块之间。它接收当前视觉特征和压缩后的历史视觉特征，输出两种条件信息：一个任务状态坐标，以及一个叠加到当前视觉特征上的残差。下游具身模型仍沿用原有的融合与动作生成机制。

TaskAnchor 通过原策略已有的输入接口，将执行历史转化为动作决策的条件，无需另建规划器。

1 阶段坐标：帮助机器人判断 "做到哪一步了"

任务状态坐标是一个归一化标量，用于表示任务当前所处的语义执行阶段。

训练与推理时，任务状态坐标被写成文本，与任务指令一起输入模型。其训练标签由当前语义里程碑的序号除以里程碑总数得到。例如，一个包含四个里程碑、从 0 开始编号的任务，对应的标签依次为 0.00、0.25、0.50 和 0.75。训练时，TaskAnchor 结合当前观测与历史上下文预测这一坐标，并以上述标签作为监督信号，学习识别当前的执行阶段。

这一坐标随语义阶段的推进而变化，并不直接反映任务耗时。一次抓取花费了更长时间，并不意味着任务已经进入下一阶段，多个里程即使都被称为 "移动积木"，它们也可能对应不同的执行状态。因此，阶段坐标能够提供比高层子任务名称更细致的状态区分。

0.50 并不是适用于所有任务的固定动作代码，也不能直接解释为经过严格校准的 "任务已完成 50%"。它的具体含义需要结合任务上下文来理解：它表示的是任务的语义阶段，而非机械臂的空间位置或已消耗的时间比例。这一数值之所以能够帮助模型选择动作，是因为后训练建立了阶段坐标、任务指令、视觉条件与动作之间的对应关系。

2 历史视觉信息：帮助机器人判断 "具体该怎么做"

阶段坐标能够区分 "放下" 和 "送回"，但 "送回哪个槽位" 还需要更具体的证据。

TaskAnchor 的核心是 CA-TTT（上下文自适应测试时训练）模块：每次决策时，模块从离线学习得到的初始权重出发，利用历史特征之间的重建关系构造临时快权重，再用当前视觉特征进行查询。查询结果被转化为视觉残差，叠加到当前视觉特征上，从而补充当前画面中已不可见、却仍影响动作选择的历史证据。

要理解这里的 "测试时训练"，关键在于区分持久参数与临时快权重。部署时，模型的持久参数保持固定；快权重则在每次决策时重新构造，使用后即被丢弃，不会在整个任务过程中持续累积更新。跨决策保留的历史信息存储在外部特征缓冲区中。通过这一机制，模型能够根据执行上下文调整当前行为，而无需改写持久参数，这也为其 ICL 潜力提供了机制上的基础。

还有一个容易混淆的点 —— 部署时持久参数固定，与训练时是否优化骨干，是两个不同的问题。

TaskAnchor 保留了原有骨干架构，但训练时并未冻结整个骨干 —— 适配器预热后，会与选定的下游组件联合优化。并且在训练过程中，语言侧使用真实阶段坐标作为条件；推理时，则使用模型预测的坐标。因此，这一任务状态接口经过了后训练中的学习与适配，其效果不能等同于给未经适配的具身模型添加一段提示词。

03 三类真机实验：上下文、记忆与长程执行

这两条路径在实际机器人上如何发挥作用？论文通过三类真机任务，分别考察 TaskAnchor 的上下文利用、历史记忆与长程执行能力。这些能力在实际任务中彼此关联，但三类实验各有侧重：(a1)–(a3) 关注外部交互能否成为后续动作的上下文；(b) 关注重复操作中的次数记忆与终止判断；(c) 关注多阶段长程任务中的状态跟踪与阶段推进。三个上述真机实验均在 TaskAnchor-XVLA 架构上进行。

1 上下文示教实验：选哪个物体，看刚才那只手碰过什么

在人类提示物体匹配实验中，人分别以玩偶、薯片袋和瓶子作为提示。放回物体并撤手后，桌面恢复到相近的布局，机器人随后选择对应物体。决定选择的线索来自此前的交互，而不是仅由恢复后的画面提供。

2 记忆实验：抬三次，一次都不能错

机器人需要将红色积木抬起并放回三次。每轮结束后，视觉场景都很相似，但机器人必须记住已完成的次数，继续推进到下一轮，并在第三次完成后停止。这考验的正是该任务检验了机器人在重复阶段之间保持记忆、持续执行并适时终止的能力。

3 长程任务实验：给一袋薯片 "结账"

薯片袋结算任务链条最长：机器人需要依次取起、检查、翻转、再次检查、扫码和放置。后续动作取决于前面哪些步骤已经完成并在这些步骤之间保持中间状态。

25 比 0 意味着什么

在三类任务中，TaskAnchor-XVLA 均取得 25 / 25 次成功；X-VLA 基线在人类提示物体匹配、重复抬起红色积木三次和薯片袋结算任务中，分别取得 0 / 25、1 / 25 和 4 / 25 次成功（数据来源：原论文 Table 6）。测试期间没有额外的在线微调。

这些结果首先说明，TaskAnchor 能在真机上支持跨阶段记忆与长程任务推进。更值得注意的是，其中 (a1)–(a3) 还为具身 ICL 潜力提供了初步证据：若采用一个最小的操作性定义，即 "模型不更新持久参数，仅根据当前上下文改变后续输出"，那么，人类提示构成上下文，机器人的目标选择构成后续输出。

04 基准测试：成功率提升，额外推理开销约 2 毫秒

1 RMBench：单任务平均成功率达到基线的近 6 倍

RMBench 检验机器人能否利用早期观测中的物体身份、位置和姿态信息。论文在 M (1) 的 demo clean 设置下评估五个任务，每个任务使用 100 个固定测试种子。两种训练设置 —— 联合训练使用一个模型处理全部任务；单任务训练则为每个任务分别适配一个模型。

在单任务版本的 TaskAnchor-π₀.₅ 和 TaskAnchor-XVLA 平均成功率分别达到原基线的约 5.6 倍和 5.8 倍。即使在联合训练的设定下，两个版本分别达到 70% 和 66%，收益依然明显。两种模型架构与 TaskAnchor 结合均获得提升，说明这一接口设计可适配于不同具身模型。

2 RoboMemArena：平均长度超千步的长程任务

RoboMemArena 包含 26 个长程任务，平均长度为 1,076 步；在 151 个标注子任务中，有 104 个需要历史信息。该基准同时报告 TSR（完整任务成功率，衡量整项任务是否成功完成）和 CSR（累积成功率，衡量阶段完成程度反映任务尚未完全成功时的执行进展）。

相比 π₀.₅，TaskAnchor 的 TSR 和 CSR 分别提高 28.5 和 35.5 个百分点；相比整体表现最强的基线 PrediMem，两项指标分别提高 11.5 和 19.0 个百分点。这意味着，模型既能完成更多完整任务，也能在尚未完全成功的任务中取得更多阶段性进展。

从任务类别看，相较 PrediMem ，TaskAnchor 在遮挡类任务中的提升最为突出。

3 单个动作块增加约 2 毫秒推理开销

TaskAnchor 的 π₀.₅ 版本增加约 2,693 万参数。RMBench 上单个动作块的推理耗时从 62.00 毫秒增加到 64.08 毫秒，增量为 2.08 毫秒；RoboMemArena 上的增量为 2.16 毫秒。

计时控制了硬件、批大小、精度和动作块设置，并排除了仿真步进及视觉输入输出。这里的时延仅对应模型推理，不能等同于完整机器人系统的端到端控制延迟。在这一测试条件下，TaskAnchor 以较小的额外推理开销，获得了长程任务表现的提升。

05 两条路径，分别起到什么作用？

只提供阶段坐标，或只补充历史视觉信息，是否已经足够？

论文在 RMBench 联合多任务设置下，保持训练数据、训练配置和评估种子一致，分别移除两条路径进行比较。

仅保留阶段坐标时，Swap Blocks 的成功率达到 92%，高于仅保留历史视觉条件时的 30%；在 Swap T 上，历史视觉条件分支的成功率为 25%，高于阶段坐标分支的 9%。这与两类信息的分工相吻合：有些任务更依赖阶段切换，有些则更依赖具体的历史细节。完整模型的优势支持了两条路径具有互补作用的判断。

06 从做单个动作，到连续完成整项任务

前面的实验引出一个问题：反应式具身模型通常只根据当前观测与指令生成动作，为什么补入任务状态后，就能表现出长程执行与上下文适应能力？

一个合理的解释是，预训练为模型提供了可复用的感知与操作基础，而 TaskAnchor 通过后训练建立的历史信息接口，为模型在不同任务状态下选择动作补充了依据。

首先，预训练具身模型学习的是条件化的操作策略。视觉语言预训练帮助模型建立物体、属性、空间关系与语言描述之间的联系；机器人轨迹训练则进一步将这些表征与动作关联起来。因此，同一个模型能够根据观测和指令的变化，生成抓取、移动、放置等不同的操作行为。这些能力为后续利用任务状态选择动作提供了基础。

其次，"反应式" 限制的是策略能够直接使用哪些信息，并不意味着模型只能表达简单行为。回到开头的积木例子：机器人可能已经掌握 "放到垫子上" 和 "送回槽位" 的操作，但相似画面与相同指令无法告诉它现在应该执行哪一个操作。即使增加模型容量，也无法可靠恢复输入中缺失的历史事实。任务状态因此提供了两类关键条件：阶段坐标帮助区分现在该放下还是送回，历史视觉证据帮助确定应该送回哪个槽位。

这也解释了局部动作生成为什么能够支持长程执行。机器人不必在一次推理中生成整项任务的完整计划，只要每次决策都能获得足以区分当前行为的状态信息，就有机会通过连续的闭环操作，保持阶段一致性并逐步推进任务。

TaskAnchor 利用具身模型原有的语言与视觉接口，将执行历史转化为动作条件，使已有操作能力能够用于历史依赖的决策。这里的关键不仅在于 "记住过去"，更让过去影响并参与当下的决策。

（来源：跨维智能）