冻结 VLA，优化成像前端：通过下游动作损失训练 RAW 成像模块，让亮度、色彩等调整直接服务于机器人操作。

暗光真机平均成功率达 66.5%：在四项双臂任务中，默认 ISP 对照为 0%；正常光照下，两者成功率分别为 75.0% 和 76.5%，表现接近。

仿真平均成功率提升 11.07 个百分点：在 RoboTwin 2.0 上，跨五种光照、两种 VLA 策略的平均成功率由 43.91% 提升至 54.98%。

开放代码与 RawVLA-Bench：覆盖五种光照、53 项仿真任务，提供 2,403 条配对训练轨迹，支持成像处理与机器人操作研究。

更多演示与技术细节可参阅论文与项目主页：

论文：RawVLA: Embodied Neural Image Signal Processor for Robotic Manipulation

项目主页与演示：shuhongll.github.io/rawvla/

开源代码：github.com/ShuhongLL/RawVLA

数据集：huggingface.co/datasets/ToferFish/RawVLA-Bench

灯光一暗，原本能完成的抓取任务就失败了。对于走出实验室的机器人来说，光线变化是一个绕不开的问题：同样的任务、同样的物体，换一组灯光，相机送给模型的画面就可能大不相同。

问题从图像进入模型之前就开始了。相机采集的 RAW 信号，需要经过图像信号处理器（ISP），完成降噪、白平衡、色彩校正和色调映射，才成为 VLA 看到的 RGB 图像。这个常被当作固定预处理的环节，会直接影响机器人能否看清目标、预测正确动作。

围绕这一问题，地瓜机器人联合东京大学等机构的研究团队提出 RawVLA：在已有 VLA 策略前加入一个可学习的成像模块，从 RAW 数据出发，根据当前画面和历史信息调整成像参数，让输入图像更适合下游操作任务。训练过程中，VLA 策略保持冻结。

在四项双臂真机任务中，搭配 RawVLA 的 π0.5 在暗光下取得 66.5% 的平均成功率，默认 ISP 对照为 0%；正常光照下，两者分别为 75.0% 和 76.5%，保持接近的表现。

团队同时发布 RawVLA-Bench，将成像处理纳入机器人操作的训练与评测，为研究光照变化下的操作能力提供公开基准。

核心设计：让成像处理围绕机器人动作来优化

如何处理图像，才能更好地支持机器人操作？

团队首先分析了曝光、传感器噪声、色彩响应、色调响应和位深对策略表现的影响，发现不同成像因素带来的影响存在明显差异。这为 RawVLA 有针对性设计成像模块提供了依据。

RawVLA 的工作流程可以分成三步。

第一步，结合连续画面降噪。暗光下直接提亮图像，噪声也会被一起放大。RawVLA 利用当前帧和过去五帧 RAW 图像，按信息的可靠程度进行融合，在抑制噪声的同时减少运动模糊。整个过程只使用已经采集到的画面，适合机器人持续执行任务。

第二步，把亮度和颜色分开调整。系统分别跟踪画面的明暗与色彩变化，并通过循环网络保留历史信息，生成曝光增益、白平衡、色彩校正和色调曲线等参数。这样既能应对当前光线，也能减少逐帧独立处理带来的闪烁，让连续输入更稳定。

第三步，用动作预测误差训练成像模块。训练数据中的专家动作提供监督：处理后的图像送入 VLA，预测动作与专家动作之间的误差再传回 ISP，更新成像模块。系统同时加入亮度和颜色约束，避免不合理的成像结果。训练目标由下游任务驱动，让图像处理真正服务于操作。

这一路径可以复用已有策略。论文在 π0、π0.5 和 Qwen3-OFT 等模型上验证了方法，并为各策略训练对应的 ISP。以真机实验为例，π0.5 先在正常光照示范上完成任务适配，再冻结策略训练 RawVLA；部署时，同一套成像模块同时处理正常光照和暗光输入，无需按光照条件切换模型。

RawVLA-Bench：覆盖五种光照，开放成像评测基准

机器人在暗光下失败，究竟是策略能力不足，还是输入画面丢失了关键信息？要回答这个问题，需要尽量控制其他变量。

团队基于 LIBERO 和 RoboTwin 2.0 构建 RawVLA-Bench，覆盖极低光、低光、正常光、过曝和极端过曝五种条件。基准在仿真成像流程中改变光照、构造 RAW 观测，并保留配对轨迹和多相机视角，支持在相同任务条件下比较不同 ISP。

其中，LIBERO 部分覆盖 40 项任务，RoboTwin 2.0 部分覆盖 13 项任务；训练集共包含 2,403 条配对轨迹。完整评测协议设置 13,250 次 rollout，用于检验成像方法在不同任务和光照下的表现。

RawVLA-Bench 将成像处理作为明确的评测变量，让研究者能够进一步分析视觉输入的变化，如何影响机器人的动作与任务成功率。目前数据集与评测代码已公开。

实验结果：暗光真机成功率达 66.5%，正常光照表现保持接近

真机实验采用 π0.5，覆盖抓取与放置、抽屉操作、插花、堆叠与覆盖四项任务。每个方法在每项任务、每种光照下分别测试 50 次。

暗光下，RawVLA 的抓取与放置成功率达到 92%，抽屉操作达到 88%。四项任务平均成功率为 66.5%，默认 ISP 和 DarkISP 分别为 0% 和 11%。

正常光照下，RawVLA 的平均成功率为 75.0%，与默认 ISP 的 76.5% 接近。在这组实验中，暗光操作能力得到改善，同时保留了接近默认 ISP 的常规场景表现。

仿真测试同样显示出收益。在 RoboTwin 2.0 上，跨五种光照、两种 VLA 策略的平均成功率从默认 ISP 的 43.91% 提升到 54.98%，提高 11.07 个百分点。

论文报告的 ISP 模块处理速度为 168 FPS，支持高效接入视觉处理链路；这一数字对应成像模块，不代表整套 VLA 的推理或机器人控制频率。

项目还展示了暗光下的干扰恢复：物体在执行过程中被重新摆放后，机器人继续完成抓取与放置。

从相机到动作，补上机器人视觉链路的一环

RawVLA 展示了成像前端在机器人学习中的价值：除了改进策略模型，也可以直接优化机器人接收图像的方式，改善已有策略在光照变化下的表现。

从 RAW 数据、成像处理到动作执行，这项工作将相机与策略之间的接口纳入任务学习，也通过开放基准与代码，为后续研究提供了可复现的起点。完整实验和真机演示可在项目主页查看。

（来源：地瓜机器人）