针对视觉-语言-动作(VLA)模型死记硬背“观测-动作”映射导致跨场景泛化脆弱的痛点,今日三项重磅具身智能开源成果从物理状态转移、世界模型统一因果训练与仿真数据引擎共进化三路破局:浙江大学开源 2B 规模 VLA-Δ(arXiv:2610.21306,HF 54 赞),显式监督物理状态变化且推理零额外开销,以 98.4% 刷新 LIBERO 最高纪录;上海交大与港大开源 OneWM(arXiv:2610.21095,HF 40 赞),在 RoboCasa365 上取得 36.68% 综合成功率(达 π0.5 的 2.17 倍);UIUC/Amazon 提出 CoDA(arXiv:2610.22362),通过 15 轮仿真引擎与策略共进化,将 LIBERO-Pro 指令扰动成功率从 1% 暴力拉升至 76%。

核心要点速览

  • ✓浙大开源 2B 规模 VLA-Δ:以当前与未来状态的物理转移差分作为显式预训练目标且推理零额外延迟,在 LIBERO 上斩获 98.4% 最高分,语言扰动下领先 π0.5 达 6.4 个百分点
  • ✓上交与港大开源统一因果架构 OneWM:在 RoboCasa365 上取得 36.68% 综合成功率(达 π0.5 的 2.17 倍),并以 59.27% 领跑 LIBERO-Plus 七大分布外扰动测试
  • ✓UIUC/Amazon 提出 CoDA 框架与 Text2potential 势函数塑形:经 15 轮仿真引擎与策略共进化,将 LIBERO-Pro 位置扰动成功率从 25% 提至 84%、指令扰动从 1% 飙升至 76%
浙大 VLA-Δ 刷新 LIBERO 98.4% 纪录!上交港大 OneWM 统一世界-动作因果训练,CoDA 共进化令机械臂泛化从 1% 飙至 76%
🖼️要闻配图
点击全屏高清查看
🧭

把技术选型换算成你的开发预算

40 款主流编程套餐横向比价,支持输入/输出 Token 真实账单模拟

🔬

深度技术解析与实战评估

核心背景与行业痛点

当前的通用视觉-语言-动作(VLA)模型(如 OpenVLA、π0、π0.5、GR00T)虽然借助预训练视觉语言底座在标准仿真基准上取得了高分,但在真实物理环境与分布外(OOD)扰动下依然脆弱。其根源在于三大结构性缺陷:第一,绝大多数 VLA 直接拟合“当前视觉观测 → 专家演示动作”的黑盒映射,缺乏对动作所引发的中间物理状态变化(Physical State Transition)的显式监督;第二,动作控制与视频世界模型(World Modeling)往往割裂训练,未能验证两者在统一因果架构下能否相互增益;第三,生成式仿真器虽然能批量合成环境,但缺乏针对当前策略弱点的定向场景生成与稠密过程价值引导。

架构亮点与底层机制

今日同日发布的 VLA-Δ(arXiv:2610.21306,浙江大学 ZJU-OmniAI)、OneWM(arXiv:2610.21095,上海交大卢策吾团队与港大刘希慧团队等)以及 CoDA(arXiv:2610.22362,UIUC 与 Amazon),从预训练目标、统一因果建模到闭环数据引擎构建了完整的技术栈升级:

  • 浙大 VLA-Δ:推理零额外开销的物理状态转移显式监督:构建了大规模物理状态转移预训练数据集,提取当前状态与未来状态之间的任务相关语义差异(Future-State Difference Text)与视觉运动变化作为显式学习目标,为连续动作生成提供直接的物理因果锚点;而在测试推理阶段,模型直接从当前观测端到端输出动作,不产生任何额外的未来帧渲染或思维链解码延迟。
  • 上交 & 港大 OneWM:世界建模与动作生成的统一因果互促框架:在共享的视频-动作因果 Transformer 架构中,将“动作”同时作为前向世界动态预测的条件(Condition)与策略学习的目标(Target)。通过双向消融实验首次严格证实:学习动作条件下的视觉结果能显著增强策略对跨场景布局与传感器噪声的鲁棒性,而动作策略学习亦反向提升了多视角世界预测的视觉保真度。
  • CoDA:仿真数据引擎与动作策略的记忆共进化 + Text2potential:构建共享异构记忆库(记录环境构建参数、策略失败案例与学习进度),由视觉语言 Critic 诊断失败根因并编译为针对性复现难题的环境生成程序与辅助攻关的训练程序;同时提出 Text2potential,将诊断文本转化为符合标准势函数塑形(Potential-Based Shaping,严格保持最优策略不变)的分阶段动作块价值目标(Action-Chunk Value Learning),提供稠密监督信号。

权威 Benchmark 与实测跑分对比

  • VLA-Δ 仅凭 2B 参数登顶 LIBERO 98.4%(arXiv:2610.21306):在标准 LIBERO 四大任务簇上,仅 2B 规模的 VLA-Δ 斩获全场最高的 98.4% 平均成功率(Spatial 98.8%、Object 99.8%、Goal 98.6%、Long 96.4%),全面超越 ZR-0(97.8%)、openVLA-OFT 7B(97.1%)、GR00T-N1.7 2B(97.0%)与 π0.5 3B(96.9%)。在分布外 LIBERO-Plus 语言指令扰动测试中,VLA-Δ 高达 89.0%,领先 π0.5(82.6%)达 +6.4 个百分点,并在 RoboTwin 2.0 与真机实验上全面击败 π0.5。
  • OneWM 在 RoboCasa365 翻倍超越 π0.5(arXiv:2610.21095):在极具挑战的家庭长程复合基准 RoboCasa365 上,OneWM 综合成功率达 36.68%(原子任务 68.78%、复合已见任务 30.25%),是 π0.5(16.90%)的 2.17 倍,并大幅超越 GR00T N1.6(21.90%)与 GigaWorld-Policy(20.70%);在包含相机、光照、布局、传感器噪声等 7 类扰动的 LIBERO-Plus 上,OneWM 以 59.27% 综合得分夺冠(超越双向注意力的 Fast-WAM 49.70% 与 π0 53.60%)。
  • CoDA 在 LIBERO-Pro 实现 1% → 76% 惊人逆袭(arXiv:2610.22362):在 4 大操作任务族上,CoDA 将监督微调(SFT)后仅 5.3% 的分布外成功率提升至 27.6%(在同等生成预算下超越最强闭环基线 +9.5 个百分点);在 LIBERO-Pro 历经 15 轮数据-策略共进化后,机械臂在位置扰动下成功率从 25% 飙升至 84%,在指令扰动下更从近乎瘫痪的 1% 暴涨至 76%。

开发者实战落地与开箱指南

VLA-Δ(https://github.com/ZJU-OmniAI/VLA-Delta)与 OneWM(https://github.com/Interactive-Active-AI/OneWM)均已在 GitHub 开源代码与模型权重,CoDA 亦在 https://plan-lab.github.io/coda 公开了完整架构与 Text2potential 实现细节。具身智能团队可在不增加机载芯片推理延迟的前提下,采用 VLA-Δ 的物理状态差分预训练范式升级现有 2B/3B 轻量级 VLA 模型,并结合 OneWM 的统一因果目标与 CoDA 的诊断驱动仿真生成闭环攻克长程复合家务与工业装配任务。

实战指南准备好将技术转化为生产力?

即刻查看该技术对应模型与主流工具的实测差异,或一键测算团队 API 调用与 $20/月套餐盈亏平衡点。

接着读零生成 Token 提速 5.6 倍!MJev-Spatial 原生注意力匹配登顶 HuggingFace 热榜,港中大 CarryOn 双环具身框架将违规率砍至 6.1%
立即阅读→