针对视觉-语言-动作(VLA)模型中高层语义特征、世界模型视频预测与底层高频动作控制相互割裂的难题,中关村学院与清华团队提出共享预测意图模型 PINT(arXiv:2610.16355),在无需具身预训练下将 RoboTwin 2.0-Hard 成功率从 StarVLA 的 3.2% 提升至 15.5%(4.8倍);同日发表的 PAIR(arXiv:2610.09016)与北大 SimForcing(arXiv:2610.06598)分别通过训练期掩码动作自编码器桥接令牌与仿真运动先验蒸馏,实现零额外推理延迟下的真机操控跃升。
核心要点速览
- ✓PINT(arXiv:2610.16355)引入共享块级预测意图令牌协同 VLM、视频生成世界模型与动作专家,无需具身预训练即可在 RoboTwin 2.0-Hard 取得 15.5% 成功率(为 StarVLA 3.2% 的 4.8 倍、Fast-WAM 1.8% 的 8.6 倍)
- ✓在 LIBERO-Plus 鲁棒性评测中 PINT 达到 79.5% 平均成功率,并在 5 项真机双臂任务上实现 68% ID / 24% OOD 成功率,大幅超越预训练模型 Motus(35% / 9%)
- ✓PAIR(arXiv:2610.09016)通过训练期掩码动作自编码器与 Bridge Tokens 弥合感知-动作鸿沟,推理期零额外开销,将 OpenVLA-OFT 在 7 项真机任务上的成功率从 51.4% 提升至 65.0%(+13.6 pts)
- ✓北大 SimForcing(arXiv:2610.06598)将仿真器运动先验蒸馏至真实域机器人世界模型,在 Bridge 与 InternData-A1 上刷新 FVD/PSNR 并直接提升下游 LIBERO 策略表现

把技术选型换算成你的开发预算
40 款主流编程套餐横向比价,支持输入/输出 Token 真实账单模拟
相关资源与官方项目出处
免代理直达深度技术解析与实战评估
核心背景与行业痛点
当前视觉-语言-动作(VLA)具身智能架构面临严重的“多模态表征失配”:一方面,直接将预训练 VLM 特征映射为底层机器人关节动作的传统 VLA(如 OpenVLA、StarVLA)缺乏物理动力学前瞻能力,且静态语义特征与高频连续控制之间存在巨大鸿沟;另一方面,引入视频生成世界模型(WAM,如 Fast-WAM)的方案往往令世界模型与动作专家各自独立提取特征,导致推理冗余与优化冲突。中关村学院与清华大学等团队联合提出的 PINT(arXiv:2610.16355)、马里兰大学团队提出的 PAIR(arXiv:2610.09016) 以及北京大学团队提出的 SimForcing(arXiv:2610.06598) 从意图共享、动作隐空间桥接与仿真动力学蒸馏三个维度给出了系统性解法。
架构亮点与底层机制
PINT:可学习块级“预测意图令牌(Predictive Intent Tokens)”三方协同(arXiv:2610.16355):
PINT在 VLM、视频生成世界模型(VGM)与动作专家(AE)之间引入一组共享的可学习块级 Predictive Intent Tokens。VLM 先将任务指令与当前观测编码为紧凑的块级高层意图;随后在共享自注意力空间中,意图令牌与 VGM 的未来视觉动力学表征深度交互;最终由动作专家解码为高频控制轨迹。- 采用两阶段训练管线:第一阶段联合对齐意图抽取与世界建模,第二阶段在世界先验与意图引导下微调动作生成,完全无需大规模具身预训练。
PAIR:训练期掩码动作自编码器与零推理开销桥接令牌(arXiv:2610.09016):
PAIR设计了仅在训练阶段启用的 Masked Action Autoencoder,将真实动作轨迹编码并重构为时域对齐的Action Latent Tokens,再通过轻量级 Bridge Module 将 VLM 感知特征转化为动作感知的Bridge Tokens。在推理部署时直接移除动作自编码器,实现零额外参数与零推理延迟开销。
SimForcing:仿真运动先验向真实世界模型的无预训练蒸馏(arXiv:2610.06598):
- 针对真实机器人遥操作数据稀缺问题,通过仿真教师模型的隐空间运动蒸馏(Latent-Motion Distillation)与多块仿真条件注入,在不依赖外部具身预训练的前提下大幅降低未来帧预测伪影。
权威 Benchmark 与实测跑分对比
| 模型 / 框架 | 核心评测基准 | 实测得分 / 性能表现 | 对比基线与提升幅度 |
|---|---|---|---|
PINT (2610.16355) | RoboTwin 2.0-Hard (双臂高难) | 15.5% 平均成功率 | 超越 StarVLA (3.2%, 4.8x) 与 Fast-WAM (1.8%, 8.6x) |
PINT (2610.16355) | LIBERO-Plus (鲁棒泛化) | 79.5% 平均成功率 | 超越 StarVLA (75.0%) 与 Fast-WAM (51.5%, +28.0 pts) |
PINT (2610.16355) | 5 项真机双臂操作 (ID / OOD) | 68% ID / 24% OOD | 大幅超越大规模预训练 Motus (35% / 9%),媲美 π0.5 (67% / 35%) |
PAIR (2610.09016) | LIBERO-Plus / CALVIN ABC-D | 64.2% / 4.53 连续任务长 | 较 VLA-Adapter 基线分别提升 +5.1 pts (59.1%) 与 +0.11 (4.42) |
PAIR (2610.09016) | 7 项真机任务 (OpenVLA-OFT) | 65.0% 平均成功率 | 较原版 OpenVLA-OFT (51.4%) 暴涨 +13.6 个百分点 |
开发者实战落地与开箱指南
- 开源代码与权重获取:
PINT官方代码库(ZGCA-HMI-Lab/PINT)与北大SimForcing仓库(Wang-Xiaodong1899/SimForcing)均已上线 GitHub。 - 工程集成建议:若团队算力受限无法承担百万轨迹具身预训练,可直接采用
PINT的两阶段共享意图微调范式处理双臂长程操作;若已在生产端部署OpenVLA-OFT或VLA-Adapter并受困于真机泛化瓶颈,可在微调管线中插入PAIR的Bridge Module与掩码动作重构损失,在不改动板端推理引擎的前提下白嫖+13.6%真机成功率。
即刻查看该技术对应模型与主流工具的实测差异,或一键测算团队 API 调用与 $20/月套餐盈亏平衡点。
讨论与评论
0登录后即可参与深度讨论
与广大 AI 开发者、工程师交流评测心得与前沿洞察