针对视觉-语言-动作(VLA)与世界动作模型(WAM)普遍依赖通用视频大模型作为感知底座、在杂乱环境与微小物体定位上面临高延迟与定位失效的行业瓶颈,研究团队发布专为具身物理智能设计的 4B 定位基座模型 GroundingPI。通过将关键点与三维包围盒统一表征为共享词表中的量化坐标,结合多模态空间预训练与 GRPO 强化学习,在 34 项定位基准上刷新 SOTA,并在 RoboTwin 2.0 与 RoboCasa 机器人控制中实现跨越式泛化。

核心要点速览

  • ✓全能定位物理基座:4B 参数量级,将视觉点与包围盒统一量化为共享词表坐标,满足闭环物理控制的高帧率与高精度需求
  • ✓34 项基准登顶 SOTA:跨 11 类感知能力综合得分 73.68%,全面超越更大体量的 GPT-6 Astra(71.54%)及 44 个强基线模型
  • ✓机器人操控断层领先:在 RoboTwin 2.0 分布外评测中领先最强底座达 24.8%;在 RoboCasa-GR1 上仅用 50% 演示数据即击败使用 75% 数据的传统底座
具身智能视觉底座突破!GroundingPI 4B 基座模型发布:34 项基准越级超越 GPT-6 Astra,端到端赋能机器人控制
🖼️要闻配图
点击全屏高清查看
🧭

把技术选型换算成你的开发预算

40 款主流编程套餐横向比价,支持输入/输出 Token 真实账单模拟

🔬

深度技术解析与实战评估

核心背景与行业痛点

在具身智能(Embodied AI)与物理智能(Physical Intelligence)系统中,精准的视觉定位(Grounding)是闭环控制成功的前提——它决定了机器人能否在充满视觉遮挡与杂物的真实场景中准确定位目标操作物。然而,现有的视觉-语言-动作模型(VLA)和世界动作模型(WAM)普遍直接借用通用的视觉-语言大模型(VLM)或视频扩散模型作为视觉骨干。通用模型并未针对几何几何精度与微小物体识别进行专门优化,在密集堆叠、极小零件操作以及高帧率闭环反馈中频繁发生失焦与抓取坐标偏移,严重制约了机器人的自主操作上限。

架构亮点与底层机制

为构建真正的物理感知智能基石,研究团队推出了 GroundingPI——专为物理智能打造的 4B 稠密定位基座模型:

  1. 量化坐标与统一词表设计:彻底告别分离式检测头架构,将图像中的二维/三维连续关键点与定向包围盒(Bounding Boxes)直接编码为离散量化坐标,统一纳入大模型的核心 Token 词表中实现自回归生成;
  2. 三阶数据流水线与密集定位引擎:训练融合了大规模多模态空间预训练(Spatial Pre-training)、指令微调以及基于 GRPO 的强化学习策略,构建了专用的密集几何定位数据飞轮;
  3. OCR 作为空间感知的催化剂:研究深入分析了 11 种感知能力的数据配方,揭示了文字 OCR 密集定位训练能够奇迹般地充当物理空间几何感知的催化剂,显著增强微小空间拓扑理解。

权威 Benchmark 与实测跑分对比

在跨越 11 类感知维度的 34 项权威空间定位与机器人操控基准实测中,4B 参数的 GroundingPI 展现出惊人的统治力:

  • 34 项基准全面刷新世界纪录:在与 44 个强基线(包括开源与顶级专有商业模型)的综合对比中,GroundingPI 平均定位精度达到 73.68%,显著击败了参数量巨大得多的 GPT-6 Astra(71.54%);
  • RoboTwin 2.0 分布外泛化狂飙:作为下游操作机器人的视觉主干,在 RoboTwin 2.0 的全部 4 项复杂分布外(OOD)泛化测试中,性能领先此前最强基线高达 24.8%;
  • RoboCasa-GR1 样本效率翻倍:在逼真的家居操作环境 RoboCasa-GR1 中,使用 GroundingPI 仅需 50% 的人类演示数据即可超越竞品在 75% 演示数据下的操作成功率;
  • 自动驾驶轨迹预测:部署于 nuScenes 真实自动驾驶感知流中,开环轨迹预测 L2 误差低至 0.296 米,满足工业级快速闭环控制。

开发者实战落地与开箱指南

GroundingPI 的代码与模型权重已在 GitHub 全面开源(groundingpi/GroundingPI),为具身机器人研发团队提供了强大的开箱即用利器:

  • 代码仓库与快速体验:执行 git clone https://github.com/groundingpi/GroundingPI 即可获取模型推理管道与坐标量化编解码工具库;
  • 具身操作策略微调:机器人研发工程师可直接将 GroundingPI 4B 作为冻结或 LoRA 微调的视觉特征提取器,替代传统的 CLIP 或 SigLIP,快速赋能双臂机械臂抓取、叠衣与杂乱分拣系统;
  • 闭环控制优化:模型输出的量化坐标具备微秒级解码吞吐,可无缝集成至 ROS2 / Isaac Gym 仿真及实体机器人驱动节点中。
实战指南准备好将技术转化为生产力?

即刻查看该技术对应模型与主流工具的实测差异,或一键测算团队 API 调用与 $20/月套餐盈亏平衡点。

接着读破解长程具身智能盲盒!西北大学等推出 ProgressCompass:全上下文多模态过程奖励模型,指引长链规划
立即阅读→