针对视觉语言模型(VLM)在空间感知中依赖自回归文本生成导致的高延迟,以及具身 VLA 模型缺乏个性化与物理安全兜底的难题,今日两项重磅开源成果给出解法:MJev-Spatial(arXiv:2610.22276,HF 350 赞登顶)复用骨干 Q/K 投影将空间判断转化为单次前向分类,零新增参数提速 5.6 倍并在 12 项基准斩获 65.64% 第一;港中大贾佳亚团队 CarryOn(arXiv:2610.21453)以规划-执行双环 Harness 将机器人安全违规率从 52.6% 降至 6.1%,故障恢复成功率从 13% 飙至 80%。

核心要点速览

  • ✓MJev-Spatial 复用 VLM 原生 Q/K 投影将三类空间感知任务统一为单次前向分类,生成 0 个 Token,推理较 Qwen3.5-4B 基座提速 5.6 倍,12 项空间基准均分达 65.64%
  • ✓联合粗到细 Teacher Forcing 监督与长度感知全局批处理,使 MJev-Spatial 在 1,230 万空间问答对上的训练吞吐提升 30.8%
  • ✓港中大贾佳亚团队 CarryOn 双环具身 Harness 将安全微调后 VLA 的违规率从 52.6% 压降至 6.1%,物理失败自主恢复成功率从 13% 提升至 80%
零生成 Token 提速 5.6 倍!MJev-Spatial 原生注意力匹配登顶 HuggingFace 热榜,港中大 CarryOn 双环具身框架将违规率砍至 6.1%
🖼️要闻配图
点击全屏高清查看
🧭

把技术选型换算成你的开发预算

40 款主流编程套餐横向比价,支持输入/输出 Token 真实账单模拟

🔬

深度技术解析与实战评估

核心背景与行业痛点

让多模态智能体在真实物理世界中实时感知并可靠行动,正面临“感知延迟过高”与“执行安全失控”两大拦路虎。一方面,现有的视觉语言模型(VLM)在处理空间关系判断、距离标量估计或 2D 落点预测时,哪怕输出空间仅是一个选项、一个数值或一个像素坐标,也必须走完漫长的自回归自由文本生成与正则解析流程,无法满足机器人交互级帧率需求;另一方面,现有的通用视觉-语言-动作(VLA)模型在执行如“帮我做个三明治”等开放指令时,既无法跨对话记住用户的长期个性化偏好,也缺乏可解释的物理安全护盾与失败自愈机制。

架构亮点与底层机制

今日同日开源的 MJev-Spatial(arXiv:2610.22276)与港中大贾佳亚(Jiaya Jia)团队的 CarryOn(arXiv:2610.21453),分别从“快思考(System 1)空间感知”与“双环可靠控制 Harness”给出了优雅的工程范式:

  • MJev-Spatial:零新增参数的原生注意力匹配(Native Attention Matching):彻底抛弃空间任务的自回归解码,将选择题、距离标量估计(由粗到细的数值分桶 Value Bins)和 2D 坐标预测(由粗到细的图像网格区域 Image Regions)统一收归为分类框架。模型直接复用预训练骨干网络原有的 Query 与 Key 投影矩阵对候选类别打分,不增加任何额外参数;推理时每次分类决策仅需单次前向传播(Single Forward Pass)且生成 0 个答案 Token。训练端则利用 Teacher Forcing 在单次前向中联合监督所有粗到细阶段,配合长度感知全局批处理与跨卡负载均衡,使训练吞吐提升 30.8%。
  • CarryOn:冻结 VLA 策略之上的规划-执行双环 Harness:在不改动底层冻结 VLA 权重的前提下外挂双闭环控制器。规划环(Planning Loop)持久化维护用户级偏好与场景级上下文,随新视觉观测动态锚定子任务分解;执行环(Execution Loop)实时监控策略动作轨迹,对预测会产生危险碰撞的指令进行主动安全屏蔽(Safety Shielding),并在物理执行失败时调用经历史反思(Reflection)持续精炼的可复用控制级恢复技能(Recovery Skills)。

权威 Benchmark 与实测跑分对比

两项工作均在各自领域的权威评测集上取得了突破性实测结果:

  • MJev-Spatial 横扫 12 项空间智能基准:基于 Qwen3.5-4B 并在 1,230 万(12.3M) 空间问答对上训练后,MJev-Spatial 在 8 个参评模型中斩获最高的综合平均分 65.64%,在 12 个空间基准中的 7 个夺冠,且在全部 12 个基准上全面击败未修改的自回归基座模型;更关键的是,其推理速度比最快的自回归基线快 2.5 倍(2.5x),比原版基座模型快 5.6 倍(5.6x)。
  • CarryOn 真机与仿真安全及自愈实测:在真实机械臂与仿真环境的多用户、多场景测试中,即便面对已经过安全微调(Safety-Finetuned)的 VLA 基线,CarryOn 仍将其安全违规率从 52.6% 断崖式压降至 6.1%;当引入经反思优化的可复用恢复技能后,物理执行失败后的自主恢复成功率从 13% 暴涨至 80%。

开发者实战落地与开箱指南

MJev-Spatial(Fr0zenCrane/MJev-Spatial)与 CarryOn(JIA-Lab-research/CarryOn)均已开源完整代码与项目主页。具身智能与机器人开发者可将 MJev-Spatial 作为毫秒级零 Token 空间定位与测距前端接入视觉管线,并使用 CarryOn 的双环 Harness 封装现有开源 VLA 模型(如 OpenVLA、π0 等),在不重训底层策略的情况下即刻获得个性化记忆与工业级防碰撞自愈能力。

实战指南准备好将技术转化为生产力?

即刻查看该技术对应模型与主流工具的实测差异,或一键测算团队 API 调用与 $20/月套餐盈亏平衡点。

接着读具身智能视觉底座突破!GroundingPI 4B 基座模型发布:34 项基准越级超越 GPT-6 Astra,端到端赋能机器人控制
立即阅读→