视觉语言导航(VLN)严重依赖高质量自然语言指令,但人工标注昂贵且静态合成数据易与演进中的策略发生分布偏移。上海 AI 实验室、清华与上交大团队提出 RSI-Nav,在单一模型内统一‘看图走位’与‘看轨迹写指令’双向能力,采用分片式(shard-wise)边合成、边验证、边更新机制,实现在连续环境 R2R-CE 达 68.6% 成功率,RxR-CE 达 72.4%,开创具身智能递归自进化新路径。

核心要点速览

  • ✓双向能力单模型统一:在同一端到端基座中同时实现视觉语言动作导航(VL2A)与视觉轨迹指令生成(VA2L),彻底摆脱多模型依赖
  • ✓分片式动态同步更新:对无标签轨迹按小分片自生成、自主执行打分过滤并立即梯度更新,彻底杜绝静态数据滞后与策略偏移
  • ✓连续环境连续斩获 SOTA:在连续空间具身基准 R2R-CE 达到 68.6% 成功率,RxR-CE 达 72.4%,空间推理与语言生成效用同步跃升
具身导航递归自进化!上海 AI Lab 提出 RSI-Nav:策略同步双向自举,零人工标注刷出 R2R-CE 68.6% 成功率新 SOTA
🖼️要闻配图
点击全屏高清查看
🧭

把技术选型换算成你的开发预算

40 款主流编程套餐横向比价,支持输入/输出 Token 真实账单模拟

🔬

深度技术解析与实战评估

核心背景与行业痛点

在具身智能(Embodied AI)与家庭服务机器人领域,视觉语言导航(Vision-Language Navigation, VLN)要求智能体精准理解人类日常自然语言指令,并在未知的连续物理空间中自主完成多步避障与长距离路径规划。然而,训练高泛化性的导航模型严重依赖海量“多视角环境图像-人类自然语言指令-轨迹动作序列”的高质量配对数据。现实中,人工实地采集与细粒度标注的成本高昂,难以规模化扩展。过去的研究往往采用独立的数据合成模型(如利用大语言模型为静态轨迹离线编写指令),但这类方法通常使用固定模型对整个无标签轨迹库一次性标注完毕后再进行策略微调。随着导航策略在训练中不断演进,前期生成的合成指令迅速滞后于当前策略的状态分布,导致严重的分布漂移(Distribution Shift)与自举失真,制约了具身智能体的闭环自进化。

架构亮点与底层机制

针对这一瓶颈,上海人工智能实验室、清华大学与上海交通大学联合提出了 RSI-Nav,这是首个面向具身物理导航的“以数据为中心的递归自我提升(Recursive Self-Improvement, RSI)”统一框架:

  1. 单基座统一双向对偶能力(Dual Bootstrapping):打破传统由两套独立模型分别执行导航与文本生成的割裂架构,RSI-Nav 在同一个多模态大模型基座中同时实现了“视觉-语言到动作(VL2A, 指令执行)”与“视觉-动作到语言(VA2L, 指令生成与场景描述)”的对偶自举,使模型的空间感知与语言理解形成深度表征共享与互促;
  2. 策略同步的分片式在线自举演进(Shard-wise Bootstrapping):在基础监督微调建立初始能力后,系统将海量无标签轨迹切分为微小分片(Shards)进行动态流式处理。当前模型为分片轨迹自主生成候选指令,随后立即通过仿真环境执行这些指令以严苛校验目标到达率与路径效率,筛选出合格高质量样本后立刻进行反向传播更新自身权重,然后再进入下一个分片。这种步步紧扣的动态更新确保了新生成的监督信号与当前演进策略高度同步;
  3. 空间几何感知先验深度注入:在递归演化循环中同步融入 3D 空间关系理解与物体拓扑感知数据,使得具身智能体在迭代生成更丰富描述性指令的同时,显著强化对几何空间纵深与障碍物遮挡的直觉判断。

权威 Benchmark 与实测跑分对比

RSI-Nav 在最贴近真实物理世界复杂度的连续环境基准 R2R-CE 与 RxR-CE 上展开了全方位验证,刷新了无人工干预自主进化的行业最佳战绩:

  • 连续空间导航成功率创纪录:在严苛的连续物理环境测试中,RSI-Nav 在 R2R-CE 达到惊人的 68.6% 成功率(Success Rate, SR),在多语言连续测试集 RxR-CE 上更录得 72.4% SR,超越以往所有依赖离线静态数据合成的强基准;
  • 自举指令质量与执行效用正向循环:评测显示,随着递归轮次的推进,模型生成指令的人类可读性得分与机器导航跟随成功率同步提升,验证了对偶自举机制在抑制幻觉与强化意图精准度上的有效性;
  • 零额外人工标注下的跨场景泛化:在完全未见过的复杂多层建筑、狭窄走廊与开阔庭院等分布外场景中,RSI-Nav 的导航路径平滑度与障碍避让成功率均展现出极为稳健的泛化表现。

开发者实战落地与开箱指南

RSI-Nav 的模型权重与连续仿真评测流水线已开源于 GitHub 仓库 https://github.com/OpenGVLab/RSI-Nav:

  • 仿真环境配置与快速起手:支持 Habitat-Sim 与 Matterport3D 连续环境无缝接入,通过 git clone https://github.com/OpenGVLab/RSI-Nav 即可直接运行预构建的多模态双向自进化演示管线;
  • 机器人真机部署指引:将 RSI-Nav 编译后加载至搭载激光雷达与深度相机的轮式/人形机器人边缘算力平台(如 Jetson Orin),直接利用环境探索历史自主合成指令,实现新物理场地的无监督自适应部署;
  • 分片更新超参数建议:在自有无标签轨迹库上训练时,推荐将 Shard 大小设置为 50~100 条轨迹,并在验证过滤环节设置路径效率阈值(SPL >= 0.65),以兼顾梯度收敛稳定性与自进化迭代速度。
实战指南准备好将技术转化为生产力?

即刻查看该技术对应模型与主流工具的实测差异,或一键测算团队 API 调用与 $20/月套餐盈亏平衡点。

接着读机器人代码自进化获重大突破!上海 AI Lab 等开源 RoboRSI:四智能体协同攻克终身学习与技能复用
立即阅读→