零微调赋能全场景通用导航！浙大开源 SuperNav：解耦多模态大模型与物理执行上机四足机器人

核心背景与行业痛点

在具身智能（Embodied AI）机器人从实验室走向商用与家庭服务时，自主导航不仅要求机器人能够‘避障寻路’，更要求其具备深刻理解人类日常模糊诉求的高阶认知能力。例如，当用户下达‘去厨房帮我拿一瓶常温可乐’的指令时，机器人必须自主推理出‘先找厨房 -> 寻找冰箱或储物柜 -> 辨识可乐包装 -> 靠近并停在操作距离’的连贯动作序列。然而，传统的机器人导航路线存在两大致命桎梏：

1. 端到端微调引发的严重过拟合与泛化崩溃（Brittle Generalization）：为了让模型学会坐标规划，传统方法通常在有限的模拟数据集上对网络权重进行大规模端到端有监督微调。这种做法严重损害了预训练大模型的常识推理能力，导致机器人在面对真实场景的光照变化、杂乱家具或新奇物体时频发迷失；
2. 感知与运动执行耦合导致决策不可解释：黑盒模型难以对‘为什么走向该角落’给出可审计的证据链，中途出现误判时无法安全干预与实时回正。

架构亮点与底层机制

针对通用具身机器人的泛化难题，浙江大学 3DV 团队提出了无需微调、认知与控制深度解耦的 SuperNav 架构（arXiv:2610.12126，开源项目 github.com/zju3dv/SuperNav）：

1. 零微调认知与控制解耦（Zero Fine-Tuning Decoupled System）：SuperNav 坚决保留冻结的多模态大模型（Frozen MLLM）参数，让其纯粹作为‘高层战略大脑’，负责多视角视觉推理、常识联想与长程任务拆解；而底层机器人的路径规划、局部避障与电机驱动则全权委托给确定性的 ROS 导航工具集；
2. 统一二维视觉点位接口（Unified Visual-Point Interface）：大模型无需理解复杂的全局三维点云坐标系，而是通过在当前输入相机帧图像上直接输出归一化二维像素坐标点（[x, y]），底层几何定位模块自动将其投射到三维点云地图中。这一机制使得大模型能通过直观的视觉反馈在每一步运动中动态纠偏；
3. 导航专属 Agent Harness 体系：团队为 MLLM 量身定制了专用的导航脚手架，包含三大核心模块：

• 自主搜索与候选复验技能（Search & Candidate Rechecking）：面对视野盲区自主执行原地环视，对疑似目标进行多视角放大复核；
• 障碍受困恢复（Recovery Mechanism）：当遇到台阶或死胡同阻塞时，自主激活倒退重规划策略；
• 长程任务进度追踪器（Progress Tracker）：实时维持全局目标拓扑图，确保多目标任务不重不漏。

权威 Benchmark 与实测跑分对比

研究团队在主流仿真环境 HM3D 以及真实的物理四足机器人上进行了严苛的端到端对比评测：

1. 全场景仿真评测超越前沿微调基线：在权威具身基准 HM3D 的大范围场景测试中，SuperNav 在实例级导航（InstanceNav）、多目标连续导航（Multi-ObjectNav）以及隐式需求驱动导航（Demand-DrivenNav）等复杂评测集上，成功率显著超越了一系列经过专门训练微调的现有 SOTA 专有模型；
2. 真机部署实现跨楼层复杂交互导航：团队将 SuperNav 算法无缝部署至宇树 Unitree Go2 四足实体机器人上。在真实的真实办公园区、走廊与复杂杂物间环境中，机器人成功完成了跨房间多物体搜寻、动态避让人流并准确停靠在指定微小物体前，展现出极高鲁棒性；
3. 零样本开箱迁移能力：在完全未见过的极端杂乱环境（Zero-Shot Unseen Environments）测试中，传统微调模型的导航成功率断崖式下跌超过 45%，而 SuperNav 依靠通用常识推理能力保持了 88% 以上的稳健成功率。

开发者实战落地与开箱指南

SuperNav 代码库、仿真环境以及 Unitree Go2 实机部署驱动已在 GitHub（github.com/zju3dv/SuperNav）全面开源。该项目为机器人初创企业、具身智能实验室以及服务机器人集成商提供了极具工程价值的落地模板：抛弃高成本、易过拟合的专有导航模型微调陷阱，通过构建标准化视觉点位交互接口与高可靠的 Agent Harness，利用通用多模态大模型的常识推理能力即可极速点亮机器人在现实开放世界中的全场景自主导航能力。