免工具内化三维空间智能！SpatialOPSD 开源：特权 Coding Agent 轨迹自蒸馏打造独立端到端 MLLM

核心背景与行业痛点

空间几何感知与三维空间关系推理（Spatial Intelligence）是大模型在自动驾驶、具身机器人与空间计算（如 Apple Vision Pro）中落地的关键能力。然而，直接利用纯文本和单张二维图片训练的常规多模态大模型在理解深度差、三维旋转角与遮挡拓扑时普遍存在严重的‘空间失认症’。为了弥补这一短板，业内近期的主流解法是‘空间智能体化（Spatial Coding Agents）’：让 MLLM 在做决策时，先编写 Python 脚本调用外部工具箱提取点云、计算单目深度图或运行透视投影变换。然而，这种方案在实际工程落地时存在致命硬伤：

1. 极度高昂的推理时延与并发瓶颈：每次空间问答都需要等待 Agent 生成代码、启动沙箱执行并回显结果，单次查询时延高达数秒乃至数十秒，根本无法满足机器人毫秒级实时闭环控制要求；
2. 外部执行环境极其脆弱：依赖复杂的本地 Python 库和图形驱动，沙箱超时、依赖冲突等异常频发；
3. 缺乏端到端内置空间几何表征：模型并未真正‘理解’空间规律，只是扮演工具调用的中间胶水层。

架构亮点与底层机制

针对上述系统性矛盾，研究团队提出了将外部 Agent 能力全面内化吸收的自蒸馏框架 SpatialOPSD（arXiv:2610.11366，开源代码 github.com/vermouth599/Spatial-OPSD）：

1. 策略内自蒸馏内化特权智能（On-Policy Self-Distillation with Privileged Traces）：SpatialOPSD 的核心思想是‘借梯登高、过河拆桥’。在训练阶段，团队利用功能完备的高精度空间 Coding Agent 生成包含丰富几何计算、坐标投影与验证断言的详细执行轨迹，并将其浓缩为‘特权信息（Privileged Information）’。系统指导学生模型在无工具的纯视觉模式下，对齐具备特权轨迹的教师视图隐空间分布；
2. 重复感知蒸馏机制（Repetition-Aware Distillation）：将特权轨迹直接用于无工具监督时，极易因学生模型缺乏外部状态回显而诱发‘复读机式重复生成（Repetitive Hallucination）’与格式泄露。SpatialOPSD 创新性地结合了重复掩码（Repetition Masking）与非似然正则化（Unlikelihood Regularization）：主动识别并抑制重复 Token 的生成概率分布，强制模型学习压缩后的内在几何因果逻辑，而非死记硬背代码模板；
3. 完全无工具的纯净端到端推理（Tool-Free Standalone Inference）：训练完成后，外部 Python 沙箱与几何代码库被彻底剔除。单体 MLLM 仅凭输入图片即可在单次前向传播中毫秒级输出高精度空间关系、三维边界框与距离推断。

权威 Benchmark 与实测跑分对比

在跨越三维物体定位、空间拓扑问答以及机器人抓取姿态估计的多项高难度基准评测中：

1. 无工具表现大幅领先同类纯视觉基线：在 3D 空间关系判断与复杂几何推断基准上，经过 SpatialOPSD 蒸馏的 MLLM 准确率相比直接进行 SFT 的无工具基线模型显著提升，展现出极强的隐式几何计算直觉；
2. 推理时延暴降至原本的几分之一：由于完全省去了编写代码、冷启动沙箱、解析执行回显的多轮交互开销，端到端单次推理延迟缩减了 75% 以上，完全适配移动机器人与边缘硬件的实时响应指标；
3. 彻底根除特权信息泄露引发的幻觉：消融实验数据显示，重复感知蒸馏机制将学生模型在长程空间推导中的无意义重复率降低了 86.4%，模型输出严谨精炼。

开发者实战落地与开箱指南

SpatialOPSD 源码与蒸馏训练流水线已在 GitHub（github.com/vermouth599/Spatial-OPSD）正式开源。这项研究为具身智能与多模态边缘计算研发人员树立了一条高效工程范式：无需在终端硬件上艰难维持庞大臃肿的代码执行环境。利用云端高性能 Coding Agent 在海量复杂场景中离线生成高质量空间几何因果轨迹，通过 SpatialOPSD 的重复感知策略内蒸馏将其深植于单体边缘多模态小模型内部，即可在极低计算功耗下赋予机器人开箱即用的原生高精度空间理解力。