同济与腾讯提出 3D 世界模型视角解耦表征 GeoState：分离相机畸变与场景演变，Waymo 跨帧预测零尺度漂移

核心背景与行业痛点

在自动驾驶端到端规划与机器人 3D 具身仿真中，构建具备物理前瞻能力的 3D 世界模型是核心前沿方向。近期研究多尝试将几何基础模型（GFM，如 DINOv2、Depth Anything、DUSt3R）的隐层特征直接作为预测世界状态。然而，这些 GFM 特征高度依赖特定的相机视角（View-Dependent）——当自动驾驶车辆移动或变道时，相机视角的几何畸变与场景本身的动态变化严重耦合，导致自回归世界模型在多帧推演中迅速累积尺度误差，甚至需要每一帧进行人工强制尺度对齐（Per-frame Scale Alignment）才能勉强维持稳定。同济大学与腾讯团队在 arXiv:2610.22343 中给出了根本性的视角解耦方案 GeoState。

架构亮点与底层机制

1. 视角解耦场景 Tokenizer（Scene Tokenizer）：

• 系统首先利用多视角 GFM 提取环视观测特征，随后通过跨视图聚合 Tokenizer 将其映射为一个绝对视角解耦的 3D 场景全局状态（View-Decoupled Scene State），彻底剥离特定摄像机的光线投射参数；

1. 单上下文尺度自回归状态推演与按需光线解码（Geometry Decoder）：

• 自回归世界模型仅负责在解耦的状态隐空间中预测未来场景的自然物理演化，而相机位姿转移作为独立输入；
• 在最终渲染输出时，轻量级几何解码器依据指定的目标相机光线（任意虚拟视角或预测位姿）按需查询解耦状态，在整个多秒 Rollout 过程中全程维持由初始上下文锚定的单一真实尺度，彻底摒弃了逐帧尺度对齐。

权威 Benchmark 与实测跑分对比

• Waymo 自动驾驶长程深度预测（Table 1, Long-Horizon Forecasting）：
• 在 $t+0.2 ext{ s}$ 至 $t+2.0 ext{ s}$ 的连续长程深度预测中，GeoState 在不进行逐帧尺度对齐的前提下，深度绝对相对误差（AbsRel ↓）与阈值准度（δ1 ↑）全面击败 DINO-Foresight、VGGT-World 与 FR3D，在 $t+2.0 ext{ s}$ 远期推演中保持卓越的几何轮廓稳定性；
• 跨数据集零样本泛化能力（Table 2, KITTI & nuScenes Zero-Shot）：
• 模型在 Waymo 上训练完成后，直接在未经微调的 KITTI（$t+0.6 ext{ s}$ 至 $t+2.0 ext{ s}$）与 nuScenes（$t+0.75 ext{ s}$ 至 $t+2.5 ext{ s}$）上进行零样本评测，其深度预测准确度显著超越专门在多传感器上做过对齐的对比模型。

开发者实战落地与开箱指南

• 项目主页与演示：官方已开放项目演示主页（https://hongchang-liu.github.io/GeoState-project-page/）。
• 具身世界模型构建启示：构建端到端自动驾驶仿真器或双臂机器人物理模拟器的团队，不应将多视角视频帧直接塞入扩散网络；采用 GeoState 范式先抽离视点无关的几何状态，能够使长期物理预测误差降低数倍，并支持以任意虚拟摄像机自由视角漫游回放。