告别视频幻觉累积！AgentGarten 开源：物理仿真与神经渲染解耦，首创对抗性强制自进化代码世界

核心背景与行业痛点

具身智能与自主 Agent 的进化高度依赖高保真度虚拟交互环境。然而，工业界与学术界现有的世界构建方案始终面临着难以调和的‘鱼和熊掌不可兼得’困境：

1. 传统仿真与游戏引擎的域迁移鸿沟（Faithful but Unrealistic）：如 Isaac Sim、MuJoCo、Unity 等引擎具备严格精确的物理碰撞解算与确定性状态流转，但其生成的渲染贴图过于机械单一，严重脱离现实世界复杂的纹理分布与光学反射，导致智能体‘仿真跑通、实机抓瞎’；
2. 纯自回归视频世界模型的幻觉累积（Realistic but Unfaithful）：基于生成式扩散或 Transformer 的视频大模型（如 Sora、Gen-3）虽能生成逼真像素画面，但其在数十秒的长程推演中极易发生三维几何形变、物理规律崩解（如穿模、凭空消失），并且每一次生成的轻微视觉伪影会被下一帧自回归递归放大，形成不可逆的幻觉死循环。

架构亮点与底层机制

为彻底攻克上述矛盾，MirroS 实验室联合团队提出了将仿真物理与神经感知彻底解耦的全新架构 AgentGarten（arXiv:2610.12374，开源项目 github.com/MirroS-Lab/AgentGarten）：

1. 仿真状态机与神经渲染器严格解耦（Decoupled Architecture）：AgentGarten 的底层核心原则是‘物理归物理，渲染归渲染’。由物理引擎与游戏逻辑后端维护确定性的持久世界状态（World State）并执行严格的代码规则，仿真引擎绝不输入或消费生成的视频像素帧，切断了自回归误差累积的反馈链条。同时，仿真后端通过通用标准接口导出结构化几何条件（如线框、深度图与包围盒）；
2. 对抗性强制（Adversarial Forcing）可微回放：为了让神经渲染器兼顾极高质量与多步时序一致性，团队提出对抗性强制技术。通过精确重放机制使得历史帧预填充（History Prefilling）完全可微，后序预测帧产生的几何与渲染损失能够反向传播更新渲染器对先验观测的编码，并辅以真实视频对抗监督，彻底解决了视频渲染在交互拐点处的画面闪烁难题；
3. 跨代战术手册传承（Playbook Distillation）：智能体通过高频视觉感知与环境实时交互，每轮探索结束后自动将因果经验蒸馏为结构化‘Playbook（行动手册）’，下一代智能体可直接加载该策略资产进行二次精炼，告别从零采样的蛮力黑盒强化学习。

权威 Benchmark 与实测跑分对比

研究团队针对 AgentGarten 的渲染吞吐、视觉保真度及智能体演化速度进行了全方位评测：

1. 30+ FPS 高吞吐超低延迟实时交互：在单卡 NVIDIA H100 GPU 上，AgentGarten 在 480x832 分辨率下实现了稳定 37.4 FPS 的端到端推理生成速度，完全达到智能体实时闭环决策的帧率门槛要求；
2. 4 轮探索完成传统强化学习数千万轮的进化：在复现经典的 OpenAI 多智能体‘捉迷藏（Hide-and-Seek）’基准中，躲藏智能体在仅 4 轮迭代后便自发习得搬运箱子封闭通道的掩体构建策略；寻找者智能体在第 10 轮便自发习得利用斜坡翻越墙体的高级协作。对比 OpenAI 在 2019 年纯强化学习实验中分别需要 2500 万轮与 1 亿轮训练交互，策略学习效率实现了量级飞跃；
3. 零长程几何形变崩溃：在连续 1,000 步的超长程开放漫游测试中，传统自回归视频模型的物理一致性得分随步数呈指数级下跌（跌幅达 82%），而 AgentGarten 依托解耦物理底座始终保持 100% 物理真实性与零几何穿模。

开发者实战落地与开箱指南

AgentGarten 代码库与预置环境已在 GitHub（github.com/MirroS-Lab/AgentGarten）正式开源，配套提供 WebGL/Python 交互接口。对于从事具身机器人控制、自主游戏智能体开发以及 World Model 研究的团队，AgentGarten 提供了一条极具工程可行性的全新路线：无需训练万卡级的重型端到端视频基座，而是利用轻量游戏代码或物理引擎编写刚性规则，搭配几何引导的实时神经渲染器，即可在本地消费级或单机服务器上构建无穷无尽的高真实感训练场，大幅降低前沿智能体的试错与算力成本。