LeCun 的 AMI Labs 开源 H-JEPA：分层世界模型在 Visual AntMaze 上把规划成功率从 18% 提到 73%

核心背景与行业痛点

H-JEPA 是 LeCun 世界模型创业公司 AMI Labs（Advanced Machine Intelligence）联合 NYU、INRIA Paris、Brown 发布的首个公开研究成果。现有 JEPA 世界模型（如 LeWM、V-JEPA 2）只在一个潜空间、一个时间尺度上预测和规划：长程任务要逐步展开很多小步，误差会累积、动作搜索空间暴涨；同一个潜空间还得同时承载“腿怎么动”这种快变量和“离终点多远”这种慢变量，目标代价信号很差。

架构亮点与底层机制

H-JEPA 把多层动作条件 JEPA 叠起来端到端训练：每层有自己的状态编码器、动作编码器和预测器，上层以 2 倍步长读取下层潜状态，预测更远的未来，并用 LeJEPA 提出的 SIGReg 正则防止表征坍缩，高层梯度回传到底层编码器。规划自上而下：顶层在最抽象的空间里朝目标优化，预测出的第一个状态作为子目标交给下一层，直到第 1 层输出原始动作。论文发现，当环境里快慢变量分离时，高层会自动丢掉腿部姿态等快变细节，保留位置等慢变量。在真实机器人数据 DROID 上，还需加逆动力学（IDM）损失，否则编码器只记住背景、得分为 0。

权威 Benchmark 与实测跑分对比

以下均为论文/作者口径，三个种子，尚无第三方复现：Visual AntMaze 上三层 H-JEPA 成功率 73.3%，单层 LeWM 为 18.0%，规划 FLOPs 反而更低，且接近同深度 HWM（共享潜空间的分层基线）的 2 倍；FourRoom Distractors 上三层 96.0% vs 单层 40.7%。负面结果同样写明：Push-T 三层模型因短 episode 只能用到 58% 训练样本而失效，层数并非越多越好。

开发者实战落地与开箱指南

代码在 GitHub kevinghst/H-JEPA（MIT），基于 LeWM 与 stable-worldmodel：Python 3.11 + CUDA 12.8 环境下 pip install -e ".[train,env]"，再运行 python main_hjepa.py --config-name ant_hjepa_l3 seed=42 训练三层 AntMaze 模型。Hugging Face 提供 93 个 checkpoint（约 12.4 GB），可直接复现论文图表。适合做导航、机械臂长程规划的团队评估；作者自己也说明，下一步才是在物理机器人上做闭环验证。