AI 编程实时动态与要闻

LeCun 与 Balestriero 新论文把「柏拉图表征假说」证明为定理:1.09 亿参数文本 JEPA 与视觉模型的对齐度超过 72B 大模型

Randall Balestriero 与 Yann LeCun 10 月 29 日在 arXiv 发布论文《Proving and Improving the Platonic Representation Hypothesis with JEPAs》(2610.39302),署名单位为 Brown University、NYU 和 AMI Labs。论文证明:只要正样本对是同一场景的两次观测(「好视角」),分别在不同模态上训练的 JEPA 会学到只差一个旋转的相同表征;而 next-token prediction 相当于「坏视角」的 JEPA,所以语言模型只能靠堆规模才与视觉对齐。作者称,好视角达到同等对齐只需 next-token 的 1/42 训练样本,109M 文本 JEPA 在 DINOv2 对齐上得 0.184,高于 Qwen2.5-72B 的 0.154(论文作者口径)。代码与在线 Demo 已开放;Balestriero 的发布帖约 1,054 赞、7.2 万浏览。

LeCun 与 Balestriero 新论文把「柏拉图表征假说」证明为定理:1.09 亿参数文本 JEPA 与视觉模型的对齐度超过 72B 大模型

核心要点速览

  • 论文:arXiv 2610.39302,2026-10-29 提交,作者 Randall Balestriero、Yann LeCun(Brown University / NYU / AMI Labs)
  • 在 PRH 原有基准上,109M 文本 JEPA 与 DINOv2 的对齐分为 0.184,Qwen2.5-72B 为 0.154、Llama-3-70B 为 0.151;与 CLIP 图像编码器对齐为 0.23,此前最好为 0.21(作者口径)
  • 好视角只需 next-token prediction 1/42 的训练样本即可达到相同对齐;作者预先登记对齐缩放律的预测,再训练 85 个新 run,预测误差与换随机种子相当
  • 只用一个旋转把独立训练的编码器拼成图像描述器,COCO 上 CIDEr 0.838;在无配对基准上 ImageNet-100 top-5 为 64%,此前 8B 以内语言模型最高 56%
  • 代码 galilai-group/prh-proof 与 在线 Demo 已开放;Balestriero 发布帖 约 1,054 赞、180 转发
阅读全文
关联模型 / 智能体 / 厂商:
A
AMI Labs / H-JEPA@kevinghst/H-JEPA·
👀146
🔥88

LeCun 的 AMI Labs 开源 H-JEPA:分层世界模型在 Visual AntMaze 上把规划成功率从 18% 提到 73%

Yann LeCun 参与创立的 Advanced Machine Intelligence(AMI Labs)联合 NYU、INRIA Paris、Brown 发布 H-JEPA(arXiv 2610.06805),一次端到端训练多层动作条件 JEPA 世界模型,每层在自己的潜空间里预测更远的未来,规划时自上而下下发子目标。论文口径:三层模型在 Visual AntMaze 成功率 73.3%,单层 LeWM 为 18.0%,规划算力反而更低。训练与评测代码(MIT 协议)以及 93 个 checkpoint 已在 GitHub / Hugging Face 公开。

LeCun 的 AMI Labs 开源 H-JEPA:分层世界模型在 Visual AntMaze 上把规划成功率从 18% 提到 73%

核心要点速览

  • Visual AntMaze:三层 H-JEPA 成功率 73.3%±3.5,单层 LeWM 18.0%±3.5(论文口径,三个种子),且规划 FLOPs 更低(arXiv 2610.06805)
  • FourRoom Distractors:三层 H-JEPA 96.0%,单层 LeWM 40.7%;AntMaze 上接近同深度 HWM(共享潜空间的分层基线)的 2 倍
  • 子目标跟踪代价单调性 0.89–1.00,全程目标代价仅 0.48–0.75,说明分层把长任务拆成了更好优化的子问题
  • 反例:Push-T 三层模型因短 episode 只能用到 LeWM 58% 的训练样本而失效;真实机器人 DROID 必须加逆动力学损失,否则表征坍缩、得分为 0
  • 开源 MIT 代码 + Hugging Face 93 个 checkpoint(约 12.4 GB,覆盖 AntMaze/FourRoom/Cube/Push-T/DROID)
阅读全文
关联模型 / 智能体 / 厂商:
⚡ H-JEPA⚡ LeWorldModel (LeWM)⚡ V-JEPA 2🌐 AMI Labs🌐 NYU🌐 INRIA🌐 Brown University