Randall Balestriero 与 Yann LeCun 10 月 29 日在 arXiv 发布论文《Proving and Improving the Platonic Representation Hypothesis with JEPAs》（2610.39302），署名单位为 Brown University、NYU 和 AMI Labs。论文证明：只要正样本对是同一场景的两次观测（「好视角」），分别在不同模态上训练的 JEPA 会学到只差一个旋转的相同表征；而 next-token prediction 相当于「坏视角」的 JEPA，所以语言模型只能靠堆规模才与视觉对齐。作者称，好视角达到同等对齐只需 next-token 的 1/42 训练样本，109M 文本 JEPA 在 DINOv2 对齐上得 0.184，高于 Qwen2.5-72B 的 0.154（论文作者口径）。代码与在线 Demo 已开放；Balestriero 的发布帖约 1,054 赞、7.2 万浏览。
核心要点速览
- ✓论文：arXiv 2610.39302，2026-10-29 提交，作者 Randall Balestriero、Yann LeCun（Brown University / NYU / AMI Labs）
- ✓在 PRH 原有基准上，109M 文本 JEPA 与 DINOv2 的对齐分为 0.184，Qwen2.5-72B 为 0.154、Llama-3-70B 为 0.151；与 CLIP 图像编码器对齐为 0.23，此前最好为 0.21（作者口径）
- ✓好视角只需 next-token prediction 1/42 的训练样本即可达到相同对齐；作者预先登记对齐缩放律的预测，再训练 85 个新 run，预测误差与换随机种子相当
- ✓只用一个旋转把独立训练的编码器拼成图像描述器，COCO 上 CIDEr 0.838；在无配对基准上 ImageNet-100 top-5 为 64%，此前 8B 以内语言模型最高 56%
- ✓代码 galilai-group/prh-proof 与 在线 Demo 已开放；Balestriero 发布帖 约 1,054 赞、180 转发
开发者 3 秒速决决策指标
把技术选型换算成你的开发预算
40 款主流编程套餐横向比价，支持输入/输出 Token 真实账单模拟
相关资源与官方项目出处
免代理直达深度技术解析与实战评估
核心背景与行业痛点
「柏拉图表征假说」（PRH）认为，不同模态训练出的模型随着规模变大，会收敛到对世界的同一种表征。这一观察解释了为什么大语言模型的文本特征能和视觉模型对上，但它一直只是经验猜想：既不保证何时成立，也没告诉人们该怎么更高效地做到。行业的默认做法因此仍是继续堆参数和数据。
架构亮点与底层机制
论文把问题放在 JEPA（联合嵌入预测架构）框架里。作者证明：如果正样本对是同一场景的两次观测，例如同一张照片的两条描述、同一段视频的两帧，那么在任意多个模态上分别训练的 JEPA 会学到只差一个旋转的同一表征。反过来，正样本若只是同一观测的两种无信息扰动，编码器就会把维度浪费在各自模态的噪声上。作者认为 next-token prediction 正是这种「坏视角」JEPA（前缀与续写），所以只能靠规模缓慢逼近对齐。
权威 Benchmark 与实测跑分对比
以下均为论文作者口径：在 PRH 原有基准上，109M 文本 JEPA 与 DINOv2 对齐分 0.184，高于 Qwen2.5-72B（0.154）和 Llama-3-70B（0.151）；与 CLIP 图像编码器对齐 0.23，此前最好 0.21。达到同等对齐，好视角所需样本比 next-token 少 42 倍。只用一个旋转拼出的图像描述器在 COCO 上 CIDEr 为 0.838；在无配对基准上 ImageNet-100 top-5 为 64%，8B 以内语言模型的最好成绩是 56%。目前尚无第三方复现。
开发者实战落地与开箱指南
代码在 GitHub 的 galilai-group/prh-proof，Hugging Face 上有「Captions Without Pairs」在线 Demo，可上传自己的图片或视频测试无配对描述。作者也在回复中承认，文本如何自动构造好视角仍是开放问题。对做多模态检索、跨模态对齐的团队，这篇论文提示：先设计好正样本，比单纯放大语言模型更省数据。
即刻查看该技术对应模型与主流工具的实测差异，或一键测算团队 API 调用与 $20/月套餐盈亏平衡点。
讨论与评论
0登录后即可参与深度讨论
与广大 AI 开发者、工程师交流评测心得与前沿洞察