AI 编程实时动态与要闻

RoboColosseum 开放真机机器人评测:100+ 台机器人、124 个站点,Claude Opus 5.5 和 GPT-6 Astra 零样本操控不输专用 VLA

Hugging Face、BitRobot、新加坡具身智能中心和 NUS 等 11 月 4 日推出 RoboColosseum,一个分布式真机评测框架,覆盖 SO-101、Franka、双臂 YAM 和 Unitree G1 四种机器人。首轮在 124 个站点做了 5,699 次盲测对比,测了 5 个 VLA 策略和 3 个前沿大模型:Claude Opus 5.5 和 GPT-6 Astra 的平均任务进度分别比 VLA 高 12.1 和 11.0 个百分点,Grok 4.7 落后 7.5 个点。所有 rollout 数据公开在 Hugging Face,并向学术界提供 10,000 小时免费评测。

RoboColosseum 开放真机机器人评测:100+ 台机器人、124 个站点,Claude Opus 5.5 和 GPT-6 Astra 零样本操控不输专用 VLA

核心要点速览

  • 两个赛道:Open Track 零样本盲测成对比较,Fine-tune Track 让 VLA 每个任务用同样的 100 条示范微调后在 20 个任务上比。
  • 被测 VLA 为 GR00T N1.7、π0.5、MolmoAct2、G0.5、LingBot-VLA v2;前沿模型为 GPT-6 Astra、Claude Opus 5.5、Grok 4.7。
  • 微调后 GR00T N1.7 在 SO-101 领先,π0.5 在 Franka 和双臂 YAM 领先;G1 人形上没有任何策略完成任务,平均进度 13.3%–23.2%。
  • 不同机器人上的排名一致性很弱(Kendall W = 0.24),零样本排名也很难预测微调后的排名。
阅读全文

浙大 VLA-Δ 刷新 LIBERO 98.4% 纪录!上交港大 OneWM 统一世界-动作因果训练,CoDA 共进化令机械臂泛化从 1% 飙至 76%

针对视觉-语言-动作(VLA)模型死记硬背“观测-动作”映射导致跨场景泛化脆弱的痛点,今日三项重磅具身智能开源成果从物理状态转移、世界模型统一因果训练与仿真数据引擎共进化三路破局:浙江大学开源 2B 规模 VLA-Δ(arXiv:2610.21306,HF 54 赞),显式监督物理状态变化且推理零额外开销,以 98.4% 刷新 LIBERO 最高纪录;上海交大与港大开源 OneWM(arXiv:2610.21095,HF 40 赞),在 RoboCasa365 上取得 36.68% 综合成功率(达 π0.5 的 2.17 倍);UIUC/Amazon 提出 CoDA(arXiv:2610.22362),通过 15 轮仿真引擎与策略共进化,将 LIBERO-Pro 指令扰动成功率从 1% 暴力拉升至 76%。

浙大 VLA-Δ 刷新 LIBERO 98.4% 纪录!上交港大 OneWM 统一世界-动作因果训练,CoDA 共进化令机械臂泛化从 1% 飙至 76%

核心要点速览

  • 浙大开源 2B 规模 VLA-Δ:以当前与未来状态的物理转移差分作为显式预训练目标且推理零额外延迟,在 LIBERO 上斩获 98.4% 最高分,语言扰动下领先 π0.5 达 6.4 个百分点
  • 上交与港大开源统一因果架构 OneWM:在 RoboCasa365 上取得 36.68% 综合成功率(达 π0.5 的 2.17 倍),并以 59.27% 领跑 LIBERO-Plus 七大分布外扰动测试
  • UIUC/Amazon 提出 CoDA 框架与 Text2potential 势函数塑形:经 15 轮仿真引擎与策略共进化,将 LIBERO-Pro 位置扰动成功率从 25% 提至 84%、指令扰动从 1% 飙升至 76%
阅读全文
关联模型 / 智能体 / 厂商:

零微调赋能全场景通用导航!浙大开源 SuperNav:解耦多模态大模型与物理执行上机四足机器人

让服务机器人在未知的真实复杂环境中自主理解并执行人类开放式的导航指令(如‘帮我找一下放在客厅茶几上的眼镜并走到跟前’),是具身智能走向千家万户的核心瓶颈。现有具身导航算法往往严重依赖针对特定室内场景的大规模端到端微调(Fine-Tuning),但一旦迁移至全新的未见环境或遇到未见物体类别,模型性能便剧烈崩溃,泛化能力极其脆弱。来自浙江大学 3DV 实验室的研究团队在最新研究(arXiv:2610.12126)中正式开源了通用具身导航系统 SuperNav(开源代码:github.com/zju3dv/SuperNav,项目主页:zju3dv.github.io/SuperNav)。SuperNav 创造性地将高阶认知推理与低阶物理动作解耦:完全无需对底座多模态大语言模型(MLLM)进行任何针对导航领域的参数微调,直接依托冻结的多模态通识能力进行场景因果理解与长程决策,并由高度专业化的导航工具库接管底层移动执行。系统通过统一的‘二维视觉点位接口(Unified Visual-Point Interface)’让大模型直接在相机画面上标注归一化坐标以动态修正决策,并配备了多视角观测与任务追踪的专用 Agent Harness。在 HM3D 权威具身基准以及宇树 Unitree Go2 四足真实机器人上,SuperNav 在多目标、需求驱动与实例级导航任务中全线超越前沿微调基线,代码现已开源。

零微调赋能全场景通用导航!浙大开源 SuperNav:解耦多模态大模型与物理执行上机四足机器人

核心要点速览

  • 浙江大学 3DV 开源 SuperNav,首创零微调多模态大模型具身通用导航系统并成功实机部署四足机器人
  • 解耦认知推理与物理执行,提出统一二维视觉点位接口(Visual-Point Interface)实现动态视觉纠偏
  • 在 HM3D 权威基准及实机复杂场景中全线超越前沿微调模型,未见环境保持 88%+ 极高导航成功率
阅读全文
关联模型 / 智能体 / 厂商:

告别视频幻觉累积!AgentGarten 开源:物理仿真与神经渲染解耦,首创对抗性强制自进化代码世界

让通用 AI 智能体在交互式虚拟世界中自主探索与进化,是通往高阶通用人工智能(AGI)的核心路径。然而,构建兼具‘物理确定性(Faithful)’与‘照片级逼真度(Realistic)’的训练环境长期受制于技术瓶颈:纯物理引擎画面简陋缺乏真实视觉分布,而纯生成式视频世界模型则会在长程交互中不可避免地出现几何崩溃与‘幻觉累积’。MirroS 实验室与学术研究团队在最新研究(arXiv:2610.12374)中推出了 AgentGarten 开源框架(代码:github.com/MirroS-Lab/AgentGarten,主页:mirros-lab.github.io/agent-garten)。AgentGarten 首创将物理仿真引擎与共享神经渲染器深度解耦:仿真引擎作为确定性底座维护持久的世界状态与代码交互规则,不直接消费生成视频帧,从而从根本上消除了幻觉反馈回路;神经渲染器则根据导出的结构化几何条件以超过 30 FPS 实时渲染逼真观测画面。配合团队创新的‘对抗性强制(Adversarial Forcing)’训练,实现了历史预填充的可微回放与真实对抗监督。智能体在 AgentGarten 中探索试错,能将经验自动提炼为标准化‘战术手册(Playbooks)’供后代智能体继承。在经典的捉迷藏等复杂交互任务中,智能体仅需 4 轮探索即可自发涌现利用掩体与斜坡协同的高阶行为,效率比传统强化学习数千万轮交互提升数十万倍,官方代码与环境现已开源。

告别视频幻觉累积!AgentGarten 开源:物理仿真与神经渲染解耦,首创对抗性强制自进化代码世界

核心要点速览

  • MirroS 实验室开源 AgentGarten,首创物理仿真与神经渲染解耦架构,从根本上杜绝长程交互视频幻觉累积
  • 提出对抗性强制(Adversarial Forcing)可微回放技术,在单卡 H100 上实现 37.4 FPS 实时高清交互渲染
  • 智能体仅需 4 轮交互即涌现高阶协作策略,相较经典强化学习数千万轮交互实现数万倍效率跃迁
阅读全文
关联模型 / 智能体 / 厂商:
AD赞助内容

逆图形学代码生成新标杆!斯坦福等推出 4DCodeBench:智能体从视频推演 4D 动态物理代码

从视觉输入反向推断三维乃至四维时空世界规律并将其表征为可执行代码,是下一代物理世界大模型与具身智能体(Embodied AI)的核心能力。然而现有代码评测基准普遍停留在 2D 网页交互或静态 3D 网格生成,无法衡量智能体对动态物理交互因果的理解。来自斯坦福大学、MIT 与约翰霍普金斯大学的研究团队发布了业界首个面向 4D 逆向图形学代码生成的全套评测基准 4DCodeBench(arXiv:2610.03715):要求 Agent 从单段动态视频中,自主推导场景的三维几何结构、材质拓扑演化并编写出包含形变(Deformation)、流体流动(Fluid Flow)及断裂破碎(Fracture)等连续物理模拟的完整可执行图形学渲染代码。在大规模前沿大模型评测中,研究人员发现了一个反常态的痛点:即便当前最顶尖的视觉与代码大模型在静态 3D 几何重建上表现优异,一旦面对涉及复杂动力学与连续形变的场景,其代码生成正确率急剧崩溃。4DCodeBench 开源了包含真实拍摄与合成物理仿真视频的双轨数据集,为追踪和推动 AI 智能体通过代码理解真实动态物理世界建立了至关重要的测试床。

逆图形学代码生成新标杆!斯坦福等推出 4DCodeBench:智能体从视频推演 4D 动态物理代码

核心要点速览

  • 斯坦福、MIT 与 JHU 联合推出首个 4D 逆向图形学代码生成基准 4DCodeBench,从动态视频推演可执行物理仿真代码
  • 全面覆盖流体流动、弹性形变与断裂破碎等连续介质力学,确立视觉渲染与物理守恒双重严谨评测体系
  • 曝光前沿模型能力断层:静态 3D 表现优异的顶级模型在 4D 动态物理模拟可执行率跌破 15%,物理因果幻觉严峻
阅读全文

KRAFTON 发布 PUBG Ally:首个大规模实战交互式具身游戏智能体,真机实测横跨 141 国

《绝地求生》(PUBG: BATTLEGROUNDS)开发商 KRAFTON 联合 AI 研究团队在 Hugging Face 与 ArXiv 正式公开了《PUBG Ally: A Conversational Embodied Agent as an AI Teammate》(arXiv: 2609.29837)。面对在复杂动态、毫秒级延迟与生死对抗的 AAA 级游戏中构建自主协同队友的极端挑战,团队打造了首个能边听边说、边打边战的全双工具身智能体 PUBG Ally。智能体采用“高层大模型策略决策 + 低层高频实时电机控制”的双层异构架构,并在全球 141 个国家进行了近 3.9 万场真实玩家在线匹配实战演练,净推荐值(NPS)正向超负向达 25.1 个百分点。

KRAFTON 发布 PUBG Ally:首个大规模实战交互式具身游戏智能体,真机实测横跨 141 国

核心要点速览

  • 首次将全双工语音大模型与毫秒级高频游戏控制层解耦融合,实现能听、能说、能报点、能战术突击的自主队友。
  • 首创“分层具身决策体系”:大模型处理全局战场态势与语音交流,底层极速控制器负责精细走位、瞄准压枪与扶人。
  • 采集近 3.9 万场真实人类组队对战数据(包含语音录音、环境反馈、微观按键与赛后评分),闭环自进化训练。
  • 在 141 个国家的实装公测中,确认与 Ally 并肩作战的人类玩家推荐好评度相比负面评价高出 25.1 个百分点。
  • 论文预印本、模型端侧量化方案与实时护栏安全规范已在 ArXiv 与 Hugging Face 全面公开。
阅读全文