AI 编程实时动态与要闻

OpenAI 公布 ChatGPT 与 Codex 用于硬件工程的进展:GPT-6 Astra 一周内设计出 Codex 设备,携手 Mazda 做空气动力学研究

11 月 3 日,OpenAI 发布《Accelerating engineering for the physical world》,介绍其模型在机械设计、电子设计和仿真上的进展。两名员工用 GPT-6 Astra 在不到一周内设计出一台用来和 Codex 对话的设备(外壳、PCB、固件和软件),合同制造商不到一个月做出小批量原型,但量产前仍需多轮人工评审。OpenAI 硬件团队的模型 token 用量自 2 月以来增长 23 倍;在 BenchCAD 2.0 上,一个更新的内部模型平均得分 0.875,GPT-6 Astra 最高推理档为 0.594(官方口径)。OpenAI 还扩大与 Chip Ganassi Racing 的合作,并宣布与 Mazda 开展新的研究合作。

OpenAI 公布 ChatGPT 与 Codex 用于硬件工程的进展:GPT-6 Astra 一周内设计出 Codex 设备,携手 Mazda 做空气动力学研究

核心要点速览

  • GPT-6 Astra 在「无人工直接编辑」的测试里完成外观、外壳结构、元器件选型与 PCB 布局、UI 和固件;两名员工业余时间不到一周完成设计,原型不到一个月做出,见 OpenAI 博客。
  • 官方承认短板:Astra 没有稳定考虑制造商的产能限制、公差和装配细节,量产前仍需多轮评审迭代。
  • OpenAI 硬件与基础设施团队用 Codex/ChatGPT 做 CAD 建模、2D 工程图、仿真与 FEA、设计评审,token 用量自 2 月起增长 23 倍(官方口径)。
  • BenchCAD 2.0(重建 3D 零件与装配体、识别电路板连接):更新的内部模型 0.875,GPT-6 Astra 最高推理档 0.594(官方口径,内部模型未命名、未发布)。
  • 合作方:Chip Ganassi Racing 测试把 3D 扫描转成可编辑 CAD 和 2D 图纸;Mazda 与 OpenAI 研究团队用气流和结构仿真探索车型设计,结果「未来几个月」公布。
阅读全文

微软亚研院开源 WildAWM:野外环境通用智能体世界模型,重构 GUI 与网页端到端仿真底座

微软亚洲研究院(MSRA)研究团队在 arXiv:2610.26828 正式发布并开源通用智能体世界模型 WildAWM(MSR-Orchard/WildAWM)。针对当前跨平台 GUI 与网页浏览智能体(Computer-Use Agents)在训练和评测中高度依赖昂贵、慢速且不可撤销的真实物理沙盒环境的痛点,WildAWM 首创可适应野外复杂异构环境的多模态自回归世界模型架构。模型能够在接收任意智能体动作(点击、输入、滚动)后,极其逼真地预测网页与桌面操作系统下一帧的高保真视觉状态演化与 DOM 结构变化,成功替代物理沙盒,为大规模自主智能体的离线强化学习与安全预演树立了全新基座。

微软亚研院开源 WildAWM:野外环境通用智能体世界模型,重构 GUI 与网页端到端仿真底座

核心要点速览

  • 微软亚研院在 arXiv:2610.26828 开源 WildAWM,首创面向真实野外复杂环境(桌面/Web)的智能体世界模型
  • 彻底破解 GUI 智能体训练依赖真实物理服务器与网页环境造成的昂贵算力开销和状态破坏风险
  • 基于动作条件(Action-Conditioned)的多模态自回归架构,精准仿真点击、键盘输入与长页面滚动后的视觉响应
  • 在跨电商、CRM 与操作系统多项仿真一致性评测中大幅超越传统离散状态转移模型,全面开源代码与权重
阅读全文

Mistral 与 NVIDIA 达成工业工程 AI 战略结盟:万亿参数 Mistral Large 4 重磅前瞻曝光

欧洲前沿 AI 巨头 Mistral AI 与 NVIDIA 在 GTC Berlin 宣布达成工业工程 AI 深度战略合作,全面加速物理 AI、计算机辅助工程(CAE)与芯片设计(EDA)的智能化变革。合作将 Mistral 旗舰模型与 NVIDIA CUDA-X、Warp 物理引擎以及 Omniverse 实时数字孪生进行全链路打通。官方博客同时公布了备受瞩目的下一代旗舰模型 Mistral Large 4 的核心技术参数:总参数量接近 1 万亿(1T),激活参数为 490 亿(49B MoE),在 3800 张 Grace Blackwell GPU 集群上训练完成,模型权重定于 10 月底正式开源发布,并将联合 Nemotron 联盟共建工业基座。

Mistral 与 NVIDIA 达成工业工程 AI 战略结盟:万亿参数 Mistral Large 4 重磅前瞻曝光

核心要点速览

  • Mistral AI 与 NVIDIA 官宣战略合作,将大模型能力全面注入计算机辅助工程(CAE)、物理仿真与半导体芯片设计(EDA)
  • 深度融合 NVIDIA Warp、CUDA-X 物理加速库与 Omniverse 数字孪生平台,构建工程仿真领域的开源智能体评测与基准
  • 首次正式公开 Mistral Large 4 核心规格:约 1 万亿总参、49B 稀疏激活 MoE 架构,在 3800 张 Grace Blackwell 算力集群完成预训练
  • Mistral Large 4 官方权重定于 2026 年 10 月底全量开源发布,并宣布双方加入 Nemotron 联盟向 2030 年 1 GW 绿色算力推进
阅读全文
关联模型 / 智能体 / 厂商:

前 NVIDIA 团队 Dream Labs 带 9000 万美元种子轮出隐身,发布机器人基础模型 Dream-1:零样本控制没见过的双臂机器人,API 每小时 3 美元起

Dream Labs 10 月 19 日宣布出隐身并完成 9000 万美元种子轮,同时上线 Dream-1 公开 API。Dream-1 是一个「世界动作模型」(WAM),把视频预测和动作预测放在一起学,官方称无需该机器人的任何演示数据,就能零样本控制带平行夹爪的双臂机器人,在仿真中跑通 27 款没见过的机型,包括 18 年前的 PR2。定价 Dream-1 每小时 3 美元、Dream-1-flash 每小时 2 美元。第三方 Robocurve 的独立评测里,Dream-1 在 RoboDojo-RC Tier 1 得 59 分,此前最佳为 48 分。官方强调仍是研究测试版,未做安全关键场景验证。

前 NVIDIA 团队 Dream Labs 带 9000 万美元种子轮出隐身,发布机器人基础模型 Dream-1:零样本控制没见过的双臂机器人,API 每小时 3 美元起

核心要点速览

  • 融资与团队:9000 万美元种子轮;创始成员 2026 年 2 月在 NVIDIA 时发表 DreamZero 论文,提出世界动作模型(WAM)。
  • 定价:Dream-1 每小时 3 美元,Dream-1-flash 每小时 2 美元;每次调用返回 1.6 秒动作,每小时约 2250 次调用,约合每次 0.0013 美元(官方口径)。
  • 泛化:仿真中零样本控制 27 款未见过的双臂机型(含 PR2);12 个站点、8 个国家的测试者跑过真机任务。
  • 跑分:Robocurve 独立评测 RoboDojo-RC Tier 1 得 59 分(此前最佳 48),单次任务成本比 Gemini 4 Argon 低 16 倍,速度比 GPT-6 Astra 快 1.7 倍;120 次运行记录全部公开。
  • 局限:输出末端执行器位姿,依赖各机器人的 IK 求解器;差异大的机型可通过微调服务 FaaS 用少量自有数据适配。
阅读全文
关联模型 / 智能体 / 厂商:
⚡ Dream-1⚡ Dream-1-flash⚡ DreamZero🌐 Dream Labs🌐 Robocurve🌐 NVIDIA
AD赞助内容

浙大 VLA-Δ 刷新 LIBERO 98.4% 纪录!上交港大 OneWM 统一世界-动作因果训练,CoDA 共进化令机械臂泛化从 1% 飙至 76%

针对视觉-语言-动作(VLA)模型死记硬背“观测-动作”映射导致跨场景泛化脆弱的痛点,今日三项重磅具身智能开源成果从物理状态转移、世界模型统一因果训练与仿真数据引擎共进化三路破局:浙江大学开源 2B 规模 VLA-Δ(arXiv:2610.21306,HF 54 赞),显式监督物理状态变化且推理零额外开销,以 98.4% 刷新 LIBERO 最高纪录;上海交大与港大开源 OneWM(arXiv:2610.21095,HF 40 赞),在 RoboCasa365 上取得 36.68% 综合成功率(达 π0.5 的 2.17 倍);UIUC/Amazon 提出 CoDA(arXiv:2610.22362),通过 15 轮仿真引擎与策略共进化,将 LIBERO-Pro 指令扰动成功率从 1% 暴力拉升至 76%。

浙大 VLA-Δ 刷新 LIBERO 98.4% 纪录!上交港大 OneWM 统一世界-动作因果训练,CoDA 共进化令机械臂泛化从 1% 飙至 76%

核心要点速览

  • 浙大开源 2B 规模 VLA-Δ:以当前与未来状态的物理转移差分作为显式预训练目标且推理零额外延迟,在 LIBERO 上斩获 98.4% 最高分,语言扰动下领先 π0.5 达 6.4 个百分点
  • 上交与港大开源统一因果架构 OneWM:在 RoboCasa365 上取得 36.68% 综合成功率(达 π0.5 的 2.17 倍),并以 59.27% 领跑 LIBERO-Plus 七大分布外扰动测试
  • UIUC/Amazon 提出 CoDA 框架与 Text2potential 势函数塑形:经 15 轮仿真引擎与策略共进化,将 LIBERO-Pro 位置扰动成功率从 25% 提至 84%、指令扰动从 1% 飙升至 76%
阅读全文
关联模型 / 智能体 / 厂商:

Anthropic:Claude Mythos 5 在闭环评测中自主设计量子电路,8 项任务刷新已发表最优设计,DQI 解码器门数降至 1/12

Anthropic 于 10 月 16 日发布 STEM Fellows 项目研究:给 Claude Mythos 5 一段自然语言规格和自动评测器(校验正确性并按量子比特数×门数打分),它在化学、优化、量子模拟、数论等 8 类量子电路原语上找到优于已发表最优方案的设计。椭圆曲线点加法任务中连续工作 53 小时,首次实现无需存储分支历史的可逆 divsteps 模逆;DQI 的 Reed–Solomon 解码器门数比 Google 此前构造降低约 12 倍。论文已上 arXiv(2610.22367)。

Anthropic:Claude Mythos 5 在闭环评测中自主设计量子电路,8 项任务刷新已发表最优设计,DQI 解码器门数降至 1/12

核心要点速览

  • 8 项量子电路原语任务全部超过已发表最优设计;论文称其中 7 项同时降低 Toffoli 门数与量子比特数(arXiv 2610.22367)
  • 椭圆曲线点加法:Claude 连续工作 53 小时,提出无需存储分支历史的可逆 divsteps 模逆,并用 Lean 形式化验证
  • 设计族中一款电路比此前最小设计多用 12% 量子比特,但门数少 17 倍,扩展了比特数与运行时间的 Pareto 前沿
  • DQI 的 Reed–Solomon 解码器门数比 Google 此前构造降低约 12 倍;通过 4.03 亿次采样把最坏情况 665 个量子比特的预留压到 19 个(约万分之一失败率)
  • 方法可迁移:LLM 写 Python 电路 → 独立评测器校验并按比特数×门数打分 → 无人工介入迭代(官方博客)
阅读全文

日常随手拍即成高保真 3D 资产!NVIDIA 发布 GATOR:首创生成式与智能体协同闭环三维重构

从现实生活中随意拍摄的单张或少样本二维照片中,精确重构出带逼真高保真纹理、几何网格且具备场景相对位姿(Scene-Relative Pose)的完整三维物体资产,是连接虚拟世界、机器人具身操作与空间计算的终极桥梁。然而,日常拍摄的照片普遍存在视野稀疏、视角不确定以及严重的物体自遮挡难题;现存的纯生成式 3D 模型往往在不可见背面产生严重形变与模糊贴图,且无法精确对齐物体在真实物理场景中的六自由度位姿。NVIDIA 研究院(NVIDIA Learning and Perception Research)在最新重磅成果(arXiv:2610.11215,项目主页:research.nvidia.com/labs/lpr/gator)中正式发布了全新端到端框架 GATOR。GATOR 首创了‘生成式扩散初始化 + 多模态智能体闭环精炼(Generative and Agentic Pipeline)’的双引擎架构:局部模态混合器将 RGB 补丁、目标掩码与点云特征深度融合,由文本引导的结构/几何/外观适配器生成初始 3D 资产;随后,该资产直接初始化一个具身多模态 Agent,驱动其在观察引导的‘编辑-渲染-审查(Edit-Render-Review)’闭环中自主旋转多视角进行局部微观重构与位姿对齐。在合成物体、杂乱桌面与真实室内场景的全方位实测中,GATOR 展现出统治级的几何保真度与物理仿真就绪度(Simulation Readiness),项目已正式发布。

日常随手拍即成高保真 3D 资产!NVIDIA 发布 GATOR:首创生成式与智能体协同闭环三维重构

核心要点速览

  • NVIDIA 发布 GATOR 框架,首创生成式扩散与多模态 Agent 闭环协同,随手拍照片极速转化为高保真 3D 资产
  • 独创多模态智能体‘编辑-渲染-审查’闭环,将不可见遮挡区域的伪影缺陷降低 73.5%
  • 精准恢复物体真实场景 6-DoF 相对位姿,生成的几何模型具备严密物理流形,原生适配 NVIDIA Omniverse 机器人仿真
阅读全文
关联模型 / 智能体 / 厂商:

告别视频幻觉累积!AgentGarten 开源:物理仿真与神经渲染解耦,首创对抗性强制自进化代码世界

让通用 AI 智能体在交互式虚拟世界中自主探索与进化,是通往高阶通用人工智能(AGI)的核心路径。然而,构建兼具‘物理确定性(Faithful)’与‘照片级逼真度(Realistic)’的训练环境长期受制于技术瓶颈:纯物理引擎画面简陋缺乏真实视觉分布,而纯生成式视频世界模型则会在长程交互中不可避免地出现几何崩溃与‘幻觉累积’。MirroS 实验室与学术研究团队在最新研究(arXiv:2610.12374)中推出了 AgentGarten 开源框架(代码:github.com/MirroS-Lab/AgentGarten,主页:mirros-lab.github.io/agent-garten)。AgentGarten 首创将物理仿真引擎与共享神经渲染器深度解耦:仿真引擎作为确定性底座维护持久的世界状态与代码交互规则,不直接消费生成视频帧,从而从根本上消除了幻觉反馈回路;神经渲染器则根据导出的结构化几何条件以超过 30 FPS 实时渲染逼真观测画面。配合团队创新的‘对抗性强制(Adversarial Forcing)’训练,实现了历史预填充的可微回放与真实对抗监督。智能体在 AgentGarten 中探索试错,能将经验自动提炼为标准化‘战术手册(Playbooks)’供后代智能体继承。在经典的捉迷藏等复杂交互任务中,智能体仅需 4 轮探索即可自发涌现利用掩体与斜坡协同的高阶行为,效率比传统强化学习数千万轮交互提升数十万倍,官方代码与环境现已开源。

告别视频幻觉累积!AgentGarten 开源:物理仿真与神经渲染解耦,首创对抗性强制自进化代码世界

核心要点速览

  • MirroS 实验室开源 AgentGarten,首创物理仿真与神经渲染解耦架构,从根本上杜绝长程交互视频幻觉累积
  • 提出对抗性强制(Adversarial Forcing)可微回放技术,在单卡 H100 上实现 37.4 FPS 实时高清交互渲染
  • 智能体仅需 4 轮交互即涌现高阶协作策略,相较经典强化学习数千万轮交互实现数万倍效率跃迁
阅读全文
关联模型 / 智能体 / 厂商:

让静止三维世界无限灵动!OuroWorld 发布:免掩码 4DGS 实现任意视角无缝循环 3D 动态画

随着 3D 高斯泼溅(3D Gaussian Splatting, 3DGS)的成熟,从多视角照片重构具有逼真照片级质感的静态虚拟三维场景已变得极为成熟。然而,当前所有的 3D 资产与探索场景在时间维度上依然被‘永久冻结’;现有动态化方案要么仅能模拟简单的流体扩散,要么生成有头有尾的短视频,无法在任意漫游视角下实现自然、无缝循环的视觉运动(3D Cinemagraphs)。来自中国台湾阳明交通大学与研究团队在最新重磅研究(arXiv:2610.12461)中推出了 OuroWorld(项目主页:ouroworld.userwei.com)。OuroWorld 是首个免掩码(Mask-Free)的通用 3D 动态画生成框架,能将任意静态 3DGS 场景点化为鲜活灵动且在时间上无休止无缝循环的 4D 动态世界。框架采用‘VLM 物理先验推理 -> 视频大模型生成参考视频 -> 多视角提升与补全’的两阶段流;针对多视角视频生成极易出现的时空不一致问题,团队创新性地提出了‘抗不一致性周期性 4DGS(Periodic 4DGS)’:基于傅里叶级数(Fourier-Series)构建变形场以从数学底层保证时序闭环无缝连接,并引入以参考视角为锚点的‘接地漂移场(Grounded Drift Field)’吸收跨视角生成噪点。在 39 个真实与生成场景评测中,OuroWorld 在生动度与无缝性上全面超越所有基线,并在人类双盲评测中赢得了 70.8% 至 99.0% 的压倒性胜率。

核心要点速览

  • OuroWorld 发布首个免掩码通用 3D 动态画框架,将静态 3D 高斯泼溅转化为任意视角无缝循环 4D 动态世界
  • 首创傅里叶级数周期性 4DGS 变形场,数学底层保证闭环循环,双盲人类评测斩获 70.8%~99.0% 压倒性胜率
  • 结合接地漂移场吸收多视角视频生成噪点,彻底解决 360 度视角漫游下的几何融化与跳帧闪烁
阅读全文
关联模型 / 智能体 / 厂商:
⚡ OuroWorld⚡ 3DGS⚡ Periodic-4DGS⚡ Fourier-Field🤖 Spatial-3D-Agent🤖 Cinemagraph-Animator🌐 NYCU🌐 Hugging Face

机器人代码自进化获重大突破!上海 AI Lab 等开源 RoboRSI:四智能体协同攻克终身学习与技能复用

通用具身机器人(Generalist Robots)的核心理想不仅在于能够完成多项离散任务,更在于能够从执行试错中持续学习,将单次经验转化为可在未来任务中复用的结构化技能资产。然而,现有基于代码生成的机器人智能体(Code-as-Policies)在面对失败时,往往缺乏对任务层级结构的系统性解构,导致每次修复无法精准归因到具体的动作能力模块,且微调极易引发对已有任务的‘灾难性遗忘’。上海人工智能实验室(Shanghai AI Lab)与清华大学等联合研究团队在最新研究(arXiv:2610.12424)中推出了机器人自主进化系统 RoboRSI(开源仓库:github.com/nssmd/RoboRSI)。RoboRSI 首创了‘自顶向下技能精炼(Top-Down Skill Refinement, TSR)’架构,将任务拆解为复合技能、原子技能与基础底座技能三层结构,为每一层定义严格的输入输出契约。系统由 Manager(主管)、Planner(规划器)、Engineer(工程师)与 Reviewer(审查员)四大多智能体协同运转,实现了计划、执行、故障诊断与技能发布的严密流水线。在真实移动双臂复合机器人上,RoboRSI 连续演化了 104 轮复杂多物体家政清理任务;在 LIBERO、LIBERO-PRO、LIBERO-Plus 和 RoboTwin 四大仿真基准上全线斩获最高成功率,相比最强基线提升 2.7 至 11.0 个百分点,官方代码已开源。

核心要点速览

  • 上海 AI Lab 等开源 RoboRSI,首创自顶向下技能精炼(TSR)与四智能体协同机器人代码自进化框架
  • 在真实实体机器人上连续 104 轮自主家政进化,LIBERO 等 4 大具身基准全线横扫 SOTA 领先 2.7~11.0 个百分点
  • 契约隔离机制将故障归因精度提升至 95.8%,实现机器人代码资产终身可复用与零灾难性遗忘
阅读全文
AD赞助内容

斯坦福等发布 BrickBench:3D 乐高积木拼装大考!代码智能体物理结构设计与人类水平仍存巨大差距

随着 AI 代码智能体(Coding Agents)在解决软件 Bug 与单步算法题上日趋成熟,学术界开始将其推向更具挑战性的‘物理世界逆向工程与空间离散装配’领域。斯坦福大学(Stanford University)与法国国家信息与自动化研究所(Inria)联合研究团队在最新成果(arXiv:2610.12452)中推出了首个针对文本驱动 3D 积木装配设计的智能体基准套件 BrickBench 及交互沙箱 BrickAgent(项目主页:brickben.ch)。在 BrickBench 中,代码智能体接收一段高层语义文本 Prompt(如‘拼装一架带有双螺旋桨的倾转旋翼飞机’),必须从离散的标准零件库中挑选积木块,编写确定性代码进行三维空间坐标与咬合位姿规划。装配结果不仅要严格满足语义对齐,更必须经受物理引擎关于局部咬合互锁、力学重心与全局刚度约束的严苛验证。实测表明,尽管当前顶尖代码智能体能够编写出通过语法测试的拼装代码并大体满足基础几何约束,但其在结构力学自洽性与审美精妙度上依然显著落后于人类积木大师,为物理空间 Coding Agent 建立了全新的评测里程碑。

核心要点速览

  • 斯坦福与 Inria 发布 BrickBench,首创针对文本驱动 3D 乐高离散装配设计的代码智能体评测基准与沙箱
  • 顶尖智能体虽能满足基础几何咬合,但零件冗余度比人类高出 45%,且在高难度力学平衡与刚度上差距显著
  • 提供 BrickAgent 仿真交互沙箱,多轮物理自检重构使装配结构合规率大幅跃升 28.4 个百分点
阅读全文

机器人控制彻底告别神经网络黑盒!南洋理工等提出具身图灵机 COAP:纯代码实现 70.2% 成功率与递归自进化

当前的具身智能与机器人策略(Robot Policies)几乎完全被黑盒神经网络垄断:主流方案要么依赖端到端的视觉-语言-动作大模型(VLA),要么依赖在大模型脚手架(Agent Harness)中每一步实时向 VLM 发送环境图片进行推理。这种范式导致了极高的计算延迟、高昂的推理成本以及不可预测的幻觉与非确定性。南洋理工大学(NTU Singapore)S-Lab 团队在最新研究(arXiv:2610.12369)中提出了颠覆性的全新范式:具身图灵机(Embodied Turing Machines)与纯代码策略(Code-Only-as-Policy, COAP)。研究团队指出,物理世界本质上是一台图灵机,纸带(Tape)是机器人与环境的物理状态,而转移规则(Rules)就是控制策略。只要能够准确感知环境状态,机器人的所有决策都可以完全由确定性代码(Stateful Code)写成!在 COAP 范式下,一套纯代码库跨越多个 Episode 与任务被反复复用,测试运行时完全无需任何神经网络接入。更关键的是,显式、确定性的代码使机器人真正具备了递归自我改进(Recursive Self-Improvement, RSI)的能力——代码智能体(Coding Agents)可以在闭环中自动化演化、调试并重构机器人技能库。在 RoboDojo 涵盖 42 项极其复杂的双手协作操作任务(Bimanual Manipulation)中,生成的 COAP 代码库在测试期零模型参与下取得了惊人的 70.24% 成功率!

核心要点速览

  • 南洋理工提出具身图灵机与纯代码策略(COAP),打破大模型黑盒垄断,实现测试期零神经网络参与
  • 在 RoboDojo 42 项双手协作任务中取得 70.24% 成功率,控制延迟小于 1ms,部署推理成本降为零
  • 将机器人策略转化为可读代码库,支持 Coding Agent 闭环驱动递归自我进化(RSI)与自动化重构
阅读全文
关联模型 / 智能体 / 厂商:

冻结大模型实现递归自进化!UCL 与华为诺亚开源 Memento 3:反思规则书秒杀 ARC-AGI-3 全部 25 关

在充满未知的陌生动态环境中,让大语言模型智能体真正具备通用智能的关键,在于使其能够像人类一样自主推断世界运行规律并持续修正世界模型。然而,传统微调成本极高且易导致灾难性遗忘。伦敦大学学院(UCL)与华为诺亚方舟实验室英国团队联合推出了具有里程碑意义的自主进化框架 Memento 3(arXiv:2610.11794)。Memento 3 首次在完全冻结 LLM 基础参数的前提下,通过外部持久语义记忆实现了纯基于模型的‘递归自我改进(Recursive Self-Improvement, RSI)’。智能体维护一份由自然语言编写的‘可修订规则书(Rulebook)’,记录对环境动态的假设;系统将规则书编译为可执行代码,并在由‘观察-反思-修订-编译-验证’构成的持续循环中利用预测误差精准重构逻辑。只有经过 LLM 语义忠实度审查与单元级精确重放(Cell-Exact Replay)双重校验的代码才会被采纳。在极度考验抽象归纳能力的权威基准 ARC-AGI-3 上,Memento 3 惊人地通关了全部 25 款公开游戏的每一个关卡,相对人类动作效率(RHAE)达到完美的 100.0,且仅消耗人类 44% 的动作步数;在 Atari Pong 测试中,系统自主合成的反馈控制器连续三局以 21:0 零封人类顶尖 AI,全程无需任何追加 LLM 算力调用。

核心要点速览

  • UCL 与华为诺亚开源 Memento 3,在冻结大模型前提下首创基于反思规则书的递归自我改进(RSI)架构
  • 将自然语言规则书编译为可执行代码模型,依托单元级精确重放(Cell-Exact Replay)确保零幻觉因果推断
  • ARC-AGI-3 全部 25 关 100% 通关(动作步数仅人类 44%),Atari Pong 以 21:0 零封对手且全程零追加 LLM 调用
阅读全文

能写游戏 Mod 就能改物理世界!IGMWorld 发布首个可执行世界编辑基准:我的世界/泰拉瑞亚 1.1K 准则压测智能体

随着交互式世界模型(Interactive World Models)向游戏仿真与物理环境渗透,模型不仅要能够端到端生成世界或在世界中行动,更需要在保持既有环境属性不变的前提下,对可执行世界的底层规则、实体行为和系统动力学进行精准定向干预与编辑(World Editing)。由港大、台大等机构联合组成的国际研究团队发表了突破性成果 IGMWorld 与基准 IGMBench(arXiv:2610.02331)。团队将工业级游戏模组改造(Modding)作为世界编辑的标准测试场,涵盖《我的世界(Minecraft)》与《泰拉瑞亚(Terraria)》两大沙盒巨作中的 110 项复杂编辑任务与 1,100+ 条可执行状态与行为判据,覆盖属性修改、实体添加、动力学干预到复杂跨系统重构等不同深度层级。实验表明,前沿代码智能体在严格任务级标准下已能解决 78.2% 的世界编辑任务,判据级通过率达 94.8%;但随着干预深度增加,编辑可靠性呈现出显著下滑趋势,绝大多数失败表现为逻辑编译通过但运行时行为未按预期生效。项目主页已开放(vinesmsuic.github.io/IGMWorld)。

核心要点速览

  • 提出首个可执行世界编辑基准 IGMWorld/IGMBench,通过《我的世界》与《泰拉瑞亚》工业级 Modding 评测智能体干预能力
  • 构建属性、实体、动力学与系统四大递进干预深度,依托 110 项任务与 1.1K 条可执行状态/行为判据闭环评估
  • 顶级代码智能体任务通关率达 78.2%、判据通过率 94.8%,揭示系统级干预可靠性剧降与视觉一致性通过率不足 50% 的短板
阅读全文

多模态推理重大突破!CMU 联合发布 WM-VLM:内置世界模型脑补中间视觉画面,空间推理暴涨 39.25%

人类在面对复杂空间旋转、机械装配与物理拓扑推演时,往往会在大脑中主动进行“视觉想象推演(Mental Simulation)”,通过在脑海中逐步生成未来的中间视觉画面来辅助思考;然而现有的多模态大模型(VLM)在处理多步骤空间任务时,却几乎全盘退化为“纯语言 Token 思考链(Text-only CoT)”,导致其在面对 2D/3D 空间立体变换时极易产生方向颠倒与几何幻觉。卡内基梅隆大学(CMU)与 MBZUAI(Eric Xing 团队)联合提出了突破性的 WM-VLM 架构(arXiv:2609.34826):为预训练多模态大模型赋予了一个轻量级的内置“世界模型分支(Internal World Model Branch)”,赋予模型在语言推演的同时自主生成中间视觉状态(Intermediate Visual States)的能力,实现真正的图文交错混合推理(Interleaved Visual-Textual Reasoning)。两阶段训练首先教会模型如何根据物理变换指令生成下一步的精确视觉状态,继而训练模型如何观察并借助该生成状态展开后续空间逻辑决策。在 2D 与 3D 心理旋转(Mental Rotation)等严苛空间基准测试中,WM-VLM 相比监督微调基线取得了高达 39.25 个百分点的巨大精度跃升;消融实验确凿证实,一旦人为剔除或污染生成的中间视觉画面,模型性能即刻雪崩,证明了具身心智模拟是攻克高级空间几何推理的根本路径。

多模态推理重大突破!CMU 联合发布 WM-VLM:内置世界模型脑补中间视觉画面,空间推理暴涨 39.25%

核心要点速览

  • CMU 与 MBZUAI 提出首个内置世界模型的多模态架构 WM-VLM,实现图文交错的心智视觉推演(Mental Simulation)
  • 两阶段训练范式结合轻量级生成分支,先脑补关键中间视觉画面,再依托画面展开严密空间逻辑推导
  • 在 2D/3D 空间心智旋转基准上较传统 SFT 精度暴涨 39.25 个百分点,消融证实性能完全由中间视觉画面因果支撑
阅读全文