AI 编程实时动态与要闻

阿联酋穆罕默德·本·扎耶德人工智能大学（MBZUAI）基础模型研究院 IFM 11 月 10 日发布开源世界模型 PAN 2。它把「概念推理」和「感知推理」分开：多模态 LLM 先把当前画面和文字动作写成带时间戳的结构化世界状态，再由从零训练的 29B 潜空间扩散模型生成最长 20 秒、704×1248、24fps 的模拟视频，让 Agent 在真正动手前先「预演」每个候选方案。权重和代码以 Apache 2.0 开源，Diffusers 与 vLLM-Omni 首日支持。官方也坦言约三分之二的多步计划模拟里至少有一步没执行到位。

查看大图

Google DeepMind 10 月 27 日发布 Genie 4，称其为迄今最逼真、交互性最强的世界模型。它基于 Gemini Omni，提升了物理和人物动作的真实感，首次原生生成环境声和可互动的角色对话，并由 Gemini 3.8 Flash 在回路中规划复杂事件。目前只向受信测试者开放研究预览，即将登陆 Google AI Ultra（Project Genie）及 Gemini API / AI Studio 早期伙伴；官方未公布量化跑分。

查看大图

微软亚洲研究院（MSRA）研究团队在 arXiv:2610.26828 正式发布并开源通用智能体世界模型 WildAWM（MSR-Orchard/WildAWM）。针对当前跨平台 GUI 与网页浏览智能体（Computer-Use Agents）在训练和评测中高度依赖昂贵、慢速且不可撤销的真实物理沙盒环境的痛点，WildAWM 首创可适应野外复杂异构环境的多模态自回归世界模型架构。模型能够在接收任意智能体动作（点击、输入、滚动）后，极其逼真地预测网页与桌面操作系统下一帧的高保真视觉状态演化与 DOM 结构变化，成功替代物理沙盒，为大规模自主智能体的离线强化学习与安全预演树立了全新基座。

查看大图

多所顶尖研究机构在 arXiv:2610.28554 中正式发布革命性多智能体世界模型架构 OverSeer。针对现存视频世界模型在扩展至多智能体协同场景时，各 Agent 视界受限（局部可观察性）、传统方案过度依赖外部地图拼接输入，导致多视角画面严重冲突与空间位置漂移的行业痛点，OverSeer 提出“将全局空间辅助流与多智能体第一人称流进行联合预测”的全新机制。在经典开放世界测试环境 Minecraft 的严格基准评测中，OverSeer 在空间定位（Grounding）、长程空间记忆（Memory）与多视角一致性（Consistency）指标上全面超越现有顶级基线，彻底消除了群体智能体在空间盲区下的物理幻觉。

查看大图

在 GTC Berlin 开幕主题演讲中，NVIDIA 官方集中发布了横跨多个专业垂直领域的全新开源模型矩阵。核心亮点包括：支持长文本视觉推理的 Nemotron 3.5 Super VL 与即开即用的 Bolt 系列语言模型；专为高精度 RAG 打造的 Nemotron Retriever 嵌入、重排与文档解析全套套件；面向实体工业的 Cosmos 物理世界模型；面向自动驾驶的 Alpamayo 2 Edge；以及与华盛顿大学 Baker 实验室联合开发的蛋白质生成大模型 BioNeMo RFD4-Proteina。官方实测显示，RFD4-Proteina 在 10 项以上蛋白质设计基准中斩获全球第一，在 200 个氨基酸的靶点设计上比 RFdiffusion3 提速惊人的 13 倍。

查看大图

研究团队在 arXiv:2610.27999 中正式发布第四代交互式游戏世界模型系统 Matrix-Game 4.0。针对当前基于视频扩散模型的生成式世界普遍停留在“仅视觉受控”、缺乏持久游戏状态（World State）、无法严密执行游戏规则（如碰撞检测、计分、死亡判定）以及超高交互延迟的根本缺陷，Matrix-Game 4.0 提出了“游戏执行与视觉生成彻底解耦”的创新架构。通过轻量级可执行游戏脚手架维护物理与规则，驱动高帧率自回归视频生成骨干网络，在 100% 保障游戏可玩性与状态持久一致的同时，实现了真正实时的沉浸式游戏世界交互体验。

查看大图

来自多所高校的研究团队在 arXiv:2610.25861 中提出突破性世界模型动作接口 ActionRoPE 与坐标条件噪声调度算法（CNS）。针对俯视角与等距视角游戏世界模型中，传统将动作作为特征条件注入容易导致空间混淆、无法对齐世界坐标以及玩家返回旧场景时产生严重画面漂移（Revisit Drift）的行业痛点，ActionRoPE 创新性将动作驱动的相机位移直接转换为世界坐标旋转位置编码（RoPE），赋予相同空间物理位置恒定的位置地址。实测显示，该方法在保持动作遵循精度的同时，将重访漂移大幅削减 66%，并无缝泛化至 1.3B 到 33B 参数量的各大视频生成底座。

查看大图

慕尼黑工业大学（TUM）研究团队在 arXiv:2610.16763 中开创性提出将关系型数据库交互建模为环境世界模型的 TabWM（Tabular World Model）框架与 WorldRel 生成器。针对现有关系型机器学习仅能静态预测表格属性、无法推演特定业务操作对数据库状态演化后果的根本缺陷，TabWM 将操作数据库视作离散“关系世界”，通过离线执行日志推演动态状态转移，为企业自主决策智能体与数据库离线强化学习铺平道路。

查看大图

马里兰大学与 Google、MBZUAI 研究人员在 arXiv:2610.18082 中提出长程智能体故障自愈框架 BeliefWeaver。针对自主 Agent 在复杂任务中因数步之前的隐蔽错误导致后期崩溃、传统局部反思或简易回滚无法定位根因的痛点，该框架维护跨尝试周期的关系型全局信念状态（Relational Belief State），引入隐式世界模型（IWM）预测修复收益并门控执行。经在策略蒸馏（OPD）微调后，9B 轻量学生模型在终端基准上超越基线 9.8 个百分点，且 API 成本大幅缩减 54.8%。

查看大图

由 Maluuba（已被微软收购）原班团队创办的 Skyfall AI 于 10 月 19 日发布研究预览版 SKY-001，自称首个「工程世界模型」。它不做下一个 token 预测，而是从文字或一张 2D 图出发，先并行生成几种粗略 3D 方案，再递归拆成零件树，逐个零件画 2D 草图、拉伸成 3D，最后按层级组装，可在 Autodesk Fusion 等 CAD 软件中查看。官方自测 3D CAD 任务：IoU 79.7%（GPT-6 Astra 79.1%），单例 3.9 秒、0.005 美元（Astra 199 秒、0.75 美元）。目前仅开放候补名单，商用部署目标是 2027 年初；所有跑分均为厂商自测，暂无独立复现。

查看大图

现有视频世界模型评测通常将场景记忆与动作执行揉合为单一最终得分，导致模型因未能生成动作而产生的状态缺失被错误归咎于记忆遗忘。香港大学与清华大学团队发表 MIST（arXiv:2610.23542，HF 12 赞，开源代码与主页上线）。该基准首次将“前置动作是否执行”与“后续场景是否记忆”彻底解耦，实测表明在主流视频世界模型中，高达 70% 的表面记忆失败本质上是动作执行失败；引入 M3 执行感知提示与多阶段分离评测后，世界模型真实长程记忆准确率提升 11.8 至 29.6 个百分点。

查看大图

现有 3D 世界模型多直接采用几何基础模型（GFM）特征作为状态，但视角依赖性导致相机运动与场景演变相互纠缠，长链路外推极易发生尺度漂移崩溃。同济大学与腾讯团队发表 GeoState（arXiv:2610.22343，项目主页上线）。该框架利用场景 Tokenizer 将多视角几何特征聚合为视角解耦的世界状态，自回归模型仅推演绝对场景状态，在 Waymo 自动驾驶长程深度预测中全程保持单一上下文尺度，且零样本泛化至 KITTI 与 nuScenes。

查看大图

机器人世界模型在面对未直接可视的环境物理特性（摩擦力、质量、重力、接触刚度）时往往预测失准。斯坦福大学与卡内基梅隆大学（CMU）携手丰田研究院（TRI）发表 T2-z（arXiv:2610.22364，GitHub: T2-z-latent-optimization/T2-z）。该方法在冻结预训练世界模型的前提下，在测试时仅需单次交互轨迹即可自适应优化紧凑的环境隐变量 z_e，在 7 项仿真与 4 项真机任务中将物理预测误差减半，真机动作成功率从 33.73% 暴涨至 72.96%。

查看大图

针对视觉-语言-动作（VLA）模型中高层语义特征、世界模型视频预测与底层高频动作控制相互割裂的难题，中关村学院与清华团队提出共享预测意图模型 PINT（arXiv:2610.16355），在无需具身预训练下将 RoboTwin 2.0-Hard 成功率从 StarVLA 的 3.2% 提升至 15.5%（4.8倍）；同日发表的 PAIR（arXiv:2610.09016）与北大 SimForcing（arXiv:2610.06598）分别通过训练期掩码动作自编码器桥接令牌与仿真运动先验蒸馏，实现零额外推理延迟下的真机操控跃升。

查看大图

针对多模态生成模型向“严守物理与逻辑规则的世界模型”演进中的验证、评测与强化学习对齐难题，今日三项重磅研究给出系统答案：OmniVerifier-C1（arXiv:2610.22355，HF 32 赞）通过解耦强化学习（DAPO）将提示词拆解为子问题二元判断与全局连续打分，在 ViVerBench 上提至 0.684 并将 FLUX.1-dev 的 GenEval 推至 0.79；美团开源 320 例多步世界状态预测基准 WorldCast（arXiv:2610.20731，HF 30 赞），揭示 GPT-Image-2.5 System 达 72.8 分而最强开源模型仅 20.1 分；新加坡国立大学提出路由策略优化 RPO（arXiv:2610.22282），将注意力块路由作为随机探索动作，以仅 24.1 GPU 小时（较 Flow-GRPO 与 DanceGRPO 分别快 3.1 倍和 4.2 倍）大幅提升视频生成语义对齐。

查看大图