AI 编程实时动态与要闻

微软亚研院开源 WildAWM:野外环境通用智能体世界模型,重构 GUI 与网页端到端仿真底座

微软亚洲研究院(MSRA)研究团队在 arXiv:2610.26828 正式发布并开源通用智能体世界模型 WildAWM(MSR-Orchard/WildAWM)。针对当前跨平台 GUI 与网页浏览智能体(Computer-Use Agents)在训练和评测中高度依赖昂贵、慢速且不可撤销的真实物理沙盒环境的痛点,WildAWM 首创可适应野外复杂异构环境的多模态自回归世界模型架构。模型能够在接收任意智能体动作(点击、输入、滚动)后,极其逼真地预测网页与桌面操作系统下一帧的高保真视觉状态演化与 DOM 结构变化,成功替代物理沙盒,为大规模自主智能体的离线强化学习与安全预演树立了全新基座。

微软亚研院开源 WildAWM:野外环境通用智能体世界模型,重构 GUI 与网页端到端仿真底座

核心要点速览

  • 微软亚研院在 arXiv:2610.26828 开源 WildAWM,首创面向真实野外复杂环境(桌面/Web)的智能体世界模型
  • 彻底破解 GUI 智能体训练依赖真实物理服务器与网页环境造成的昂贵算力开销和状态破坏风险
  • 基于动作条件(Action-Conditioned)的多模态自回归架构,精准仿真点击、键盘输入与长页面滚动后的视觉响应
  • 在跨电商、CRM 与操作系统多项仿真一致性评测中大幅超越传统离散状态转移模型,全面开源代码与权重
阅读全文

全模态端侧 GUI Agent 突破:阿里等团队提出 FocusGUI,Type Match 翻倍跃升至 64.2%

阿里巴巴与多所高校科研团队在 arXiv:2610.26203 中提出面向移动端与桌面全模态图形界面智能体的革新架构 FocusGUI。针对现有多模态 GUI 智能体在处理包含连续高频截图、同步音频流、交互历史与设备状态的庞大输入时,极易因信息瞬态冗余陷入“时序干扰(Sequential Distraction)”、产生复合决策错误的问题,FocusGUI 提出了基于动作充分投影与自适应信道分解的动态聚焦机制。在覆盖 29 款主流 APP、2572 个真实操作步骤的 OmniGUI 基准上,FocusGUI 将 Qwen2.5-Omni 等四大开源底座的类型匹配率(Type Match)从 31.0% 大幅翻倍提升至 64.2%,精确匹配率从 11.2% 飙升至 33.5%。

全模态端侧 GUI Agent 突破:阿里等团队提出 FocusGUI,Type Match 翻倍跃升至 64.2%

核心要点速览

  • 阿里等研究团队在 arXiv:2610.26203 中发布 FocusGUI,攻克图文声多模态 GUI Agent 普遍面临的“时序注意力涣散”痛点
  • 提出动作充分投影(Action-Sufficient Projection)与动态信道分解,自适应滤除流式会话中数秒前已过期的视觉与音频噪点
  • 在权威 OmniGUI 基准测试中(29 款真实应用,2572 交互步),将全模态底座的动作类型匹配率从 31.0% 翻倍拉升至 64.2%
  • 完全兼容 Qwen2.5-Omni、MiniCPM-o 4.5、VITA-1.5 与 Baichuan-Omni 等主流开源端侧大模型,为手机与车机端全天候语音视觉伴侣扫清障碍
阅读全文
关联模型 / 智能体 / 厂商:
⚡ Qwen2.5-Omni⚡ MiniCPM-o 4.5⚡ VITA-1.5⚡ Baichuan-Omni-1.5🤖 FocusGUI🌐 Alibaba

告别像素重构幻觉!首个隐空间 GUI 世界动作模型发布:延迟暴降 98.9%,在线任务成功率狂飙 40.6%

近期兴起的像素级世界模型(Pixel-space World Models)试图通过预测执行后的未来屏幕画面再反向选动作,但在 GUI 环境中面临双重困境:全屏像素重构计算成本极高,且极易触发“恒等捷径”(Identity Shortcut,即预测画面倾向于维持原样而非体现动作引发的变化)。KAIST 等团队提出首个专为 GUI 智能体打造的隐空间世界动作模型(Latent World Action Model):将预测目标从全屏像素渲染转移至动作引发的隐空间动态转移,引入动作选择与预测转移双头架构及动作感知对比学习。实验显示,在线任务成功率暴增 40.6%,同时将推理延迟大幅压缩了 98.9%。

告别像素重构幻觉!首个隐空间 GUI 世界动作模型发布:延迟暴降 98.9%,在线任务成功率狂飙 40.6%

核心要点速览

  • 破除全屏重构开销与恒等捷径:将未来状态建模从高成本、易抄袭前帧的像素图像生成,重构为轻量级隐空间动态转移预测
  • 解耦双头与动作对比学习:利用多模态大模型基座支撑动作选择与未来转移双预测头,引入对比损失强迫模型捕获动作诱发的细粒度变化
  • 速度与成功率双重飞跃:离线与在线 GUI 任务成功率分别提升 31.9% 与 40.6%,推理延迟断崖式缩减 98.9%,满足实时操作需求
阅读全文
关联模型 / 智能体 / 厂商:
⚡ Latent-WAM⚡ Pixel-World-Model⚡ Claude 3.5 Computer Use🤖 GUI Agents🤖 Desktop OS Agents🌐 KAIST🌐 Yonsei University

底座模型冻结也能自进化!GUI-HARVEST 开源图形智能体进化架构:OSWorld 狂飙 12.3 分,跨平台迁移 GPT-5 涨 13.8%

包裹在图形界面大模型(GUI Models)外部的可执行测试与运行框架(Agent Harness),负责掌控从多模态观测组装、动作空间解析,到异常恢复、校验重试与终态停止的全部控制中枢。然而,在底座多模态权重保持冻结的前提下,如何自动优化这一外层 Harness 长期面临三大咬合难题:如何将抽象意图与界面真实前后视觉跳变精确挂钩、如何在充满随机波动的执行中精准归因故障、以及如何将多任务中沉淀的失败模式转化为确定性的代码级修正。来自浙江大学与新加坡国立大学等机构的研究团队提出了全自动 Harness 进化框架 GUI-HARVEST(arXiv:2610.00948)。GUI-HARVEST 创造性地将模型动作与前后截图的界面转移动态对齐,把同一任务的多轮重复运行作为联合证据单元,将验证过的复发失败模式自动映射为对 Harness Python 源码的有界代码编辑。在 OSWorld-Verified 评测中,GUI-HARVEST 驱动各大主流模型全面爆发,Qwen3-VL-32B-Instruct 性能暴涨 12.33 个百分点;更为震撼的是,在 OSWorld 上进化出的冻结 Harness 零样本迁移至 WindowsAgentArena 时,直接让 GPT-5 在 50 步任务中的完成率暴涨 13.87 个百分点。代码已在 GitHub 全面开源(github.com/GaryYang12345/GUI-HARVEST)。

核心要点速览

  • 提出首个面向 GUI 智能体的全自动 Harness 源码级进化框架 GUI-HARVEST,实现底座权重完全冻结下的自主进化
  • 将动作意图与前后截图界面跃迁精准对齐,依托跨任务复发失败模式直接自动重构生成 Python 调度补丁
  • OSWorld 上 Qwen3-VL-32B 性能暴增 12.33 分,进化出的 Harness 零样本跨平台迁移至 Windows 助推 GPT-5 暴涨 13.87 分
阅读全文
关联模型 / 智能体 / 厂商:
AD赞助内容