AI 编程实时动态与要闻

2026-11-06，Cua（@trycua）与 Scale AI AgentEnv 联合发布 Cua Driver Bench（Bench v2）：固定 Claude Sonnet 5.5 与任务，只换 computer-use driver，考核任务完成、仅 GUI、以及 8 项「用户未被打扰」。Scale 口径 macOS 后台全通过：cua-driver 约 58%（23/40）、agent-desktop 约 20%、browser-use 约 3%；Cua 自跑 Codex Computer Use 约 33%。任务与轨迹公开可复跑。

查看大图

微软 Mage 团队 10 月 30 日在 Hugging Face 以 Apache-2.0 发布 Mage-VL-Cowork：4B 参数的多模态电脑操作智能体，同一个模型每一步自己选择用截图点界面（computer_use）还是在终端跑 bash/Python，不需要外部调度器。官方报告它在 OSWorld-Verified（361 题、50 步上限）两次平均 66.0%，高于 Qwen3.6-27B 的 63.9%，但仍低于 9B 的 SCALECUA-Qwen3.5-9B（68.7%）。

查看大图

阿里巴巴通义实验室（Tongyi-MAI）在 arXiv:2610.22200 正式发布并全面开源 OpenGCUA（Open Generalist Computer-Use Agent）通用计算机控制智能体技术栈。针对当前 GUI 智能体过度依赖逐帧截图与单点点击、无法执行高效批处理操作的行业痛点，OpenGCUA 首创“代码执行即行动（Code-Execution-as-Action）”范式，将视觉感知、可访问性树（Accessibility Tree）、Bash 脚本与 Playwright API 深度融合。在权威 OSWorld-v2 基准测试中，OpenGCUA 推动各大主流前沿模型平均得分大幅提升 19.6 分，同时将任务完成平均步数削减 53.0%，并配套开源了 macOS 实体机状态栏应用与跨设备 SDK。

查看大图

多所顶尖高校与科研团队在 arXiv:2610.28601 中提出突破性计算机使用智能体（CUA）自我演化架构 Evolving Agent Interfaces 与 Agent S4。传统 CUA 往往被严重限制在人类设计的低效图形界面中（如通过鼠标逐格点击电子表格），导致长程任务步骤冗长且极易因微小误触失败。该框架打破固定接口束缚，赋予元智能体（Meta-Agent）在任务执行中根据运行环境与需求，自主编写、测试并动态演化专属编程 API 与专用代码仓库的能力。在最具挑战的 OSWorld V2 与 ScienceBoard 权威基准上，该方法使 27B 开源模型成功率从 55.03% 跃升至 58.58%（净多解决 6 项核心任务），以极小开销逼近商业前沿旗舰模型。

查看大图

针对闭源通用计算机操作智能体（如 GPT-6 Astra Computer Use）难以系统研究与复现的痛点，阿里通义 MAI 团队重磅连发两项开源工程：全栈通用计算机使用框架 OpenGCUA（arXiv:2610.22200）与支持 2 万并发实例的在线强化学习平台 MAI-Gym（arXiv:2610.20939）。OpenGCUA 融合视觉 GUI 与程序化代码执行，在 OSWorld-v2 上使包括 GPT-6 Astra 与 Claude Opus 5 在内的全部 8 款模型平均提分 19.6 分、执行步数减少 53.0%；MAI-Gym 训练出的 9B 模型更在 MobileWorld（78.4%）与 OSWorld-Verified（76.2%）创下 10B 内开源 SOTA。

查看大图

随着 Anthropic Computer Use 与各类桌面自动化智能体（Computer-Use Agents, CUAs）加速接管操作系统操作，如何科学评估多步骤 GUI 交互的真实能力成为业界最急迫的命题。现有的代表性基准（如 OSWorld）主要依赖最终结果判定（Outcome-based Verification），即在 Agent 执行了数百步鼠标键盘操作后，仅检测最终文件或系统状态是否发生改变。这种“黑盒终态评估”完全掩盖了智能体在中间步骤中“如何犯错”与“为何失败”——例如因键盘输入打字错误失败，与因视觉定位不准导致鼠标误点失败，所需要的工程修复路径完全风马牛不相及。NVIDIA 研究团队推出了首个基于全流程过程解构的桌面智能体评测系统 OSWorld-Pro（arXiv:2609.24890）：包含 300 多个真实系统级生产任务，将其细粒度拆解为 2,800 多个连续依赖的子目标（Subgoals），并依托 67,000 多条高质量人类专家操作注释作为基准。通过人类对齐的 LLM-Judge 对各阶段子目标达成度展开逐层量化，评测揭示即便是业界最前沿模型如 Claude Opus 5 在 OSWorld-Pro 上的得分也仅为 75.7%（低于标准 OSWorld 的 83.4%），并精准捕获了无效漫游动作与点击像素级偏移两大核心故障模式。

查看大图

真实的软件研发远不止在文本编辑器中敲击代码：工程师必须频繁启动软件、与图形界面（GUI）交互、视觉观察组件渲染与动态反馈，以此推断故障根因并验证修复成效。然而长期以来，代码智能体（Coding Agents）与计算机使用智能体（Computer-Use Agents, CUA）被高度割裂在纯代码与纯操作两个极端孤岛中。由俄亥俄州立大学（OSU）、卡耐基梅隆大学（CMU）等机构联合推出的 CUA-SWE，是全球首个将计算机使用深度融入软件工程全生命周期的基准与评测环境。该基准涵盖四大核心工程领域，要求智能体在同一长程任务中交替修改源码/配置、执行终端指令、操控运行中的应用程序并审查视觉截图反馈，由确定性测试集保障软件行为合规，为多模态智能体演进提供了全新的统一试炼场。

查看大图

现有多模态计算机使用智能体（CUA）在处理复杂桌面任务时面临严峻两难：完全依赖图形界面（GUI）点击输入容易受动态渲染和窗口遮挡影响，不仅推理极为缓慢且极易出错；而依赖特定应用程序的专有 API 又需耗费巨大的定制工程，根本无法泛化至数以万计的日常软件。浙江大学联合研究团队推出首个软硬兼施的跨平台计算机使用智能体框架 HybridCUA。通过构建包含 5,000 条混合轨迹与 3,000 个强化学习可验证任务的 HybridCUA-8K 基准，提出两阶段训练机制：先通过多模态 SFT 学习图文与命令行的交替调用，再通过命令行感知强化学习（CLI-Aware RL）激励模型在关键节点自适应决策使用 Shell 脚本。在主流真实操作系统基准 OSWorld 上，HybridCUA-9B 达到 53.6% 成功率，相比基础模型暴涨 14.8 个百分点，并在 WindowsAgentArena 获得 4.0 个百分点跨平台增益。

查看大图