阿里通义实验室开源 OpenGCUA：通用计算机控制智能体全开源技术栈，OSWorld 步数锐减 53%

核心背景与行业痛点

随着多模态大模型在 GUI 操作领域的爆发，计算机使用智能体（Computer-Use Agents，如 Anthropic Computer Use 或开源 GUI 智能体）成为热点。然而，现存的 GUI 智能体普遍采用脆弱的“纯视觉离散动作循环”机制：Agent 截取全屏图像、分析坐标、下发单次鼠标点击或键盘按键、然后再截取全屏验证。这种模式存在致命缺陷：延迟巨大、Token 消耗惊人、缺乏容错能力。例如，当需要将电子表格中的 50 行数据逐行复制到网页表单时，纯 GUI 智能体需要经历上百轮漫长的“截图-推理-点击”循环，极易因网络微小延迟或弹窗遮挡导致整个任务崩溃。为了从根本上攻克这一工程痛点，阿里巴巴通义实验室（Tongyi-MAI）在技术报告 arXiv:2610.22200 中正式开源了首个全栈通用计算机控制智能体框架 OpenGCUA（Open Generalist Computer-Use Agent）。

架构亮点与底层机制

1. 代码执行即行动（Code-Execution-as-Action）新范式：

• 彻底打破“一次请求只输出一个坐标点击”的传统束缚；
• OpenGCUA 赋予智能体直接编写并运行复合代码块（如结合 pyautogui、Playwright、系统 bash 命令与 Python 脚本）的能力；
• 包含数据循环过滤、DOM 元素批量抓取与系统文件读写的长序列任务，被压缩在单个端到端代码块中本地高速运行，无需向云端大模型发起多轮往返请求；

1. 多源感知动态决策（Hybrid Perception & Decision Transfer）：

• 系统将屏幕像素视觉、系统底层无障碍辅助功能树（Accessibility Tree / AX API）与应用层 RESTful/CLI 接口高度融合；
• 智能体能够自主判断何时通过高精 API 快速执行、何时调用系统 Shell，仅在不可避免时才回退至 GUI 视觉定位；

1. 开箱即用的跨设备基础设施：

• 团队配套开源了 macOS 物理设备 Harness（支持在 Mac 菜单栏直接挂载并接管物理屏幕与软件）；
• 提供了一套统一的 Cross-Device SDK，实现桌面端操作系统、浏览器环境与移动端界面的多端统一调度。

权威 Benchmark 与实测跑分对比

团队在包含高度复杂真实操作系统任务的权威基准 OSWorld-v2 上展开了详尽实测（Table 2, Figure 2）：

• 全模型通用性能暴涨：
• 在横跨 8 款顶尖前沿大模型（涵盖 GPT-6 Astra、Claude Opus 5、Gemini 3.8 Flash 及开源 Qwen 系列）的系统评估中，接入 OpenGCUA 架构后，各模型的任务平均得分提升高达 +19.6 分；
• 任务执行效率飞跃：
• 相较于传统的纯 GUI 动作批处理方案，OpenGCUA 将完成任务所需的平均操作步数大幅削减 53.0%；原本需要 40 次界面交互的冗长流程被缩短为 15 步以内的精准代码批处理；
• 大幅弥合开源与闭源代差：
• 评测显示，参数量较小的开源轻量级模型借助 OpenGCUA 的代码执行与结构化观察能力，其最终任务完成率逼近以往仅有昂贵商业旗舰模型才能达到的基准线。

开发者实战落地与开箱指南

• 技术论文与源码仓库：
• 论文地址：arXiv:2610.22200；
• GitHub 仓库：已完全开源在 Tongyi-MAI 组织下，采用商业友好的 Apache 2.0 许可；
• 实战部署建议：
• 从事 RPA 流程自动化、桌面办公辅助 Agent 或跨应用测试平台开发的团队，应立即从“基于坐标点击的纯视觉方案”升级为 OpenGCUA 的“代码行动与混合感知”架构，在彻底降低 API 调用开销的同时，获得质的飞跃级鲁棒性与执行速度。