针对闭源通用计算机操作智能体(如 GPT-6 Astra Computer Use)难以系统研究与复现的痛点,阿里通义 MAI 团队重磅连发两项开源工程:全栈通用计算机使用框架 OpenGCUA(arXiv:2610.22200)与支持 2 万并发实例的在线强化学习平台 MAI-Gym(arXiv:2610.20939)。OpenGCUA 融合视觉 GUI 与程序化代码执行,在 OSWorld-v2 上使包括 GPT-6 Astra 与 Claude Opus 5 在内的全部 8 款模型平均提分 19.6 分、执行步数减少 53.0%;MAI-Gym 训练出的 9B 模型更在 MobileWorld(78.4%)与 OSWorld-Verified(76.2%)创下 10B 内开源 SOTA。

核心要点速览

  • ✓开源通用计算机操作全栈 OpenGCUA:融合 GUI 视觉交互与代码执行,在 OSWorld-v2 上使 GPT-6 Astra 与 Claude Opus 5 等 8 款模型平均提分 19.6 分、步数锐减 53.0%
  • ✓揭示真机 Token 效率代差:在真实 macOS 任务测试中,发现 Qwen3.8-Max 消耗的推理 Token 数高达 GPT-6 Astra 的 19.4 倍
  • ✓MAI-Gym 支撑 2 万并发实例在线 RL:训练出 MAI-Gym-9B 斩获 MobileWorld 78.4% 与 OSWorld-Verified 76.2%,且仿真训练迁移至真机购票成功率从 28.8% 跃升至 48.1%
阿里通义 MAI 开源通用计算机操作全栈 OpenGCUA 与 MAI-Gym:OSWorld-v2 暴涨 19.6 分、步数锐减 53%
🖼️要闻配图
点击全屏高清查看
🧭

把技术选型换算成你的开发预算

40 款主流编程套餐横向比价,支持输入/输出 Token 真实账单模拟

🔬

深度技术解析与实战评估

核心背景与行业痛点

计算机使用智能体(Computer-Use Agents, CUA)正在迎来范式拐点:行业重心正从单纯模仿人类鼠标点击的“纯视觉 GUI 交互”,演进为同时自主调用图形界面与底层程序化接口(Bash/Python/API)的“通用计算机操作智能体(GCUA)”。然而,以 GPT-6 Astra 为代表的顶尖商业 Computer-Use 系统其底层脚手架(Harness)高度闭源;同时,跨桌面与移动端的交互式环境极其沉重,缺乏能支撑数万并发的在线可验证强化学习(RLVR)训练基础设施。

架构亮点与底层机制

阿里通义 MAI 团队通过 OpenGCUA 与 MAI-Gym 两篇高赞论文(HF 合计超 360 赞)彻底开源了通用计算机操作的软硬件全栈:

  1. 视觉与代码执行融合 + 脚手架向模型控制权转移(OpenGCUA):允许智能体根据中间结果动态选择是通过 GUI 点击还是直接运行代码脚本完成任务,并提出“Harness-to-Model 决策转移”,将原本写死在外部规则中的观测筛选与状态判断内化交由模型自主决策,配套开源跨桌面、移动端与浏览器的统一 SDK 及真机 Harness;
  2. 20,000 并发环境实例与合成应用验证器(MAI-Gym):构建了打通手机、电脑与 Web 的一站式评测与在线 RL 平台,支持 20,000 个并行环境实例 高吞吐采样,并能自动合成带执行验证器的可重置仿真 App(Mocked Apps)与跨应用任务世界。

权威 Benchmark 与实测跑分对比

在权威桌面与移动端基准及 macOS/Android 真机实测中,两套开源系统均交出统治级答卷:

  • OSWorld-v2 八大模型全线暴涨 +19.6 分、步数砍半:在 OSWorld-v2 上,接入 OpenGCUA 使涵盖 GPT-6 Astra、Claude Opus 5 与 Qwen3.8-Max 在内的全部 8 款模型成绩大幅跃升,平均局部得分提升 +19.6 分,且单任务平均执行步数锐减 53.0%;同时真机评测揭示,在 4 个真实 macOS 任务上,Qwen3.8-Max 消耗的推理 Token 数高达 GPT-6 Astra 的 19.4 倍;
  • MAI-Gym-9B 刷新 10B 内开源 SOTA 并实现 Sim-to-Real 真机迁移:基于 MAI-Gym 训练的 MAI-Gym-9B 在 MobileWorld 斩获 78.4%、在 OSWorld-Verified 达到 76.2%;更重要的是,在仿真火车购票 App 中进行的 RL 训练直接迁移至真实物理手机商业 App 时,将任务成功率从 28.8% 飙升至 48.1%。

开发者实战落地与开箱指南

两大仓库均已在 GitHub 开源(https://github.com/Tongyi-MAI/OpenGCUA 与 https://github.com/Tongyi-MAI/MAI-Gym):

  • 构建混合态桌面 Agent:切勿强迫模型用纯坐标点击处理 Excel 或批量文件整理,直接复用 OpenGCUA 的跨设备 SDK,赋予 Agent 在 GUI 操作中途随时切入 Python/AppleScript 代码执行的自由度;
  • 仿真 App 在线 RL 迁移:利用 MAI-Gym 提供的 2,000 个已验证任务与合成技能,在低成本 Mock 环境中跑通在线 RL 后再部署至真机业务端。
实战指南准备好将技术转化为生产力?

即刻查看该技术对应模型与主流工具的实测差异,或一键测算团队 API 调用与 $20/月套餐盈亏平衡点。

接着读底座模型冻结也能自进化!GUI-HARVEST 开源图形智能体进化架构:OSWorld 狂飙 12.3 分,跨平台迁移 GPT-5 涨 13.8%
立即阅读→