阿里通义实验室开源 OpenGCUA:通用计算机控制智能体全开源技术栈,OSWorld 步数锐减 53%
阿里巴巴通义实验室(Tongyi-MAI)在 arXiv:2610.22200 正式发布并全面开源 OpenGCUA(Open Generalist Computer-Use Agent)通用计算机控制智能体技术栈。针对当前 GUI 智能体过度依赖逐帧截图与单点点击、无法执行高效批处理操作的行业痛点,OpenGCUA 首创“代码执行即行动(Code-Execution-as-Action)”范式,将视觉感知、可访问性树(Accessibility Tree)、Bash 脚本与 Playwright API 深度融合。在权威 OSWorld-v2 基准测试中,OpenGCUA 推动各大主流前沿模型平均得分大幅提升 19.6 分,同时将任务完成平均步数削减 53.0%,并配套开源了 macOS 实体机状态栏应用与跨设备 SDK。

核心要点速览
- 阿里通义开源 OpenGCUA 全技术栈,收录于 arXiv:2610.22200,代码采用 Apache 2.0 协议全面开源
- 提出“代码执行即行动”机制,将多轮循环点击转化为包含条件分支、循环与 API 调用的聚合 Python/Bash 脚本
- 在权威 OSWorld-v2 基准测试中,推动跨 8 大前沿模型平均基准分提升 +19.6 分,平均执行步数削减 53.0%
- 开源发布 macOS 物理设备状态栏调度 Harness 及连接 PC、浏览器与移动端的 Cross-Device SDK
