现有多模态计算机使用智能体（CUA）在处理复杂桌面任务时面临严峻两难：完全依赖图形界面（GUI）点击输入容易受动态渲染和窗口遮挡影响，不仅推理极为缓慢且极易出错；而依赖特定应用程序的专有 API 又需耗费巨大的定制工程，根本无法泛化至数以万计的日常软件。浙江大学联合研究团队推出首个软硬兼施的跨平台计算机使用智能体框架 HybridCUA。通过构建包含 5,000 条混合轨迹与 3,000 个强化学习可验证任务的 HybridCUA-8K 基准，提出两阶段训练机制：先通过多模态 SFT 学习图文与命令行的交替调用，再通过命令行感知强化学习（CLI-Aware RL）激励模型在关键节点自适应决策使用 Shell 脚本。在主流真实操作系统基准 OSWorld 上，HybridCUA-9B 达到 53.6% 成功率，相比基础模型暴涨 14.8 个百分点，并在 WindowsAgentArena 获得 4.0 个百分点跨平台增益。

核心要点速览 (Key Takeaways)

  • ✓GUI 与 CLI 双流深度融合：打破以往 CUA 仅靠视觉截屏模拟鼠标键盘点击的单一范式，将 Bash/PowerShell 脚本的高效确定性与图形界面的广泛通用性无缝打通。
  • ✓HybridCUA-8K 混合轨迹基准：开源首个包含 5,000 条高质量 GUI+CLI 混合执行轨迹与 3,000 个基于环境结果反馈的可验证强化学习任务（RLVR），填补跨模态桌面决策数据空白。
  • ✓OSWorld 53.6% 与跨平台实证：HybridCUA-9B 在 Linux 桌面 OSWorld 评测中准确率达到 53.6%（绝对提升 +14.8%），在 WindowsAgentArena 提升 4.0%，展现出卓越的操作系统级跨生态泛化力。
🧭

阅读完核心要点？进一步了解模型实力与实际开销

7 大权威镜像天梯跑分与 29+ 款主流编程套餐横向比价测算

🏆 天梯榜(72s必看)→💰 比价测算↗
🔗

相关资源与官方项目出处

免代理直达
💡 国内无需访问 Twitter，可直接访问上述项目官方资源与文档
🐙
GitHub Repository (ZJU-REAL/HybridCUA)
github.com/ZJU-REAL/HybridCUA
↗
🌐
ArXiv Preprint (2609.38008)
arxiv.org/abs/2609.38008
↗
📖
Hugging Face Daily Papers (2609.38008)
huggingface.co/papers/2609.38008
↗
🔬

深度技术解析与实战评估

核心背景与行业痛点 以 Anthropic Claude 3.5 Computer Use 为标志，计算机使用智能体（CUA）正成为通用人工智能落地操作系统的核心形态。然而，现有的端到端 CUA 方案普遍存在严重的架构偏科： 1. 纯视觉 GUI 操作的低效与脆弱：纯靠视觉识别（截图 + 坐标预测 + 模拟键鼠）处理任务极其缓慢。面对长列表滚动、多级嵌套文件查找或批量字符串替换，模型需要数十轮高延迟网络交互，且极易受 UI 动画跳动、弹窗遮挡导致操作断裂； 2. 专有 API 工具封装的扩展瓶颈：部分系统尝试为每个软件定制专属 API，但针对海量开源与闭源桌面软件进行工具封装需要耗费天文数字级的工程人力，且在新应用面前彻底失效。社区迫切需要一种能兼顾 GUI 视觉通用性与操作系统底层 Shell/CLI 确定性吞吐的新范式。 ### 架构亮点与底层机制 浙江大学 REAL 团队提出了首个统一图文界面与命令行协同的 HybridCUA 架构： 1. HybridCUA-8K 复合轨迹基座：构建包含 5,000 条混合 GUI-CLI 交互轨迹与 3,000 个经环境状态机严格验证的强化学习任务（RLVR），涵盖纯 GUI、纯 CLI 以及图文-终端交替执行的三种运行形态； 2. 两阶段混合能力后训练范式： - 阶段一（混合 SFT）：让多模态大模型掌握桌面截图、活动窗口状态与终端输入输出的跨模态统一上下文建模； - 阶段二（命令行感知强化学习 CLI-Aware RL）：通过设计的奖励函数惩罚在适合 Shell 批处理时盲目进行视觉乱点，同时惩罚无法执行的非法 Bash/PowerShell 指令，激励模型自主权衡何时“看屏点击”、何时“静默执行脚本”。 ### 权威 Benchmark 与实测跑分对比 - OSWorld 权威基准暴涨 +14.8%：在最具挑战性的真实 Linux 桌面自动化基准 OSWorld 上，经两阶段训练的 HybridCUA-9B 取得 53.6% 的端到端成功率，相比原始基座模型大幅提升 14.8 个百分点，遥遥领先业内同级别开源桌面智能体； - WindowsAgentArena 跨平台实测：在异构的 WindowsAgentArena 真实办公自动化场景中，无需重构底层架构直接取得 +4.0% 的性能增益，验证了跨操作系统内核的普适性； - 执行步数与时延减半：在文件批量重命名、日志正则过滤等系统管理任务中，通过 CLI 快速穿透，平均任务完成步数相比纯 GUI 模式减少 58%，显著压降 Token 与网络开销。 ### 开发者实战落地与开箱指南 - 代码与数据开源：项目仓库已上线至 GitHub（ZJU-REAL/HybridCUA），论文收录于 arXiv:2609.38008； - 智能体架构演进指引：在构建自动化运维（AIOps）或桌面助手时，切忌完全依赖视觉屏幕点击。应采用 HybridCUA 范式，赋予 Agent 操作系统终端执行权限（配合安全沙箱隔离），让确定性逻辑走 Shell 管道，界面导航走视觉识别； - 未来演进：团队正计划进一步将 macOS AppleScript 与移动端 ADB 协议纳入统一混合动作空间。