告别盲盒式终态测试！NVIDIA 推出 OSWorld-Pro：首创桌面智能体全流程评测，Claude Opus 5 仅获 75.7%

核心背景与行业痛点

随着 Computer-Use Agent（CUA，如 Anthropic Computer Use、OpenAI Operator 及各类开源桌面助理）的井喷式发展，智能体开始像人类白领一样直接面对复杂的桌面图形操作系统（Windows、Ubuntu、macOS），通过视觉感知屏幕截图并发出精确的鼠标点击、拖拽与键盘输入。然而，现有的桌面智能体评测生态（以知名基准 OSWorld 为代表）普遍存在严重的“唯结果论黑盒弊端”：评测仅在 Agent 执行完长达数百步复杂交互后的最后一刻，通过系统探针检查最终生成的文件内容或数据库记录。这种终态校验完全无法透视长程操作中各个阶段的健康状况——当一个 Agent 最终失败时，开发者根本无法得知它是由于在第一步搜索时打错了快捷键，还是在最后一步确认保存时发生了几像素的鼠标点偏，导致整个优化诊断链路陷入盲人摸象的窘境。

架构亮点与底层机制

针对这一黑盒评估瓶颈，NVIDIA 研究团队（Jan Kautz 领衔）联合打造了业界首个全流程过程解构评测基准 OSWorld-Pro（arXiv:2609.24890）：

1. 2,800+ 连续因果子目标拓扑网（Process-Centric Subgoal Decomposition）：精心遴选了跨越办公文档、浏览器检索、多媒体剪辑与系统级配置的 300 多个真实生产级复杂任务，将每个百步长程任务精细拆解为平均包含近 10 个按时序因果强依赖的子目标（Subgoals）；
2. 67,000+ 人类专家密集交互基准标注库：全面采集并标注了超过 67,000 条人类资深用户在各步骤上的屏幕轨迹、意图转移与视觉焦点热力图，为过程评估确立了绝对客观的标尺；
3. 多模态对齐的高保真 LLM-Judge 过程裁判器：在每个连续子目标的关键动作转折点，调用与人类严苛对齐的多模态裁判模型实时审计智能体的桌面状态转移，实现精准的阶段性完成度渐进打分（Progress Scoring）；
4. 核心故障模式深度归因分析（Failure Mode Attribution）：首次从数据层面将 CUA 的崩溃归因归类为“子目标无关的冗余漫游（Subgoal-Irrelevant Actions）”、“GUI 像素级点击偏移（Click-based Misalignment）”以及“状态回传不同步（State-Sync Latency）”三大硬核失效模式。

权威 Benchmark 与实测跑分对比

在对包括 Claude Opus 5、GPT-4o、Qwen-VL 系列等全球顶尖 CUA 智能体展开的全面压力测试中，OSWorld-Pro 展现出了极强的诊断穿透力：

1. 前沿模型得分遭遇严重滑铁卢：在标准 OSWorld 上能够轻松斩获 83.4% 高分的最强商业模型 Claude Opus 5，在引入全过程子目标严密审查的 OSWorld-Pro 上，综合得分骤跌至仅 75.7%，暴露出端到端侥幸过关背后的诸多不合规漏洞；
2. 过程渐进得分揭示不同模型的韧性差异：评测表明，开源小参数智能体往往在长程任务的前 30% 步骤即发生严重的偏航漫游，而旗舰模型虽能推进至 80% 以上的子目标，却频频在最后的多应用跨屏切换中功亏一篑；
3. 量化揭示点击精度是制约 CUA 的核心工程死穴：实验统计显示，超过 40% 的非意图失败均来自于视觉 Grounding 在高分辨率屏幕上的亚像素偏差，为下一代端侧小模型提供了最清晰的攻坚方向。

开发者实战落地与开箱指南

OSWorld-Pro 的完整子目标测试套件、人类标注数据集以及过程裁判器代码已依托开源社区（xlang-ai/OSWorld）全面开放。对于正在研发桌面操作 Agent、端侧 GUI 自动化助手、自动化测试 RPA 工具的技术团队，OSWorld-Pro 是一座前所未有的“诊断级 CT 扫描仪”。开发者切勿再满足于粗放的终态单点测试，而应在内部 CI/CD 流程中引入 OSWorld-Pro 的子目标阶段性评估，精确定位模型在键盘响应与鼠标空间定位上的微观 Bug，打造真正抗扰、稳健、可解释的工业级桌面智能体。