解决桌面多窗口视觉死穴！苏黎世联邦理工等开源 DeskForge：1.2M 密集多模态轨迹，Qwen3.5-4B 零样本定位大涨 11.5%

核心背景与行业痛点

大模型操作系统操作智能体（Computer-Use Agents）被视为通用人工智能接管日常劳动的关键载体。然而，与相对规范干净的移动端 App 或 Web 单页面不同，真实桌面操作环境（Windows/macOS/Linux）堪称视觉定位的“噩梦地带”：多屏幕分辨率混杂、多个应用程序窗口任意重叠遮挡、深浅色主题切换、以及数十个图标几乎一致的微小功能按钮挤压在菜单栏。现有的图形界面数据集多为静态无序抓取，缺乏精确的“动作-前后状态-像素坐标”密集绑定数据，导致大模型在实际点击时频繁“看走眼”、误触背景窗口或无法识别悬浮窗，长程自动化任务在第 2~3 步便彻底卡死。

架构亮点与底层机制

针对这一制约智能体工业落地的视觉根基问题，苏黎世联邦理工学院（ETH Zurich）与 IBM Research 联手研发了可控桌面数据合成引擎 DeskForge（arXiv:2610.02320）：

1. 多层级真实应用可控合成沙盒（Controllable Desktop Synthesis）：DeskForge 运行在真实操作系统沙盒中，能够程序化操纵各类主流办公与专业软件，动态控制窗口层叠次序、尺寸缩放、界面主题和渲染分辨率，全自动生成覆盖各种极端边界工况的交互场景；
2. 三源密集几何融合标注（Tri-Source Dense Grounding Fusion）：系统在每次动作前后，毫秒级同步捕获原生像素截图、底层无障碍辅助树（Accessibility Tree/DOM）以及窗口管理器几何拓扑数据，将原本需要人工标注的控件边界框（Bounding Box）、可点击属性与层级所属关系全自动映射为 100% 准确的密集标注；
3. DeskForge-1M 超大规模基石语料：团队以此合成了涵盖 120 万高分辨率观测帧、总计包含 1.597 亿个精准标注控件实例的开源数据集 DeskForge-1M，并记录了每一次动作引发的完整系统状态演化轨迹。

权威 Benchmark 与实测跑分对比

基于 DeskForge-1M 中抽取的 20 万样本对开源多模态基座进行微调后，模型在业界各大严苛基准上实现了全方位的跨越式升级：

1. 五大外部 GUI 定位基准全线飘红：在涵盖极端复杂桌面场景的 ScreenSpot-Pro 基准上，以 Qwen3.5-4B 为例，定位准确率直接飙升 11.51 个百分点；在 OSWorld-G 上亦大幅攀升 10.11 个百分点，显著反超诸多体积数倍的闭源巨无霸模型；
2. 长程全流程任务完成率成倍爆发：在由固定任务规划器驱动的完整长程评测中，微调后的模型展现出老练的桌面驾驭能力：在 WebArena-Infinity 复杂长任务基准上，成功完成任务数从基线的 31 项猛增至 50 项（共 119 项）；在企业级多桌面应用基准 OpenApps 上，任务成功数直接从 3 项暴增至 15 项，成功率翻了整整 5 倍；
3. 零样本跨应用泛化无死角：测试表明，在完全未见过的专有生产力软件和非标准自定义 UI 控件上，经过 DeskForge 训练的智能体同样能准确推断交互锚点，展现出真正的通识性视觉指引能力。

开发者实战落地与开箱指南

DeskForge 的沙盒引擎源码、DeskForge-1M 数据集以及微调后的 Qwen3.5-4B 检查点已在项目官方主页（https://saidgurbuz.github.io/deskforge/）全面开放。对于正在开发下一代桌面 RPA 自动化、办公 Copilot、智能测试机器人以及无障碍辅助工具的工程师而言，DeskForge 解决了长期以来缺乏工业级桌面 Grounding 训练数据的燃眉之急。开发者可以直接下载预训练权重作为 Computer-Use 系统的底层视觉眼球，亦可利用 DeskForge 沙盒根据企业私有 ERP 软件自动化生成专有的密集标注微调集，彻底打通桌面智能体落地的“最后一公里”。