AI 编程实时动态与要闻

随着 Anthropic Computer Use 与各种操作系统智能体（OS Agents）进入桌面工作流，如何在多应用层叠、分辨率各异以及同质化按钮混淆的复杂真实桌面场景中精准定位可操作控件，成为制约智能体长程作业的核心瓶颈。现有 GUI 训练数据缺乏受控的环境状态演化与细粒度像素级密集标注。为此，苏黎世联邦理工学院（ETH Zurich）与 IBM Research 联合推出可控桌面数据生成系统 DeskForge（arXiv:2610.02320）。该系统通过在可控沙盒中动态编排真实桌面应用，实时融合系统截图、无障碍辅助树（Accessibility Tree）与窗口几何坐标，构建了涵盖 120 万密集桌面交互观测与 1.597 亿控件实例的超大规模数据集 DeskForge-1M。在仅使用其中 20 万样本微调后，Qwen3.5-4B 等视觉语言模型在 ScreenSpot-Pro 上的定位准确率暴涨 11.51 个百分点，在 OSWorld-G 上提升 10.11 个百分点；在长流程真实任务测试中，WebArena-Infinity 通关数由 31 跃升至 50，OpenApps 成功率翻了 5 倍。项目主页与数据集已全面开放（saidgurbuz.github.io/deskforge）。

OpenAI 员工 Vaibhav（@reach_vb）披露 GPT-6 Astra 相对 GPT-5.6 Sol 的电脑操控评测跃升：ScreenSpot-Pro（找点击位置）从 76.9% 升至 92.7%；OSWorld 2.0 桌面工作流从 65.7% 到 72.6%，延迟模拟耗时少 47%；Mind2Web 网页任务配合更新后的 Codex harness 约快 1.9 倍。这对依赖浏览器/桌面 Agent 与 Codex 的编码工作流是硬指标信号。