AI 编程实时动态与要闻

10 月 31 日，Vercel Labs 的 Chris Tate（agent-browser 作者）在 X 上发布 agent-desktop，称其为「整台电脑版的 agent-browser」。它是一个 Rust 编写、Apache-2.0 开源的 CLI 和 C 库：读取桌面应用的系统无障碍树，以 JSON 返回每个可操作元素的 ref，Agent 按 ref 点击、输入后再快照核对，不做像素匹配，默认在后台无头运行。1.0.0 已于 10 月 27 日发布并首次加入 Linux 支持，目前 npm 最新版为 1.0.2。

查看大图

OpenAI 10 月 26 日发布 GPT-6.1 Terra，定位是兼顾视觉推理、精确电脑操作和自然写作的高效模型，今天起向 ChatGPT Work 和 Codex 的 Plus、Pro、Enterprise、Edu 用户开放，API 模型名 gpt-6.1-terra。标准 API 价格为输入 $1、缓存输入 $0.05、输出 $5（每百万 token），官方称比 GPT-5.6 Terra 和 GPT-6.1 Sol 低 50%；上下文 1,050,000 token。官方口径下，它在 Agents' Last Exam 上中等推理强度比 GPT-5.6 Terra 高 15 个百分点、成本约三分之一，Terminal-Bench 4.0 最高强度 50.3%。

查看大图

2026-10-23（UTC 15:59，SGT 23:59），Cursor 官方账号 @cursor_ai 宣布「Cursor can now control your computer」：智能体可以驱动 iOS 模拟器等桌面应用，测试自己刚实现的功能。官方补充说明，Computer Use 让智能体在电脑上任意应用中点击和输入，不再局限于浏览器；Cursor 会在任务需要时自动启用，也可以在提示词里 @ 提及 Computer Use 主动调用，更新 Cursor 即可试用。此前 9 月社区更新日志曾提到 3.20.21 版 Mac 端 Computer Use，这次是官方正式发布。官方未公布支持的系统范围、权限模型和跑分。

查看大图

阿里巴巴通义实验室（Tongyi-MAI）在 arXiv:2610.22200 正式发布并全面开源 OpenGCUA（Open Generalist Computer-Use Agent）通用计算机控制智能体技术栈。针对当前 GUI 智能体过度依赖逐帧截图与单点点击、无法执行高效批处理操作的行业痛点，OpenGCUA 首创“代码执行即行动（Code-Execution-as-Action）”范式，将视觉感知、可访问性树（Accessibility Tree）、Bash 脚本与 Playwright API 深度融合。在权威 OSWorld-v2 基准测试中，OpenGCUA 推动各大主流前沿模型平均得分大幅提升 19.6 分，同时将任务完成平均步数削减 53.0%，并配套开源了 macOS 实体机状态栏应用与跨设备 SDK。

查看大图

针对闭源通用计算机操作智能体（如 GPT-6 Astra Computer Use）难以系统研究与复现的痛点，阿里通义 MAI 团队重磅连发两项开源工程：全栈通用计算机使用框架 OpenGCUA（arXiv:2610.22200）与支持 2 万并发实例的在线强化学习平台 MAI-Gym（arXiv:2610.20939）。OpenGCUA 融合视觉 GUI 与程序化代码执行，在 OSWorld-v2 上使包括 GPT-6 Astra 与 Claude Opus 5 在内的全部 8 款模型平均提分 19.6 分、执行步数减少 53.0%；MAI-Gym 训练出的 9B 模型更在 MobileWorld（78.4%）与 OSWorld-Verified（76.2%）创下 10B 内开源 SOTA。

查看大图

随着 Anthropic Computer Use 与各类桌面自动化智能体（Computer-Use Agents, CUAs）加速接管操作系统操作，如何科学评估多步骤 GUI 交互的真实能力成为业界最急迫的命题。现有的代表性基准（如 OSWorld）主要依赖最终结果判定（Outcome-based Verification），即在 Agent 执行了数百步鼠标键盘操作后，仅检测最终文件或系统状态是否发生改变。这种“黑盒终态评估”完全掩盖了智能体在中间步骤中“如何犯错”与“为何失败”——例如因键盘输入打字错误失败，与因视觉定位不准导致鼠标误点失败，所需要的工程修复路径完全风马牛不相及。NVIDIA 研究团队推出了首个基于全流程过程解构的桌面智能体评测系统 OSWorld-Pro（arXiv:2609.24890）：包含 300 多个真实系统级生产任务，将其细粒度拆解为 2,800 多个连续依赖的子目标（Subgoals），并依托 67,000 多条高质量人类专家操作注释作为基准。通过人类对齐的 LLM-Judge 对各阶段子目标达成度展开逐层量化，评测揭示即便是业界最前沿模型如 Claude Opus 5 在 OSWorld-Pro 上的得分也仅为 75.7%（低于标准 OSWorld 的 83.4%），并精准捕获了无效漫游动作与点击像素级偏移两大核心故障模式。

查看大图

GitHub 于 2026-10-01 Changelog 宣布 Computer Use 进入公测：Copilot CLI 与 Copilot App 可在本机读写无障碍树/截图、点击、键入、滚动与跨应用工作流，覆盖无 API/CLI/MCP 的遗留 GUI。默认关闭，需 /computer on 或设置开关；企业策略可强制禁用。

查看大图

官方 TypeScript SDK [email protected]（v7.25.0，2026-09-29）在 beta.agents 加入 Computer Use（#2837），与同日 Python 3.22.0 能力对齐。紧前版 v7.24.0 已落地 Agents credential/session（#2812）、gpt-6.1-sol 标识（#2836）、Responses Cyber access、Realtime Translation client secret 与专用 Node Translation WebSocket。相对 v7.23.0...v7.25.0 ahead_by 35。

查看大图

OpenAI 官方 Python SDK 于 2026-09-29 发布 v3.22.0（PyPI openai==3.22.0）：为 beta.agents 增加 typed computer-use 工具、可选截图、浏览器鉴权与 origin-access 审批输入，以及托管环境的 desktop settings / environment templates。同日 Node SDK v7.25.0 同步上线同一 API 面。

查看大图

Cursor 工程师 @mattyp 演示：Mac Mini 用 agent worker start 即可接入 Cloud Agent；加 --computer-use 可通过 Cursor Computer Use 远程点击、键入与截屏。官方 Self-Hosted Machines：推理在云端、工具在你机器上，仅需出站 HTTPS，支持 My Machines 与 Team Pools。

查看大图

Anthropic / Claude（@claudeai，@AnthropicAI 转发确认）宣布 Claude Opus 5.5 今日可用，为新 Claude 5.5 系列首个模型。官方称多数任务表现达到 Claude Fable 5.1 水平，相对 Opus 5 在 agentic coding、computer use 与知识工作上显著提升；默认设置下典型负载运行成本约低 40%。同步提高 Pro/Max/Team 五小时用量上限，并为订阅用户提供可留存的速率限制重置。

查看大图