AI 编程实时动态与要闻

阿里通义实验室开源 OpenGCUA:通用计算机控制智能体全开源技术栈,OSWorld 步数锐减 53%

阿里巴巴通义实验室(Tongyi-MAI)在 arXiv:2610.22200 正式发布并全面开源 OpenGCUA(Open Generalist Computer-Use Agent)通用计算机控制智能体技术栈。针对当前 GUI 智能体过度依赖逐帧截图与单点点击、无法执行高效批处理操作的行业痛点,OpenGCUA 首创“代码执行即行动(Code-Execution-as-Action)”范式,将视觉感知、可访问性树(Accessibility Tree)、Bash 脚本与 Playwright API 深度融合。在权威 OSWorld-v2 基准测试中,OpenGCUA 推动各大主流前沿模型平均得分大幅提升 19.6 分,同时将任务完成平均步数削减 53.0%,并配套开源了 macOS 实体机状态栏应用与跨设备 SDK。

阿里通义实验室开源 OpenGCUA:通用计算机控制智能体全开源技术栈,OSWorld 步数锐减 53%

核心要点速览

  • 阿里通义开源 OpenGCUA 全技术栈,收录于 arXiv:2610.22200,代码采用 Apache 2.0 协议全面开源
  • 提出“代码执行即行动”机制,将多轮循环点击转化为包含条件分支、循环与 API 调用的聚合 Python/Bash 脚本
  • 在权威 OSWorld-v2 基准测试中,推动跨 8 大前沿模型平均基准分提升 +19.6 分,平均执行步数削减 53.0%
  • 开源发布 macOS 物理设备状态栏调度 Harness 及连接 PC、浏览器与移动端的 Cross-Device SDK
阅读全文
T
TesterArmy@tester-army·
👀217
🔥90

TesterArmy 开源 e2e 登顶 GitHub 日榜:一句自然语言驱动 Web/移动端测试,录制回放后零模型调用

Apache-2.0 的 AI 端到端测试框架 e2e(tester-army/e2e)今日单日 +1,430 星登上 GitHub Trending 第一,总星 3,828,npm 周下载 60,933。测试里用 agent.act / agent.assert 写自然语言目标,Agent 驱动 Playwright 浏览器或 iOS/Android 模拟器完成,再用定位器断言校验;通过验证的步骤被录制,下次运行直接回放、不调用模型,直到应用变化。0.17.0 新增 Copilot Responses 模型与 OpenCode Console 登录,并可用决策模型替代 LLM 执行有界动作。

TesterArmy 开源 e2e 登顶 GitHub 日榜:一句自然语言驱动 Web/移动端测试,录制回放后零模型调用

核心要点速览

  • GitHub Trending 日榜第一:今日 +1,430 星,总星 3,828(Apache-2.0)
  • npm 包 e2e 周下载 60,933(2026-09-28 至 10-04),最新版 0.17.0(10-04 发布)
  • 录制回放:通过断言验证的 Agent 步骤下次运行零模型调用,应用变化才重录
  • 0.16.0 安装依赖从 117 个包降到 29 个、体积约 36MB→31MB
  • 7 个包覆盖 Playwright 三内核、iOS/Android、PR 评论、托管浏览器/模拟器与决策模型执行器
阅读全文

OpenAI Operator 开放开发者 API 预览:支持视觉驱动的浏览器自动化端到端 E2E 编程测试

OpenAI 宣布向选定开发者开放 Operator API 访问权限。不同于传统的 Playwright/Selenium 脚本,Operator 结合视觉多模态与系统事件驱动,能够像真实用户一样自主浏览网页、点击交互、填写表单并检验视觉渲染异常,为前端开发者提供了无需编写脆弱定位器的全自主端到端测试能力。

核心要点速览

  • 基于纯视觉与真实事件流的自动化代理,免去维护传统 XPath / CSS 选择器的痛苦。
  • 能够自主理解复杂的 Canvas、动态图表与 WebAssembly 渲染内容。
  • 开放 API 接口,便于无缝集成进 CI/CD 自动化构建与发布门禁流程。
阅读全文
关联模型 / 智能体 / 厂商:

Stagehand v4 从零重构:专为浏览器 Agent 设计的 SDK,全面预装进 Browserbase 托管实例

云浏览器基础设施平台 Browserbase 宣布推出完全重构的 Stagehand v4。专为 AI 智能体操作网页而设计(区别于传统自动化测试),相比 Playwright 运行速度提升 2 倍、Token 消耗降低 80%,并原生支持 iframe 与自愈重试。

核心要点速览

  • Agent 浏览器 SDK 与传统测试工具解耦:专门针对 LLM 视觉识别与交互指令优化 Token 效率与速度;
  • 自愈重试与复杂 DOM 穿透:原生攻克 iframe 嵌套与动态渲染导致的 Agent 点击失效难题;
  • 基础设施深度融合:所有 Browserbase 托管浏览器均已内置 Stagehand,免除开发者额外环境配置。
阅读全文
关联模型 / 智能体 / 厂商:
AD赞助内容