AI 编程实时动态与要闻

Cua 联合 Scale AI 发布 Cua Driver Bench:评测后台桌面 Agent 是否打扰用户,macOS 厂商口径 cua-driver 全通过率约 58%

2026-11-06,Cua(@trycua)与 Scale AI AgentEnv 联合发布 Cua Driver Bench(Bench v2):固定 Claude Sonnet 5.5 与任务,只换 computer-use driver,考核任务完成、仅 GUI、以及 8 项「用户未被打扰」。Scale 口径 macOS 后台全通过:cua-driver 约 58%(23/40)、agent-desktop 约 20%、browser-use 约 3%;Cua 自跑 Codex Computer Use 约 33%。任务与轨迹公开可复跑。

Cua 联合 Scale AI 发布 Cua Driver Bench:评测后台桌面 Agent 是否打扰用户,macOS 厂商口径 cua-driver 全通过率约 58%

核心要点速览

  • 来源:Cua 官方博客 + @trycua 线程 2026-11-06;Scale 独立跑 macOS/Linux,Cua 自跑 Windows 与部分对照
  • 方法:10 项 Bench v2;后台有模拟用户持续打字;全通过=任务完成+仅 GUI+用户 8 项不被打扰
  • macOS 后台全通过(Scale,厂商口径):cua-driver 58%、agent-desktop 20%、browser-use 3%;Codex CU(Cua 跑)33%
  • 前台对照(Scale):cua-driver 约 78%、agent-desktop 70%、browser-use 64%;差距主要来自打扰
  • 落地:GitHub blog 与 libs/cua-driver-bench;HF Space/数据集 earakely-scale/CuaDriverBench-AgentEnv
阅读全文

告别裁判模型幻觉与偏见:Scale AI 开源 Sauron 证据优先智能体验证架构,成本降低 85%

Scale AI 团队在 arXiv:2610.17724 中开源革命性智能体评测与验证架构 Sauron。针对大模型在长程智能体评估中作为裁判(LLM-as-a-Judge)时普遍存在的臆测裁判、幻觉解释与无法追溯问题,Sauron 提出“证据优先(Evidence-First)”范式。通过对执行轨迹进行自适应有界质询、提取确定性检查回执并隔离共享证据,在 PA100 基准上全面刷新 F1 分数,以比 Archipelago 低 85% 的推理成本实现 0.94 精确率与 0.97 召回率,评估速度飙升 4.2 倍。

告别裁判模型幻觉与偏见:Scale AI 开源 Sauron 证据优先智能体验证架构,成本降低 85%

核心要点速览

  • Scale AI 开源证据优先智能体评估引擎 Sauron(arXiv:2610.17724),彻底根治长程任务中 LLM 裁判的臆测与幻觉
  • 提出有界自适应质询与机器确定性检查回执,按需提取最小事实证据,Token 消耗削减一半以上
  • 在 PA100 基准 8 大基座上 F1 全面夺冠,以比全量快照比对低 85% 的推理成本斩获 0.94 精确率与 0.97 召回率
  • 10 个长任务评测耗时从 71 分钟骤减至 17 分钟(提速 4.2 倍),代码全面开源并已托管至 GitHub
阅读全文
关联模型 / 智能体 / 厂商:

Meta 披露 Prometheus 吉瓦级超算集群:Muse Wonder 跃居 WebDev 竞技场第 6,助力 Meta 升至全球第三

Meta 官方正式披露其位于俄亥俄州新奥尔巴尼的吉瓦级(Gigawatt-Scale)AI 超算中心 Prometheus,拥有数十万张顶尖 GPU,在预训练中实现超 85% 的有效算力率(Goodput),在强化学习(RL)中达到 90% 以上。在此超级算力加持下,Meta 新一代代码与视觉旗舰模型 Muse Wonder Full 在 LMSYS Code Arena: WebDev 中斩获 1726 分跃居全球第 6 名(超越 Claude Sonnet 5.5 与 Gemini 4 Argon),推动 Meta 晋升全球前三大模型实验室。

Meta 披露 Prometheus 吉瓦级超算集群:Muse Wonder 跃居 WebDev 竞技场第 6,助力 Meta 升至全球第三

核心要点速览

  • Meta 披露位于俄亥俄州新奥尔巴尼的 Prometheus 吉瓦级超算集群,拥有数十万张 GPU 并实现 85%+ 预训练有效算力率
  • 强化学习有效算力率达 90%+,在 Muse Wonder 训练期间达成约 47,000 GPU·小时连续无故障运行
  • Muse Wonder Full 在 LMSYS Code Arena: WebDev 斩获 1726 分位列全球第 6,超越 Claude Sonnet 5.5(+16 分)与 Gemini 4 Argon(+48 分)
  • 推动 Meta 跃居全球第 3 大 AI 实验室,并同步推出可在单张消费级 GPU 上 4-bit 本地运行的 Muse Glimmer 30B
阅读全文
关联模型 / 智能体 / 厂商:

美 NSA、CISA 与 FBI 联合发布前沿模型反蒸馏防御指南,筑牢云端知识产权防线

面对全球范围内日益频繁的工业级大模型能力逆向抓取与黑盒蒸馏攻击,美国国家安全局(NSA)、网络安全和基础设施安全局(CISA)与联邦调查局(FBI)联合发布技术防御指南。文件建议各大云厂商在 API 网关处强制上线动态语义指纹水印、非人类 prompt 拓扑过滤与异常调用熔断机制。

核心要点速览

  • 官方权威机构首度针对「跨国工业级 AI 模型知识蒸馏」发布联合安全红线
  • 敦促前沿实验室建立基于动态隐形水印与查询行为熵分析的主动防御体系
  • 标志着 AI 领域的知识产权保护与对抗性安全博弈正式上升为国家级网络安全议题
阅读全文
关联模型 / 智能体 / 厂商:
AD赞助内容