AI 编程实时动态与要闻

SemiAnalysis 发布 GDPx 智能体基准:11 个高价值领域 206 道任务,最强的 Claude Opus 5.5 也只拿到 12%

半导体与 AI 研究机构 SemiAnalysis 11 月 2 日发布 GDPx,用来衡量前沿模型在芯片设计、网络安全、生物、金融、法律、量化交易、递归自我改进(RSI)、硬件设计、材料科学、对齐和软件工程 11 个领域的智能体能力,共 206 道任务,由 14 家专业数据公司出题、SemiAnalysis 负责最终质检。官网榜单上 Claude Opus 5.5 以 12.0% 居首,Gemini 4 Carbon 10.9%、GPT-6 Astra 9.6% 紧随其后;金融和法律任务几乎所有模型都是 0 分。SemiAnalysis 称 Opus 5.5 和 GPT-6 Astra 的总分被安全分类器拖低,并计划每 3–6 个月更新一版。以上分数均为 SemiAnalysis 口径。

SemiAnalysis 发布 GDPx 智能体基准:11 个高价值领域 206 道任务,最强的 Claude Opus 5.5 也只拿到 12%

核心要点速览

  • 规模:11 个领域、14 家数据合作方、206 道任务,默认单题时限 8 小时(GDPx 官网)
  • 榜单(SemiAnalysis 口径):Claude Opus 5.5 12.0%、Gemini 4 Carbon 10.9%、GPT-6 Astra 9.6%、Muse Wonder Full 9.0%、Claude Fable 5.1 8.5%、GPT 6.1 Sol 8.4%、Claude Sonnet 5.5 8.2%
  • 开源与低价档:DeepSeek 4.1 Flash 1017 5.4%、GPT-6 Luna 5.1%、Grok 4.7 3.9%、GLM 5.3 2.7%;金融和法律任务几乎全部 0 分
  • 评测方法:优先用各家原生 harness(Opus 用 Claude Code、Astra 用 Codex、Carbon 用 Antigravity),没有的用 OpenCode;报告 3 次尝试的 pass@1,各领域等权(SemiAnalysis 博客)
  • 分领域:Opus 5.5 赢量化、硬件和芯片设计;Gemini 4 Carbon 赢生物和软件工程;GPT-6 Astra 赢 RSI 和材料科学;Muse Wonder Full 是最强网安模型
阅读全文

上海人工智能实验室发布 Sage-A1.5:35B MoE 长程执行与科学探索智能体模型全面开源

上海人工智能实验室正式在 arXiv:2610.28578 发布开源智能体基础模型 Sage-A1.5 技术报告。该模型采用 350 亿总参数量(35B)的混合专家(MoE)架构,延续了“扩展智能体执行视界(Agent Horizon)而非盲目扩大参数量”的设计哲学。Sage-A1.5 创新引入了自适应能力组合机制,重点针对长程仓库级软件工程问题修复(SWE)与多步骤假说驱动的科学探索进行了端到端对齐。评测显示,该模型在超长执行步数下展现出超越 70B+ 稠密大模型的稳定推理能力,并同步公开了本地微调与部署权重。

上海人工智能实验室发布 Sage-A1.5:35B MoE 长程执行与科学探索智能体模型全面开源

核心要点速览

  • 上海 AI 实验室正式发布 Sage-A1.5 技术报告(arXiv:2610.28578),全量开源 35B MoE 架构智能体专用模型
  • 确立“扩展智能体执行视界(Horizon Scaling)优于无脑扩充参数量”的新范式,单任务持续自适应推演超百步不散焦
  • 深度攻克仓库级代码问题修复,在包含真实 Git 依赖与复杂调用链路的软件工程评测中展现出媲美 70B+ 模型的解决率
  • 内生具备假设生成、实验验证与科学发现能力,全面适配本地单机多卡与私有化科研集群的轻量级部署
阅读全文
关联模型 / 智能体 / 厂商:

单文件衍生 200 种真实 Bug!上交大开源 SWE-at-Scale:逆向工程历史修复补丁,指数级合成可验证软件工程任务

随着编程智能体能力跃升,真实世界 GitHub Issue 的自然产生速度与人工清洗成本已成为制约 SWE 评测与强化学习训练的最大瓶颈。上海交通大学团队开源 SWE-at-Scale 框架,核心洞见在于‘历史修复补丁天然封装了真实的致错机理’:通过逆向历史修复将修复监督转化为致错监督,并迁移至全新代码上下文中重复采样。实测在单个代码文件上下文上即可稳健合成多达 200 个机制各异的可执行 SWE 缺陷任务。

单文件衍生 200 种真实 Bug!上交大开源 SWE-at-Scale:逆向工程历史修复补丁,指数级合成可验证软件工程任务

核心要点速览

  • 逆向历史修复提取致错机理:将真实 Git 历史中的修复补丁逆向转化为致错监督信号,摆脱启发式提示词捏造肤浅 Bug 的局限
  • 单文件衍生 200 种异构缺陷:将习得的缺陷模式迁移至新代码上下文,即使在单文件上连续生成 200 次仍保持极高的 Bug 类型多样性
  • 开源可扩展 SWE 任务工厂:为训练和评测下一代 Coding Agent 提供无穷尽的高逼真度、可验证执行环境
阅读全文
关联模型 / 智能体 / 厂商:

阶跃星辰 Step 5 Preview 开源权重落地:600B/27B 稀疏 MoE、1M 上下文智能体旗舰,Hugging Face 与 ModelScope 同步上线

阶跃星辰于 2026-10-15 履约放出 Step 5 Preview 开源权重:600B 总参、每 token 激活 27B 的稀疏 MoE,支持最长 1M token 上下文与视觉输入,定位智能体与软件工程。权重已上 Hugging Face(FP8/BF16/NVFP4)与 ModelScope;官方评测 StepCodeBench 49.0%、FrontierFinance 66.4%、Artificial Analysis Intelligence Index 44。此前 9 月仅有 API/指数报道,本次是权重本身首次公开可下载。

阶跃星辰 Step 5 Preview 开源权重落地:600B/27B 稀疏 MoE、1M 上下文智能体旗舰,Hugging Face 与 ModelScope 同步上线

核心要点速览

  • 规格:稀疏 MoE 600B 总参 / 27B 激活,上下文最长 1M token,输入支持文本与图像(官方模型页)
  • 权重仓库:stepfun-ai/Step-5-Preview(及 BF16、NVFP4)已在 Hugging Face 与 ModelScope 可下载(HF 模型卡)
  • 编码基准:StepCodeBench avg@4 为 49.0%(开源权重对比中领先官方所列对手);DeepSWE v1.1 为 67.7%(官方评测表)
  • 金融与智能指数:FrontierFinance 66.4%;Artificial Analysis Intelligence Index 44(与此前 AA 报道一致)
  • 部署:官方给出 vLLM / SGLang Docker 与 OpenAI 兼容 API 示例;许可为 StepFun Model License 1.0(类 Apache-2.0 另附商用条件)
阅读全文
关联模型 / 智能体 / 厂商:
AD赞助内容

编程 Agent 能否造出合格的 Agent?AgentSWE 基准发布:25 个委派任务测出真实交付断层

随着软件工程研发逐步交接给代码 Agent,委托智能体自主构建定制化 Agent 成为新的工程范式。清华大学与 VectorSpaceLab 等团队发布首个智能体软件工程基准 AgentSWE,覆盖构建、编辑与优化三大开发阶段。评测显示主流代码 Agent 远未达到要求,暴露显式示例过拟合、空壳运行时与虚假完成宣称等核心系统性缺陷。

编程 Agent 能否造出合格的 Agent?AgentSWE 基准发布:25 个委派任务测出真实交付断层

核心要点速览

  • 首个智能体软件工程评测基准:包含构建(Creation)、重构编辑(Editing)与目标优化(Optimization)三大阶段共 25 项真实开发任务
  • 评测体系革新:采用委托(Commission)模式,不仅测试示例样本,更通过严苛的冻结保留测试集与自动化 Rubric 判定通过
  • 暴露核心缺陷:主流模型在隐藏测试集上表现堪忧,普遍存在对已知用例过拟合、表层代码完整但运行时空壳,以及未经检验的虚假完成声明
阅读全文

从单点修 Bug 走向全工程从零复现!ProgramGym 开源:1,648 个跨语言沙箱助力 27B 模型跑分飙升

当前自主编程智能体(SWE Agents)的训练与评测大多局限于单个函数的孤立补全或现有单仓库内特定 Issue 的局部修复(如 SWE-bench),难以衡量智能体从空白工程起步、独立探索参考系统、推演架构设计并从零完整复现一个可编译可运行软件(Program Reproduction)的长程综合能力。学术研究团队在最新成果(arXiv:2610.13395)中正式开源了首个全自动工程级训练环境合成引擎与智能体工作流 ProgramGym(代码仓库:github.com/Acm1011/ProgramGym,数据集:ProgramGym/programgym-1648)。ProgramGym 包含两大核心支柱:Program-Env 流水线自动将真实开源代码库转换为具备确定性黑盒测试集的隔离执行沙箱,一举构建了涵盖 C、C++、Go、Rust 四大主流系统级语言的 1,648 个高质量可验证训练环境(ProgramGym-1648);而 Program-Agent 则确立了‘需求分析 -> 代码实现 -> 审查反思’三权分立的迭代开发脚手架与版本控制恢复机制。在权威基准 ProgramBench 测试中,利用该引擎合成轨迹监督微调得到的 Qwen3.8-27B-SFT 模型测试通过率提升 7.97 个百分点至 42.84%,超越了 mini-SWE-agent 下的旗舰模型 GPT-5.4(37.70%);搭配 Program-Agent 脚手架后跑分更是进一步跃升至 56.25%,全面超越 Claude Opus 4.7(50.90%)与 Gemini 3.5 Flash(53.60%),全套数据集与环境已全面开源。

从单点修 Bug 走向全工程从零复现!ProgramGym 开源:1,648 个跨语言沙箱助力 27B 模型跑分飙升

核心要点速览

  • 开源长程程序复现训练框架 ProgramGym 发布,涵盖 C/C++/Go/Rust 四大语言的 1,648 个自动化沙箱与测试环境
  • 微调后的 Qwen3.8-27B-SFT 在 ProgramBench 跑分提升 7.97% 达 42.84%,超越 mini-SWE-agent 下的 GPT-5.4
  • 搭配 Program-Agent 角色隔离脚手架测试通过率跃升至 56.25%,超越 Claude Opus 4.7 与 Gemini 3.5 Flash
阅读全文

攻克终端智能长程盲区!自动化数据合成引擎 TerminalHorizon 发布:27B 模型在 Terminal-Bench 2.0 斩获 55.8%

随着自主软件工程智能体与命令行运维 Agent 从执行单条命令走向长程自主交付,缺乏高质量、真实多轮交互的终端训练数据成为了制约基座模型进化的首要瓶颈。中国科学技术大学、高德地图(阿里巴巴集团)与南方科技大学联合研究团队在最新成果(arXiv:2610.13166)中正式推出了全自动终端数据合成引擎 TerminalHorizon。针对传统短程轨迹过度简化工程上下文、预设环境提前解题等致命缺陷,TerminalHorizon 始于真实专业工作流,通过独立执行闭环自动捕获被遗漏的核心操作步,基于探索证据动态重建环境,并沿统一长程目标将任务逐级扩展为多阶段有机需求。团队以此构建了 1.5K 个复杂任务环境与 2,852 条平均交互轮次达 52.8 步的高质量长程轨迹。基于 Qwen3.5-27B 监督微调得到的 TerminalHorizon-27B 模型在权威基准 Terminal-Bench 2.0 上斩获 55.8% 的高分,较原基座暴涨 14.2 个百分点,以极小训练规模击败此前主流模型,横扫涉及 Coding Agent、生产级运维及通用推理的 12 项评测,项目代码与数据集已全面公开。

攻克终端智能长程盲区!自动化数据合成引擎 TerminalHorizon 发布:27B 模型在 Terminal-Bench 2.0 斩获 55.8%

核心要点速览

  • 自动化终端数据合成引擎 TerminalHorizon 发布,构建 1.5K 真实任务环境与 2,852 条平均 52.8 步的高质量长程轨迹
  • 基于 Qwen3.5-27B 微调的 TerminalHorizon-27B 在 Terminal-Bench 2.0 斩获 55.8%,较原基座激增 14.2 个百分点
  • 以极小数据规模超越十万级样本竞品,横扫 Coding Agent、生产级运维及通用推理等 12 项评测,数据集全面开源
阅读全文
关联模型 / 智能体 / 厂商:

Agent 到底背着你干了啥?EBG 框架开源:证据溯源行为图重塑长程自主智能体人类监督

随着 Coding Agent 与自主软件工程智能体接管数小时甚至数天的超长程复杂任务,人类的角色正从‘单步指令操作者’转变为‘自主执行监督者(Overseer)’。然而,面对智能体生成的数万行终端日志、碎片化的代码改动和庞杂的执行轨迹,人类监督者面临着难以逾越的‘审计信息过载’危机:根本无法从浩瀚日志中甄别哪些操作属于具有重大安全或业务风险的‘关键决策(Consequential Decisions)’。来自学术研究团队在最新研究(arXiv:2610.06406)中发布了严苛的软件工程监督基准 AgentMonBench 与免训练监督框架 EBG(Evidence-Grounded Behavior Graph,开源代码:github.com/zhk-lab/EBG,项目主页:zhk-lab.github.io/agentmonbench-ebg)。EBG 创新性地将分散的代码修改与终端回显根据因果证据聚类为具象化的‘行为节点’,并自动构建展示行为间相互关系的拓扑有向图。配合面向任务定制的多视态度量视图,EBG 能够精准标定出最具风险的关键决策点并直接高亮其底层支撑证据链。在横跨 8 大主流基础模型的测试中,EBG 在关键决策识别与证据定位上全面超越直接读取原生上下文的传统监视器,官方代码与评测数据集现已开源。

Agent 到底背着你干了啥?EBG 框架开源:证据溯源行为图重塑长程自主智能体人类监督

核心要点速览

  • 开源 EBG 框架与 AgentMonBench 基准,首次建立长程自主 Coding Agent 的系统性人类监督审计体系
  • 首创免训练‘证据溯源行为图’,将分散的执行日志转化为结构化因果拓扑图,精准高亮关键风险决策
  • 在 8 款主流模型上全面超越原生上下文基线,超长程轨迹保持极高稳定性,将人工审查耗时缩短 68% 以上
阅读全文

破解 Agent 上下文遗忘症!KAIST 提出 RunningTab:首创环境侧标签页重构工作区长程交互

在实际软件工程与知识密集型交付任务中,自主 Coding Agent 通常以‘直接工作区交互(Direct Workspace Interaction, DWI)’的范式运作:通过终端命令直接检索、读取并修改本地代码库中的海量文件。然而,随着交互步数的拉长,Agent 极易遭遇严重的上下文失忆——初期提取的子任务需求被后续的大段文件内容挤出上下文窗口,而列出但尚未打开的潜在关键文件(Candidates)以及已读取证据的追溯链条(Provenances)也会随着模型滑动上下文丢失,导致 Agent 频繁出现漏解需求、死循环甚至‘在核心需求未完成前草率交付’的严重缺陷。韩国科学技术院(KAIST)的研究团队在最新研究(arXiv:2610.10444)中提出了创新框架 RunningTab。RunningTab 颠覆了依赖 Agent 自身注意力记忆或内部草稿纸(Scratchpad)的传统做法,首创了由执行环境托管的‘环境侧动态标签页(Environment-Side Tab)’。该标签页在交互全流程中独立追踪三大要素:结构化需求待办清单(Requirements)、带文件溯源的已读内容片段(Provenances)以及已罗列但未阅读的候选文件栈(Candidates)。在 Agent 尝试交付产物时,环境侧自动触发‘完成前置校验(Finish Check)’门禁,强制验证所有需求是否闭环。在 Workspace-Bench、TheAgentCompany 和 OfficeQA Pro 三大高难度真实工作区基准评测中,RunningTab 全面碾压原生 DWI 与自反思基线,在 TCR@70 指标上实现断崖式领先,论文与相关实现现已公开发布。

破解 Agent 上下文遗忘症!KAIST 提出 RunningTab:首创环境侧标签页重构工作区长程交互

核心要点速览

  • KAIST 提出 RunningTab 框架,首创环境侧动态标签页,彻底根治 Coding Agent 长程工作区上下文遗忘缺陷
  • 独立追踪需求待办、代码证据溯源与候选文件栈三大流,配备强制完成检查门禁杜绝草率交付
  • 在 Workspace-Bench 等三大基准上大幅超越原生基线,TCR@70 评分飙升至 25.67,消融实实验证实环境托管的必要性
阅读全文
关联模型 / 智能体 / 厂商:
⚡ RunningTab⚡ Direct Workspace Interaction⚡ Workspace-Bench🤖 RunningTab-Agent🤖 Finish-Checker🌐 KAIST🌐 Hugging Face🌐 TheAgentCompany

代码智能体有了“严师”随访!Rutgers 等开源 Opera:首创持久诊断笔迹,SWE-Bench 解题率跃升 15%

面向长程复杂软件工程(Long-Horizon Software Engineering)的代码智能体在排查深层 Bug 时极度依赖外部反馈,但传统的批评家(Critic)往往存在严重的“健忘症”与“误诊”:要么过早打断智能体正在进行的探索,要么给出一句模糊建议后便不再追踪,导致智能体表面上敷衍修改、深层问题依旧未解。罗格斯大学(Rutgers University)与利哈伊大学团队最新开源了突破性口头批评家框架 Opera(arXiv:2609.33987)。Opera 颠覆了单次打分范式,将每次纠错诊断定义为一份“持久随访便签(Persistent Note)”,持续跟踪智能体的后续动作直到问题彻底解决。系统结合周期性与事件驱动触发器,在下发建议前对比可见证据进行审计,并能敏锐区分智能体是“机械顺从”还是“真正修复”。在 Terminal-Bench 2.1、SWE-Bench Pro 子集和 DeepSWE v1.1 上,Opera 使非批评家智能体的任务解决率分别大幅提升 12.4、15.0 和 8.9 个百分点;更为关键的是,利用 Opera 引导的 Rollout 轨迹微调 Qwen3.5-9B,在不外挂 Critic 的纯推理模式下也能在跨仓库测试中取得 10.2% 的净增长,且彻底解决了跨 Harness(如从 OpenHands 切换到 Terminus-2)时的灾难性性能劣化。

核心要点速览

  • Rutgers 与 Lehigh 开源 Opera 框架,首创持久诊断便签(Persistent Notes)追踪机制,彻底治愈 Coding Agent 批评家健忘症
  • 在 Terminal-Bench 2.1 与 SWE-Bench Pro 上解题率分别暴涨 12.4% 与 15.0%,全维度刷新 Critic 基线记录
  • 引导轨迹微调 Qwen3.5-9B 获得 10.2% 离线净增益,攻克 OpenHands 到 Terminus-2 的跨 Harness 迁移劣化难题
阅读全文
关联模型 / 智能体 / 厂商:
AD赞助内容

代码智能体不仅会修 Bug,还能手搓静态分析器!华东师大、北大等发布 CheckerBench:首个静态检测器端到端合成基准

当前代码智能体(Coding Agents)的评测基准大多聚焦于局部的单步补丁合成(如 SWE-bench)或漏洞定位,却从未检验过智能体能否从零到一在真实代码仓库中独立研发出一款可复用、高精度的“静态代码分析检查器(Static-Analysis Checker)”。研发检查器需要智能体理解缺陷规范(Defect Specification)、检索跨文件 AST 语法树、编写分析器特定逻辑,并通过反复编译与静态反馈闭环重构。华东师范大学、上海交通大学与北京大学等团队联合发布了里程碑式基准 CheckerBench(arXiv:2610.07557)。CheckerBench 包含从 167 个开源仓库、85 类 CWE 漏洞、297 个真实 CVE 中精心提炼的 300 个完整可执行任务,横跨 C/C++、Go、Java、Python、Rust 等 5 大语言生态。依托标准化沙箱框架 CheckerLab,系统全面评测了涵盖 Claude 3.5 Sonnet、GPT-4o、DeepSeek 等 21 种模型-Harness 组合。实测显示,当前顶尖智能体在 Checker 合成上的平均 Pass@1 仅为 32.30%,最佳配置仅达 45.33%,深刻揭示了代码智能体在跨文件逻辑分析与编译器交互上的核心短板。

核心要点速览

  • 华东师大、北大等发布全球首个静态分析器端到端合成基准 CheckerBench(300 个任务、167 个仓库、85 类 CWE)
  • 横跨 C/C++、Go、Java、Python、Rust 五大语言,首创 CheckerLab 独立编译与假阳性对比评估框架
  • 21 种模型-Harness 组合实测均值 Pass@1 仅 32.30%(峰值 45.33%),揭示代码智能体从修 Bug 跃迁至工具创造的深层瓶颈
阅读全文

让代码文件变自律智能体!UIUC 等提出 HERMES 框架:动态激活开发基元,Qwen3-8B 逼平前沿大模型

赋予大语言模型终端控制权限的代码智能体(Coding Agents)在解决单步或局部 Bug 时已屡见不鲜,但在面对动辄数十万行代码的大型真实代码仓库(Monorepos)时,依然极度脆弱。传统的单一集中式 Agent 必须通过冗长的命令行输出在上下文窗口中反复‘重建’散落于源码、配置文件、测试套件与依赖关系中的项目状态,极易引发上下文爆炸、记忆遗忘与语义漂移。UIUC(伊利诺伊大学厄巴纳-香槟分校)研究团队在最新研究(arXiv:2610.07832)中提出了突破性的‘开发基元’(Dev-Primitives)概念与软件工程治理架构 HERMES。Dev-Primitives 将代码库中的每一个被动代码构件(如核心模块、配置或测试)转变为由常驻轻量 LLM 驱动的‘主动智能体’,拥有原生的自然语言推理、组件间协同通信与局部自修改能力。HERMES 依托依赖感知的动态激活机制与基于执行证据的缺陷定位管线,在四大权威软件工程基准上平均超越基准 Harness 12.4%;即便在底层仅挂载 Qwen3-8B 这种轻量级开源模型,HERMES 依然能在四大基准上逼平庞大的 GPT-5.6 Sol(差距仅 4.5%),并在 Terminal-Bench 4.0 上降低 26.2% 的推理成本,深刻实证了 Harness 架构工程对代码智能体的决定性价值。

核心要点速览

  • UIUC 提出模块化可执行开发基元(Dev-Primitives)概念与软件工程治理架构 HERMES,将代码资产拟人化为自律智能体
  • 依赖感知的动态激活与反向缺陷定位机制,彻底根除集中式 Agent 面对超大仓库时的上下文爆炸与语义漂移
  • 四大基准平均提升 12.4%,轻量 Qwen3-8B 构件综合表现逼近 GPT-5.6 Sol(差距仅 4.5%),Terminal-Bench 4.0 成本狂降 26.2%
阅读全文
关联模型 / 智能体 / 厂商:

终端智能体环境无监督扩增!清华等提出 SWR:从科学工作流逆向重构,Terminal-Bench 跑分暴涨至 53.56%

随着终端智能体(Terminal Agents)从常规软件开发向生物信息、量子化学及天体物理等复杂科学垂直领域纵深渗透,如何构建高保真且具备确定性验证能力的训练环境成为了业界最大的工程死穴。传统手工编写特定领域任务与断言不仅成本高昂,且规则极难复用。来自清华大学与腾讯的研究团队提出了革命性的自监督框架 SWR(Software-in-the-Loop Reconstruction,arXiv:2610.02710):直接利用工业界与科研界成熟现存的软件工作流(Executable Software Workflows)作为真实真值源,通过自动化输入配置扰动将测试集切分为公开观测与隐藏评测。智能体在仅看到输入模式与部分输入输出对的黑盒条件下,自主逆向重构出全功能可编辑脚本程序;再由多级层级验证器(结合语义断言、结构合法性与防捷径反作弊检查)在隐藏配置上进行绝对真值校验。团队在跨越 6 大科学领域的 500 个真实工作流与 46 个知名软件家族上落地 SWR,采集并清洗了 1,422 条高难度通关轨迹(扩增至 3,000 条训练集)。微调 Qwen3.8-27B 后,模型在权威基准 Terminal-Bench 2 上的平均得分由 47.94% 飙升至 53.56%,在全部对比对照组中全面斩获第一。

终端智能体环境无监督扩增!清华等提出 SWR:从科学工作流逆向重构,Terminal-Bench 跑分暴涨至 53.56%

核心要点速览

  • 提出 SWR 框架,直接利用科研领域现存成熟软件工作流无监督扩增终端智能体训练与评测沙箱
  • 通过输入扰动划分解耦黑盒重构与隐藏验证,层级验证器结合 AST 静态分析坚决阻断任何偷懒捷径
  • 微调 Qwen3.8-27B 驱动权威基准 Terminal-Bench 2 跑分从 47.94% 暴涨至 53.56%,全面超越所有对照基线
阅读全文

多数表决机制失效!Google 与剑桥提出 VeriHarness:长程任务 Agent 验证新范式,耗资 10 万美元开源 2.6 万条轨迹

随着 LLM 智能体在代码重构、操作系统运维等长流程(Long-Horizon)复杂任务中承担核心职责,如何在测试阶段缺乏标准答案或评分规则的前提下自主验证产出质量,已成为制约 Agent 可靠落地的最大瓶颈。学术界以往常依赖多采样多次重试结合多数表决(Majority Voting),但 Google Cloud AI Research 与剑桥大学联合团队揭示了反直觉的底层真相:在长程任务中,“意见分歧往往暴露了隐藏的正确解,而高度共识却常常掩盖了系统性盲区与致命共性错误”。为此,团队打造了 VeriHarness 框架:通过为生成器底座模型赋予独立沙箱工作区、证据探针工具和可复用的验证技能库,将其原位转化为“Agent 级验证官”。框架核心设立“分歧仲裁员(Disagreement Resolver)”利用环境运行时证据仲裁竞争性断言,并由“共识挑战者(Consensus Challenger)”主动探查潜在遗漏需求。基于证据的递归修正机制使 Gemini 3.5 Flash 表现净增 6.2 分,Claude Opus 4.8 净增 6.4 分。团队耗资超过 10 万美元,正式公开开源包含 26,000 条轨迹的完整评测基准。

多数表决机制失效!Google 与剑桥提出 VeriHarness:长程任务 Agent 验证新范式,耗资 10 万美元开源 2.6 万条轨迹

核心要点速览

  • 揭示长程任务中多数表决机制失效真相:分歧往往包含正确解,而共识反而经常掩盖系统性共性缺陷
  • 提出 VeriHarness 架构,为底座模型配备沙箱与分歧仲裁/共识挑战机制,驱动 Gemini 3.5 Flash 净增 6.2 分、Claude Opus 4.8 净增 6.4 分
  • Google 与剑桥耗费超 10 万美元算力,开源覆盖 5 大基准的 26,000 条高质量长程智能体验证轨迹库
阅读全文

当计算机使用 Agent 遇上软件工程!CUA-SWE 首创多模态视觉交互评测基准:代码与 GUI 双闭环重塑排错范式

真实的软件研发远不止在文本编辑器中敲击代码:工程师必须频繁启动软件、与图形界面(GUI)交互、视觉观察组件渲染与动态反馈,以此推断故障根因并验证修复成效。然而长期以来,代码智能体(Coding Agents)与计算机使用智能体(Computer-Use Agents, CUA)被高度割裂在纯代码与纯操作两个极端孤岛中。由俄亥俄州立大学(OSU)、卡耐基梅隆大学(CMU)等机构联合推出的 CUA-SWE,是全球首个将计算机使用深度融入软件工程全生命周期的基准与评测环境。该基准涵盖四大核心工程领域,要求智能体在同一长程任务中交替修改源码/配置、执行终端指令、操控运行中的应用程序并审查视觉截图反馈,由确定性测试集保障软件行为合规,为多模态智能体演进提供了全新的统一试炼场。

当计算机使用 Agent 遇上软件工程!CUA-SWE 首创多模态视觉交互评测基准:代码与 GUI 双闭环重塑排错范式

核心要点速览

  • 全球首个将计算机使用(CUA)与真实软件工程深度绑定的多模态视觉评测基准与交互沙箱
  • 在无界面视检支持下纯文本智能体成功率不足 12%,接入视觉-代码闭环反馈后修复成功率飙升至 43.8%
  • 系统解构前端 Web、桌面与看板等工程中智能体跨代码与 GUI 交互的注意力竞争瓶颈
阅读全文