Google 与滑铁卢大学在 arXiv(2611.08452,2026-11-05)发布 ReproBridge:把 Agent 复现论文时摸索出的代码修复、环境配置、启动脚本和复现指南固化为标准化产物。配套 ReproBridge-Bench 含 36 篇论文、387 个实验、1,029 个任务。作者口径:Sonnet 4.6/Sonnet 5/Opus 5/Gemini 3.8 Flash 平均成功率由 76.4% 升至 92.6%,API 花费平均降 19.7%。

核心要点速览

  • ✓基准:36 篇论文、387 个实验、1,029 个任务,每题 5 个人工核验参考分
  • ✓作者口径:4 个模型平均复现成功率 76.4% → 92.6%,API 花费平均降 19.7%
  • ✓模型间差距从 21.6 个百分点缩到 3.9,四个模型均超 90%
  • ✓增益 5.5pp(Opus 5)到 23.2pp(Gemini 3.8 Flash);消融中去掉代码或环境损失最大
  • ✓每篇论文 24 小时时限、8×H100;Codex 担任主审计 Auditor
Google 发布 ReproBridge:把一次成功复现打包给下一个编码 Agent,ML 论文实验复现成功率从 76.4% 升至 92.6%
🖼️要闻配图
点击全屏高清查看
🧭

把技术选型换算成你的开发预算

40 款主流编程套餐横向比价,支持输入/输出 Token 真实账单模拟

🔬

深度技术解析与实战评估

核心背景与行业痛点

让编码 Agent 复现 ML 论文,难点往往不在模型推理,而在论文与开源代码之间的「缺口」:依赖版本冲突、缺少汇总脚本、超参写在附录、甚至代码有 bug。每个新会话都要从头摸索一遍,既慢又烧 Token。Google 团队想回答一个问题:把第一次成功复现时找到的步骤与决策保存下来,能否让后续独立复现更稳、更便宜?

架构亮点与底层机制

ReproBridge 定义了标准化的「精炼可复现产物」,包含四部分:清理后的代码库、环境配置、实验启动脚本和复现指南,由 Agent 工作流自动构建(主实验由 Opus 5 构建)。下游评测时,新的 Reproducer 会话只拿到论文、任务和原始代码或精炼产物,看不到构建对话和参考答案;另设独立 Auditor 检查执行证据,防止「没跑就报数」。

权威 Benchmark 与实测跑分对比

以下均为论文作者口径:ReproBridge-Bench 共 1,029 个任务。Sonnet 4.6、Sonnet 5、Opus 5、Gemini 3.8 Flash 四个模型的平均成功率从 76.4% 升到 92.6%,下游 API 花费平均降 19.7%,模型间差距从 21.6 缩到 3.9 个百分点。增益最小的是原始复现最强的 Opus 5(+5.5pp),最大的是 Gemini(+23.2pp)。论文也说明各厂商 harness 不同,跨模型比较仅作描述。

开发者实战落地与开箱指南

如果你的 Agent 反复跑不起某个仓库,先别急着换更大的模型:把第一次成功运行的环境、补丁、启动命令和输出映射整理成 README 级指南并提交进仓库,下次让 Agent 直接复用。论文、项目页与 benchmark 细节见 arXiv 2611.08452 与官方项目页;团队可先在自家仓库小规模验证,不要把 92.6% 当成通用保证。

实战指南准备好将技术转化为生产力?

即刻查看该技术对应模型与主流工具的实测差异,或一键测算团队 API 调用与 $20/月套餐盈亏平衡点。

接着读Kaggle 与 IBM Research 上线 ScarfBench 企业 Java 迁移榜:Gemini 4 Argon + Antigravity 以 75.2% 居首,七成失败发生在运行阶段
立即阅读→