Google 与滑铁卢大学在 arXiv(2611.08452,2026-11-05)发布 ReproBridge:把 Agent 复现论文时摸索出的代码修复、环境配置、启动脚本和复现指南固化为标准化产物。配套 ReproBridge-Bench 含 36 篇论文、387 个实验、1,029 个任务。作者口径:Sonnet 4.6/Sonnet 5/Opus 5/Gemini 3.8 Flash 平均成功率由 76.4% 升至 92.6%,API 花费平均降 19.7%。
核心要点速览
- ✓基准:36 篇论文、387 个实验、1,029 个任务,每题 5 个人工核验参考分
- ✓作者口径:4 个模型平均复现成功率 76.4% → 92.6%,API 花费平均降 19.7%
- ✓模型间差距从 21.6 个百分点缩到 3.9,四个模型均超 90%
- ✓增益 5.5pp(Opus 5)到 23.2pp(Gemini 3.8 Flash);消融中去掉代码或环境损失最大
- ✓每篇论文 24 小时时限、8×H100;Codex 担任主审计 Auditor

开发者 3 秒速决决策指标
把技术选型换算成你的开发预算
40 款主流编程套餐横向比价,支持输入/输出 Token 真实账单模拟
相关资源与官方项目出处
免代理直达深度技术解析与实战评估
核心背景与行业痛点
让编码 Agent 复现 ML 论文,难点往往不在模型推理,而在论文与开源代码之间的「缺口」:依赖版本冲突、缺少汇总脚本、超参写在附录、甚至代码有 bug。每个新会话都要从头摸索一遍,既慢又烧 Token。Google 团队想回答一个问题:把第一次成功复现时找到的步骤与决策保存下来,能否让后续独立复现更稳、更便宜?
架构亮点与底层机制
ReproBridge 定义了标准化的「精炼可复现产物」,包含四部分:清理后的代码库、环境配置、实验启动脚本和复现指南,由 Agent 工作流自动构建(主实验由 Opus 5 构建)。下游评测时,新的 Reproducer 会话只拿到论文、任务和原始代码或精炼产物,看不到构建对话和参考答案;另设独立 Auditor 检查执行证据,防止「没跑就报数」。
权威 Benchmark 与实测跑分对比
以下均为论文作者口径:ReproBridge-Bench 共 1,029 个任务。Sonnet 4.6、Sonnet 5、Opus 5、Gemini 3.8 Flash 四个模型的平均成功率从 76.4% 升到 92.6%,下游 API 花费平均降 19.7%,模型间差距从 21.6 缩到 3.9 个百分点。增益最小的是原始复现最强的 Opus 5(+5.5pp),最大的是 Gemini(+23.2pp)。论文也说明各厂商 harness 不同,跨模型比较仅作描述。
开发者实战落地与开箱指南
如果你的 Agent 反复跑不起某个仓库,先别急着换更大的模型:把第一次成功运行的环境、补丁、启动命令和输出映射整理成 README 级指南并提交进仓库,下次让 Agent 直接复用。论文、项目页与 benchmark 细节见 arXiv 2611.08452 与官方项目页;团队可先在自家仓库小规模验证,不要把 92.6% 当成通用保证。
即刻查看该技术对应模型与主流工具的实测差异,或一键测算团队 API 调用与 $20/月套餐盈亏平衡点。
讨论与评论
0登录后即可参与深度讨论
与广大 AI 开发者、工程师交流评测心得与前沿洞察