FrontierCS 2 基准发布：让 Agent 在论文原仓库里重写被删掉的核心贡献并打败作者代码，Claude Opus 5.5 通过率 58% 居首，16 题无人通过

背景与痛点

SWE-bench、Terminal-Bench 这类基准考的是修 bug、过测试，答案已知；FrontierCS 2 想回答另一个问题：Agent 能不能像研究者一样，接手一篇论文的代码，把核心方法做得比作者更好。它直接拿论文作者公开的代码做标尺，而不是拿评分细则或别人的复现。

架构亮点与底层机制

每个任务从论文原仓库里删掉论文贡献对应的代码，被删的代码就是「人类参考」。Agent 拿到剩下的仓库，5 小时内可以随时提交补丁，评判方只返回开发集分数和一句提示；评测器、隐藏的最终测试集和参考实现都留在评判方的沙箱里，Agent 的沙箱除了转发器不能联网，拿不到作者代码。最后 Agent 自己选一个版本作为最终提交，只有它在隐藏负载上评分。48 个任务覆盖 13 个计算机领域，另有 100 多个私有任务以后公布。

权威 Benchmark 与实测跑分对比

论文评测了 12 个模型，各配一个 harness：Claude Opus 5.5（Claude Code）通过率 58% 第一，其余都低于一半，16 个任务无人通过。论文还提出 FCI 能力指数（基于 Epoch AI 的 ECI 改的，Kimi K2.7 定为 0 分），FCI 和通过率排序基本一致，中位任务难度约等于最强 Agent 的水平。网站记录 Gemini 4 Argon 在 Pi harness 下 48 次运行有 10 次因提供方拒答被结束；10 月 26 日维护者 Wenhao Chai（Princeton 博士生，曾在 Google DeepMind）在 X 上说改用 Antigravity 重跑后，Argon 超过 GPT-6 Astra、紧贴 Opus 5.5。这说明榜单名次很大程度取决于 harness，而不只是模型。

开发者实战落地与开箱指南

48 个任务、评测器和评判程序已开源在 GitHub，部署到自己的 AWS 账号，GPU 任务还需要 Modal，模型用任意 OpenAI 兼容接口即可。官方估算 Opus 5.5 跑完一轮约 1,000 美元 API 费、300 美元 GPU、100 美元 CPU。看 Agent 榜单时，记得同时看重试、拒答处理和截断策略。