BenchFlow 团队于 11 月 5 日公开 FrontierPhysics（arXiv:2611.06910）：由 42 位物理学家基于本人研究贡献 56 项任务，覆盖 9 个领域；智能体需完成文献、计划、实验与可验证产出及论文。22 个模型、26 种配置下，没有任何配置在 168 次 rollout 中通过超过 46 次；最高约 27.4%（Claude Opus 5.5 + Claude Code）。人工复盘显示主要短板是严谨推理与专家直觉，而非缺物理知识。Artificial Analysis 表示将合作托管评测。
核心要点速览
- ✓规模：56 项任务、42 位作者、26 所机构、9 个物理领域；182 份投稿中录用 56；18 项基于已发表论文（含 4 篇 Nature）
- ✓评测：确定性 verifier + 专家 rubric（blocker/非 blocker）；通过需全部 verifier 与 blocker 通过
- ✓结果：22 模型 / 26 配置；没有任何配置在 168 次 rollout 中通过超过 46 次；最高约 27.4%（Opus 5.5 + Claude Code，论文口径）
- ✓失败模式：严谨推理约 48%、专家直觉约 34%、文献综合约 27%；物理知识缺口不是主因（GPT-6 Astra 人工复盘）
- ✓生态：可用 BenchFlow 跑评测；Artificial Analysis 将合作托管；论文 arXiv:2611.06910
开发者 3 秒速决决策指标
把技术选型换算成你的开发预算
40 款主流编程套餐横向比价，支持输入/输出 Token 真实账单模拟
相关资源与官方项目出处
免代理直达深度技术解析与实战评估
核心背景与行业痛点
现有物理基准多为固定题、子任务或给参考文的复现，难测「从 PI 级提示到可发表结果」。FrontierPhysics 要求智能体完成文献、计划、实验、可验证产物与手稿，并用确定性校验加专家 rubric 同时打正确性与可发表性。
架构亮点与底层机制
任务由作者基于本人项目撰写，经质检、领域评审与失败模式分析后入库。评测结合 verifier 与 Agent-as-judge：blocker 不过则整题 0 分。运行用 BenchFlow，覆盖 Codex、Claude Code、Grok Build、Antigravity 等 harness，单次超时约 10 小时。
权威 Benchmark 与实测跑分对比
论文口径：22 模型、26 配置；没有任何配置在 168 次 rollout 中通过超过 46 次；最高约 27.4%（Claude Opus 5.5 + Claude Code）。GPT-6 Astra 人工复盘显示主因是严谨推理与专家直觉；作者自有文稿在对应 rubric 约 96.2%。尚无独立第三方复现。
开发者实战落地与开箱指南
读 arXiv:2611.06910 与 benchflow.ai/research。适合压测科研 Agent harness，而非刷题。任务偏物理、成本高；Artificial Analysis 称将合作托管，上线前以论文与 BenchFlow 为准。
即刻查看该技术对应模型与主流工具的实测差异，或一键测算团队 API 调用与 $20/月套餐盈亏平衡点。
讨论与评论
0登录后即可参与深度讨论
与广大 AI 开发者、工程师交流评测心得与前沿洞察