Kaggle 与 IBM Research 上线 ScarfBench 企业 Java 迁移榜：Gemini 4 Argon + Antigravity 以 75.2% 居首，七成失败发生在运行阶段

核心背景与行业痛点

企业里大量存量系统是 Java 写的，框架迁移（比如从 Jakarta EE 迁到 Spring Boot 或 Quarkus）牵涉依赖注入、持久层、Web 路由、构建脚本和部署配置，往往要协调改动几十个文件。编码智能体很容易交出一份「看起来对、甚至能编译」的迁移，但应用一部署就出问题。现有编码跑分大多看单文件补丁或单元测试，很少检验整个应用迁移后行为是否不变。ScarfBench 正是针对这个缺口：IBM 今年早些时候发布了这个基准，Kaggle 官方账号 10 月 30 日宣布双方合作上线持续维护的排行榜。

架构亮点与底层机制

据 IBM Research 10 月 27 日的技术说明，ScarfBench 评测的是「模型 + 智能体框架」的组合，而不是单个模型，所以结果要按组合来读。204 个任务覆盖 Jakarta EE、Quarkus、Spring 三个方向的互迁，每个迁移后的应用都要能构建、启动并通过行为测试。榜单主指标是冒烟分，给部分分，测试多的任务权重更高；另有全部通过率和平均分。Kaggle 参与了评测设计，在自己平台上独立复现、赞助算力，并会在新模型发布后持续补充。

权威 Benchmark 与实测跑分对比

以下均为 IBM 官方口径。冒烟分前三：Gemini 4 Argon + Antigravity 75.2%、Claude Opus 5.5 + Claude Code 70.5%、Claude Opus 5 + Claude Code 69.8%；之后是 GPT-6.1 Sol + Codex 68.4%、Gemini 3.8 Flash + mini-swe 66.0%、GPT-6 Astra + Codex 65.4%、Qwen 3.8 Max + qwen-code 63.7%、Kimi K3 + kimi-code 61.1%。全部通过率则是 Claude Opus 5.5 最高（72.1%）。10 组中 8 组编译成功率在 97% 以上，但冒烟分相差 50 多个点；745 次失败里约 72% 是运行时行为失败。成本方面，GPT-6.1 Sol + Codex 每解决一个任务 1.25 美元，Claude Opus 5.5 + Claude Code 为 10.10 美元；Antigravity、qwen-code、OpenHands 没有输出成本数据。

开发者实战落地与开箱指南

如果你打算让智能体做框架迁移，这份结果最直接的提醒是：编译通过只是起点，必须先补齐接口级回归测试，重点盯路由是否丢失、HTTP 状态码是否变化、旧框架配置是否残留。选型时把冒烟分和全通过率对照看，再结合每任务成本：追求完全跑通可看 Opus 5.5，预算敏感可看 GPT-6.1 Sol + Codex。排行榜可在 Kaggle 查看，公开提交暂未开放，IBM 称已列入路线图。