FrontierRefactor 发布首个智能体代码性能重构基准:揭示 41% 候选通过功能测试却无性能收益或发生严重回退
在 arXiv:2610.25834 中,跨国研究团队正式发布业内首个专门评估 Coding Agent 大规模、面向物理性能代码重构能力的基准 FrontierRefactor。与传统仅考量“功能测试能否通过”的 SWE-bench 不同,FrontierRefactor 涵盖 7 种主流编程语言、跨越 10^1 至 10^4+ 行代码规模的 60 个符合阿姆达尔定律(Amdahl's law)的严苛工业级工程任务。测试揭示了惊人的行业现状:超过 41% 的智能体生成补丁虽然 100% 通过了功能等价性测试,却并未带来任何实际物理加速,其中 19.3% 甚至引发严重的运行时性能回退,展现了引入多轮执行耗时反馈机制对自主重构智能体的决定性意义。

核心要点速览
- FrontierRefactor(arXiv:2610.25834)首创面向性能优化的自主代码重构基准,涵盖 7 门主流语言与 60 项工程任务
- 揭示关键盲区:超过 41% 的 Agent 补丁虽然通过单元测试,却无法带来有效物理性能加速(19.3% 发生回退,21.9% 陷入测量噪音)
- 跨语言重写(如 Python 转 Rust/C++)加速潜力大但合同保真度极易崩溃;就地优化保真度高但极难脱离 Profiler 实现真加速
- 引入多轮执行耗时反馈(Execution-Timing Feedback)能够将复杂代码重构的严格真实成功率成倍提升