告别单一 Issue 跑分偏见!JetBrains 发布 SWE-TaskFlow:基于 4782 场真实开发者会话重构 Agent 评测
现有的软件工程 Agent 基准(如 SWE-bench)几乎完全依赖从 GitHub Issue 派生的单向任务:给入一段 Issue 描述,让 Agent 尝试在单次多轮尝试中输出最终 Git Patch。然而,真实世界中的软件工程师真的是这样使用 AI 助手的吗?JetBrains 研究院在最新成果(arXiv:2610.09633)中公布了针对 JetBrains IDE 生产环境中 4,782 场真实软件工程师与 AI 交互会话(Production Sessions)的深度实证分析。研究发现,包含至少 3 轮交互的长会话呈现出截然不同的‘任务流(Task Flow)’:开发者的请求绝非单一的代码修改,而是跨越项目代码咨询答疑、架构规划、代码审查、功能重构与编译执行等多重任务类型的动态混合与频繁跳转。现有基准的单向任务模式严重脱离实际。为此,团队推出了 SWE-TaskFlow 框架:通过 Prompt 切分与可验证仓库问答技术,将任意 Issue 基准转换为贴合真实工程节拍的交互任务流,并提出 TaskFlow Alignment Score(TFAS)筛选真实轨迹。在 700 个 SWE-Bench Pro 任务的实测中,顺序多步交互协议使 Agent 算力成本翻倍但成功率未见稳定提升,证实交互协议本身是决定 Agent 实用价值的关键维度,论文与方法论已全面公开。
核心要点速览
- JetBrains 分析 4782 场真实 IDE 开发者会话,揭示工程任务涵盖代码问答、规划、审查与执行的高频跳转
- 发布 SWE-TaskFlow 评测框架与 TFAS 指标,将单一 Issue 转换为贴合真实工程节拍的交互任务流
- 实测 700 个 SWE-Bench Pro 任务证实:分步交互使 Agent 算力成本暴涨 100% 却未带来稳定胜率提升,证实交互协议本身是关键变量