AI 编程实时动态与要闻

告别单一 Issue 跑分偏见!JetBrains 发布 SWE-TaskFlow:基于 4782 场真实开发者会话重构 Agent 评测

现有的软件工程 Agent 基准(如 SWE-bench)几乎完全依赖从 GitHub Issue 派生的单向任务:给入一段 Issue 描述,让 Agent 尝试在单次多轮尝试中输出最终 Git Patch。然而,真实世界中的软件工程师真的是这样使用 AI 助手的吗?JetBrains 研究院在最新成果(arXiv:2610.09633)中公布了针对 JetBrains IDE 生产环境中 4,782 场真实软件工程师与 AI 交互会话(Production Sessions)的深度实证分析。研究发现,包含至少 3 轮交互的长会话呈现出截然不同的‘任务流(Task Flow)’:开发者的请求绝非单一的代码修改,而是跨越项目代码咨询答疑、架构规划、代码审查、功能重构与编译执行等多重任务类型的动态混合与频繁跳转。现有基准的单向任务模式严重脱离实际。为此,团队推出了 SWE-TaskFlow 框架:通过 Prompt 切分与可验证仓库问答技术,将任意 Issue 基准转换为贴合真实工程节拍的交互任务流,并提出 TaskFlow Alignment Score(TFAS)筛选真实轨迹。在 700 个 SWE-Bench Pro 任务的实测中,顺序多步交互协议使 Agent 算力成本翻倍但成功率未见稳定提升,证实交互协议本身是决定 Agent 实用价值的关键维度,论文与方法论已全面公开。

告别单一 Issue 跑分偏见!JetBrains 发布 SWE-TaskFlow:基于 4782 场真实开发者会话重构 Agent 评测

核心要点速览

  • JetBrains 分析 4782 场真实 IDE 开发者会话,揭示工程任务涵盖代码问答、规划、审查与执行的高频跳转
  • 发布 SWE-TaskFlow 评测框架与 TFAS 指标,将单一 Issue 转换为贴合真实工程节拍的交互任务流
  • 实测 700 个 SWE-Bench Pro 任务证实:分步交互使 Agent 算力成本暴涨 100% 却未带来稳定胜率提升,证实交互协议本身是关键变量
阅读全文
关联模型 / 智能体 / 厂商:

EmbodiedSWE 基准发布:首个面向长程灵巧机器人控制的代码智能体自主评测体系

SWE-bench 评测团队联合顶尖机器人实验室(@SWEbench)正式发布 EmbodiedSWE 基准(arXiv: 2609.27308)。该基准将软件工程智能体的评测范围首次从纯代码仓库拓展至机器人仿真与物理交互环境,包含 250 个真实机器人控制系统长程任务,全面考察智能体从物理感知、算法调试到闭环电机控制的代码编写与排错能力。

EmbodiedSWE 基准发布:首个面向长程灵巧机器人控制的代码智能体自主评测体系

核心要点速览

  • 包含 250 个覆盖 ROS2、Isaac Gym 与 MuJoCo 的工业级真实机器人控制编程难题。
  • 引入物理动力学闭环校验(Closed-Loop Physics Verification),必须通过仿真落地验证方可得分。
  • 测试显示当前最前沿编码智能体解决率不足 22%,揭示了 AI 从数字代码跨向物理具身控制的巨大能力鸿沟。
  • 官方基准数据集与评估容器已全面开源,国内机器人与具身智能开发者可直接下载测试。
阅读全文

Langfuse 发布 CLI v1:为 Coding Agent 与 CI/CD 流水线提供终端原生评估与回归门禁

Langfuse 宣布推出官方 CLI v1 命令行工具。开发者与自动化 Coding Agent 可以在终端一行命令直接运行评估测试集、对比 Prompt 变更前后的评分与时延,并将其作为 GitHub Actions 中的前置发布门禁。

核心要点速览

  • 终端优先体验:无需打开浏览器控制台,在开发环境或 CI 脚本中一行命令即可触发全量评估;
  • 与 Cursor / Claude Code 等智能体无缝集成,让 Coding Agent 在提交代码前能够自主完成回归自测;
  • 支持将评估通过率与成本预警硬性绑定到自动化部署流水线中,防止劣质 Prompt 带病上线。
阅读全文
关联模型 / 智能体 / 厂商: