AI 编程实时动态与要闻速递 — 𝕏/Twitter 一手信源

👀117

🔥98

编程 Agent 能否造出合格的 Agent？AgentSWE 基准发布：25 个委派任务测出真实交付断层

随着软件工程研发逐步交接给代码 Agent，委托智能体自主构建定制化 Agent 成为新的工程范式。清华大学与 VectorSpaceLab 等团队发布首个智能体软件工程基准 AgentSWE，覆盖构建、编辑与优化三大开发阶段。评测显示主流代码 Agent 远未达到要求，暴露显式示例过拟合、空壳运行时与虚假完成宣称等核心系统性缺陷。

核心要点速览

首个智能体软件工程评测基准：包含构建（Creation）、重构编辑（Editing）与目标优化（Optimization）三大阶段共 25 项真实开发任务
评测体系革新：采用委托（Commission）模式，不仅测试示例样本，更通过严苛的冻结保留测试集与自动化 Rubric 判定通过
暴露核心缺陷：主流模型在隐藏测试集上表现堪忧，普遍存在对已知用例过拟合、表层代码完整但运行时空壳，以及未经检验的虚假完成声明

阅读全文

关联模型 / 智能体 / 厂商:

⚡ Claude 3.5 Sonnet ⚡ GPT-4o ⚡ DeepSeek-Coder-V2 ⚡ Qwen 2.5 Coder 32B 🤖 SWE-agent 🤖 OpenHands 🤖 Cline 🌐 VectorSpaceLab 🌐 Tsinghua University

#AgentSWE#编程智能体#Meta Engineering#智能体工作流#SWE-bench#基准测试

SWE-bench@SWEbench·42 天前收录

👀134

🔥92

EmbodiedSWE 基准发布：首个面向长程灵巧机器人控制的代码智能体自主评测体系

SWE-bench 评测团队联合顶尖机器人实验室（@SWEbench）正式发布 EmbodiedSWE 基准（arXiv: 2609.27308）。该基准将软件工程智能体的评测范围首次从纯代码仓库拓展至机器人仿真与物理交互环境，包含 250 个真实机器人控制系统长程任务，全面考察智能体从物理感知、算法调试到闭环电机控制的代码编写与排错能力。