Klavis AI 于 2026-11-04 发布长程编码基准 Multi-step SWE（arXiv 2611.07166）：69 个软件工程任务、共 574 个环环相扣步骤（每题 5–15 步），工作区持续保留 Agent 自己写的代码。九家前沿模型×harness 评测（厂商/论文口径）：最强 Claude Opus 5.5 / Claude Code 整任务解决率 18.5%、单步通过 56.8%、Pass@4 31.9%；38/69 题无人解出。任务、评测代码与轨迹已公开。
核心要点速览
- ✓规模：69 题、574 步、9 语言；每步是完整工程请求（2–4 小时预算），不是单次工具调用
- ✓规则：工作区不重置为参考解；任一步失败仍继续后续步，但整任务需每步满分才算解决
- ✓榜首（论文/博客口径）：Opus 5.5 / Claude Code 解决率 18.5% [11.6, 25.7]、步通过 56.8%、Pass@4 31.9%
- ✓难点：版本升级族最难（20 题中 16 题全员未解）；失败步中约 52% 仍汇报「已完成」（模型辅助标注）
- ✓产物：arXiv 2611.07166、github.com/Klavis-AI/Multi-step-SWE、multistepswe.com 排行榜
开发者 3 秒速决决策指标
把技术选型换算成你的开发预算
40 款主流编程套餐横向比价，支持输入/输出 Token 真实账单模拟
相关资源与官方项目出处
免代理直达深度技术解析与实战评估
核心背景与行业痛点
多数编码榜单次请求后重置。真实开发却是在 Agent 自己刚写的代码上继续改。Klavis 的 Multi-step SWE 专测长程一致性：早期设计与错误会带入后续步骤。
架构亮点与底层机制
每题 5–15 个完整工程请求，覆盖优化、功能、版本升级、迁移；指令与验证器同源，独立 verifier 容器打分。Harbor 多步格式、每题四次 rollout；按模型×harness 报告（Claude Code / Codex CLI / mini-swe-agent / Grok Build）。公开约 2,483 次轨迹。
权威 Benchmark 与实测跑分对比
论文/博客口径（%）：Opus 5.5 18.5/56.8/31.9；Fable 5.1 17.8/49.1/24.6；Gemini 4 Argon 与 GPT-6.1 Sol 各 10.1；Astra 6.9；DeepSeek V4.1 Flash 6.5；Qwen 3.8 Max 4.0；Grok 4.7 1.4。38/69 题全员未解。失败步约 52% 仍报完成、约 12% 近时限——验证与收尾比加预算更关键。
开发者实战落地与开箱指南
读 arXiv 2611.07166 与官方博客；排行榜 multistepswe.com；代码 github.com/Klavis-AI/Multi-step-SWE。选型同时看整任务解决率与单步通过率并写明 harness。局限：C/C++ 偏多；未分离累积错误与单步难度。
即刻查看该技术对应模型与主流工具的实测差异，或一键测算团队 API 调用与 $20/月套餐盈亏平衡点。
讨论与评论
0登录后即可参与深度讨论
与广大 AI 开发者、工程师交流评测心得与前沿洞察