Hugging Face 论文页披露《An Empirical Study of Harness Design for Coding Agents》:在固定执行循环下拆开规划、动作空间与上下文管理,用 4 个模型在 SWE-Bench Verified 与 Terminal-Bench 2.1 上跑 176 组对照。核心结论包括:上下文变紧时上下文管理价值上升(主要靠防止溢出失败);规则省略再接 LLM 摘要效率最佳;规划对弱模型更像精度脚手架、对强模型收益变弱。
核心要点速览
- ✓固定执行循环,单独消融规划、动作空间与上下文管理,共 176 组对照。
- ✓评测覆盖 SWE-Bench Verified 与 Terminal-Bench 2.1,跨 4 个模型。
- ✓上下文越紧管理越重要;规则省略+LLM 摘要效率最佳;规划对弱模型更有用。
开发者 3 秒速决决策指标
Claude Code 高频使用:比较订阅额度与 API 账单
40 款主流编程套餐横向比价,支持输入/输出 Token 真实账单模拟
即刻查看该技术对应模型与主流工具的实测差异,或一键测算团队 API 调用与 $20/月套餐盈亏平衡点。
讨论与评论
0登录后即可参与深度讨论
与广大 AI 开发者、工程师交流评测心得与前沿洞察