Hugging Face 论文页披露《An Empirical Study of Harness Design for Coding Agents》:在固定执行循环下拆开规划、动作空间与上下文管理,用 4 个模型在 SWE-Bench Verified 与 Terminal-Bench 2.1 上跑 176 组对照。核心结论包括:上下文变紧时上下文管理价值上升(主要靠防止溢出失败);规则省略再接 LLM 摘要效率最佳;规划对弱模型更像精度脚手架、对强模型收益变弱。

核心要点速览

  • ✓固定执行循环,单独消融规划、动作空间与上下文管理,共 176 组对照。
  • ✓评测覆盖 SWE-Bench Verified 与 Terminal-Bench 2.1,跨 4 个模型。
  • ✓上下文越紧管理越重要;规则省略+LLM 摘要效率最佳;规划对弱模型更有用。
🧭

Claude Code 高频使用:比较订阅额度与 API 账单

40 款主流编程套餐横向比价,支持输入/输出 Token 真实账单模拟

实战指南准备好将技术转化为生产力?

即刻查看该技术对应模型与主流工具的实测差异,或一键测算团队 API 调用与 $20/月套餐盈亏平衡点。

接着读Factory 发布 Droid 1.0:程序化工具调用成默认,一次模型请求可跑上百次工具调用,自测 Terminal-Bench 4 领先各家原生 harness
立即阅读→