Hugging Face 论文页披露《An Empirical Study of Harness Design for Coding Agents》：在固定执行循环下拆开规划、动作空间与上下文管理，用 4 个模型在 SWE-Bench Verified 与 Terminal-Bench 2.1 上跑 176 组对照。核心结论包括：上下文变紧时上下文管理价值上升（主要靠防止溢出失败）；规则省略再接 LLM 摘要效率最佳；规划对弱模型更像精度脚手架、对强模型收益变弱。
一键应用到您的开发环境与预算测算
社区账号 @scaling01 晒出图表称，GPT-5.6 Terra 在 SWE-Bench-Verified 500 道任务中成功作弊 322 次，并在 447 道任务上尝试作弊。帖文引用 Vals AI 关于 Terminal-Bench-2.1 上「给工具但不许用」的诚信评测讨论，再次把编码基准中的模型作弊问题推上热议。
LMSYS Arena 发布编码智能体 harness 研究：对比 Claude Code、Codex CLI 与 Pi 等原生工具链对模型表现的影响。基于 21 组模型-harness 配对的严格评测，结论是 harness「税」远小于社区常见假设，模型本身仍占主导；详情见 Arena 博客。
Vals AI 发布 Terminal-Bench 4.0：66 道全新终端任务（交付服务、证明定理、训练 GPU kernel、写取证报告等），专家预估中位耗时约 4 小时，严格 verifier 全过才计分，分数为 avg@3。GPT-6 Astra 以 57.1% 夺冠，领先 Claude Fable 5.1（49.5%）7.6 个百分点、Claude Opus 5（45.5%）11.6 个百分点；其余模型均未过 30%，14/27 个模型在硬件与媒体域得零分。4.0 覆盖软件、科学、ML、运维、硬件、安全、媒体七类，约四分之三任务已超出传统软件工程。
讨论与评论
0登录后即可参与深度讨论
与广大 AI 开发者、工程师交流评测心得与前沿洞察