斯坦福 / 康奈尔团队（E. Kelly Buchanan、Crystal Zhou、Scott W. Linderman、Christopher Ré）于 arXiv 2611.08417（2026-11-05）提出「benchmark maintenance debt」：即使用发布前人工+模型红队审过的 Terminal-Bench 2.0，仍有约 30%（28/89）任务存在指令—验证器不一致、外部依赖漂移或资源预算过紧。修复版 Terminal-Bench 2.1 已开源；重跑 19 个 Agent 后，个体分数最多变动约 12 分、名次最多变动 3 位，总排序仍高度相关（Spearman ρ=0.958）。延长超时后，GPT 5.4 上约 20 分的 harness 差距基本消失。
核心要点速览
- ✓缺陷规模：28/89 题需修；指令—验证不一致约 57%、任务漂移约 43%、环境/资源约 29%（可重叠）
- ✓影响：重跑 19 个 Agent，个体分数最多约 ±12 分、名次最多变动 3；Spearman ρ=0.958
- ✓典型修复：如 query-optimize 验证器要求字节级保留数据库文件但题面未写——改为写清约束；5 道题通过率从 ≤15% 升到 >50%
- ✓资源：默认超时下失败试验超 50% 是 timeout；把时限拉到 32× 后，Codex 与 Terminus-2 在 GPT 5.4 上的约 20 分差距基本闭合
- ✓产物：github.com/harbor-framework/terminal-bench-2-1 与 PR #53；工作流已并入 Terminal-Bench 持续审题
开发者 3 秒速决决策指标
把技术选型换算成你的开发预算
40 款主流编程套餐横向比价，支持输入/输出 Token 真实账单模拟
相关资源与官方项目出处
免代理直达深度技术解析与实战评估
核心背景与行业痛点
编码 Agent 榜单驱动产品叙事与选型，但可执行基准不是静态试卷：模型会找到验证器未覆盖的合法解，外部包/API 会漂移，过紧的 CPU/内存/超时会让 oracle 自己跑挂。作者把这类「分与能力脱钩」的积压称为 benchmark maintenance debt。
架构亮点与底层机制
论文给出持续校验流水线：证据收集（题面、轨迹、社区报告）→ 审计员按缺陷标签出修复草案 → /oracle 重建环境跑参考解 → 维护者闸门合并。缺陷三类：指令—验证不一致、任务漂移、环境资源。资源修复约定至少给 oracle/验证器 1.5× 余量。工作流在 Claude Code（Opus 4.6）与 Codex（GPT-5.4）上主标签一致 κ=0.80。
权威 Benchmark 与实测跑分对比
对 Terminal-Bench 2.0→2.1 重评 19 个 Agent：整体 Spearman ρ=0.958；OLS 近似 TB2.1≈2.1+1.04·TB2.0。增益不均匀——例如 Claude Code + Opus 4.6 高于拟合线并升 3 名。默认预算下失败中 timeout 占比可到约 68%（claude-code harness）。Harbor-Index v0.1 抽样 34 题上，流水线精度约 86%（12/14 确认有缺陷），说明可迁移但非完美。
开发者实战落地与开箱指南
用 Terminal-Bench 做选型时写明版本（2.0 vs 2.1）、harness 与超时/内存；不要只报单一标量。仓库：harbor-framework/terminal-bench-2-1，变更讨论见 terminal-bench-2 PR #53。社区报缺陷时可走现成 /audit /oracle Action，但合并仍需人工。
即刻查看该技术对应模型与主流工具的实测差异，或一键测算团队 API 调用与 $20/月套餐盈亏平衡点。
讨论与评论
0登录后即可参与深度讨论
与广大 AI 开发者、工程师交流评测心得与前沿洞察