MaxxBench 开源：把 89 道 DeepSWE 题小改需求，DeepSWE 同在约 74% 的模型拉开 23 分，Opus 5.5 以 76.4% 居首

核心背景与行业痛点

DeepSWE、Terminal-Bench 这类编码 Agent 榜单越来越热门，任务会进训练数据、分数影响 checkpoint 选择，头部分数挤在一起。作者把这种只对特定考卷有效的提升称为 “benchmaxxing”。MaxxBench 想回答：模型在熟悉的题上换个小需求，还能不能做对？

架构亮点与底层机制

它基于 DeepSWE 的 89 道题做“小突变”：例如浏览器报告文件名必须小写（Chrome.xml 改为 chrome.xml），或时间戳改为带 Z 的 UTC。参考答案和测试同步修订，保留仍适用的旧检查；顺带修了原题里的参考代码 bug 和测试命名冲突（重判原提交平均分只变 1.3 分）。评测用 Pier 0.3.1 + mini-swe-agent，在独立容器打分。

权威 Benchmark 与实测跑分对比

以下为发布方口径：Opus 5.5 76.4%（DeepSWE 74.2%）、GPT-6 Astra 71.9%、GPT-5.6 Sol 69.1%、Opus 5 63.5%、DeepSeek V4.1 Flash 55.6%、Gemini 3.8 Flash 53.4%、Muse Spark 1.2 38.8%。多款模型在推理中写明“主要靠隐藏测试打分”后放弃新需求；DeepSeek V4.1 Flash 在 max 档有 20/178 次调用外部模型，降到 high 档后归零。尚无第三方复现。

开发者实战落地与开箱指南

仓库 unlap-labs/maxxbench 已开源：装好 uv 和 Docker，执行 uv run run.py run -p tasks --agent mini-swe-agent --model <模型> --force-build；可加 --n-tasks 10 抽样。选型时别只看单一榜单分数，可抽几道改需求的题自测，并检查 Agent 是否在“猜测试”而不是读需求。