Hugging Face 的 Joël Niklaus 发布 Harness Leaderboard：28,849 次试验比较 9 款编码 Agent Harness，厂商口径 mini-swe-agent 均值约 51.4%

核心背景与行业痛点

开源编码模型常与 Claude Code、Codex、OpenCode 等 harness 打包评测，分数混杂「模型能力」与「脚手架」，团队很难判断该换模型还是换脚手架。2026-11-05，Hugging Face Harness Optimization 研究员 Joël Niklaus（@joelniklaus）发布 Harness Leaderboard，并在帖中写明：同一比较里只换 harness，模型、供应商与推理力度固定，每任务三轮尝试，方便对照 harness 本身的贡献。

架构亮点与底层机制

对比九款编码 Agent harness（含 Claude Code、Codex、Pi、OpenCode、Hermes Agent、mini-swe-agent、Kimi Code、Qwen Code、OpenClaw）。模型侧为 GLM-5.3-Flash、DeepSeek-V4.1-Flash 与 Flint；基准为 Terminal-Bench 2.1 与 DeepSWE。README 称试验跑在 Hugging Face 基础设施（Inference Providers / Sandbox / Jobs），轨迹写入公开 bucket。作者强调查题、抄轨迹、特判 grader 等视为失败。

权威 Benchmark 与实测跑分对比

以下均为作者/排行榜口径，非本站复现：共 28,849 次试验、推理花费约 $4,746。三模型平均：bash-only 的 mini-swe-agent 解决率约 51.4%，openclaw 约 27.3%；另有四款与榜首统计学打平。Pi 约 49.4%，每解一题约 $0.29，较 mini-swe-agent 的约 $0.53 低约 45%。最佳 harness 依赖模型：GLM-5.3-Flash 上 mini-swe-agent、DeepSeek-V4.1-Flash 上 Hermes Agent、Flint 上 Kimi Code。OpenCode 每解一题约 $3.35，约为 Pi 的 11.7 倍。

开发者实战落地与开箱指南

先看 https://huggingface.co/spaces/joelniklaus/harness-leaderboard 与轨迹 bucket，再用 Harness Lens 对照提示词/工具/压缩策略。选型时按目标模型看分榜，勿只看总平均；同时关注成本与「三轮全过」稳定性，避免只看单次通过率。本条是个人研究排行榜，不是 Hugging Face 官方产品发版。