X 热议：YC 总裁 Garry Tan 开源 harness 评测，7 种「模型+harness」组合在 20 道任务上通过率都落在 71–79%，差距主要在成本：OpenClaw 每解一题约 $0.44，Claude Code $0.22，Codex $0.17

核心背景与行业痛点

编码 Agent 选型时，大家常把注意力放在模型上，但同一个模型套上不同的 harness（系统提示、工具集、记忆机制），成本和速度可能差很多。2026 年 11 月 8 日 18:09 UTC，Y Combinator 总裁兼 CEO Garry Tan 在 X 发帖，说出于好奇在做「frontier 模型 + harness」的开源评测，并贴出初步结论截图，随后公开了 GitHub 仓库 garrytan/g-harness-evals（MIT 许可）。抓取时原帖约 312 赞、84 回复、117 收藏、约 4.2 万展示，X 趋势页也把它列为热门讨论。这是个人发起的评测，不是厂商官方 Benchmark。

架构亮点与底层机制

仓库 README 写明做法：固定模型（Opus 5.5 或 GPT-6.1 Sol）和任务，只替换 harness，所有组合走同一套任务、评分器、前置提示和计费代理，收据（receipts）都放在仓库里，任何人都能重新评分。参评组合共 7 个：Opus 上的 Claude Code、OpenClaw、Hermes Agent、QM（Pi loop），以及 Sol 上的 Codex、OpenClaw、Hermes Agent。成本口径是该组合全部花费按标价计算，再除以通过题数。Claude Code 和 Codex 各自只能跑自家模型，所以两者不直接比较。

权威 Benchmark 与实测跑分对比

以下均为作者口径。通过率：Opus 上 Hermes 78.8%、Claude Code 76.3%、OpenClaw 76.3%、QM 72.5%；Sol 上 Hermes 75.0%、OpenClaw 73.7%、Codex 71.3%。95% 区间大幅重叠，截图解释说 20 道题里有 14 道在所有组合中结果相同，测试太简单，这是「测试问题而不是平局」，更难的 Terminal-Bench 复跑正在进行。成本：Opus 上 QM $0.19、Claude Code $0.22、Hermes $0.24、OpenClaw $0.44；OpenClaw 单次约 99.4 秒，Claude Code 40.1 秒。Sol 上 Codex $0.17、30.1 秒，最便宜也最快。README 注明成本差异只是描述性结果，没有做显著性检验；QM 运行时网络环境没有固定，两个 OpenClaw 组合的最后一题因封顶停止而不完整。

开发者实战落地与开箱指南

想自己核对，可以克隆 garrytan/g-harness-evals，先看 docs/scoreboard.md 的完整表格和 findings/harness-cost 的成本拆解。按作者目前的建议，在通过率分不出高下时按成本和速度选：Opus 用 Claude Code，Sol 用 Codex。不过这是 20 道公开任务上的开发期结果，不是留出集验证，最好等 Terminal-Bench 复跑结果出来再下结论。仓库也写明了利益关系：QM 是 YC 项目，YC 投资了 Hermes，gstack 和 gbrain 是作者本人项目，读相关行时要把这些考虑进去。