👀9
🔥80
清华与智谱 Z.AI 开源 HarnessPro：Agent 自己改写 harness，Terminal-Bench 2 通过率 80.8%、单任务成本降 34%
清华大学与 Z.AI（智谱）等机构的论文 HarnessPro（arXiv 2610.26770，10 月 19 日提交、10 月 20 日更新 v2）提出一种无需标准答案的 harness 自我改进方法：让专门的 agent 诊断执行轨迹、改写指令与运行时策略，再用 LLM 生成的测试评估，并按性能与成本给出 Lite、Medium、Heavy 三档 harness。论文口径：GPT-5.5 搭配 Codex 时，Heavy 档在 Terminal-Bench 2 达到 80.8%，比此前方法 RHO 高 4.5 个百分点，单任务成本从 1.09 美元降到 0.72 美元。代码以 MIT 协议开源，本周被 Pandaily 等媒体集中报道。
核心要点速览
- Terminal-Bench 2（GPT-5.5 × Codex，三次平均）：Heavy 档 80.8%、单任务 0.72 美元；RHO 为 76.3%、1.09 美元，成本降 33.9%（论文口径，见 arXiv）
- 三个基准平均：相对 RHO 通过率 +2.0 个百分点、单任务成本 -26.1%；基准为 Terminal-Bench 2、SWE-Bench Pro、ProgramBench
- 换模型也成立：GLM-5.2 × Claude Code 在 Terminal-Bench 2 上，Heavy 档 81.4%、0.62 美元，对比原版 74.6%、0.92 美元和 RHO 78.0%、1.00 美元
- 省钱档：Medium 档在 Terminal-Bench 2 上 76.3%（与 RHO 持平）但只要 0.56 美元；Lite 档 72.9%、0.43 美元
- 训练代价小：每个基准只用 10 个训练任务、跑 3–4 轮进化，测试集为 59/100/100 个留出任务；GitHub 以 MIT 协议开源三档 harness
关联模型 / 智能体 / 厂商:
