Hugging Face 研究员 Joël Niklaus 11 月 11 日宣布，DeepSeek 开源编码 Agent DeepSeek Harness（DSH，开发者预览版 0.2.2-rc.1）已加入他维护的 Harness Leaderboard。该榜单固定模型和推理力度、只换 harness，比较 10 款编码 Agent。作者口径：DSH 在 DeepSeek-V4.1-Flash、GLM-5.3-Flash（低/高推理力度）和 Flint 共 5 组评测中都与第一名统计持平；DeepSWE 三模型平均排第 2，仅比 Nous Research 的 Hermes Agent 低 0.5 分；Terminal-Bench 排第 6。主要原因是 DSH 结束任务时会关掉自己启动的后台程序，3 道要求留着服务器给评分器检查的任务 36 次只过 2 次，每组评测因此丢 1.5–1.7 分。平均每解出一题花费 0.53 美元。这是个人维护的研究榜单，并非 DeepSeek 或 Hugging Face 官方公告。
核心要点速览
- ✓榜单固定模型只换 harness，比较 10 款编码 Agent；DSH 在 5/5 组评测中与第一名统计持平（作者口径）
- ✓DeepSWE 三模型平均排 第 2，比 Hermes Agent 低 0.5 分；Terminal-Bench 排 第 6
- ✓3 道需保留服务器的 Terminal-Bench 任务：DSH 2/36 通过，OpenCode、Pi、Hermes Agent 均为 36/36
- ✓这 3 题让 DSH 每组评测丢 1.5–1.7 分；在 DeepSeek-V4.1-Flash 高推理力度下超过它与第一名的 1.3 分差距
- ✓平均每解出一题 0.53 美元；测试版本 0.2.2-rc.1，因需 DeepSeek 账号密钥关闭了网页搜索
开发者 3 秒速决决策指标
把技术选型换算成你的开发预算
40 款主流编程套餐横向比价，支持输入/输出 Token 真实账单模拟
相关资源与官方项目出处
免代理直达深度技术解析与实战评估
核心背景与行业痛点
同一个开源模型放进不同的编码 Agent（harness）里，表现可能差很多，但多数榜单只比模型、不比 harness。Joël Niklaus 的 Harness Leaderboard 专门回答「我的模型该配哪个 harness」：固定模型权重、供应商和推理力度，每题跑 3 次，全部轨迹公开。DeepSeek Harness 是 DeepSeek 自家的开源编码 Agent，此前没有第三方横向数据。
架构亮点与底层机制
榜单在 Hugging Face 的 Sandbox、Jobs 和推理路由上运行 Terminal-Bench 2.1 与 DeepSWE v1.1，判断是否持平用的是与第一名配对差值的 95% bootstrap 置信区间。查官方答案、抓取原始上游代码找答案都算作失败。更新日志显示，DSH 通过 OpenAI 兼容格式接入测试代理，有 20 次通过因抓取上游代码等原因被改判为失败。
权威 Benchmark 与实测跑分对比
以下均为作者口径：DSH 在 5 组评测中都与第一名统计持平，DeepSWE 第 2、Terminal-Bench 第 6。差距主要来自一个习惯：任务结束时 DSH 会关掉自己启动的所有后台程序，而有 3 道题要求启动的服务（例如模型推理 API）在 Agent 退出后仍能被评分器访问，DSH 36 次只过 2 次。
开发者实战落地与开箱指南
在 DeepSeek-V4.1-Flash 或 GLM-5.3-Flash 上做仓库级改代码，DSH 已是第一梯队，平均每解一题约 0.53 美元。如果任务需要 Agent 部署后让服务继续运行，要注意它退出时会清理进程，可以改用 systemd、nohup 等方式托管服务，或在提示里说明。测试版本仍是开发者预览版，正式版行为可能变化。
即刻查看该技术对应模型与主流工具的实测差异，或一键测算团队 API 调用与 $20/月套餐盈亏平衡点。
讨论与评论
0登录后即可参与深度讨论
与广大 AI 开发者、工程师交流评测心得与前沿洞察