Einsia AI 联合清华大学等 11 月 10 日发布 WorkflowArena,专门测模型能不能自己拆任务、派子 Agent、写工作流并整合结果。基准含 8 个专业领域 145 个长程任务,用隐藏验证器打分,并记录每一次委派。论文测了 9 个模型在 Claude Code 和 Codex 中的 25 种配置:最强的 Claude Opus 5.5(max)平均只完整解决 36.95% 的任务,SWE 最高 29.41%,法律不超过 9.09%。Claude 系倾向少而大的委派,GPT 系则多而小;Opus 写的工作流能让较弱执行模型平均多得 6.41 分。代码和论文已公开。

核心要点速览

  • ✓规模:145 个长程任务、8 个领域、17 种任务形式(软件工程、Lean 形式化证明、法律、金融、科学、运维、内容、3D 等),测 9 个模型的 25 种配置
  • ✓完整解决率:Opus 5.5(max)36.95%、Opus 5.5(high)34.11%;数学最高 95.83%,SWE 最高 29.41%,法律与金融分别不超过 9.09% 和 18.75%
  • ✓成本:Opus(high)每任务约 736 万 token、6.66 美元;GPT-6.1 Sol(low)27.59%、3.61 美元;GPT-6 Astra(xhigh)30.80% 却要 29.26 美元(按 API 价格估算)
  • ✓委派风格(high 档):Opus / Sonnet 每任务 0.86 / 0.76 次工作流调用、每次 5.55 / 6.14 个 worker;Astra / Sol 2.09 / 1.94 次、每次仅 1.72 / 1.69 个
  • ✓固定执行模型时,Opus 编写的工作流让 4 个较弱执行模型的连续得分平均提高 6.41 分,Astra 编写的则帮助有限,还让其中两个下降
Einsia 与清华发布多 Agent 编排基准 WorkflowArena:145 个长程任务、25 种 Claude Code / Codex 配置,最强的 Opus 5.5 也只完整解决 36.95%
🖼️要闻配图
点击全屏高清查看
🧭

Claude Code 高频使用:比较订阅额度与 API 账单

40 款主流编程套餐横向比价,支持输入/输出 Token 真实账单模拟

🔬

深度技术解析与实战评估

核心背景与行业痛点

Claude Code、Codex 这类 Agent 工具已经能让模型自己派生子 Agent、编写协调它们的工作流。但现有基准要么只看最终任务有没有完成,要么在预先定好的协作结构里测协调能力,都看不出模型「组织工作」的水平。Einsia AI 联合清华大学等 11 月 10 日发布 WorkflowArena,把工作流编排单独拿出来评测。

架构亮点与底层机制

每个任务给出初始工作区和一个由多个相互依赖部件组成的交付物,比如要在整组合同里互相对齐的条款分析,或层层依赖的数学证明。模型自行决定要不要委派、怎么委派;所有委派都经过一个有记录的接口,编排时间也算进同一个时间预算。隐藏验证器会专门检查「单个部件都对、但没整合好」的提交。

权威 Benchmark 与实测跑分对比

以下为论文数据:最强的 Opus 5.5(max)平均完整解决 36.95%,没有任何配置在所有领域都领先。Opus(high)以每任务 6.66 美元拿到 34.11%,GPT-6 Astra(xhigh)30.80% 却要 29.26 美元。Claude 系在 Claude Code 中委派少而大,GPT 系在 Codex 中多而小。Opus 写的工作流让较弱执行模型平均多得 6.41 分,说明编排能力和单独完成任务的能力并不相同。

开发者实战落地与开箱指南

任务、评测框架和论文已在 GitHub(Einsia/WorkflowArena)和 arXiv(2611.12856)公开,可在自己的 Agent 系统上复现。团队用 Claude Code、Codex 等多 Agent 工具时,可以参考:高难度长任务优先让强模型负责拆分和写工作流,再交给便宜模型执行;Claude 模型的 effort 档位对结果影响明显,值得单独调。

实战指南准备好将技术转化为生产力?

即刻查看该技术对应模型与主流工具的实测差异,或一键测算团队 API 调用与 $20/月套餐盈亏平衡点。

接着读OpenAI:ChatGPT Business 套餐可通过「Sign in with ChatGPT」直接用在 Notion、v0、Amp、Kilo Code、Warp、OpenCode 等工具里,管理员可按应用放行并设用量上限
立即阅读→