复旦与阿里巴巴（Alibaba Token Hub）等机构的研究者在 arXiv 发布 Co-Design Bench（2610.35138，2026-10-26 提交），11 月 8 日起在 X 上被广泛转述。它从 26,314 个真实用户编码会话、37,463 条去重请求中挑出 273 个「改了又改」的网页应用修改任务（多模态编辑 100 个、仓库编辑 173 个），配 2,331 条隐藏的专家验收标准。在统一的 Claude Code 外壳下测 10 个模型：最强的 GPT-6 Astra 平均满足 69.9% 的验收项，但全部验收项都通过的任务只有 26.4%；Claude Opus 5 为 18.3%，Grok 4.6 只有 6.6%。论文测的是 9 月版本模型，不含 Opus 5.5、GPT-6.1 等新版。
核心要点速览
- ✓规模：273 个任务（多模态编辑 100 + 仓库编辑 173），来自 26,314 个真实编码会话，2,331 条隐藏验收标准
- ✓头名 GPT-6 Astra：平均满足 69.9% 验收项（Strict 0.699），全部通过率仅 26.4%
- ✓其余全部通过率（论文口径）：Opus 5 18.3%、Qwen3.8-Max 16.5%、Kimi K3 15.8%、Qwen3.8-27B 15.0%、GPT-5.6 Sol 14.3%、Grok 4.6 6.6%
- ✓对照：同组作者在旧基准 WebCompass-edit 上测得 Opus 4.8 智能体模式完成度 99.4%，说明旧基准已接近饱和
- ✓仓库改动涉及 3–4 类变更时，10 个模型的完成度都低于只涉及 1–2 类的任务
开发者 3 秒速决决策指标
Claude Code 高频使用：比较订阅额度与 API 账单
40 款主流编程套餐横向比价，支持输入/输出 Token 真实账单模拟
相关资源与官方项目出处
免代理直达深度技术解析与实战评估
核心背景与行业痛点
编码 Agent 在老基准上分数越来越高，但开发者的真实感受常常是「差一点就好」。作者在论文里给了对照：同一套评分流程下，Opus 4.8 在旧基准 WebCompass-edit 的智能体模式完成度达 99.4%。Co-Design Bench 改用真实用户反复提过、回滚过的修改需求，专门量「做完了多少」和「是不是全做完」之间的差距。
架构亮点与底层机制
任务分两条线：多模态编辑（100 个，可带图片、音频、视频、文档附件）和仓库编辑（173 个，多文件前端项目里的联动修改）。没有标准答案代码，靠「先判后驳」：先用源码和浏览器证据逐条打分，再由另一个 LLM 验证器专门反驳通过的判定，视觉和交互类结论还要额外审计。
权威 Benchmark 与实测跑分对比
统一用 Claude Code 外壳、每题最长 3 小时。全部通过率（论文口径）：GPT-6 Astra 26.4%、Opus 5 18.3%、Qwen3.8-Max 16.5%、Kimi K3 15.8%、Qwen3.8-27B 15.0%、GPT-5.6 Sol 14.3%、Opus 4.8 10.3%、Grok 4.6 6.6%。Qwen3.8-27B 在仓库编辑上排第二。注意：评分依赖 LLM 裁判，且作者团队来自阿里；测试模型是 9 月版本，Opus 5.5、GPT-6.1 等新版官方未公布成绩。
开发者实战落地与开箱指南
数据集在 Hugging Face（Wiselnn/Co-Design-Bench），评测代码在 GitHub。给团队的启示很直接：验收 Agent 的产出要按「全部通过」算，别只看完成比例；需求拆成可检查的验收项，跨组件、跨状态的联动改动最好人工复核。
即刻查看该技术对应模型与主流工具的实测差异，或一键测算团队 API 调用与 $20/月套餐盈亏平衡点。
讨论与评论
0登录后即可参与深度讨论
与广大 AI 开发者、工程师交流评测心得与前沿洞察