开源编码 Agent 工具 Memdoor(GitHub guregodevo/memdoor,Apache 2.0)10 月 31 日公布 team-solve 工作流:用 GVS5H 论文作者的原版提示词和循环,让 5 个 Qwen3.8-27B 实例分别担任规划、两路构思、求解和管理,只通过磁盘文件沟通,由脚本跑测试判定成败。在 GVS5H 列表的前 10 道 LiveCodeBench Hard 题上各跑 5 轮,平均 9.8/10,作者原版 harness 为 9.6,Fable 5 单次调用为 8.0;50 次运行 49 次解出,总花费 35.79 美元,全部请求和回复都已公开。该帖在 Hacker News 约 200 分。这是社区复现,仅 10 题,作者自己也提示不能排除训练数据污染。

核心要点速览

  • ✓成绩:5 轮平均 9.8/10(逐轮 10、10、10、10、9),GVS5H 作者原版 harness 9.6,Fable 5 单次调用 8.0(team-solve README,项目方口径)
  • ✓成本:50 次运行 49 次解出,共 35.79 美元、1,530 万输出 token;单次中位耗时约 40 分钟模型时间、0.39 美元,最长 4 小时
  • ✓方法:规划、两路构思、求解、管理 5 个角色加修复 worker,各自从全新上下文开始,只经磁盘文件交流,测试由 shell 脚本判定,不让模型自评
  • ✓局限:只测了 10 题而非论文的 100 题;题目来自 2025 年 3–4 月的比赛,可能已进训练数据;Fable 5 的分数取自 GVS5H 作者的结果文件,没有在这个 harness 里重跑
  • ✓热度:HN 帖子约 200 分(截至 11 月 1 日 16:10 SGT);GVS5H 原论文为 arXiv 2608.26480,10 月 25 日曾登 HN 第一
🧭

把技术选型换算成你的开发预算

40 款主流编程套餐横向比价,支持输入/输出 Token 真实账单模拟

🔬

深度技术解析与实战评估

核心背景与行业痛点

前沿编码能力通常靠更大、更贵的闭源模型换来。10 月下旬刷屏的 GVS5H 论文(Persis Capital 研究实验室,arXiv 2608.26480,10 月 25 日登上 Hacker News 第一)提出「基于账本的零样本自编排」:不训练,只让同一个模型的多个新实例通过共享文件协作。论文称在 100 道最新 LiveCodeBench Hard 题上最多提升 25.6 个百分点。问题是单篇论文、单一 harness 的结果有没有人能独立复现。10 月 31 日,开源编码 Agent 工具 Memdoor 的作者 guregodevo 给出了一份复现。

架构亮点与底层机制

Memdoor 的 team-solve 是一个 YAML 工作流:plan 读题写计划和 notes.md 账本;ideate-a 和 ideate-b 并行提方案,A 找最直接可证明的算法,B 换一类技术路线;solve 选方案写 solution.py;test 由脚本跑样例;review 和 repair 根据真实测试输出修代码。每个角色都从全新上下文开始,只经磁盘文件交流。作者用测试脚本逐字节比对,确认请求与 GVS5H 原版完全一致,温度、top_p、128K 回复上限、最多 10 轮也照搬;不同之处是模型托管改走 OpenRouter,而不是作者自建的 FP8 vLLM。

权威 Benchmark 与实测跑分对比

以下为项目方口径:GVS5H 列表前 10 题、每题 5 轮,Memdoor 平均 9.8/10,作者原版 harness 9.6,Fable 5 单次调用 8.0。50 次运行 49 次解出,花费 35.79 美元。作者列出两类失分:管理者编造了错误的反例,导致正确程序被改坏;以及已通过隐藏测试的程序被后续轮次覆盖。局限也写得很清楚:只有 10 题;题目来自 2025 年 3–4 月,不能排除污染;Fable 5 那一列来自原作者文件,没在这个 harness 里重跑。所以它证明的是「方法可复现」,不是「27B 全面超过 Fable 5」。

开发者实战落地与开箱指南

用官方脚本安装 Memdoor,运行 memdoor connect openrouter(也支持 anthropic、openai、gemini、chatgpt,或用 memdoor connect local 接 Ollama、llama.cpp、vLLM、LM Studio),把 examples/workflows/team-solve 复制到 ~/.memdoor/workflows/,在题目目录放 task.md 和成对的 tests/N.in、N.out,再执行 memdoor workflow run team-solve --wait。工作流不绑定模型,可以换成本地模型。可借鉴的是两点:让脚本而不是模型判定成败;多角色只通过文件交接,便于审计和断点续跑。单题中位成本 0.39 美元,但耗时长,更适合离线批处理,不适合交互式补全。

实战指南准备好将技术转化为生产力?

即刻查看该技术对应模型与主流工具的实测差异,或一键测算团队 API 调用与 $20/月套餐盈亏平衡点。

接着读YC Labs 让 AI 智能体蜂群打 Minecraft 和 Mindustry:GPT 蜂群两项对抗赛 16 局赢下 12 局压过 Claude,50 智能体殖民地反而陷入「官僚主义」
立即阅读→