Memdoor 复现 GVS5H:5 个 Qwen3.8-27B 组队在 LiveCodeBench Hard 前 10 题均分 9.8/10,高于 Fable 5 单次调用的 8.0
开源编码 Agent 工具 Memdoor(GitHub guregodevo/memdoor,Apache 2.0)10 月 31 日公布 team-solve 工作流:用 GVS5H 论文作者的原版提示词和循环,让 5 个 Qwen3.8-27B 实例分别担任规划、两路构思、求解和管理,只通过磁盘文件沟通,由脚本跑测试判定成败。在 GVS5H 列表的前 10 道 LiveCodeBench Hard 题上各跑 5 轮,平均 9.8/10,作者原版 harness 为 9.6,Fable 5 单次调用为 8.0;50 次运行 49 次解出,总花费 35.79 美元,全部请求和回复都已公开。该帖在 Hacker News 约 200 分。这是社区复现,仅 10 题,作者自己也提示不能排除训练数据污染。
核心要点速览
- 成绩:5 轮平均 9.8/10(逐轮 10、10、10、10、9),GVS5H 作者原版 harness 9.6,Fable 5 单次调用 8.0(team-solve README,项目方口径)
- 成本:50 次运行 49 次解出,共 35.79 美元、1,530 万输出 token;单次中位耗时约 40 分钟模型时间、0.39 美元,最长 4 小时
- 方法:规划、两路构思、求解、管理 5 个角色加修复 worker,各自从全新上下文开始,只经磁盘文件交流,测试由 shell 脚本判定,不让模型自评
- 局限:只测了 10 题而非论文的 100 题;题目来自 2025 年 3–4 月的比赛,可能已进训练数据;Fable 5 的分数取自 GVS5H 作者的结果文件,没有在这个 harness 里重跑
- 热度:HN 帖子约 200 分(截至 11 月 1 日 16:10 SGT);GVS5H 原论文为 arXiv 2608.26480,10 月 25 日曾登 HN 第一
