从单点修 Bug 走向全工程从零复现!ProgramGym 开源:1,648 个跨语言沙箱助力 27B 模型跑分飙升
当前自主编程智能体(SWE Agents)的训练与评测大多局限于单个函数的孤立补全或现有单仓库内特定 Issue 的局部修复(如 SWE-bench),难以衡量智能体从空白工程起步、独立探索参考系统、推演架构设计并从零完整复现一个可编译可运行软件(Program Reproduction)的长程综合能力。学术研究团队在最新成果(arXiv:2610.13395)中正式开源了首个全自动工程级训练环境合成引擎与智能体工作流 ProgramGym(代码仓库:github.com/Acm1011/ProgramGym,数据集:ProgramGym/programgym-1648)。ProgramGym 包含两大核心支柱:Program-Env 流水线自动将真实开源代码库转换为具备确定性黑盒测试集的隔离执行沙箱,一举构建了涵盖 C、C++、Go、Rust 四大主流系统级语言的 1,648 个高质量可验证训练环境(ProgramGym-1648);而 Program-Agent 则确立了‘需求分析 -> 代码实现 -> 审查反思’三权分立的迭代开发脚手架与版本控制恢复机制。在权威基准 ProgramBench 测试中,利用该引擎合成轨迹监督微调得到的 Qwen3.8-27B-SFT 模型测试通过率提升 7.97 个百分点至 42.84%,超越了 mini-SWE-agent 下的旗舰模型 GPT-5.4(37.70%);搭配 Program-Agent 脚手架后跑分更是进一步跃升至 56.25%,全面超越 Claude Opus 4.7(50.90%)与 Gemini 3.5 Flash(53.60%),全套数据集与环境已全面开源。
核心要点速览
- 开源长程程序复现训练框架 ProgramGym 发布,涵盖 C/C++/Go/Rust 四大语言的 1,648 个自动化沙箱与测试环境
- 微调后的 Qwen3.8-27B-SFT 在 ProgramBench 跑分提升 7.97% 达 42.84%,超越 mini-SWE-agent 下的 GPT-5.4
- 搭配 Program-Agent 角色隔离脚手架测试通过率跃升至 56.25%,超越 Claude Opus 4.7 与 Gemini 3.5 Flash