金融科技公司 Ramp 的 Ramp Labs 11 月 18 日在官方 X 账号发布 Ramp SWE-Bench v2:500 道任务全部来自 200 多名 Ramp 工程师真正上线的工作,验证更严格,各家前沿模型在自己的原生工具里跑(Claude Code、Codex、OpenCode、Grok Build 等)。官方榜单(pass@1、high effort)显示 GPT-6.2 Astra 76.4% 第一,Carbon 75.4%,Fable 5.2 和 GPT-6.2 Sol 都是 73.4%;单题平均成本从 GPT-6 Luna 的 0.07 美元到 Muse Wonder 的 4.59 美元不等。
核心要点速览
- ✓任务来源:500 道题来自 200 多名 Ramp 工程师上线到生产的真实金融软件工作
- ✓前五:GPT-6.2 Astra 76.4%、Carbon 75.4%、Fable 5.2 73.4%、GPT-6.2 Sol 73.4%、Hydrogen 71.6%
- ✓性价比:GPT-6.1 Terra 70.4% 只要 0.46 美元/题,Sonnet 5.5 63.2% 为 0.47 美元,DeepSeek V4.1 Flash 60.8% 为 0.22 美元
- ✓最难的 25% 题目上 Carbon(43%)和 Hydrogen(41%)明显领先,Astra 为 30%,Fable 5.2 只有 14%
- ✓速度:Codex 里的 GPT-6.2 Astra 平均 6.5 分钟一题,Carbon 要 26.3 分钟、调用 349 次工具

关键决策指标一览
把技术选型换算成你的开发预算
40 款主流编程套餐横向比价,支持输入/输出 Token 真实账单模拟
相关资源与官方项目出处
免代理直达深度技术解析与实战评估
核心背景与行业痛点
公开的 SWE-bench 类题目多来自开源仓库,和企业真实代码库差距大,也容易被刷分。Ramp 选择用自家工程师真正上线的工作来出题,衡量 AI 编程 Agent 在金融业务代码上的实际能力。
架构亮点与底层机制
按官方发布,v2 共 500 道题,来自 200 多名工程师的生产工作,验证比上一版更严格;每个模型都在自家原生工具里运行,例如 Claude 系列用 Claude Code,GPT 系列用 Codex,Carbon 和 Hydrogen 用 OpenCode,Grok 4.7 用 Grok Build。成绩为 pass@1、high effort。
权威 Benchmark 与实测跑分对比
官方榜单:GPT-6.2 Astra 76.4%(3.31 美元/题)、Carbon 75.4%(4.25 美元)、Fable 5.2 73.4%(3.79 美元)、GPT-6.2 Sol 73.4%(1.05 美元)、Hydrogen 71.6%、GPT-6.1 Terra 70.4%、Opus 5.5 67.8%、Grok 4.7 64.4%。
开发者实战落地与开箱指南
看性价比,GPT-6.2 Sol 和 GPT-6.1 Terra 用约三分之一到八分之一的成本拿到接近榜首的分数;最难的任务上 Carbon 和 Hydrogen 更强,但耗时和工具调用多得多。这是 Ramp 单一公司的代码库,结论放到你的项目前最好自己再测。
即刻查看该技术对应模型与主流工具的实测差异,或一键测算团队 API 调用与 $20/月套餐盈亏平衡点。
讨论与评论
0登录后即可参与深度讨论
与广大 AI 开发者、工程师交流评测心得与前沿洞察