金融科技公司 Ramp 的 Ramp Labs 11 月 18 日在官方 X 账号发布 Ramp SWE-Bench v2:500 道任务全部来自 200 多名 Ramp 工程师真正上线的工作,验证更严格,各家前沿模型在自己的原生工具里跑(Claude Code、Codex、OpenCode、Grok Build 等)。官方榜单(pass@1、high effort)显示 GPT-6.2 Astra 76.4% 第一,Carbon 75.4%,Fable 5.2 和 GPT-6.2 Sol 都是 73.4%;单题平均成本从 GPT-6 Luna 的 0.07 美元到 Muse Wonder 的 4.59 美元不等。

核心要点速览

  • ✓任务来源:500 道题来自 200 多名 Ramp 工程师上线到生产的真实金融软件工作
  • ✓前五:GPT-6.2 Astra 76.4%、Carbon 75.4%、Fable 5.2 73.4%、GPT-6.2 Sol 73.4%、Hydrogen 71.6%
  • ✓性价比:GPT-6.1 Terra 70.4% 只要 0.46 美元/题,Sonnet 5.5 63.2% 为 0.47 美元,DeepSeek V4.1 Flash 60.8% 为 0.22 美元
  • ✓最难的 25% 题目上 Carbon(43%)和 Hydrogen(41%)明显领先,Astra 为 30%,Fable 5.2 只有 14%
  • ✓速度:Codex 里的 GPT-6.2 Astra 平均 6.5 分钟一题,Carbon 要 26.3 分钟、调用 349 次工具
Ramp Labs 发布 Ramp SWE-Bench v2:500 道真实上线任务,GPT-6.2 Astra(Codex)以 76.4% 居首,Carbon 75.4%,Fable 5.2 与 GPT-6.2 Sol 并列 73.4%
🖼️要闻配图
点击全屏高清查看
⚡

关键决策指标一览

一眼结论
🏆 权威跑分段位榜单
本文不涉及具体模型跑分 · 去天梯榜看当前排名
查看天梯总榜→
🛠️ 开发与接入生态规则
Ramp SWE-Bench · 编程基准 · AI 编程智能体
配置 IDE 专属规则↗
🧭

把技术选型换算成你的开发预算

40 款主流编程套餐横向比价,支持输入/输出 Token 真实账单模拟

🔬

深度技术解析与实战评估

核心背景与行业痛点

公开的 SWE-bench 类题目多来自开源仓库,和企业真实代码库差距大,也容易被刷分。Ramp 选择用自家工程师真正上线的工作来出题,衡量 AI 编程 Agent 在金融业务代码上的实际能力。

架构亮点与底层机制

按官方发布,v2 共 500 道题,来自 200 多名工程师的生产工作,验证比上一版更严格;每个模型都在自家原生工具里运行,例如 Claude 系列用 Claude Code,GPT 系列用 Codex,Carbon 和 Hydrogen 用 OpenCode,Grok 4.7 用 Grok Build。成绩为 pass@1、high effort。

权威 Benchmark 与实测跑分对比

官方榜单:GPT-6.2 Astra 76.4%(3.31 美元/题)、Carbon 75.4%(4.25 美元)、Fable 5.2 73.4%(3.79 美元)、GPT-6.2 Sol 73.4%(1.05 美元)、Hydrogen 71.6%、GPT-6.1 Terra 70.4%、Opus 5.5 67.8%、Grok 4.7 64.4%。

开发者实战落地与开箱指南

看性价比,GPT-6.2 Sol 和 GPT-6.1 Terra 用约三分之一到八分之一的成本拿到接近榜首的分数;最难的任务上 Carbon 和 Hydrogen 更强,但耗时和工具调用多得多。这是 Ramp 单一公司的代码库,结论放到你的项目前最好自己再测。

实战指南准备好将技术转化为生产力?

即刻查看该技术对应模型与主流工具的实测差异,或一键测算团队 API 调用与 $20/月套餐盈亏平衡点。

接着读Expo 推出 Expo Simulators:给 Claude Code、Codex、Cursor 等编程智能体按需开云端 iOS 模拟器和安卓模拟器,自动录屏留证据,每分钟 0.1 美元
立即阅读→