AI 编程实时动态与要闻

Dwarkesh 发布 Clocktower Bench:386 盘 Blood on the Clocktower 社交欺骗评测,GPT-6 Astra 综合 Elo 1859、对 Opus 5.5 约 82% 胜率

Dwarkesh Patel 于 2026-11-05 发布 Clocktower Bench:约 2 万美元 API 跑 386 盘社交欺骗桌游并开源。作者榜单 GPT-6 Astra 综合 Elo 1859,对 Opus 5.5 约 82% 胜率。

Dwarkesh 发布 Clocktower Bench:386 盘 Blood on the Clocktower 社交欺骗评测,GPT-6 Astra 综合 Elo 1859、对 Opus 5.5 约 82% 胜率

核心要点速览

  • 作者:Dwarkesh Patel(@dwarkesh_sp)2026-11-05;clocktowerbench.com + Substack
  • 规模:约 2 万美元 API、386 盘计入评分
  • 榜首 GPT-6 Astra 综合 Elo 1859;对 Opus 5.5 约 82% 胜率;相对 Opus 4.6 约 +430 Elo
  • 开源:github.com/dwarkeshsp/clocktower;HF dwarkesh/clocktower-games;可人对战
  • 社交欺骗评测非标准智商榜;有脚本与角色随机方差
阅读全文

Julius Research 发布 DeepFinance:21 道 PE/投行长流程题,Claude Opus 5.5 均值约 54.8%

Julius Research CEO rahul(@0interestrates,产品 Julius AI)于 11 月 5 日发布 DeepFinance:用真实交易脱敏资料室构建的 21 道 PE/投行超长程任务,人类单题约 20–30 小时(均值约 27.1 小时)、每题约 84 条 rubric。官方榜:Opus 5.5 (max) 约 54.8%,Sonnet 5.5 约 54.6%,GPT-6 Astra 约 54.2%。强调可审计轨迹,而非只对最终数字。

Julius Research 发布 DeepFinance:21 道 PE/投行长流程题,Claude Opus 5.5 均值约 54.8%

核心要点速览

  • 一手来源:Julius Research CEO @0interestrates 发布帖 + 官方榜单/博客(非公司官号公告口径,属实验室产品负责人一手发布)
  • 规模:21 题;均值约 27.1 人时;约 84 rubric/题;资料室均值约 19 文件
  • 榜首(实验室口径):Opus 5.5 max ~54.8%;Sonnet 5.5 ~54.6%;GPT-6 Astra xhigh ~54.2%
  • 成本(官方表):Opus ~$8.63/题;Astra ~$4.55;GPT-6.1 Sol ~$0.81 且约 52.9%
  • 定位:补文档 QA / 纯数值正确评测缺口,强调假设与证据冲突下的可审计流程
阅读全文

FrontierPhysics 发布:42 位物理学家贡献 56 项端到端研究任务,Claude Opus 5.5 通过率约 27.4%,主要卡在严谨推理与专家直觉

BenchFlow 团队于 11 月 5 日公开 FrontierPhysics(arXiv:2611.06910):由 42 位物理学家基于本人研究贡献 56 项任务,覆盖 9 个领域;智能体需完成文献、计划、实验与可验证产出及论文。22 个模型、26 种配置下,没有任何配置在 168 次 rollout 中通过超过 46 次;最高约 27.4%(Claude Opus 5.5 + Claude Code)。人工复盘显示主要短板是严谨推理与专家直觉,而非缺物理知识。Artificial Analysis 表示将合作托管评测。

FrontierPhysics 发布:42 位物理学家贡献 56 项端到端研究任务,Claude Opus 5.5 通过率约 27.4%,主要卡在严谨推理与专家直觉

核心要点速览

  • 规模:56 项任务、42 位作者、26 所机构、9 个物理领域;182 份投稿中录用 56;18 项基于已发表论文(含 4 篇 Nature)
  • 评测:确定性 verifier + 专家 rubric(blocker/非 blocker);通过需全部 verifier 与 blocker 通过
  • 结果:22 模型 / 26 配置;没有任何配置在 168 次 rollout 中通过超过 46 次;最高约 27.4%(Opus 5.5 + Claude Code,论文口径)
  • 失败模式:严谨推理约 48%、专家直觉约 34%、文献综合约 27%;物理知识缺口不是主因(GPT-6 Astra 人工复盘)
  • 生态:可用 BenchFlow 跑评测;Artificial Analysis 将合作托管;论文 arXiv:2611.06910
阅读全文

Artificial Analysis 改用「单任务耗时」作为头号性能指标:GPT-6 Astra 满档约 17 分钟完成一题,快于 Opus 5.5 与 Gemini 4 Carbon

独立评测机构 Artificial Analysis 于 11 月 4 日(UTC 17:34)在 X 上宣布新版 API 性能基准:头号指标从输出速度改为 Time per Task,即完成一道 Intelligence Index 任务所需时间(每题输出 tokens ÷ 端到端输出速度)。新版覆盖约 1,000 个 serverless 端点,速度改为从发出请求算到最后一个 token,并加入多轮 Agent 编码与知识工作负载。官方数据:GPT-6 Astra 满档 51 tokens/s 但约 17 分钟完成一题,Claude Opus 5.5(max)约 26 分钟,Gemini 4 Carbon(high)约 29 分钟。

核心要点速览

  • Time per Task = 每道 Intelligence Index 任务的输出 tokens ÷ 端到端输出速度;逐 token 很快但话多的模型,可能比慢但省 token 的模型更晚完成任务。
  • 端到端输出速度从发出请求算到收到最后一个 token,包含首 token 前的等待(prefill 与隐藏推理);输出 token 改用各家 API 自报数量,不再用 o200k_base 分词器估算。
  • GPT-6 Astra(max)51 tokens/s,每题约 5 万输出 tokens、约 17 分钟;Claude Opus 5.5(max,111 tokens/s)约 26 分钟,Gemini 4 Carbon(high,71 tokens/s)约 29 分钟,后两者每题约 12–17 万 tokens。
  • 按各家 API 默认档(三者均为 medium),GPT-6 Astra、GPT-6.1 Sol、Opus 5.5 的单任务耗时降约 3–5 倍、成本降约 2–4 倍,Intelligence Index 低约 5–11 分;Opus 5.5 从约 26 分钟/10.04 美元降到约 6.8 分钟/2.45 美元。
  • 官方方法论页显示这是 3.0.0 版(10 月 30 日),测试频率改为每 6 小时一次,并新增端点错误率指标。
阅读全文
AD赞助内容

RoboColosseum 开放真机机器人评测:100+ 台机器人、124 个站点,Claude Opus 5.5 和 GPT-6 Astra 零样本操控不输专用 VLA

Hugging Face、BitRobot、新加坡具身智能中心和 NUS 等 11 月 4 日推出 RoboColosseum,一个分布式真机评测框架,覆盖 SO-101、Franka、双臂 YAM 和 Unitree G1 四种机器人。首轮在 124 个站点做了 5,699 次盲测对比,测了 5 个 VLA 策略和 3 个前沿大模型:Claude Opus 5.5 和 GPT-6 Astra 的平均任务进度分别比 VLA 高 12.1 和 11.0 个百分点,Grok 4.7 落后 7.5 个点。所有 rollout 数据公开在 Hugging Face,并向学术界提供 10,000 小时免费评测。

RoboColosseum 开放真机机器人评测:100+ 台机器人、124 个站点,Claude Opus 5.5 和 GPT-6 Astra 零样本操控不输专用 VLA

核心要点速览

  • 两个赛道:Open Track 零样本盲测成对比较,Fine-tune Track 让 VLA 每个任务用同样的 100 条示范微调后在 20 个任务上比。
  • 被测 VLA 为 GR00T N1.7、π0.5、MolmoAct2、G0.5、LingBot-VLA v2;前沿模型为 GPT-6 Astra、Claude Opus 5.5、Grok 4.7。
  • 微调后 GR00T N1.7 在 SO-101 领先,π0.5 在 Franka 和双臂 YAM 领先;G1 人形上没有任何策略完成任务,平均进度 13.3%–23.2%。
  • 不同机器人上的排名一致性很弱(Kendall W = 0.24),零样本排名也很难预测微调后的排名。
阅读全文

Artificial Analysis 把六大职业能力指数升级到 v2.0:加重“不幻觉”和 Agent 工具调用权重,Claude Opus 5.5 六项全部第一

独立评测机构 Artificial Analysis 11 月 4 日在 X 上宣布,把金融会计、战略运营、法律、医疗、工程、经济六个 Capability Indexes 升级到 v2.0,与 Intelligence Index v5.0 的评测对齐,并更重视 Non-Hallucination(不编造)和 Agentic Tool Use。各指数统一把 HLE 换成 HLE-Diamond、AA-Omniscience 升到 v1.1,并移除 GDPval-AA;工程指数新增 Science 能力项。官方结果:Claude Opus 5.5 (max) 六项全部领先,GPT-6 Astra (max) 在金融会计、法律、工程排第二;开放权重阵营中 Kimi K3.1 Pro(权重尚未发布)六项都领先,排在第 5 到第 8 名。

Artificial Analysis 把六大职业能力指数升级到 v2.0:加重“不幻觉”和 Agent 工具调用权重,Claude Opus 5.5 六项全部第一

核心要点速览

  • 六个指数把 O*NET 职业任务映射到对应 benchmark,按能力在该职业中出现的频率加权(方法论页)
  • 通用改动:HLE 升为 HLE-Diamond,AA-Omniscience 升为 v1.1,各指数的 Agentic Knowledge Work 都去掉 GDPval-AA(改由 AA-Briefcase v1.1 承担)
  • 金融会计与法律指数中 Non-Hallucination 权重升到 15%;战略运营指数 Agentic Tool Use(AutomationBench-AA)升到 35%,为单项最高
  • 工程指数新增 Science(20%,CritPt v2 Hard Subset + Terminal-Bench-Science 0.1),Agentic Coding 加入 FrontierCode 2.0;经济指数用 GDP.pdf 取代 AA-LCR
  • 官方结果:Claude Opus 5.5 (max) 六项第一;开放权重中 Kimi K3.1 Pro 六项领先,MiniMax-M3.1-Flash 在战略运营(#10)、DeepSeek V4.1 Flash 1017 (max) 在医疗(#12)领先
阅读全文

SemiAnalysis 发布 GDPx 智能体基准:11 个高价值领域 206 道任务,最强的 Claude Opus 5.5 也只拿到 12%

半导体与 AI 研究机构 SemiAnalysis 11 月 2 日发布 GDPx,用来衡量前沿模型在芯片设计、网络安全、生物、金融、法律、量化交易、递归自我改进(RSI)、硬件设计、材料科学、对齐和软件工程 11 个领域的智能体能力,共 206 道任务,由 14 家专业数据公司出题、SemiAnalysis 负责最终质检。官网榜单上 Claude Opus 5.5 以 12.0% 居首,Gemini 4 Carbon 10.9%、GPT-6 Astra 9.6% 紧随其后;金融和法律任务几乎所有模型都是 0 分。SemiAnalysis 称 Opus 5.5 和 GPT-6 Astra 的总分被安全分类器拖低,并计划每 3–6 个月更新一版。以上分数均为 SemiAnalysis 口径。

SemiAnalysis 发布 GDPx 智能体基准:11 个高价值领域 206 道任务,最强的 Claude Opus 5.5 也只拿到 12%

核心要点速览

  • 规模:11 个领域、14 家数据合作方、206 道任务,默认单题时限 8 小时(GDPx 官网)
  • 榜单(SemiAnalysis 口径):Claude Opus 5.5 12.0%、Gemini 4 Carbon 10.9%、GPT-6 Astra 9.6%、Muse Wonder Full 9.0%、Claude Fable 5.1 8.5%、GPT 6.1 Sol 8.4%、Claude Sonnet 5.5 8.2%
  • 开源与低价档:DeepSeek 4.1 Flash 1017 5.4%、GPT-6 Luna 5.1%、Grok 4.7 3.9%、GLM 5.3 2.7%;金融和法律任务几乎全部 0 分
  • 评测方法:优先用各家原生 harness(Opus 用 Claude Code、Astra 用 Codex、Carbon 用 Antigravity),没有的用 OpenCode;报告 3 次尝试的 pass@1,各领域等权(SemiAnalysis 博客)
  • 分领域:Opus 5.5 赢量化、硬件和芯片设计;Gemini 4 Carbon 赢生物和软件工程;GPT-6 Astra 赢 RSI 和材料科学;Muse Wonder Full 是最强网安模型
阅读全文

Artificial Analysis 发布 AA-Omniscience v1.1:题库精简到 3,000 题并公开 300 题校准集,Gemini 4 Carbon 以 54 分领跑知识与幻觉榜

独立评测机构 Artificial Analysis 10 月 31 日发布知识与幻觉基准 AA-Omniscience v1.1,作为 Intelligence Index v5 的组成部分。新版题库从 6,000 题精简为 3,000 题,删掉已公开和已饱和的题目、修正错误与歧义并补充新题,同时在 Hugging Face 公开一套 300 题、难度与私有集校准的公开集,两者 Net Score 的 Pearson 与 Spearman 相关系数均为 0.99。结果显示 Gemini 4 Carbon(high)以 54 分领先,Claude Opus 5.5 为 48、Claude Fable 5.1 为 46;Fable 5.1 准确率最高(68%),Gemini 4 Argon 幻觉率最低(4%)。模型平均比 v1 低约 1.9 分,MiniMax M3.1 Flash 下滑 22 分。以上均为 Artificial Analysis 口径。

Artificial Analysis 发布 AA-Omniscience v1.1:题库精简到 3,000 题并公开 300 题校准集,Gemini 4 Carbon 以 54 分领跑知识与幻觉榜

核心要点速览

  • 题库从 6,000 题精简到 3,000 题,覆盖 6 大领域、42 个主题:理工数学 600、软件工程 600,金融、健康、人文社科、法律各 450
  • 新的 300 题公开集已上 Hugging Face,与私有集 Net Score 的相关系数 0.99,中位差 0.0 分
  • Net Score 排名:Gemini 4 Carbon(high)54、Claude Opus 5.5 48、Claude Fable 5.1 46;开源权重最好的是 Muse Spark Open,落后 Gemini 4 Carbon 28 分
  • 准确率最高为 Claude Fable 5.1(68%),其次 Claude Opus 5.5(66%);幻觉率最低为 Gemini 4 Argon(4%)
  • 与 v1 排名的 Spearman 相关 0.98,但平均低 1.9 分;MiniMax M3.1 Flash 从 16 跌到 -6,MiMo V2.6 Pro 从 8 跌到 -5(官方口径)
阅读全文

X 热议:Flask 作者 Armin Ronacher 称 Opus 5.5 智能体两周内可无人工重写整个 CPython,评论区争论「价值到底在不在测试集」

Flask 作者 Armin Ronacher(@mitsuhiko)11 月 1 日发帖称,他确信现在用一个 Opus 5.5 智能体,只对着测试集、无人工介入,大约两周就能重写整个 CPython,甚至做到 ABI 兼容、去掉 GIL、带 JIT 并在各项指标上更快。帖子约 1,637 赞、9.8 万浏览、162 条回复。随后他补充:重写不一定需要现成测试集,让智能体先自建测试更适合移植。antirez 表示赞同,Mario Zechner 和 Meta 工程师 Kevin Newton 则提出反对。这是个人判断,并无实际重写结果。

核心要点速览

  • 原帖:@mitsuhiko 11 月 1 日,11:52 UTC 发布,约 1,637 赞、269 收藏、162 条回复、9.8 万浏览(抓取时)
  • 他的原话要点:只给测试集、无人工输入,约两周重写 CPython,「可能」做到含 ABI 的完全兼容、无 GIL、带 JIT,并称「完全疯狂」;这是预测,没有给出实验
  • 后续帖(14:07 UTC,约 212 赞):不必依赖现成测试集,很多旧测试不适合「爬坡」优化;他说几周前让智能体重写 Excel 公式引擎时,测试集是它从零自建的
  • antirez(Redis 作者)赞同先让智能体建一套庞大的测试再开始移植;Mario Zechner 反对,认为问题在信任,现成的测试和一致性套件才让他放心
  • Meta 工程师 Kevin Newton 批评:成功的 Python JIT 极少,难在复杂度和兼容性,认为「无需人工就能做出好 JIT」是错误的;也有人指出 PEP 703 下无 GIL 构建本就与标准 ABI 不兼容
阅读全文
关联模型 / 智能体 / 厂商:

Karpathy 用 Claude Code + Opus 5.5 约 2 小时做出 HackerTube:只收录 HN 推荐过的 6,454 个 YouTube 视频

Andrej Karpathy 10 月 31 日在个人博客发布 HackerTube(hackertube.org):一个 YouTube 风格的视频站,只收录 2007–2026 年间被 Hacker News 评论推荐过的 6,454 个 YouTube 视频,分 150 个主题。他说整件事由 Claude Code 里的 Opus 5.5 完成:下载全部 HN 评论、用 Workflow 让 Sonnet 批量筛选出约 4 万条推荐视频的评论,再套上 YouTube 界面、部署到 VPS 并做加固,耗时约 2 小时。他本人只手动做了三件事:申请 YouTube API key、开 VPS、买域名。他把帖子发到 HN 后冲到首页,约 1,005 分、308 条评论。

核心要点速览

  • 来源:Karpathy 个人博客《HackerTube》(10 月 31 日),站点 hackertube.org
  • 数据规模:从全部 HN 评论中筛出约 4 万条推荐 YouTube 视频的评论,得到 6,454 个视频、150 个主题,时间跨度 2007–2026(作者自述)
  • 做法:Opus 5.5 负责下载和整体流程,用 Claude Code 的 Workflow 功能调度 Sonnet 批量过滤评论、去掉垃圾内容,再生成 YouTube 风格前端并部署、加固 VPS
  • 产品细节:用视频 50% 处的截帧代替原始缩略图;无账号的 For You 推荐,状态只存在浏览器本地;支持快捷键;提供全站数据导出,方便交给自己的 Agent 再做一个版本
  • 工作方式:Karpathy 说默认用 Opus 5.5 Medium effort,已不再读写代码或敲终端命令;HN 帖子约 1,005 分、308 条评论(HN 公开数据,截至 11 月 1 日 14:10 SGT)
阅读全文
关联模型 / 智能体 / 厂商:
AD赞助内容

Anthropic Claude Code 在 Opus 5.5 上新增两句提示词:不再帮用户复刻某款具体的现有游戏,原创和同类型游戏不受影响

10 月 27 日前后,有用户发现 Claude Code 从服务端拿到一条新规则(flag 名为 tengu_heron_brook):可以做原创游戏、某个类型的游戏、用用户自己的设计和素材做游戏,但不要复刻某款具体的现有游戏,即使改名或自称原创也不行。爆料帖 10 月 30 日获得约 8,700 赞、近 200 万浏览。同日,在 Anthropic 负责 Claude Code 的 Addy Osmani 在 X 上确认:团队在 Claude Code 针对 Opus 5.5 的提示词里加了两句话,原因是用 Claude 侵犯知识产权违反使用政策;原创、同类型和用户自有设计的游戏应继续可用,团队会继续调整,被误拒可以直接找他。

核心要点速览

  • 规模:改动只有 2 句提示词,作用于 Claude Code 搭配 Opus 5.5 的系统提示,由服务端下发,用户端没有开关(Addy Osmani 原帖)
  • 规则原文(据用户抓到的 flag tengu_heron_brook):允许原创、同类型、用户自有设计与素材的游戏;不允许复刻某款具体现有游戏,「即使改名或自称原创」(爆料帖,约 8,700 赞、近 200 万浏览)
  • 依据:Anthropic 使用政策 禁止用产品侵犯、盗用或违反第三方知识产权
  • 反馈渠道:Osmani 表示团队会继续调整边界,自己的作品被误拒可以直接发给他;Anthropic 官方博客暂未单独发文,跑分不适用
阅读全文
关联模型 / 智能体 / 厂商:

Exin Therapeutics:Claude Sonnet 5 智能体自选基因疗法并操控机械臂完成小鼠脑注射,Opus 5.5 拒绝执行

生物科技初创公司 Exin Therapeutics 联合创始人兼 CEO Gabriel Ocana-Santero 10 月 28 日在 X 上披露:一个 AI 智能体从 19 种基因治疗载体中选药、选脑区、从 3 篇论文推导坐标,并驱动立体定位机械臂向癫痫模型小鼠脑内注射 250 纳升。WIRED 报道称团队先试 Claude Opus 5.5 被拒,改用 Sonnet 5 完成;兽医把关每个不可逆步骤,结果尚未经同行评审。

Exin Therapeutics:Claude Sonnet 5 智能体自选基因疗法并操控机械臂完成小鼠脑注射,Opus 5.5 拒绝执行

核心要点速览

  • 智能体从 19 种基因治疗载体中自选药物、脑区,并从 3 篇论文推导注射坐标(CEO 自述)
  • 实际注射量 250 纳升,术中通过摄像头监看出血;据 The Decoder 转述共做了 32 次观察
  • 据 WIRED:Claude Opus 5.5 拒绝下针,改用 Sonnet 5 完成;手术略超 1 小时(常规约 45 分钟)
  • 设备坐标出错后智能体拒绝绕过安全限制,团队需另行改代码;开颅仍由兽医完成
  • 原帖 9,426 赞、160 万+次浏览;疗效(癫痫发作是否减少)尚待观察,未经同行评审
阅读全文

YC Labs 让 AI 智能体蜂群打 Minecraft 和 Mindustry:GPT 蜂群两项对抗赛 16 局赢下 12 局压过 Claude,50 智能体殖民地反而陷入「官僚主义」

Y Combinator 的研究项目 YC Labs 与多智能体环境公司 Olam Labs 10 月 29 日发布《Agents in Games》实验报告:50 个 GPT-6.1 Sol 智能体在 Minecraft 生存模式里「建设繁荣文明」3 小时,最后挤在避难所里配给口粮,发了约 5,900 条消息,搞出配给账本、许可证和各种岗位;9 局 Bed Wars 中 10 个 GPT-6.1 Sol 对 10 个 Claude Opus 5.5,GPT 以 6–3 获胜;Mindustry 50 对 50 共 7 局约 9.5 小时,GPT 以 6–1 获胜。报告还发现领导者几乎总是名册上排第一的智能体,GPT 卡住时会自己上网读游戏源码。Minecraft 智能体框架已开源。这是单一机构的实验观察,不是标准化跑分。

YC Labs 让 AI 智能体蜂群打 Minecraft 和 Mindustry:GPT 蜂群两项对抗赛 16 局赢下 12 局压过 Claude,50 智能体殖民地反而陷入「官僚主义」

核心要点速览

  • 对抗结果:Bed Wars 9 局 GPT-6.1 Sol 6–3 胜,Mindustry 7 局 6–1 胜,合计 16 局 12 胜(见 YC Labs 报告)
  • Civ50:50 个 GPT 智能体 3 小时发约 5,900 条消息,34 次死亡中 22 次发生在第一夜,之后整体趋于保守
  • 领导者不靠选举:49 个智能体中 46 个第一条消息发给名册第一的 Ada,她共收到 616 条私信
  • 沟通风格:Bed Wars 一局中 GPT 发出 1,147 条私信、Claude 仅 82 条;GPT 越打越用压缩速记,Claude 用「+1」投票
  • 开源:Minecraft 长时运行智能体框架 yc-software/minecraft-agent-harness 已公开
阅读全文

Kaggle 与 IBM Research 上线 ScarfBench 企业 Java 迁移榜:Gemini 4 Argon + Antigravity 以 75.2% 居首,七成失败发生在运行阶段

Kaggle 官方账号宣布与 IBM Research 合作上线 ScarfBench,用 204 个任务测试编码智能体能否把企业 Java 应用在 Jakarta EE、Quarkus 和 Spring 之间迁移且行为不变。IBM 10 月 27 日的技术说明显示,Gemini 4 Argon + Antigravity 以 75.2% 冒烟分居首,Claude Opus 5.5 + Claude Code 全通过率最高(72.1%),GPT-6.1 Sol + Codex 每解决一个任务成本最低(1.25 美元)。

Kaggle 与 IBM Research 上线 ScarfBench 企业 Java 迁移榜:Gemini 4 Argon + Antigravity 以 75.2% 居首,七成失败发生在运行阶段

核心要点速览

  • 204 个迁移任务、10 组「模型 + 智能体框架」组合;前三名冒烟分:Gemini 4 Argon + Antigravity 75.2%、Claude Opus 5.5 + Claude Code 70.5%、Claude Opus 5 + Claude Code 69.8%(IBM 口径)
  • 全部测试通过率 Claude Opus 5.5 + Claude Code 最高,为 72.1%,略高于 Gemini 4 Argon 的 71.1%
  • 编译几乎不是问题:10 组里 8 组编译成功率 ≥97%,但冒烟分差距超过 50 个百分点
  • 745 次失败中 535 次(约 72%)是运行时行为失败,其中 210 次是路由丢失 / 404
  • 每解决一个任务的成本:GPT-6.1 Sol + Codex 1.25 美元、Gemini 3.8 Flash + mini-swe 1.59 美元、Claude Opus 5.5 + Claude Code 10.10 美元;公开提交暂未开放
阅读全文

Cognition 公布 Gemini 4 Carbon 的 FrontierCode 2.0 成绩:40%、每任务 4.04 美元,接近榜首;Argon 26.3%、成本 6.41 美元

Devin 背后的 Cognition 于 10 月 30 日 01:45(UTC)在 X 上公布,Google 新模型 Gemini 4 Carbon 在其编程基准 FrontierCode 2.0 上得分 40%,每任务成本 4.04 美元,接近最高水平,仅次于 Claude Opus 5.5、GPT-6 Astra 和 Claude Sonnet 5.5。上一代 Gemini 4 Argon 得分 26.3%,每任务成本却更高,为 6.41 美元。成绩为 Cognition 自测口径,排行榜已在官网更新。

Cognition 公布 Gemini 4 Carbon 的 FrontierCode 2.0 成绩:40%、每任务 4.04 美元,接近榜首;Argon 26.3%、成本 6.41 美元

核心要点速览

  • Gemini 4 Carbon 在 FrontierCode 2.0 得分 40%,每任务 4.04 美元,排在 Claude Opus 5.5(45.5%)、GPT-6 Astra(42.8%)和 Claude Sonnet 5.5 之后(原帖)
  • Gemini 4 Argon 得分 26.3%,每任务 6.41 美元,高于 Muse Wonder 1.0,但落后于 Claude Haiku 5.5 和 Grok 4.7
  • 从 Argon 到 Carbon,得分提高约 13.7 个百分点,每任务成本反而低约 2.4 美元
  • 官网更新日志显示 10 月 28 日已加入 Gemini 4 Carbon;FrontierCode 2.0 共 132 个任务,按维护者是否会合并打分(排行榜)
  • 所有数字均为 Cognition 自测口径,Google 未就此发布成绩
阅读全文