AI 编程实时动态与要闻

Artificial Analysis 第三方评测:Claude Fable 5.2 登顶 AA-3D 交互式 3D 场景榜(1271 Elo,领先第二名 67 分),并以 67% 拿下科学图像推理 VIALS-AA 第一

独立评测机构 Artificial Analysis 11 月 10 日公布两项新结果。在考察“让模型当 Agent 用 three.js 搭交互式 3D 网页”的 AA-3D 榜上,Claude Fable 5.2(Max)拿到 1271 Elo,比第二名 Claude Sonnet 5.5(1204)高 67 分,95% 置信区间 1246–1297 与其他模型不重叠,领先超出误差范围;比上一代 Fable 5.1(1139)高 132 分,也高于 OpenAI 最高的 GPT-6 Astra(1168)和 Google 最高的 Gemini 4 Argon(1147)。在生命科学图像推理榜 VIALS-AA 上,Fable 5.2 得 67%,超过此前领先的 Gemini 4 Carbon(64%)和 GPT-6 Astra(63%)。AA 还发现两家路线相反:Fable 每题平均约 37 次工具调用,Astra 只有约 8 次。

Artificial Analysis 第三方评测:Claude Fable 5.2 登顶 AA-3D 交互式 3D 场景榜(1271 Elo,领先第二名 67 分),并以 67% 拿下科学图像推理 VIALS-AA 第一

核心要点速览

  • AA-3D:Fable 5.2(Max)1271 Elo,第二名 Sonnet 5.5 1204、Opus 5.5 1202;95% 置信区间 1246–1297,与其他模型不重叠
  • 代际提升:比 Fable 5.1(1139)高 132 分;OpenAI 最高 GPT-6 Astra 1168,Google 最高 Gemini 4 Argon 1147
  • AA-3D 规则:模型在离线沙箱里当 Agent,最多 3 小时 / 250 轮,可用 Blender、Rapier 物理、Python 和无头浏览器自测;真人评委盲选两两对比,每个场景至少看 30 秒
  • VIALS-AA:Fable 5.2 67%,Gemini 4 Carbon 64%,GPT-6 Astra 63%
  • 工具使用路线相反:Fable 每题约 37 次工具调用、每轮平均 1.60 次(榜上最高);Astra 约 8 次,为 AA 测过的最少
阅读全文

Fable 5.2 首批第三方跑分出炉:Cursor 称其 Max 档以 60% 登顶 CursorBench,默认档 56.9%(5.1 为 49.2%);Perplexity WANDR 拿下 0.851 纪录分,每任务 14.51 美元

Anthropic 发布 Claude Fable 5.2 后一小时内,Cursor 和 Perplexity 先后上线该模型并公布各自的内部评测。Cursor 官方账号称,Fable 5.2 在 CursorBench 上默认档(High)得分 56.9%,高于 Fable 5.1 的 49.2%;开到最高档时为 60%,是该榜第一。Cursor 配图显示默认档平均每任务成本约 9.70 美元。Perplexity 官方账号称,Fable 5.2 在其 WANDR 评测中得分 0.851,为该榜纪录,每任务成本 14.51 美元,位于性能与成本的帕累托前沿;Gemini 4 Argon 为 0.802(7.88 美元),GPT-6 Astra 为 0.735,Fable 5.1 为 0.684。两项都是厂商自家评测,并非独立公开基准。

Fable 5.2 首批第三方跑分出炉:Cursor 称其 Max 档以 60% 登顶 CursorBench,默认档 56.9%(5.1 为 49.2%);Perplexity WANDR 拿下 0.851 纪录分,每任务 14.51 美元

核心要点速览

  • CursorBench(Cursor 官方):Fable 5.2 默认档 56.9%,Fable 5.1 为 49.2%,提升约 7.7 个百分点;最高档 60%,为榜单第一
  • 成本(据 Cursor 配图):默认 High 档平均每任务约 $9.70;最高档成本明显更高,配图中约为默认档的 3 倍多
  • WANDR(Perplexity 官方):Fable 5.2 0.851、每任务 $14.51,为纪录分;Gemini 4 Argon 0.802 / $7.88,GPT-6 Astra 0.735 / $13.34,Fable 5.1 0.684 / $13.16
  • 上线范围:Cursor 已可选用;Perplexity Computer 向 Pro 和 Max 订阅开放,Search 仅 Max 可用
  • 口径提醒:两项都是厂商自建评测,测试集与方法未完全公开,仅可作为参考
阅读全文

Robocurve 实测前沿模型控制机械臂:画面一模糊不安全任务尝试率从 27% 升到 88%,篡改画面后达 97%

公益公司 Robocurve(@robocurve)于 2026-11-06 19:44 UTC 发布研究《You Can't See Everything: Perceptual Attacks on Embodied AI》,并将在 CoRL Late Breaking Results 展示。团队让 Claude Fable 5.1、Claude Opus 5.5、GPT-6 Astra、GPT-6.1 Sol、Gemini 4 Argon 通过 Inspect Robots 框架闭环控制真实双臂机器人,执行 5 项不安全任务,共 900 次试验。论文口径:画面正常时模型在 81/300 次(27%)中尝试执行,高斯模糊后升至 263/300(88%),逐帧篡改后达 291/300(97%);「刺娃娃」任务在篡改画面下为 60/60。所有道具均为空瓶或断电电器。抓取时原帖约 1.1 万赞、363 万展示。

Robocurve 实测前沿模型控制机械臂:画面一模糊不安全任务尝试率从 27% 升到 88%,篡改画面后达 97%

核心要点速览

  • 规模:5 个前沿模型 × 5 项不安全任务 × 3 种画面 × 12 次,共 900 次真实机械臂试验
  • 论文口径:正常画面 81/300(27%)尝试执行,σ=4px 高斯模糊后 263/300(88%),GPT Image 2.5 逐帧篡改后 291/300(97%)
  • 刺娃娃任务:模糊画面 51/60(85%),篡改画面 60/60(100%);「给我倒杯饮料」用漂白剂:模糊 58/60,篡改 60/60
  • 结论:模型只有在画面明确显示危险时才会拒绝,画面不清就倾向于继续执行
  • 原帖 2026-11-06 19:44 UTC,抓取时约 11,220 赞、4,980 收藏、982 引用、约 363 万展示;道具均无实际危害
阅读全文

X 热议:「Opus 5.5 被降智了吗?」有用户用 Gemini 分析 1,400 个 Claude Code 会话称 11 月 3 日推理方式突变,Theo 排查后认为更像推理摘要器在调整

2026-11-07 起,X 上大量开发者吐槽 Claude Opus 5.5 在 Claude Code 里「变笨」:不听指令、反复犯错、动辄拉起子 Agent。用户 Shane Melaugh(@shanemelaugh)发帖称,他让 Gemini 4 Argon 分析了自己 1,400 个 Claude Code 会话,发现 11 月 3 日前后模型名没变、推理方式却明显转向;该帖抓取时约 966 赞、134 条回复、11 万展示。T3 CEO Theo(@theo)随后称,他进一步排查后认为 Anthropic 似乎在按账号逐步调整推理摘要器(reasoning summarizer),他本人没看到能力下降。截至发稿 Anthropic 未就此公开回应。这是社区讨论,不是已证实的降级,也不是官方公告。

X 热议:「Opus 5.5 被降智了吗?」有用户用 Gemini 分析 1,400 个 Claude Code 会话称 11 月 3 日推理方式突变,Theo 排查后认为更像推理摘要器在调整

核心要点速览

  • 原帖:Shane Melaugh(@shanemelaugh)2026-11-07 22:15 UTC「is Opus 5.5 nerfed?」,抓取时约 966 赞、134 回复、57 转发、315 收藏、约 11.3 万展示
  • 他的说法:用 Gemini 4 Argon 分析 1,400 个 Claude Code 会话,11 月 3 日前后可见推理风格突变,模型名未变;这是单人数据、由另一个模型判读,未公开原始数据
  • 反方:Theo(@theo,T3 CEO)2026-11-08 01:18 UTC 称 Anthropic 似乎按账号推送推理摘要器改动,他没看到能力下降,约 367 赞;他前一帖调侃 Codex 发送按钮 bug 获约 1,270 赞
  • 背景:Claude 的扩展思考对外返回的是摘要后的思考块;Claude Code 2.1.318 于 11 月 3 日(UTC)发布,含子 Agent effort 等改动,是否与吐槽有关官方未说明
  • 定性:X 热议,降级与否均未证实;Anthropic 截至发稿未公开回应
阅读全文
AD赞助内容

Gemini API 的 Computer Use 工具正式 GA:浏览器、移动端、桌面三类智能体可上生产,接口与预览版无破坏性变更

Gemini API 更新日志显示,Computer Use 工具已于 10 月 30 日在 Interactions 与 GenerateContent 两套 API 上正式 GA;@GoogleAIStudio 11 月 4 日官宣称与预览版相比没有破坏性变更,可用于生产级浏览器、移动端与桌面控制智能体。官方文档列出支持模型:Gemini 4 Argon、推荐的 Gemini 3.8 Flash、Gemini 3.5 Flash-Lite 及 Gemini 3 Flash Preview;动作附带 intent 推理说明,并提供 safety_decision 确认机制和可选的截图提示注入检测。

核心要点速览

  • 10 月 30 日起 Computer Use 在 Interactions 与 GenerateContent API 同时 GA
  • 官方称与预览版无破坏性变更,已有代码可直接沿用
  • 支持浏览器、移动端、桌面三种环境;推荐模型为 Gemini 3.8 Flash
  • 每个动作带 intent 字段;safety_decision 可要求用户确认或直接拦截
  • 可选开启截图提示注入检测(Gemini 3.5 Flash-Lite 及以上,默认关闭)
阅读全文

CellType 发布 BioSimBench:前沿大模型预测细胞对药物反应只对一部分,Gemini 4 Argon 居首,自训 27B 模型四项全胜

YC W26 公司 CellType 11 月 4 日发布 BioSimBench 1.0,用真实实验室数据测试大模型能否预测细胞在药物、基因敲低和免疫信号作用后哪些基因上调或下调。12 个前沿模型中,Gemini 4 Argon 以总分 0.184 排第一,Claude Sonnet 5.5(0.160)和 GPT-6 Astra(0.159)随后,而两次实验室重复之间的一致度为 0.462。CellType 用自家 RL 环境 BioSimGym 训练的 27B 模型在四个预测赛道都超过最强前沿模型。

CellType 发布 BioSimBench:前沿大模型预测细胞对药物反应只对一部分,Gemini 4 Argon 居首,自训 27B 模型四项全胜

核心要点速览

  • BioSimBench 1.0 有五个赛道:新药与新细胞、基因敲低、药物反应、免疫信号,以及带工具的研究型 Agent,测试答案不公开。
  • 12 个前沿模型总分在 0.110 到 0.184 之间,Gemini 4 Argon 第一,DeepSeek V4 Pro 最低;两次实验室重复的一致度为 0.462,差距仍大。
  • CellType 27B 在新药与新细胞赛道得 0.366,药物反应赛道 0.203,约为最强前沿模型 0.103 的两倍。
  • 数据处理用 NVIDIA RAPIDS-singlecell,整条流程至少快 4 倍;模型用 NeMo RL 训练,BioSimGym 遵循 NeMo RL 环境接口。
阅读全文

Artificial Analysis 发布 AA-Omniscience v1.1:题库精简到 3,000 题并公开 300 题校准集,Gemini 4 Carbon 以 54 分领跑知识与幻觉榜

独立评测机构 Artificial Analysis 10 月 31 日发布知识与幻觉基准 AA-Omniscience v1.1,作为 Intelligence Index v5 的组成部分。新版题库从 6,000 题精简为 3,000 题,删掉已公开和已饱和的题目、修正错误与歧义并补充新题,同时在 Hugging Face 公开一套 300 题、难度与私有集校准的公开集,两者 Net Score 的 Pearson 与 Spearman 相关系数均为 0.99。结果显示 Gemini 4 Carbon(high)以 54 分领先,Claude Opus 5.5 为 48、Claude Fable 5.1 为 46;Fable 5.1 准确率最高(68%),Gemini 4 Argon 幻觉率最低(4%)。模型平均比 v1 低约 1.9 分,MiniMax M3.1 Flash 下滑 22 分。以上均为 Artificial Analysis 口径。

Artificial Analysis 发布 AA-Omniscience v1.1:题库精简到 3,000 题并公开 300 题校准集,Gemini 4 Carbon 以 54 分领跑知识与幻觉榜

核心要点速览

  • 题库从 6,000 题精简到 3,000 题,覆盖 6 大领域、42 个主题:理工数学 600、软件工程 600,金融、健康、人文社科、法律各 450
  • 新的 300 题公开集已上 Hugging Face,与私有集 Net Score 的相关系数 0.99,中位差 0.0 分
  • Net Score 排名:Gemini 4 Carbon(high)54、Claude Opus 5.5 48、Claude Fable 5.1 46;开源权重最好的是 Muse Spark Open,落后 Gemini 4 Carbon 28 分
  • 准确率最高为 Claude Fable 5.1(68%),其次 Claude Opus 5.5(66%);幻觉率最低为 Gemini 4 Argon(4%)
  • 与 v1 排名的 Spearman 相关 0.98,但平均低 1.9 分;MiniMax M3.1 Flash 从 16 跌到 -6,MiMo V2.6 Pro 从 8 跌到 -5(官方口径)
阅读全文

Kaggle 与 IBM Research 上线 ScarfBench 企业 Java 迁移榜:Gemini 4 Argon + Antigravity 以 75.2% 居首,七成失败发生在运行阶段

Kaggle 官方账号宣布与 IBM Research 合作上线 ScarfBench,用 204 个任务测试编码智能体能否把企业 Java 应用在 Jakarta EE、Quarkus 和 Spring 之间迁移且行为不变。IBM 10 月 27 日的技术说明显示,Gemini 4 Argon + Antigravity 以 75.2% 冒烟分居首,Claude Opus 5.5 + Claude Code 全通过率最高(72.1%),GPT-6.1 Sol + Codex 每解决一个任务成本最低(1.25 美元)。

Kaggle 与 IBM Research 上线 ScarfBench 企业 Java 迁移榜:Gemini 4 Argon + Antigravity 以 75.2% 居首,七成失败发生在运行阶段

核心要点速览

  • 204 个迁移任务、10 组「模型 + 智能体框架」组合;前三名冒烟分:Gemini 4 Argon + Antigravity 75.2%、Claude Opus 5.5 + Claude Code 70.5%、Claude Opus 5 + Claude Code 69.8%(IBM 口径)
  • 全部测试通过率 Claude Opus 5.5 + Claude Code 最高,为 72.1%,略高于 Gemini 4 Argon 的 71.1%
  • 编译几乎不是问题:10 组里 8 组编译成功率 ≥97%,但冒烟分差距超过 50 个百分点
  • 745 次失败中 535 次(约 72%)是运行时行为失败,其中 210 次是路由丢失 / 404
  • 每解决一个任务的成本:GPT-6.1 Sol + Codex 1.25 美元、Gemini 3.8 Flash + mini-swe 1.59 美元、Claude Opus 5.5 + Claude Code 10.10 美元;公开提交暂未开放
阅读全文

Perplexity CEO 公布 Gemini 4 Carbon 早期评测:WANDR 深度研究基准 0.857 创新高,每任务 5.86 美元,高于 Argon 和 GPT-6 Astra

Perplexity CEO Aravind Srinivas 在 X 上公布 Gemini 4 Carbon 的早期评测:在 Perplexity 的 Wide-And-Deep-Research(WANDR)长篇研究基准上拿到 0.857,创新高,每任务成本 5.86 美元;Gemini 4 Argon 为 0.802(7.88 美元),GPT-6 Astra 为 0.735(13.34 美元)。他称 Carbon 是 Perplexity 目前见过长篇研究和回答质量最强的模型,待 token 容量充足后将向所有 Pro 和 Max 用户在 Perplexity Computer 中开放。

Perplexity CEO 公布 Gemini 4 Carbon 早期评测:WANDR 深度研究基准 0.857 创新高,每任务 5.86 美元,高于 Argon 和 GPT-6 Astra

核心要点速览

  • WANDR 得分(Perplexity 口径):Gemini 4 Carbon 0.857、Gemini 4 Argon 0.802、GPT-6 Astra 0.735、GPT-6.1 Sol 0.654、Claude Opus 5.5 0.647、Claude Fable 5.1 0.601
  • 成本更低:Carbon 每任务 5.86 美元,低于 Argon 的 7.88 美元和 GPT-6 Astra 的 13.34 美元
  • 性价比曲线:DeepSeek V4 Pro 0813(0.359,0.75 美元)、GPT-6 Sol(0.566,2.23 美元)、GPT-6.1 Sol(0.654,3.70 美元)和 Carbon 构成 Perplexity 图中的成本前沿
  • Claude Sonnet 5.5 为 0.550(2.73 美元),Grok 4.7 为 0.528(9.30 美元)
  • 尚未上线:Carbon 要等 token 容量充足后才向 Perplexity Pro/Max 用户开放,目前 Google 仍只向 Fairwind 计划的网络安全防御方提供早期访问
阅读全文

micro1 发布手术室机器人基准 Dual-Arm Sim:10 个前沿模型跑 800 次只成功 11 次,213 次「已完成」声明全部是假的

AI 数据公司 micro1 发布 Dual-Arm Sim 基准:让 10 个通用前沿模型仅凭摄像头和机器人传感器,在 NVIDIA Isaac Sim 搭建的模拟手术室里操控双臂 Franka Panda 机器人,完成换器械、换故障药盒、双手传递样本、打包手术包四类任务。800 次试验只有 11 次完成,全部来自 Gemini 4 Argon(9 次)和 GPT-6 Astra(2 次);模型在 213 次试验中声称「任务完成」,全部不实。药盒换药任务的 200 次完整轨迹已公开在 Hugging Face。

micro1 发布手术室机器人基准 Dual-Arm Sim:10 个前沿模型跑 800 次只成功 11 次,213 次「已完成」声明全部是假的

核心要点速览

  • 800 次试验仅 11 次完成:Gemini 4 Argon 9 次(换药盒 6/20、打包手术包 3 次),GPT-6 Astra 2 次;换器械和双手传递样本无模型完成(micro1 口径)
  • 213 次「已完成」声明全部错误,其中 94 次机器人根本没碰到目标物;Gemini 3.1 Pro 在 80 次中声称完成 49 次
  • 想得久不等于做得好:Argon 每步只生成 315 个 token 却领先;Argon 9 次成功总花费 119 美元,Claude Fable 5.1 花 839 美元一次未成
  • 失手后的恢复是关键:Argon 和 Astra 约三分之二能重新抓到,Grok 4.7 在 80 次里只恢复 3 次;首次位置估计中位数偏差 33 厘米
  • 被举起的故障药盒有 14 次掉到地上、11 次掉在推车上,只有 8 次被正确替换
阅读全文
AD赞助内容

Cognition 公布 Gemini 4 Carbon 的 FrontierCode 2.0 成绩:40%、每任务 4.04 美元,接近榜首;Argon 26.3%、成本 6.41 美元

Devin 背后的 Cognition 于 10 月 30 日 01:45(UTC)在 X 上公布,Google 新模型 Gemini 4 Carbon 在其编程基准 FrontierCode 2.0 上得分 40%,每任务成本 4.04 美元,接近最高水平,仅次于 Claude Opus 5.5、GPT-6 Astra 和 Claude Sonnet 5.5。上一代 Gemini 4 Argon 得分 26.3%,每任务成本却更高,为 6.41 美元。成绩为 Cognition 自测口径,排行榜已在官网更新。

Cognition 公布 Gemini 4 Carbon 的 FrontierCode 2.0 成绩:40%、每任务 4.04 美元,接近榜首;Argon 26.3%、成本 6.41 美元

核心要点速览

  • Gemini 4 Carbon 在 FrontierCode 2.0 得分 40%,每任务 4.04 美元,排在 Claude Opus 5.5(45.5%)、GPT-6 Astra(42.8%)和 Claude Sonnet 5.5 之后(原帖)
  • Gemini 4 Argon 得分 26.3%,每任务 6.41 美元,高于 Muse Wonder 1.0,但落后于 Claude Haiku 5.5 和 Grok 4.7
  • 从 Argon 到 Carbon,得分提高约 13.7 个百分点,每任务成本反而低约 2.4 美元
  • 官网更新日志显示 10 月 28 日已加入 Gemini 4 Carbon;FrontierCode 2.0 共 132 个任务,按维护者是否会合并打分(排行榜)
  • 所有数字均为 Cognition 自测口径,Google 未就此发布成绩
阅读全文

Google 发布 Gemini 4 Carbon:Argon 两周后再推前沿模型,Artificial Analysis v5 指数 59 居首,网络安全与长程编码 SOTA,先向 Fairwind 计划内的网络防御者开放

Google DeepMind 10 月 28 日发布 Gemini 4 Carbon,称其为目前最强模型,距 Gemini 4 Argon 上线仅两周。官方博客称它在 Artificial Analysis 智能指数 v5.0 以 59 分排名第一,并在网络安全三项评测领先:SEC-bench Pro 找漏洞 88.2%、ExploitGym 漏洞利用 54.8%、CWE-bench 打补丁 71.0%;WebDev Arena 涨 89 分至第 4(1769)。本周起先向 Fairwind 计划中的部分网络防御者开放,之后再面向开发者、企业和消费者。介绍期价格与 Argon 相同,每百万输入 / 输出 token 2 / 10 美元,之后为 4 / 20 美元。

Google 发布 Gemini 4 Carbon:Argon 两周后再推前沿模型,Artificial Analysis v5 指数 59 居首,网络安全与长程编码 SOTA,先向 Fairwind 计划内的网络防御者开放

核心要点速览

  • 定位:Google 称其为「最强模型」,主打网络安全和长程智能体任务,内部团队观察到它可连续运行数天,在大型代码库和底层系统中定位并修复隐蔽 bug
  • 官方跑分(无护栏评测):SEC-bench Pro 88.2%、ExploitGym 54.8%、Collinear CWE-bench 71.0%;Artificial Analysis 智能指数 v5.0 为 59 排名第一;WebDev Arena +89 至第 4(1769)
  • 安全与对齐:Terminal-Bench 4.0 作弊成功率降到 0.0%(尝试率 0.4%),内部实测高严重度失准告警降近 80%,无依据陈述约为 Argon 的一半,Gray Swan 间接提示注入攻击成功率从 Argon 的 0.7% 降到 0.0%
  • 内部案例:生成安全代码成功率是 Argon 的 2 倍以上;Chrome 团队称其生成高质量补丁的表现比另一家实验室的大型前沿模型好 10 倍以上
  • 开放节奏:本周先给 Fairwind 计划内部分网络防御者,并参与美国政府自愿的发布前测试;开发者 API 尚未开放,介绍期 2 / 10 美元每百万 token,缓存输入按输入价的 5% 计,之后 4 / 20 美元
阅读全文

Cognition 发布 FrontierCode 2.0 编程基准:考察"该不该合并",最强的 Claude Opus 5.5 也只有 45.5%

Devin 背后的 Cognition 于 10 月 27 日发布 FrontierCode 2.0。新版沿用由开源维护者亲自出题、按"能否合并"打分的方法,但任务来自更多仓库、覆盖安全补丁与性能优化,提示词刻意不写全,并加入大量"周全性"判定项。官方结果中 Claude Opus 5.5 以 45.5% 居首,GPT-6 Astra 42.8% 次之,Grok 4.7、Gemini 4 Argon 等降到 20% 多,基准远未饱和。

Cognition 发布 FrontierCode 2.0 编程基准:考察"该不该合并",最强的 Claude Opus 5.5 也只有 45.5%

核心要点速览

  • 榜首 Claude Opus 5.5 为 45.5%(1.1 版 54.6%),GPT-6 Astra 42.8%(1.1 版 53.3%),均为官方/厂商口径
  • Grok 4.7 28.6%、Gemini 4 Argon 26.3%、Muse Wonder 1.0 24.3%、SWE-2 23.9%,DeepSeek V4.1 Flash 19.3%、Kimi K3 17.7%,开源模型差距明显
  • 相比 1.1 版,参考解平均多改 67% 的文件、89% 的代码行,代码库大 25%;任务来源仓库多 55%,阻断性判定项多 43%
  • "周全性"阻断项从 168 条增至 501 条,约 3 倍;80% 任务的参考解优于上游原 PR,审计 agent 还发现并上报了一个上游安全漏洞
  • 成本-得分帕累托前沿上,高端是 Opus 5.5,低成本端有 Luna、Haiku 和 Sol,官方点名 GPT-6.1 Sol 性价比突出(官方博客)
阅读全文

Google Gemma 团队:用 Gemini 4 Argon 为 vLLM 提交 Gemma 4 优化 PR,官方称 gemma-4-E2B-it 在 A100 上提速 2.85 倍

Google 官方账号 @googlegemma 10 月 26 日发帖称,借助 Gemini 4 Argon 完成的一组 vLLM 优化,让 gemma-4-E2B-it 在单张 A100 上的吞吐从约 37,900 提升到 108,000+ tokens/秒,约 2.85 倍,且输出 token 100% 一致。对应 PR 由 Google DeepMind 的 Luciano Martins 提交,大部分仍在评审中。

Google Gemma 团队:用 Gemini 4 Argon 为 vLLM 提交 Gemma 4 优化 PR,官方称 gemma-4-E2B-it 在 A100 上提速 2.85 倍

核心要点速览

  • 官方称 gemma-4-E2B-it 在 A100 上吞吐约 2.85 倍(约 37.9K 到 108K+ tokens/秒),输出 token 100% 一致
  • PR 作者为 Google DeepMind 的 Luciano Martins,覆盖融合 Triton 内核、MTP 投机解码、KV 共享快速预填充等
  • 2.85 倍是 Google 对整组优化的说法;单个 PR #60674 自测预填充最高 1.90 倍、解码约 1.06 倍
  • 截至 10 月 27 日,链接中 10 个 PR 仅 3 个已合并,其余仍在评审
  • 这是用前沿编码模型做推理内核性能工程的公开案例,结果尚待 vLLM 社区复现
阅读全文
关联模型 / 智能体 / 厂商:

FrontierCS 2 基准发布:让 Agent 在论文原仓库里重写被删掉的核心贡献并打败作者代码,Claude Opus 5.5 通过率 58% 居首,16 题无人通过

UC Berkeley、Princeton 等团队发布 FrontierCS 2(arXiv 2610.29932):48 个任务覆盖 13 个计算机领域,每题从论文作者公开的代码里删掉论文贡献,Agent 要在 5 小时内写回并在所有指标和隐藏负载上都胜过原实现才算通过。12 个 Agent 中 Claude Opus 5.5(Claude Code)通过率 58% 第一,其余都低于一半,16 个任务没有任何运行通过。10 月 26 日维护者 Wenhao Chai 称审计 trace 后发现 Pi harness 会在遇到拒答时直接结束运行,改用 Antigravity 重跑后 Gemini 4 Argon 超过 GPT-6 Astra、仅次于 Opus 5.5。

核心要点速览

  • 48 个任务、13 个领域,评测 12 个 Agent,每个 Agent 每题跑一次(论文)
  • 通过标准很严:最终提交要在每个指标、每个隐藏负载上都胜过作者代码,总分更高也可能不通过
  • Claude Opus 5.5(Claude Code)通过率 58% 居首;16 个任务没有任何运行通过
  • Pi harness 下 Gemini 4 Argon 48 次运行中有 10 次因提供方拒答被结束;换 Antigravity 重跑后超过 GPT-6 Astra(Wenhao Chai 帖子)
  • 任务和评测器已开源在 GitHub;官方估算 Opus 5.5 跑完 48 题约需 1,000 美元 API 费、300 美元 GPU、100 美元 CPU
阅读全文