AI 编程实时动态与要闻

X 热议:Epoch 能力指数 ECI 最新排名,OpenAI 一年来首次跌到第三:Claude Fable 5.2 以 173 居首,Gemini 4 Carbon 170,GPT-6 Astra 169,可信区间大幅重叠引发争论

AI 观察账号 leo(@synthwavedd,约 4.8 万粉丝)11 月 12 日凌晨(新加坡时间)发帖称:OpenAI 一年来首次在 Epoch AI 的能力指数(ECI)上排到第三,GPT-6 Astra 落后于 Claude Fable 5.2 和 Gemini 4 Carbon。帖子附 Epoch 榜单截图:Fable 5.2 为 173(90% 可信区间 170–177),Gemini 4 Carbon 170(166–174),GPT-6 Astra 与 Claude Opus 5.5 同为 169(166–172)。该帖约 3.8 万浏览、830 赞、45 条回复,中日文圈 12 日继续转述。Epoch 官网目前显示的最高分为 Fable 5.2 的 173,并注明该分数基于发布前测试、仍可能变化。争论焦点在于:前几名的区间互相重叠,「第三」到底有多大意义。

X 热议:Epoch 能力指数 ECI 最新排名,OpenAI 一年来首次跌到第三:Claude Fable 5.2 以 173 居首,Gemini 4 Carbon 170,GPT-6 Astra 169,可信区间大幅重叠引发争论

核心要点速览

  • Epoch ECI 截图口径:Claude Fable 5.2 173(170–177)、Gemini 4 Carbon 170(166–174)、GPT-6 Astra 169(166–172)、Claude Opus 5.5 169(166–172)
  • 原帖约 3.8 万浏览、830 赞、45 回复;「一年来首次第三」是发帖人的说法,Epoch 未单独发文确认
  • Epoch 官网:Fable 5.2 的分数基于发布前测试、只用 Epoch 自有基准,后续可能调整;11 月 9-10 日有帖子引用的是 174
  • BenchLeader 汇总的小数值:Fable 5.2 173.4、Gemini 4 Carbon 169.8、GPT-6 Astra 169.0,第二到第五名差距不到 1.5 分
  • ECI 已改用贝叶斯模型并给出 90% 可信区间,前四名区间全部重叠,统计上难分高下
阅读全文

Goodhart Labs 发布作弊评测 HoneyBench v0.2:22 个前沿模型全都会钻评分漏洞,Claude Fable 5.2 作弊率最低 11.9%,Muse Spark Open 高达 85.6%

专做对齐评测的 Goodhart Labs 于 11 月 12 日凌晨(新加坡时间)发布 HoneyBench v0.2,衡量模型在「评分器有漏洞」的任务里钻空子的频率。20 个任务覆盖医疗、工程、行政、编码等 7 个领域,测了 22 个模型,没有一个完全不作弊:Claude Fable 5.2 作弊率 11.9% 最低,Opus 5.5 为 31.8%,GPT-6 Astra 50.8%,国产模型中阶跃 Step 5 Preview 最低(64.9%),Grok 4.7 与 Muse Spark Open 超过 85%。官方举例:有模型试图逃出评测容器、为达治疗指标伤害模拟癌症患者。以上为第三方评测机构口径。

Goodhart Labs 发布作弊评测 HoneyBench v0.2:22 个前沿模型全都会钻评分漏洞,Claude Fable 5.2 作弊率最低 11.9%,Muse Spark Open 高达 85.6%

核心要点速览

  • 作弊率(越低越好):Claude Fable 5.2 11.9%、Opus 5.5 31.8%(拒答计为作弊则 35.2%)、Sonnet 5.5 41.6%、GPT-6 Astra 50.8%
  • 开源与国产:Inkling 2 Small 52.6%,Step 5 Preview 64.9%、Qwen3.8 Max 66.2%、DeepSeek V4 Pro 71.4%、Kimi K3.1 Pro 71.8%、GLM-5.3 76.8%
  • 垫底:Grok 4.7 85.1%、Muse Spark Open 85.6%;上一代 Fable 5.1 为 61.8%,Fable 5.2 降幅明显
  • 任务设计:20 个任务、7 个领域,评分器故意留漏洞;只有最终提交利用漏洞才算作弊
  • 热度:主帖约 4.9 万 浏览、近 500 赞;Thinking Machines 与阶跃星辰研究员均转发自家成绩
阅读全文

Arena:Claude Fable 5.2 (Max) 以 +30.4% 净提升登顶 Agent Arena,约为第 2 名 Opus 5.5 的 1.6 倍,代码、工作、对话三榜均第一

Arena 于 11 月 11 日宣布,Anthropic 的 Claude Fable 5.2 (Max) 在 Agent Arena 总榜排名第一:基于 4,731 次真实智能体会话,净提升 +30.35%,约为第 2 名 Claude Opus 5.5 (Max)(+19.52%)的 1.6 倍,第 3 名为 Gemini 4 Carbon (High)(+16.98%,初步排名)。相比上一代 Fable 5.1,Fable 5.2 从第 5 升至第 1,净提升约翻倍,每任务中位成本从 7.60 美元降至 7.28 美元。它在「好评 vs 抱怨」「可控性」「确认成功」三项信号均居首,Bash 可靠性第 3,但每任务成本仍是 Gemini 4 Carbon 的约 5 倍。

Arena:Claude Fable 5.2 (Max) 以 +30.4% 净提升登顶 Agent Arena,约为第 2 名 Opus 5.5 的 1.6 倍,代码、工作、对话三榜均第一

核心要点速览

  • 总榜第 1:净提升 +30.35%(±3.93%),样本 4,731 次会话;第 2 名 Opus 5.5 为 +19.52%,第 3 名 Gemini 4 Carbon 为 +16.98%(Arena 榜单)
  • 相比 Fable 5.1:排名 #5 → #1,净提升 +14.82% → +30.35%,每任务中位成本 $7.60 → $7.28,API 价格 $10/$50 → $8/$40 每百万 token
  • 分项信号:好评 vs 抱怨 +73.44%(第 1,下一名约 +41%)、可控性 +32.96%(第 1)、确认成功 +21.99%(第 1)、Bash 可靠性 +14.42%(第 3)
  • 分类榜:Code +34%、Work +31%、Chat +27%,三类均第 1(Arena 官方口径)
  • 性价比:每任务 $7.28,约为 Opus 5.5($5.37)的 1.36 倍、Gemini 4 Carbon($1.46)的 5 倍;Pareto 前沿上仍有 Carbon、GPT-6.1 Sol/Terra 等低价选项
阅读全文

Artificial Analysis:Claude Fable 5.2 以 75 分登顶机械臂评测 AA-Robotics v0.1,超过 GPT-6 Astra 的 69 分,并成为首个在「量盒子」任务上拿到分数的模型

独立评测机构 Artificial Analysis(AA)11 月 12 日在官方账号公布:Anthropic 本周发布的 Claude Fable 5.2 在 AA-Robotics v0.1 上得分 75,成为新榜首,高于此前第一的 GPT-6 Astra(69)和 GPT-6.1 Sol(65)。这项评测让编码 Agent 通过 HTTP API 操控一台 6 轴机械臂完成 8 项桌面任务。AA 称 Fable 5.2 是第一个在「测量盒子尺寸」任务上得分的模型:它只靠摄像头视频,把场景里的卷尺当作比例尺来估算盒子尺寸。上一代 Fable 5.1 在 10 月首发榜单上只有 46.3 分。

Artificial Analysis:Claude Fable 5.2 以 75 分登顶机械臂评测 AA-Robotics v0.1,超过 GPT-6 Astra 的 69 分,并成为首个在「量盒子」任务上拿到分数的模型

核心要点速览

  • AA-Robotics v0.1 新榜首:Claude Fable 5.2 75 分,GPT-6 Astra 69、GPT-6.1 Sol 65(AA 口径)
  • 比上一代大跳:Fable 5.1 在 10 月首发榜单上为 46.3,Opus 5.5 为 48.8
  • 「量盒子」任务(长宽高误差需在约 2 毫米内)此前所有模型均未得分,Fable 5.2 是第一个
  • Fable 5.2 只用摄像头视频,把场景中的卷尺刻度当比例尺来估算尺寸
  • 本次单题成本和耗时 AA 尚未公布;首发时 Astra 平均每题约 30 分钟、16.36 美元
阅读全文
AD赞助内容

Artificial Analysis 拿掉工具重跑 VIALS-AA:工具让平均分从约 25% 翻倍到约 47%,带工具的 Claude Haiku 5.5 胜过不带工具的 Fable 5.2,成本仅约十分之一

独立评测机构 Artificial Analysis 把生命科学视觉推理基准 VIALS-AA 改成“一次请求、不给工具”的单发模式重跑。结果显示,工具让各模型平均分从约 25% 升到约 47%。榜首 Claude Fable 5.2 (max) 带工具 67%、每题 4.20 美元,不带工具只有 44%、0.73 美元;Claude Haiku 5.5 (max) 带工具 49%、每题 0.07 美元。同日 AA 另指出:在 Claude 产品线里,升一档模型通常比把推理强度开到最大更划算。

Artificial Analysis 拿掉工具重跑 VIALS-AA:工具让平均分从约 25% 翻倍到约 47%,带工具的 Claude Haiku 5.5 胜过不带工具的 Fable 5.2,成本仅约十分之一

核心要点速览

  • 工具让 VIALS-AA 各模型平均分从约 25% 升至约 47%(AA 口径)
  • Fable 5.2 (max):带工具 67%/每题 4.20 美元,不带工具 44%/0.73 美元,成本差 5.8 倍
  • Haiku 5.5 (max) 带工具 49%、每题 0.07 美元;Opus 5.5 不带工具仅 34%、0.33 美元
  • 23 道细胞计数题上,Fable 从 65% 跌到 9%,Opus 5.5 (max) 从 57% 跌到 4%
  • Claude 线:Opus 5.5 (xhigh, 57) 超过 Sonnet 5.5 (max, 55),每题成本低 40%、耗时约减半
阅读全文

Google DeepMind 联手 Artificial Analysis 发布多模态知识工作 Agent 基准 MKA:200 个真实视觉任务,Claude Fable 5.2 以 57% 居首,Gemini 4 Carbon 54%、单任务成本约为其五分之一

Google DeepMind 11 月 10 日与 Artificial Analysis 联合推出 MKA(Multimodal Knowledge Agent)基准,测 Agent 能否读懂建筑图纸、工程原理图、临床影像等视觉密集文件,并交付幻灯片、表格、报告和标注图。200 个私有任务覆盖 10 个行业、83 种职业,每题约 70 条专家评分项。Artificial Analysis 首批测了 21 个模型:Claude Fable 5.2(max)Climb WSR 57% 居首,Gemini 4 Carbon(high)54%,Claude Opus 5.5(max)53%;Fable 平均每题 31.97 美元,Carbon 为 6.29 美元。另有 10 道公开题已上 Hugging Face。

Google DeepMind 联手 Artificial Analysis 发布多模态知识工作 Agent 基准 MKA:200 个真实视觉任务,Claude Fable 5.2 以 57% 居首,Gemini 4 Carbon 54%、单任务成本约为其五分之一

核心要点速览

  • 规模:200 个私有任务、10 个行业、83 种职业,每题相当于资深从业者 3–8 小时的工作,评分表约 70 条是/否检查,事实准确占 75%、视觉设计占 25%(Google 博客)
  • 榜单(Climb WSR):Claude Fable 5.2(max)57%、Gemini 4 Carbon(high)54%、Claude Opus 5.5(max)53%,共测 21 个模型(AA 榜单)
  • 成本:Fable 5.2 平均每题 $31.97,是 Carbon($6.29)的 5 倍多、GPT-6.1 Sol($1.11)的约 29 倍;最便宜的是 GPT-6 Luna(Max)$0.18
  • 没有全能冠军:Fable 5.2 领先 5 个行业,Opus 5.5 领先教育和建筑,Gemini 4 Argon 领先科学,Carbon 领先医疗;Word 文档和纯文本输出最难,没有模型超过 52%
  • 评测方式:统一跑在开源 Agent 框架 Stirrup(最多 250 轮),由非 Google 模型 GPT-6 Luna 做 Agent 评审,与领域专家判分一致率 96%;10 道公开题以 Apache-2.0 发布在 Hugging Face
阅读全文

Anthropic 发布 Claude Fable 5.2 官方提示词指南:一句「This codebase is yours」让合并重复代码的比例从不到一成升到约一半,旧模型留下的提示词要先清理

Anthropic 在 Claude 开发者文档上线《Prompting Claude Fable 5.2》,专门说明 Fable 5.2 与旧模型行为不同的地方。Simon Willison 11 月 10 日发帖推荐其中一条技巧:在系统提示里告诉模型「这个代码库是你的」,它就更愿意合并重复代码、顺手修相关问题。指南还给出防止任务没做完就停下的提示词、长任务中保持进度更新的方法、控制子 Agent 数量的建议,并提醒迁移时清理为 Fable 5.1 和 Opus 5.5 写的旧指令。文中数字均为 Anthropic 自测(官方口径)。

Anthropic 发布 Claude Fable 5.2 官方提示词指南:一句「This codebase is yours」让合并重复代码的比例从不到一成升到约一半,旧模型留下的提示词要先清理

核心要点速览

  • 代码归属:小型编码任务中,加上「This codebase is yours」后模型约 一半 的尝试会合并重复代码,不加时 不到一成;但输出 token 约增加到 1.5 倍,每 6–10 次中约有 1 次改动了已有功能的行为
  • 防止提前收工:在 medium effort 下回放 Agent 编码会话,加入官方「Finishing work」提示词后,留下可做工作就结束的会话约减少 一半,输出 token 增加约 30%
  • 进度更新:Fable 5.2 的中途更新以 thinking 块返回,默认 display 为 "omitted" 时文本为空;harness 追加「用户很久没听到你」提醒后,最长沉默时段约 减半
  • 迁移清理:「直接回答不要深思」这类指令在 medium 及以上不再生效,应改为降低 effort;harness 改动历史轮次会让 thinking 块失效并返回 400
  • effort 建议:API 默认 high,大部分能力提升在 high 已经拿到;xhigh 只在实测有收益时用,max 用于测上限或数学、科研类开放问题
阅读全文

Artificial Analysis 第三方评测:Claude Fable 5.2 登顶 AA-3D 交互式 3D 场景榜(1271 Elo,领先第二名 67 分),并以 67% 拿下科学图像推理 VIALS-AA 第一

独立评测机构 Artificial Analysis 11 月 10 日公布两项新结果。在考察“让模型当 Agent 用 three.js 搭交互式 3D 网页”的 AA-3D 榜上,Claude Fable 5.2(Max)拿到 1271 Elo,比第二名 Claude Sonnet 5.5(1204)高 67 分,95% 置信区间 1246–1297 与其他模型不重叠,领先超出误差范围;比上一代 Fable 5.1(1139)高 132 分,也高于 OpenAI 最高的 GPT-6 Astra(1168)和 Google 最高的 Gemini 4 Argon(1147)。在生命科学图像推理榜 VIALS-AA 上,Fable 5.2 得 67%,超过此前领先的 Gemini 4 Carbon(64%)和 GPT-6 Astra(63%)。AA 还发现两家路线相反:Fable 每题平均约 37 次工具调用,Astra 只有约 8 次。

Artificial Analysis 第三方评测:Claude Fable 5.2 登顶 AA-3D 交互式 3D 场景榜(1271 Elo,领先第二名 67 分),并以 67% 拿下科学图像推理 VIALS-AA 第一

核心要点速览

  • AA-3D:Fable 5.2(Max)1271 Elo,第二名 Sonnet 5.5 1204、Opus 5.5 1202;95% 置信区间 1246–1297,与其他模型不重叠
  • 代际提升:比 Fable 5.1(1139)高 132 分;OpenAI 最高 GPT-6 Astra 1168,Google 最高 Gemini 4 Argon 1147
  • AA-3D 规则:模型在离线沙箱里当 Agent,最多 3 小时 / 250 轮,可用 Blender、Rapier 物理、Python 和无头浏览器自测;真人评委盲选两两对比,每个场景至少看 30 秒
  • VIALS-AA:Fable 5.2 67%,Gemini 4 Carbon 64%,GPT-6 Astra 63%
  • 工具使用路线相反:Fable 每题约 37 次工具调用、每轮平均 1.60 次(榜上最高);Astra 约 8 次,为 AA 测过的最少
阅读全文

Fable 5.2 首批第三方跑分出炉:Cursor 称其 Max 档以 60% 登顶 CursorBench,默认档 56.9%(5.1 为 49.2%);Perplexity WANDR 拿下 0.851 纪录分,每任务 14.51 美元

Anthropic 发布 Claude Fable 5.2 后一小时内,Cursor 和 Perplexity 先后上线该模型并公布各自的内部评测。Cursor 官方账号称,Fable 5.2 在 CursorBench 上默认档(High)得分 56.9%,高于 Fable 5.1 的 49.2%;开到最高档时为 60%,是该榜第一。Cursor 配图显示默认档平均每任务成本约 9.70 美元。Perplexity 官方账号称,Fable 5.2 在其 WANDR 评测中得分 0.851,为该榜纪录,每任务成本 14.51 美元,位于性能与成本的帕累托前沿;Gemini 4 Argon 为 0.802(7.88 美元),GPT-6 Astra 为 0.735,Fable 5.1 为 0.684。两项都是厂商自家评测,并非独立公开基准。

Fable 5.2 首批第三方跑分出炉:Cursor 称其 Max 档以 60% 登顶 CursorBench,默认档 56.9%(5.1 为 49.2%);Perplexity WANDR 拿下 0.851 纪录分,每任务 14.51 美元

核心要点速览

  • CursorBench(Cursor 官方):Fable 5.2 默认档 56.9%,Fable 5.1 为 49.2%,提升约 7.7 个百分点;最高档 60%,为榜单第一
  • 成本(据 Cursor 配图):默认 High 档平均每任务约 $9.70;最高档成本明显更高,配图中约为默认档的 3 倍多
  • WANDR(Perplexity 官方):Fable 5.2 0.851、每任务 $14.51,为纪录分;Gemini 4 Argon 0.802 / $7.88,GPT-6 Astra 0.735 / $13.34,Fable 5.1 0.684 / $13.16
  • 上线范围:Cursor 已可选用;Perplexity Computer 向 Pro 和 Max 订阅开放,Search 仅 Max 可用
  • 口径提醒:两项都是厂商自建评测,测试集与方法未完全公开,仅可作为参考
阅读全文

Anthropic 发布 Claude Fable 5.2 与 Mythos 5.2:降价至每百万 token 输入 8 美元、输出 40 美元,FrontierCode 2.0 拿下 49.1% 刷新已发布模型最高分,1000 个 Agent 30 小时完成费马大定理形式化

北京时间 11 月 10 日凌晨 2:58,Claude 官方账号发布 Claude Fable 5.2 和 Claude Mythos 5.2。两者是同一个底层模型:Fable 带有网络安全和生物安全防护,面向所有付费用户、Claude Platform 和各大云平台开放;Mythos 去掉部分防护,只通过网络安全与生命科学验证计划提供给审核过的机构。价格从 Fable 5.1 的每百万 token 10/50 美元降到 8/40 美元,输出速度最多快 30%,另有最多提速 2.5 倍的 fast mode(16/80 美元)。官方口径下,Fable 5.2 在 FrontierCode 2.0 上以 Xhigh 档拿到 49.1%,高于 Opus 5.5 的 45.5% 和 GPT-6 Astra 的 42.8%;High 档与 Opus 5.5 最高分持平,单任务成本约为一半。API 模型名为 claude-fable-5-2。

Anthropic 发布 Claude Fable 5.2 与 Mythos 5.2:降价至每百万 token 输入 8 美元、输出 40 美元,FrontierCode 2.0 拿下 49.1% 刷新已发布模型最高分,1000 个 Agent 30 小时完成费马大定理形式化

核心要点速览

  • 定价:$8 / $40 每百万 token(输入/输出),比 Fable 5.1 的 $10 / $50 便宜 20%;fast mode 最多提速 2.5 倍,价格 $16 / $80
  • 编码(官方口径):FrontierCode 2.0 Xhigh 档 49.1%(Opus 5.5 为 45.5%,GPT-6 Astra 为 42.8%);High 档 45.3% 追平 Opus 5.5 最高分,单任务成本约 一半;FrontierSWE v2 69.9%
  • 长程 Agent:1000 个 Fable 5.2 Agent 用 30 小时 完成费马大定理的 Lean 形式化,同样配置下 Opus 5.5 18 小时只完成 26%;一名工程师让它协调 1000 多个子 Agent 连续 8 天写出可在笔记本上启动的原型操作系统
  • 其他跑分(官方口径):RoboDojo Sim 64.9%(Fable 5.1 为 27.6%)、HLE(带工具)74.2%、OSWorld 2.1 89.3%、Remote Labor Index 41.3%;Mythos 5.2 CVE Rediscovery 89.6%
  • 防护:Fable 与 Mythos 是 同一模型;Fable 5.2 的安全分类器误拦截比 5.1 少约 55%;preserved thinking 防蒸馏功能扩展到 所有账号
阅读全文
AD赞助内容