AI 编程实时动态与要闻速递 — 𝕏/Twitter 一手信源

Artificial Analysis@ArtificialAnlys·13 小时前收录

👀14

🔥82

Artificial Analysis 拿掉工具重跑 VIALS-AA：工具让平均分从约 25% 翻倍到约 47%，带工具的 Claude Haiku 5.5 胜过不带工具的 Fable 5.2，成本仅约十分之一

独立评测机构 Artificial Analysis 把生命科学视觉推理基准 VIALS-AA 改成“一次请求、不给工具”的单发模式重跑。结果显示，工具让各模型平均分从约 25% 升到约 47%。榜首 Claude Fable 5.2 (max) 带工具 67%、每题 4.20 美元，不带工具只有 44%、0.73 美元；Claude Haiku 5.5 (max) 带工具 49%、每题 0.07 美元。同日 AA 另指出：在 Claude 产品线里，升一档模型通常比把推理强度开到最大更划算。

核心要点速览

工具让 VIALS-AA 各模型平均分从约 25% 升至约 47%（AA 口径）
Fable 5.2 (max)：带工具 67%/每题 4.20 美元，不带工具 44%/0.73 美元，成本差 5.8 倍
Haiku 5.5 (max) 带工具 49%、每题 0.07 美元；Opus 5.5 不带工具仅 34%、0.33 美元
23 道细胞计数题上，Fable 从 65% 跌到 9%，Opus 5.5 (max) 从 57% 跌到 4%
Claude 线：Opus 5.5 (xhigh, 57) 超过 Sonnet 5.5 (max, 55)，每题成本低 40%、耗时约减半

阅读全文

关联模型 / 智能体 / 厂商:

⚡ Claude Fable 5.2 ⚡ Claude Haiku 5.5 ⚡ Claude Opus 5.5 ⚡ Claude Sonnet 5.5 ⚡ GPT-6 Astra ⚡ GPT-6.1 Sol⚡ MiMo-V2.6-Pro⚡ Gemini 3.8 Flash 🌐 Artificial Analysis 🌐 Anthropic 🌐 OpenAI 🌐 Handshake AI 🌐 Xiaomi 🌐 Google

#Artificial Analysis#VIALS-AA#基准测试#工具使用#单任务成本#Claude

Artificial Analysis@ArtificialAnlys·2 天前收录

👀19

🔥82

查看推特原帖 ↗

Artificial Analysis 第三方评测：Claude Fable 5.2 登顶 AA-3D 交互式 3D 场景榜（1271 Elo，领先第二名 67 分），并以 67% 拿下科学图像推理 VIALS-AA 第一

独立评测机构 Artificial Analysis 11 月 10 日公布两项新结果。在考察“让模型当 Agent 用 three.js 搭交互式 3D 网页”的 AA-3D 榜上，Claude Fable 5.2（Max）拿到 1271 Elo，比第二名 Claude Sonnet 5.5（1204）高 67 分，95% 置信区间 1246–1297 与其他模型不重叠，领先超出误差范围；比上一代 Fable 5.1（1139）高 132 分，也高于 OpenAI 最高的 GPT-6 Astra（1168）和 Google 最高的 Gemini 4 Argon（1147）。在生命科学图像推理榜 VIALS-AA 上，Fable 5.2 得 67%，超过此前领先的 Gemini 4 Carbon（64%）和 GPT-6 Astra（63%）。AA 还发现两家路线相反：Fable 每题平均约 37 次工具调用，Astra 只有约 8 次。

核心要点速览

AA-3D：Fable 5.2（Max）1271 Elo，第二名 Sonnet 5.5 1204、Opus 5.5 1202；95% 置信区间 1246–1297，与其他模型不重叠
代际提升：比 Fable 5.1（1139）高 132 分；OpenAI 最高 GPT-6 Astra 1168，Google 最高 Gemini 4 Argon 1147
AA-3D 规则：模型在离线沙箱里当 Agent，最多 3 小时 / 250 轮，可用 Blender、Rapier 物理、Python 和无头浏览器自测；真人评委盲选两两对比，每个场景至少看 30 秒
VIALS-AA：Fable 5.2 67%，Gemini 4 Carbon 64%，GPT-6 Astra 63%
工具使用路线相反：Fable 每题约 37 次工具调用、每轮平均 1.60 次（榜上最高）；Astra 约 8 次，为 AA 测过的最少

阅读全文

关联模型 / 智能体 / 厂商:

⚡ Claude Fable 5.2 ⚡ Claude Sonnet 5.5 ⚡ Claude Opus 5.5 ⚡ GPT-6 Astra ⚡ Gemini 4 Argon ⚡ Gemini 4 Carbon 🌐 Artificial Analysis 🌐 Anthropic 🌐 OpenAI 🌐 Google

#基准测试#AA-3D#VIALS-AA#three.js#视觉推理#工具使用

Artificial Analysis@ArtificialAnlys·5 天前收录

👀24

🔥89

查看推特原帖 ↗

Artificial Analysis 上线 VIALS-AA：Handshake 生命科学视觉推理榜，厂商口径 Gemini 4 Carbon 约 64% 居首

2026-11-06，Artificial Analysis（@ArtificialAnlys）发布 VIALS-AA：独立复跑 Handshake AI 的 VIALS（161 题、8 个科学图像域），用开源 harness Stirrup 配代码执行与看图工具，每题 3 次，主指标为三连全对（pass^3）。厂商口径：Gemini 4 Carbon (high) 约 64%，GPT-6 Astra (max) 约 63%，Claude Opus 5.5 (max+fallback) 约 61%；开源权重侧 Kimi K3.1 Pro 约 45%。

核心要点速览

来源：Artificial Analysis 官方文章/榜单 2026-11-06；基准任务来自 Handshake AI VIALS
方法：161 题 × 3 次；Stirrup + 代码执行/看图；GPT-6 Luna (medium) 判分；主指标 pass^3
前列（厂商口径）：Gemini 4 Carbon (high) 64%、GPT-6 Astra (max) 63%、Claude Opus 5.5 (max+fallback) 61%
成本与一致性：Sol 约 59% / ~$0.056 每题；Kimi K3.1 Pro pass@3 接近 Astra，但 pass^3 仅约 45%
落地：artificialanalysis.ai/articles/vials-aa 与 /evaluations/vials-aa

阅读全文

关联模型 / 智能体 / 厂商:

⚡ Gemini 4 Carbon ⚡ GPT-6 Astra ⚡ Claude Opus 5.5 ⚡ Kimi K3.1 Pro 🤖 stirrup 🌐 Artificial Analysis 🌐 Handshake AI 🌐 Google 🌐 OpenAI 🌐 Anthropic 🌐 Moonshot

#VIALS-AA#VIALS#Artificial Analysis#Handshake AI#基准测试#生命科学#视觉推理