AI 编程实时动态与要闻

Artificial Analysis 发布 AA-Omniscience v1.1:题库精简到 3,000 题并公开 300 题校准集,Gemini 4 Carbon 以 54 分领跑知识与幻觉榜

独立评测机构 Artificial Analysis 10 月 31 日发布知识与幻觉基准 AA-Omniscience v1.1,作为 Intelligence Index v5 的组成部分。新版题库从 6,000 题精简为 3,000 题,删掉已公开和已饱和的题目、修正错误与歧义并补充新题,同时在 Hugging Face 公开一套 300 题、难度与私有集校准的公开集,两者 Net Score 的 Pearson 与 Spearman 相关系数均为 0.99。结果显示 Gemini 4 Carbon(high)以 54 分领先,Claude Opus 5.5 为 48、Claude Fable 5.1 为 46;Fable 5.1 准确率最高(68%),Gemini 4 Argon 幻觉率最低(4%)。模型平均比 v1 低约 1.9 分,MiniMax M3.1 Flash 下滑 22 分。以上均为 Artificial Analysis 口径。

Artificial Analysis 发布 AA-Omniscience v1.1:题库精简到 3,000 题并公开 300 题校准集,Gemini 4 Carbon 以 54 分领跑知识与幻觉榜

核心要点速览

  • 题库从 6,000 题精简到 3,000 题,覆盖 6 大领域、42 个主题:理工数学 600、软件工程 600,金融、健康、人文社科、法律各 450
  • 新的 300 题公开集已上 Hugging Face,与私有集 Net Score 的相关系数 0.99,中位差 0.0 分
  • Net Score 排名:Gemini 4 Carbon(high)54、Claude Opus 5.5 48、Claude Fable 5.1 46;开源权重最好的是 Muse Spark Open,落后 Gemini 4 Carbon 28 分
  • 准确率最高为 Claude Fable 5.1(68%),其次 Claude Opus 5.5(66%);幻觉率最低为 Gemini 4 Argon(4%)
  • 与 v1 排名的 Spearman 相关 0.98,但平均低 1.9 分;MiniMax M3.1 Flash 从 16 跌到 -6,MiMo V2.6 Pro 从 8 跌到 -5(官方口径)
阅读全文

Artificial Analysis 推出 AA-PersonalityBench 基准:首发大模型置信度与谄媚度排行榜

独立评测机构 Artificial Analysis 正式上线全新基准维度 AA-PersonalityBench,专门量化评估前沿大语言模型的拟人化心理特征,重点聚焦两大关键指标:置信度(Confidence / 不确定性承认度)与谄媚度(Sycophancy / 迎合用户错误倾向)。实测数据显示:在置信度维度上,Google Gemini 3.8 Flash 斩获 100 分满分,Gemini 4 Argon 达到 97 分,展现出极强的决策断言能力,但同时也是最不愿意承认自身不确定性的模型;在谄媚度测试中,开源大模型 Llama 4 Maverick 达到 97 分(极易毫无底线附和用户),而 Claude Fable 5.1 仅得 4 分(最坚持事实原则),为对齐工程提供了量化标尺。

Artificial Analysis 推出 AA-PersonalityBench 基准:首发大模型置信度与谄媚度排行榜

核心要点速览

  • Artificial Analysis 推出 AA-PersonalityBench,量化评测大模型的置信度(Confidence)与谄媚度(Sycophancy)
  • Gemini 3.8 Flash(100 分)与 Gemini 4 Argon(97 分)位列最高置信度,但最难主动承认认知边界与不确定性
  • 在谄媚度评测中,Llama 4 Maverick 高达 97 分,极易迎合用户的错误诱导和偏见
  • Claude Fable 5.1(4 分)与 Claude Opus 5.5(46 分)展现出优秀的抗诱导能力,客观坚守事实中立原则
阅读全文

Breken 发布“生产前的生产环境”:让合成用户和 Agent 跑真实软件找 Bug,自家 ESCAPES 基准抓到 235 个线上 Bug 中的 76 个,是 Claude Code 的两倍

10 月 21 日,初创公司 Breken 发布同名产品,定位“生产工程”:在隔离环境里重建整套软件,以 4000 倍速长出生产数据,让带意图和耐心的合成用户与 Agent 去使用,并逐一改变重试、丢包、时钟跳变等条件找故障,复现稳定后给出状态、trace 和修复草稿 PR。同时公布开放基准 ESCAPES:33 个开源项目、327 个已上线后被用户报告的 Bug,按 7 月 1 日代码扫描一次,Breken 抓到 235 个中的 76 个(32%),Claude Code 跑 Claude Fable 5.1 抓到 37 个(16%)。数据为厂商自测。

Breken 发布“生产前的生产环境”:让合成用户和 Agent 跑真实软件找 Bug,自家 ESCAPES 基准抓到 235 个线上 Bug 中的 76 个,是 Claude Code 的两倍

核心要点速览

  • ESCAPES 基准(厂商口径):33 个开源项目、327 个真实用户报告的 Bug,按 2026-07-01 代码扫描一次,计分对象为当时已存在的 235 个
  • 抓到数:Breken 76(32%,61 个跑出复现证明)、Claude Fable 5.1 + Claude Code 37(16%)、Claude Opus 5.5 + Claude Code 33(14%)、GPT-6 Astra + Codex CLI 28(12%)、Semgrep 9(4%)
  • 误报:Breken 20 个,Claude Fable 5.1 为 59 个,GPT-6 Astra 为 86 个;精度 85% 对 46%,加权分 +23.8% 对 -9.4%
  • 71% 的这类 Bug 只有在产品跑起来、配合真实数据、多用户、外部故障或时间流逝时才出现,中位数在代码里潜伏 152 天
  • 计费为预充值用量,最低 25 美元,提供 50/100/250 美元档,需用 GitHub 登录选择仓库
阅读全文

Artificial Analysis 发布 AA-Robotics v0.1:让编码智能体直接操控机械臂,GPT-6 Astra 以 69.4 分居首

独立评测机构 Artificial Analysis 于 2026-10-14 发布 AA-Robotics v0.1 研究预览:在 Codex、Claude Code、Antigravity 等编码智能体框架中,让前沿大模型通过 HTTP API 直接控制一台 6 轴机械臂完成 8 项桌面任务。GPT-6 Astra 得分 69.4 居首,GPT-6.1 Sol 64.6、Gemini 4 Argon 55.3、Claude Opus 5.5 48.8、Claude Fable 5.1 46.3;模型平均每项约 30 分钟,人类约 20 秒。

Artificial Analysis 发布 AA-Robotics v0.1:让编码智能体直接操控机械臂,GPT-6 Astra 以 69.4 分居首

核心要点速览

  • 总分(满分 100):GPT-6 Astra 69.4、GPT-6.1 Sol 64.6、Gemini 4 Argon 55.3、Claude Opus 5.5 48.8、Claude Fable 5.1 46.3(AA 原文)
  • 速度:模型平均约 30 分钟/任务(Argon 最慢约 52 分钟),人类平均约 20 秒,差距接近两个数量级
  • 成本:GPT-6.1 Sol 平均 $1.93/任务最便宜,GPT-6 Astra $16.36/任务,约 70% 花费来自视觉上下文输入
  • 抓取成功率:GPT-6 Astra 45%、Claude Fable 5.1 44%、Opus 5.5 40%、Argon 36%、Sol 28%
  • 「测量箱子」任务(误差需 ≤2 mm)五个模型最高仅 17 分,精细测量仍是短板
阅读全文
AD赞助内容

Anthropic 推出 Claude Opus 5.5

Anthropic 宣布 Claude Opus 5.5 即日起可用。它是新 Claude 5.5 系列的首个模型,多数任务表现接近 Claude Fable 5.1,运行成本比 Opus 5 低 40%。

核心要点速览

  • Anthropic 宣布 Claude Opus 5.5 即日起可用。它是新 Claude 5.5 系列的首个模型,多数任务表现接近 Claude Fable 5.1,运行成本比 Opus 5 低 40%。
阅读全文
关联模型 / 智能体 / 厂商:

Anthropic 正式发布 Claude Opus 5.5:开启 5.5 世代,运行成本直降 40%、推理速度提升超 30%

Anthropic 宣布全新旗舰模型 Claude Opus 5.5 正式上线,作为 Claude 5.5 家族的首发成员。官方实测显示,Opus 5.5 在绝大部分复杂推理与 Agentic 编码任务中已达到前代旗舰 Claude Fable 5.1 水平,而在典型企业工况下的运行成本相比 Opus 5 降低了 40%,输出速度提升超 30%,API 价格定为输入 $4/M、输出 $20/M,提示词缓存读取仅 $0.20/M。

核心要点速览

  • Claude 5.5 世代首发旗舰,多项核心任务综合能力平齐 Claude Fable 5.1。
  • 单任务综合成本降低约 40%,输出吞吐速度提升超 30%,大幅改善长链路 Agent 响应延迟。
  • API 价格为 $4/M 输入、$20/M 输出,提示词缓存读取仅 $0.20/M,缓存写入 $5/M。
  • 在 Anthropic 自动化行为安全审计中取得历史最高分,强化敏感代码与网络防御过滤。
阅读全文
关联模型 / 智能体 / 厂商:

Anthropic 发布 Claude Opus 5.5:多数任务达 Fable 5.1 水平,典型负载成本约降 40%

Anthropic / Claude(@claudeai,@AnthropicAI 转发确认)宣布 Claude Opus 5.5 今日可用,为新 Claude 5.5 系列首个模型。官方称多数任务表现达到 Claude Fable 5.1 水平,相对 Opus 5 在 agentic coding、computer use 与知识工作上显著提升;默认设置下典型负载运行成本约低 40%。同步提高 Pro/Max/Team 五小时用量上限,并为订阅用户提供可留存的速率限制重置。

Anthropic 发布 Claude Opus 5.5:多数任务达 Fable 5.1 水平,典型负载成本约降 40%

核心要点速览

  • Claude 5.5 系列首发 Opus 5.5,今日可用;多数任务对齐 Claude Fable 5.1。
  • 相对 Opus 5 在 agentic coding、computer use 与知识工作上领先;默认典型负载成本约降 40%。
  • Pro/Max/Team 五小时用量上限上调,订阅用户获可留存的速率限制重置。
阅读全文

Artificial Analysis:Grok 4.7 + Grok Build Coding Agent Index 56,跻身第四;智能指数 46 进入前四实验室

@ArtificialAnlys 评测 Grok 4.7(xhigh):Intelligence Index 46(较 4.6 +2),SpaceXAI 进入前四实验室;Grok 4.7 + Grok Build 的 Coding Agent Index 为 56(较 4.6 +9),在原生 harness 中排名第四,仅次于 Claude Fable 5.1、GPT-6 Astra 与 Claude Opus 5。定价仍为 $2/$6 per 1M in/out,缓存命中 $0.50,上下文 500k。

Artificial Analysis:Grok 4.7 + Grok Build Coding Agent Index 56,跻身第四;智能指数 46 进入前四实验室

核心要点速览

  • Coding Agent Index:Grok 4.7 + Grok Build 拿下 56 分(+9),原生 harness 中排名第四。
  • Intelligence Index 46(+2),SpaceXAI 进入前四实验室;AA-Briefcase +111 Elo。
  • 定价与 4.6 相同:$2/$6 per 1M,缓存 $0.50;上下文 500k;增益伴随更高 token 用量。
阅读全文
关联模型 / 智能体 / 厂商:

Anthropic 设立新加坡亚太总部,任命东盟总经理加速企业级落地

Anthropic 正式宣布在新加坡设立亚太地区运营总部,并任命前科技高管 Dale Finlay 出任东盟区总经理。新总部将全面对接东南亚各主要金融中心、政府机关与软件工程团队,加速 Claude Fable 5.1 / Mythos 5.1 在跨境合规、政企代码审计及私有安全部署领域的规模化落地。

核心要点速览

  • 设立新加坡亚太总部,深耕东南亚及亚太核心企业级市场
  • 针对金融、跨国法务与关键基础设施代码安全提供本地合规与专属技术支持
  • 标志着 Anthropic 与 OpenAI 在全球核心区域枢纽的商业化竞争全面提速
阅读全文
关联模型 / 智能体 / 厂商:
⚡ Claude 5.1🌐 Anthropic

Vals 发布 Vibe Code Bench 1-100:测模型能否在长序列产品改动中不破坏已有功能

Vals 今日发布 Vibe Code Bench 1-100(VCB 1-100):在已通过的完整 Web 应用上,要求模型按依赖顺序完成多轮产品改动,且不能破坏既有行为;首个未完成迭代即终止。官方榜单显示 Claude Opus 5 以 28.53% 领先,Claude Fable 5.1 28.00%、GPT-6 Astra 27.64% 紧随其后。相对只评「从零做出能跑版本」的基准,该套题更贴近真实持续演进的 vibe coding / 编程智能体工作负载。

核心要点速览

  • VCB 1-100 从已通过的完整应用起步,按依赖顺序施加多轮产品请求,首个失败迭代即终止。
  • 榜单:Claude Opus 5 28.53%,Claude Fable 5.1 28.00%,GPT-6 Astra 27.64%。
  • Vals 指出模型自我测试差异大:Opus 5 / Fable 5.1 约三分之一工具调用为浏览器;Grok 4.6 几乎不用浏览器。
阅读全文
AD赞助内容

Vals:Terminal-Bench 4.0 上线,GPT-6 Astra 以 57.1% 登顶,Fable 5.1 / Opus 5 分列二三

Vals AI 发布 Terminal-Bench 4.0:66 道全新终端任务(交付服务、证明定理、训练 GPU kernel、写取证报告等),专家预估中位耗时约 4 小时,严格 verifier 全过才计分,分数为 avg@3。GPT-6 Astra 以 57.1% 夺冠,领先 Claude Fable 5.1(49.5%)7.6 个百分点、Claude Opus 5(45.5%)11.6 个百分点;其余模型均未过 30%,14/27 个模型在硬件与媒体域得零分。4.0 覆盖软件、科学、ML、运维、硬件、安全、媒体七类,约四分之三任务已超出传统软件工程。

核心要点速览

  • Terminal-Bench 4.0:66 道新终端任务,中位专家工时约 4 小时,严格 verifier + avg@3
  • GPT-6 Astra 57.1% 登顶,领先 Fable 5.1(49.5%)与 Opus 5(45.5%);其余均未过 30%
  • 覆盖七大类且约 3/4 任务超出传统软件工程,全部与 v2.1 无重叠
阅读全文

Vals AI 发布 MysteryMechanism:GPT-6 Astra 以 53.2% 准确率登顶且成本最低

Vals AI 发布 MysteryMechanism 基准,测试智能体能否通过有限实验从零还原被封存的科学数学机制。GPT-6 Astra 以 53.2% 准确率领先,Claude Fable 5.1 为 47.8%、Claude Opus 5 为 37.4%;Astra 单测约 1.77 美元,约为亚军 Fable 5.1(5.63 美元)的三分之一。

核心要点速览

  • MysteryMechanism:从封存机制与有限实验中还原科学关系的新基准
  • GPT-6 Astra 53.2% 登顶,领先 Claude Fable 5.1(47.8%)与 Opus 5(37.4%)
  • Astra 单测约 1.77 美元,约为亚军 Fable 5.1(5.63 美元)的三分之一
阅读全文

Code Arena WebDev:GPT-6 Astra (Max) 1800 分登顶,Claude Fable 5.1 居次 1758

LMSYS Arena 更新 Code Arena: WebDev 排行:OpenAI GPT-6 Astra (Max) 以 1800 分位列第一,Anthropic Claude Fable 5.1 (Max) 以 1758 分居次。匿名对战胜率显示 Astra 相对多数模型占优,对 GPT-5.6 Sol (xHigh) 胜率约 72.5%。

核心要点速览

  • WebDev 榜:GPT-6 Astra (Max) 1800 分第一,Claude Fable 5.1 (Max) 1758 分第二
  • 匿名对战胜率显示 Astra 对多数对手占优
  • 对 GPT-5.6 Sol (xHigh) 胜率约 72.5%
阅读全文

Agent Arena Image-to-WebDev:GPT-6 Astra (Max) 登顶 1733 分,Claude Fable 5.1 居次

Arena 更新 Image-to-WebDev 榜:GPT-6 Astra (Max) 以 1733 分登顶,领先 GPT-5.6 Sol (xHigh) 129 分;Claude Fable 5.1 (Max) 以 1710 分列第二。该榜评测模型从图像到网页开发的交付能力,对新近发布模型给出公开对比。

核心要点速览

  • GPT-6 Astra (Max) 以 1733 分登顶 Image-to-WebDev。
  • Claude Fable 5.1 (Max) 以 1710 分位列第二。
  • 榜单覆盖四款新近评测的模型发布。
阅读全文

Specific 发布 Real-SWE:私有生产代码库评测,Fable+Claude Code 38.8% 仍未破四成

Specific Labs(@janaksunil)发布 Real-SWE:用真实公司私有、分布外生产代码库上的工程任务评测编码智能体(含 20 万+ 用户应用、金融对账、企业销售工具等)。公开榜单(8 次独立运行均值)显示 Claude Fable 5.1 + Claude Code 38.8%、GPT-6 Astra + Codex CLI 33.8%、Gemini 3.8 Flash + Gemini CLI 31.2%,领先者仍未达 40%。站点 realswe.withspecific.com。

核心要点速览

  • 任务来自真实公司私有代码库,评测智能体能否在无公开解法的系统上改账单、权限与客户数据等业务逻辑。
  • 8 次独立运行均值:Fable 5.1 + Claude Code 38.8%,Astra + Codex CLI 33.8%,Gemini 3.8 Flash + Gemini CLI 31.2%。
  • 强调与公开仓库榜单不同:测的是公司会真正部署智能体的私有系统,站点 realswe.withspecific.com。
阅读全文