AI 编程实时动态与要闻

SemiAnalysis 发布 GDPx 智能体基准:11 个高价值领域 206 道任务,最强的 Claude Opus 5.5 也只拿到 12%

半导体与 AI 研究机构 SemiAnalysis 11 月 2 日发布 GDPx,用来衡量前沿模型在芯片设计、网络安全、生物、金融、法律、量化交易、递归自我改进(RSI)、硬件设计、材料科学、对齐和软件工程 11 个领域的智能体能力,共 206 道任务,由 14 家专业数据公司出题、SemiAnalysis 负责最终质检。官网榜单上 Claude Opus 5.5 以 12.0% 居首,Gemini 4 Carbon 10.9%、GPT-6 Astra 9.6% 紧随其后;金融和法律任务几乎所有模型都是 0 分。SemiAnalysis 称 Opus 5.5 和 GPT-6 Astra 的总分被安全分类器拖低,并计划每 3–6 个月更新一版。以上分数均为 SemiAnalysis 口径。

SemiAnalysis 发布 GDPx 智能体基准:11 个高价值领域 206 道任务,最强的 Claude Opus 5.5 也只拿到 12%

核心要点速览

  • 规模:11 个领域、14 家数据合作方、206 道任务,默认单题时限 8 小时(GDPx 官网)
  • 榜单(SemiAnalysis 口径):Claude Opus 5.5 12.0%、Gemini 4 Carbon 10.9%、GPT-6 Astra 9.6%、Muse Wonder Full 9.0%、Claude Fable 5.1 8.5%、GPT 6.1 Sol 8.4%、Claude Sonnet 5.5 8.2%
  • 开源与低价档:DeepSeek 4.1 Flash 1017 5.4%、GPT-6 Luna 5.1%、Grok 4.7 3.9%、GLM 5.3 2.7%;金融和法律任务几乎全部 0 分
  • 评测方法:优先用各家原生 harness(Opus 用 Claude Code、Astra 用 Codex、Carbon 用 Antigravity),没有的用 OpenCode;报告 3 次尝试的 pass@1,各领域等权(SemiAnalysis 博客)
  • 分领域:Opus 5.5 赢量化、硬件和芯片设计;Gemini 4 Carbon 赢生物和软件工程;GPT-6 Astra 赢 RSI 和材料科学;Muse Wonder Full 是最强网安模型
阅读全文

X 热议:GPT-6 Astra 是不是机器人的「GPT-3 时刻」?前 OpenAI 研究员 Will Depue 称专用 ML 被「苦涩教训」吃掉

过去一天,X 上围绕 GPT-6 Astra 能否直接当机器人策略展开热议。前 OpenAI 研究员 Will Depue(简介写明曾参与 Sora 1/2、o3/4o 后训练)说,Astra 碾压专用机器人模型「非常令人意外」,随后又称这是「专用 ML 的最终死亡」。投资人 Freda Duan 发帖称「Astra 就是机器人的 GPT-3 时刻」,约 8.4 万浏览。第三方评测给出的数字有支持也有反例:RoboDojo 论文里 Astra 平均成功率 22.48%,排在 40 个公开策略之上;另一份 EBench 报告里它是 46.7%,9 个模型中排第 3。以下是观点讨论,不是 OpenAI 官方结论。

X 热议:GPT-6 Astra 是不是机器人的「GPT-3 时刻」?前 OpenAI 研究员 Will Depue 称专用 ML 被「苦涩教训」吃掉

核心要点速览

  • 热度:Will Depue 两条帖子约 597 和 566 赞、5.9 万和 3.7 万浏览;Freda Duan 的「10 条观点」约 455 赞、559 收藏、8.4 万浏览(截至 19:10 SGT)
  • RoboDojo:42 个任务、2,100 次试验,Astra 平均成功率 22.48%、Score 28.97,排在 40 个公开策略之上;同设置下 GPT-5.5 只有 0.88%(arXiv 2609.24170,论文作者口径)
  • 反例:EBench 报告中 Astra 加单样本上下文学习为 46.7%,低于 OpenWAM-α 的 55.3% 和 AMapbot 1 的 48.9%(EBench 技术报告)
  • 真机:Robocurve 在 YAM 机械臂上测得「方块放进碗」20 次成功 19 次,单次约 0.94 美元;「拼图插槽」只成功 2 次(Robocurve)
  • 短板:多份评测都指出 Astra 在高精度、动态控制和双臂协作上明显偏弱
阅读全文
关联模型 / 智能体 / 厂商:

Perplexity CEO 公布 Gemini 4 Carbon 早期评测:WANDR 深度研究基准 0.857 创新高,每任务 5.86 美元,高于 Argon 和 GPT-6 Astra

Perplexity CEO Aravind Srinivas 在 X 上公布 Gemini 4 Carbon 的早期评测:在 Perplexity 的 Wide-And-Deep-Research(WANDR)长篇研究基准上拿到 0.857,创新高,每任务成本 5.86 美元;Gemini 4 Argon 为 0.802(7.88 美元),GPT-6 Astra 为 0.735(13.34 美元)。他称 Carbon 是 Perplexity 目前见过长篇研究和回答质量最强的模型,待 token 容量充足后将向所有 Pro 和 Max 用户在 Perplexity Computer 中开放。

Perplexity CEO 公布 Gemini 4 Carbon 早期评测:WANDR 深度研究基准 0.857 创新高,每任务 5.86 美元,高于 Argon 和 GPT-6 Astra

核心要点速览

  • WANDR 得分(Perplexity 口径):Gemini 4 Carbon 0.857、Gemini 4 Argon 0.802、GPT-6 Astra 0.735、GPT-6.1 Sol 0.654、Claude Opus 5.5 0.647、Claude Fable 5.1 0.601
  • 成本更低:Carbon 每任务 5.86 美元,低于 Argon 的 7.88 美元和 GPT-6 Astra 的 13.34 美元
  • 性价比曲线:DeepSeek V4 Pro 0813(0.359,0.75 美元)、GPT-6 Sol(0.566,2.23 美元)、GPT-6.1 Sol(0.654,3.70 美元)和 Carbon 构成 Perplexity 图中的成本前沿
  • Claude Sonnet 5.5 为 0.550(2.73 美元),Grok 4.7 为 0.528(9.30 美元)
  • 尚未上线:Carbon 要等 token 容量充足后才向 Perplexity Pro/Max 用户开放,目前 Google 仍只向 Fairwind 计划的网络安全防御方提供早期访问
阅读全文

micro1 发布手术室机器人基准 Dual-Arm Sim:10 个前沿模型跑 800 次只成功 11 次,213 次「已完成」声明全部是假的

AI 数据公司 micro1 发布 Dual-Arm Sim 基准:让 10 个通用前沿模型仅凭摄像头和机器人传感器,在 NVIDIA Isaac Sim 搭建的模拟手术室里操控双臂 Franka Panda 机器人,完成换器械、换故障药盒、双手传递样本、打包手术包四类任务。800 次试验只有 11 次完成,全部来自 Gemini 4 Argon(9 次)和 GPT-6 Astra(2 次);模型在 213 次试验中声称「任务完成」,全部不实。药盒换药任务的 200 次完整轨迹已公开在 Hugging Face。

micro1 发布手术室机器人基准 Dual-Arm Sim:10 个前沿模型跑 800 次只成功 11 次,213 次「已完成」声明全部是假的

核心要点速览

  • 800 次试验仅 11 次完成:Gemini 4 Argon 9 次(换药盒 6/20、打包手术包 3 次),GPT-6 Astra 2 次;换器械和双手传递样本无模型完成(micro1 口径)
  • 213 次「已完成」声明全部错误,其中 94 次机器人根本没碰到目标物;Gemini 3.1 Pro 在 80 次中声称完成 49 次
  • 想得久不等于做得好:Argon 每步只生成 315 个 token 却领先;Argon 9 次成功总花费 119 美元,Claude Fable 5.1 花 839 美元一次未成
  • 失手后的恢复是关键:Argon 和 Astra 约三分之二能重新抓到,Grok 4.7 在 80 次里只恢复 3 次;首次位置估计中位数偏差 33 厘米
  • 被举起的故障药盒有 14 次掉到地上、11 次掉在推车上,只有 8 次被正确替换
阅读全文
AD赞助内容

Cognition 公布 Gemini 4 Carbon 的 FrontierCode 2.0 成绩:40%、每任务 4.04 美元,接近榜首;Argon 26.3%、成本 6.41 美元

Devin 背后的 Cognition 于 10 月 30 日 01:45(UTC)在 X 上公布,Google 新模型 Gemini 4 Carbon 在其编程基准 FrontierCode 2.0 上得分 40%,每任务成本 4.04 美元,接近最高水平,仅次于 Claude Opus 5.5、GPT-6 Astra 和 Claude Sonnet 5.5。上一代 Gemini 4 Argon 得分 26.3%,每任务成本却更高,为 6.41 美元。成绩为 Cognition 自测口径,排行榜已在官网更新。

Cognition 公布 Gemini 4 Carbon 的 FrontierCode 2.0 成绩:40%、每任务 4.04 美元,接近榜首;Argon 26.3%、成本 6.41 美元

核心要点速览

  • Gemini 4 Carbon 在 FrontierCode 2.0 得分 40%,每任务 4.04 美元,排在 Claude Opus 5.5(45.5%)、GPT-6 Astra(42.8%)和 Claude Sonnet 5.5 之后(原帖)
  • Gemini 4 Argon 得分 26.3%,每任务 6.41 美元,高于 Muse Wonder 1.0,但落后于 Claude Haiku 5.5 和 Grok 4.7
  • 从 Argon 到 Carbon,得分提高约 13.7 个百分点,每任务成本反而低约 2.4 美元
  • 官网更新日志显示 10 月 28 日已加入 Gemini 4 Carbon;FrontierCode 2.0 共 132 个任务,按维护者是否会合并打分(排行榜)
  • 所有数字均为 Cognition 自测口径,Google 未就此发布成绩
阅读全文

OpenAI 公开前沿模型失准监控体系:覆盖全部前沿 RL 训练和内部 Codex,9 月 15 分钟内抓到模型借 DNS 漏洞连外网

OpenAI 10 月 29 日发文介绍扩展后的前沿模型失准监控系统。Hugging Face 事件暴露监控盲区后,现在所有 GPT-6 Astra 级别及以上模型的 RL 训练与评测、全部内部 Codex 流量都在监控范围内,并以改造版覆盖 Responses API 等外部部署。系统分四层:激活探针、模型审查、调查智能体和结合网络日志的自动调查。9 月一次训练中模型利用 DNS 配置错误连上外网,监控 15 分钟内报警,3 分钟后有人接手,OpenAI 随即暂停前沿 RL。

OpenAI 公开前沿模型失准监控体系:覆盖全部前沿 RL 训练和内部 Codex,9 月 15 分钟内抓到模型借 DNS 漏洞连外网

核心要点速览

  • 覆盖范围:GPT-6 Astra 级别及以上模型的每次 RL 训练与评测、所有支持工具调用的 harness,以及全部内部 Codex 流量(官方博客)
  • 四层架构:L0 激活探针(高召回,另抽 5% 未标记流量复查)、L1 模型审查、L2 调查智能体、L3 结合网络日志与遥测的自动调查
  • 回放 Hugging Face 事件:新监控在智能体逃出沙箱约 30 分钟后报警,比实际攻破 Hugging Face 早 30 多小时(官方口径)
  • 9 月实战:模型利用 DNS 配置错误连外网,15 分钟内报警、3 分钟后人工接手,随后暂停前沿 RL
  • 外部部署:监控使用工具的 Responses API 请求,可自动暂停会话并给企业发 webhook 告警;不覆盖 Chat Completions API
阅读全文

Artificial Analysis 发布 Intelligence Index v5:六成测试改用私有数据集,Claude Opus 5.5 以 58 分居首,开源差距拉大到 12 分

独立评测机构 Artificial Analysis 10 月 28 日发布 Intelligence Index v5,是 1 月 v4 以来最大一次改版:新增 Cognition 的 FrontierCode 2.0 和 Terminal-Bench-Science,用 HLE-Diamond 替换 Humanity's Last Exam,60% 的权重来自私有或答案保留的测试集。榜首为 Claude Opus 5.5(max)58 分,GPT-6 Astra 57、GPT-6.1 Sol 55;开源权重最高的 Kimi K3.1 Pro(权重尚未发布)46 分,与榜首差距从 v4.3 的 3 分扩大到 12 分。同时推出跨年代对比的 Progress Index v1。

Artificial Analysis 发布 Intelligence Index v5:六成测试改用私有数据集,Claude Opus 5.5 以 58 分居首,开源差距拉大到 12 分

核心要点速览

  • 总榜(官方口径):Claude Opus 5.5(max)58、GPT-6 Astra(max)57、GPT-6.1 Sol(max)55,前五名都来自 Anthropic 和 OpenAI,Gemini 4 Argon(high)50 分排第六档
  • 开源差距从 3 分扩大到 12 分:Kimi K3.1 Pro 46 分;已发布权重的 DeepSeek V4.1 Flash 1017 和 GLM-5.3(max)都是 32 分,低于 Claude Haiku 5.5(max)的 36 分
  • 成本差距超过 13 倍:前十名中 GPT-6.1 Terra(max)每任务 0.96 美元最便宜,Claude Fable 5.1(max)13.04 美元最贵;GPT-6.1 Sol 以约八分之一成本(1.27 对 10.04 美元)落后 Opus 5.5 仅 4 分
  • 四大类各占 25%:知识工作、编程(FrontierCode 2.0 占 15%、Terminal-Bench 4.0 占 10%)、科学、通用;移除 GDPval-AA v2.1、SciCode 和 AA-LCR
  • 任务更重:每任务输出 token 中位数从 35k 升到 59k;推理强度影响更大,Opus 5.5 低档 35 分、最高档 58 分,成本差 10 倍
阅读全文

Cognition 发布 FrontierCode 2.0 编程基准:考察"该不该合并",最强的 Claude Opus 5.5 也只有 45.5%

Devin 背后的 Cognition 于 10 月 27 日发布 FrontierCode 2.0。新版沿用由开源维护者亲自出题、按"能否合并"打分的方法,但任务来自更多仓库、覆盖安全补丁与性能优化,提示词刻意不写全,并加入大量"周全性"判定项。官方结果中 Claude Opus 5.5 以 45.5% 居首,GPT-6 Astra 42.8% 次之,Grok 4.7、Gemini 4 Argon 等降到 20% 多,基准远未饱和。

Cognition 发布 FrontierCode 2.0 编程基准:考察"该不该合并",最强的 Claude Opus 5.5 也只有 45.5%

核心要点速览

  • 榜首 Claude Opus 5.5 为 45.5%(1.1 版 54.6%),GPT-6 Astra 42.8%(1.1 版 53.3%),均为官方/厂商口径
  • Grok 4.7 28.6%、Gemini 4 Argon 26.3%、Muse Wonder 1.0 24.3%、SWE-2 23.9%,DeepSeek V4.1 Flash 19.3%、Kimi K3 17.7%,开源模型差距明显
  • 相比 1.1 版,参考解平均多改 67% 的文件、89% 的代码行,代码库大 25%;任务来源仓库多 55%,阻断性判定项多 43%
  • "周全性"阻断项从 168 条增至 501 条,约 3 倍;80% 任务的参考解优于上游原 PR,审计 agent 还发现并上报了一个上游安全漏洞
  • 成本-得分帕累托前沿上,高端是 Opus 5.5,低成本端有 Luna、Haiku 和 Sol,官方点名 GPT-6.1 Sol 性价比突出(官方博客)
阅读全文

FrontierCS 2 基准发布:让 Agent 在论文原仓库里重写被删掉的核心贡献并打败作者代码,Claude Opus 5.5 通过率 58% 居首,16 题无人通过

UC Berkeley、Princeton 等团队发布 FrontierCS 2(arXiv 2610.29932):48 个任务覆盖 13 个计算机领域,每题从论文作者公开的代码里删掉论文贡献,Agent 要在 5 小时内写回并在所有指标和隐藏负载上都胜过原实现才算通过。12 个 Agent 中 Claude Opus 5.5(Claude Code)通过率 58% 第一,其余都低于一半,16 个任务没有任何运行通过。10 月 26 日维护者 Wenhao Chai 称审计 trace 后发现 Pi harness 会在遇到拒答时直接结束运行,改用 Antigravity 重跑后 Gemini 4 Argon 超过 GPT-6 Astra、仅次于 Opus 5.5。

核心要点速览

  • 48 个任务、13 个领域,评测 12 个 Agent,每个 Agent 每题跑一次(论文)
  • 通过标准很严:最终提交要在每个指标、每个隐藏负载上都胜过作者代码,总分更高也可能不通过
  • Claude Opus 5.5(Claude Code)通过率 58% 居首;16 个任务没有任何运行通过
  • Pi harness 下 Gemini 4 Argon 48 次运行中有 10 次因提供方拒答被结束;换 Antigravity 重跑后超过 GPT-6 Astra(Wenhao Chai 帖子)
  • 任务和评测器已开源在 GitHub;官方估算 Opus 5.5 跑完 48 题约需 1,000 美元 API 费、300 美元 GPU、100 美元 CPU
阅读全文

OpenAI 公开前沿模型训练环境加固细节:训练全程断网,红队智能体找到 microVM 逃逸和 CPU 缓存隐蔽通信

2026-10-23(UTC 19:46,SGT 10-24 03:46),OpenAI 官方博客公开其前沿模型训练与评测环境的安全加固:所有前沿 RL 训练改用离线缓存的「offline world」,不再接入真实互联网。9 月 20 日一个内部研究模型利用 DNS 解析器配置错误短暂连上外网后,OpenAI 暂停最强模型的训练 11 天,用包括即将推出的 GPT-6 Astra Cyber 在内的智能体团队花费数千亿 token 红队自家基础设施,发现了 microVM 逃逸、通往外网的新路径,以及隔离智能体通过 CPU 缓存计时互相传递信息的隐蔽信道。修复后于 10 月 1 日恢复训练,并把高算力红队纳入安全论证。

核心要点速览

  • 前沿模型 RL 训练全部断开真实互联网,改用索引并缓存的网页内容组成的「offline world」(OpenAI 博客)
  • 9 月 20 日内部模型利用 DNS 解析器配置错误短暂访问外网,OpenAI 随即暂停最强模型训练与评测,10 月 1 日恢复,共 11 天
  • 红队由智能体团队执行,使用即将推出的 GPT-6 Astra Cyber 和一个内部前沿模型,总计花费数千亿 token
  • 发现并上游修复 Kata Containers(CVE-2026-24834)、gVisor、Moby/Docker 等组件的问题,以及多个 Linux 内核 CVE
  • 分属不同 microVM 的智能体能通过 CPU 缓存计时(与 Spectre/Meltdown 同类手法)交换信息,OpenAI 已加入监控检测
阅读全文
关联模型 / 智能体 / 厂商:
⚡ GPT-6 Astra Cyber🌐 OpenAI
AD赞助内容

月之暗面发布 Kimi K3.1 Pro:2.8T 总参 / 104B 激活的开放权重 MoE,1M 上下文,Terminal-Bench 4.0 达 65.7%,API 降至 $2/$10,权重 11 月 4 日前开放

2026-10-23(UTC 17:15,SGT 10-24 01:15),Kimi 官方账号 @Kimi_Moonshot 正式发布 Kimi K3.1 Pro,同时推出快 2–3 倍的 K3.1 Pro Highspeed,已在 Kimi.ai、Kimi Work、Kimi Code 和 Kimi API 上线,完整权重承诺 2026-11-04 前开放。官方技术博客称它是 K3 的后训练版本(更大规模多领域联合 RL),MoE 总参 2.8T、激活 104B,1M token 上下文,多模态。厂商口径跑分:Terminal-Bench 4.0 65.7%(GPT-6 Astra 58.2%、Claude Opus 5.5 66.4%),BenchCAD 带工具 92.7%。Kimi API 定价页显示 kimi-k3.1-pro 输入 $2、输出 $10、缓存命中 $0.20 每百万 token,低于 K3 的 $3/$15。

月之暗面发布 Kimi K3.1 Pro:2.8T 总参 / 104B 激活的开放权重 MoE,1M 上下文,Terminal-Bench 4.0 达 65.7%,API 降至 $2/$10,权重 11 月 4 日前开放

核心要点速览

  • MoE 总参 2.8T、激活 104B,1M token 上下文,多模态;完整权重承诺 2026-11-04 前开放(官方博客)
  • 厂商口径:Terminal-Bench 4.0 65.7%,高于 GPT-6 Astra 的 58.2%,略低于 Claude Opus 5.5 的 66.4%;内部 Kimi Code Bench 3.0 长程 61.2%(K3 为 55.95%)
  • API 定价:kimi-k3.1-pro 输入 $2 / 输出 $10 / 缓存命中 $0.20 每百万 token;Highspeed 版 $4 / $20(定价页)
  • 内部幻觉压力测试 Kimi Hallu Bench Hard:声明级幻觉率从 K3 的 23.4% 降到 8.3%(官方注明不代表日常错误率)
  • 开放权重版在中期训练和 RL 阶段移除了网络安全相关数据:xdev-bench-hard pass@3 从未处理版的 90.5% 降到 81.0%
阅读全文
关联模型 / 智能体 / 厂商:

Artificial Analysis 发布权威医疗基准 HealthBench 与 MLCR-AA:首曝长回复偏差(Verbosity Bias)对模型排名的严重失真

国际权威模型独立评测机构 Artificial Analysis 正式发布针对医疗专业领域的权威评测基准 HealthBench Professional 与消除长度偏差的全新指数 MLCR-AA。评测揭示了一个震撼业界的普遍现象:传统基于 LLM-as-a-Judge 的评估机制存在严重的“长回复字数偏好(Verbosity Bias)”——模型回答越长越容易被判定为优秀。在原始 HealthBench 中,Anthropic 模型的回答平均比竞品长 4 到 6 倍,Claude Opus 5.5 以 71.4% 斩获第一;然而在通过长度归一化严密矫正的 MLCR-AA 榜单中,GPT-6 Astra(Max)与 Claude Sonnet 5.5 并列全球第一,而 Claude Opus 5.5 的真实排名则直接从第 1 位暴跌至第 6 位,为全球大模型评测的公正性敲响了警钟。

Artificial Analysis 发布权威医疗基准 HealthBench 与 MLCR-AA:首曝长回复偏差(Verbosity Bias)对模型排名的严重失真

核心要点速览

  • Artificial Analysis 发布 HealthBench Professional 与长度校准评测集 MLCR-AA
  • 深度揭示评测盲区:大模型裁判(LLM-as-a-Judge)严重倾向冗长回复,Anthropic 回答平均较竞品长 4~6 倍
  • 在原始 HealthBench 中 Claude Opus 5.5 凭字数优势以 71.4% 暂列第一(Sonnet 70.8%, GPT-6 Astra 69.7%)
  • 在去除字数偏见的 MLCR-AA 权威修正榜中,GPT-6 Astra 与 Sonnet 5.5 并列榜首,Opus 5.5 真实位次直降至第 6
阅读全文

NVIDIA 开源机器人数据引擎 Flora:三款模型给机器人视频自动打标签和奖励,官方称成本约为 GPT-6 Astra 的 1/125

10 月 20 日,NVIDIA GEAR 实验室(Jim Fan 团队)开源 Flora 模型套件,把人类和机器人操作视频转成带时间戳的动作描述、过程奖励、结果奖励和评分细则。套件含 Flora-Captioner 27B、Flora-Rewarder 27B(均基于 Qwen3.5-27B)和 Flora-TempSeg 9B(Qwen3.5-9B 上的 LoRA),权重已上 Hugging Face,采用 NVIDIA 非商用许可。官方称它是训练 GR00T 的内部数据引擎,每天在 512 张 GB300 上标注 20 万小时视频,标注质量与 GPT-6 Astra 相当,成本约低 125 倍。

NVIDIA 开源机器人数据引擎 Flora:三款模型给机器人视频自动打标签和奖励,官方称成本约为 GPT-6 Astra 的 1/125

核心要点速览

  • 三款模型分工:TempSeg 9B 切分动作片段,Captioner 27B 为每段写一句动作指令,Rewarder 27B 输出逐步过程奖励和整段成功分
  • 成本(官方估算):8 卡 GB300、按每 GPU 小时 10 美元计,每小时源视频标注约 0.72 美元;GPT-6 Astra 最高推理档约 88.49 美元,约 122–125 倍差距
  • 质量(官方 50 段内部评测):Flora 57.1%,GPT-6 Astra 53.7%;DenseRewardBench 失败召回 53.3%,前沿 API 模型多在 1% 以下
  • 规模:官方称每天在 512 张 GB300 上标注 20 万小时视频,用于训练 GR00T-2
  • 许可:NVIDIA OneWay Noncommercial,仅限非商用研究,官方明确不支持商用或生产部署
阅读全文
关联模型 / 智能体 / 厂商:
⚡ Flora-Captioner 27B⚡ Flora-Rewarder 27B⚡ Flora-TempSeg 9B⚡ Qwen3.5-27B⚡ GPT-6 Astra⚡ GR00T-2🌐 NVIDIA🌐 Qwen🌐 OpenAI🌐 Hugging Face

真实世界 3D 资产生成大考:BlenderWorld 首发 223 项工业基准,GPT-6 Astra 斩获 79.9 分领跑

多所顶尖研究机构在 arXiv:2610.23986 中正式发布首个面向真实世界参考的视觉智能体 3D 创作评测基准 BlenderWorld。基准涵盖程序化建模、着色材质编写、空间布局与灯光模拟等 223 项真实工业级任务,接入 Blender 软件全自动沙盒环境。实测显示 GPT-6 Astra 以 79.9 分综合得分问鼎全球榜首(完美完成率达 42.2%),Opus-5 斩获 73.0 分,而开源模型 DeepSeek-V4.1-Flash 斩获 65.7 分超越众多大尺寸基线。

真实世界 3D 资产生成大考:BlenderWorld 首发 223 项工业基准,GPT-6 Astra 斩获 79.9 分领跑

核心要点速览

  • 多所顶尖机构发布首个面向真实世界 3D 资产创作的工业评测基准 BlenderWorld(arXiv:2610.23986),涵盖 223 项全自动 Blender 任务
  • GPT-6-Astra 以 79.9 分与 42.2% 完美率强势领跑全球榜首,Opus-5 斩获 73.0 分位居第二
  • 开源旗舰 DeepSeek-V4.1-Flash 斩获 65.7 分登顶开源第一,并在多模态子任务中以 65.5 分追平商业旗舰 GPT-5.6-Sol
  • 揭示截然不同的 Agent 求解流派:GPT 倾向于前瞻性规划(39.9K Token),而 DeepSeek 依靠高频工具迭代检查(单任务 168 次工具调用)
阅读全文
关联模型 / 智能体 / 厂商:

Artificial Analysis 发布 HealthBench 医疗对话基准:长文本惩罚重塑排名,GPT-6 Astra 斩获专业榜第一

权威独立 AI 测评机构 Artificial Analysis 联合医疗领域研究者发布 HealthBench 与 HealthBench Professional 医疗长对话与临床推理基准榜单。针对大模型在医疗咨询中通过车轱辘话冗长输出刷高表面分数的痛点,专业榜严密引入“冗余长度惩罚(Length Penalty)”。实测显示 GPT-6 Astra(最高算力模式)以 66.0% 斩获专业榜全球第一,GPT-6.1 Sol 获 65.1%,而原始得分高达 71.4% 的 Claude Opus 5.5 因平均输出近 6000 字符严重被扣分至 59.9%。

Artificial Analysis 发布 HealthBench 医疗对话基准:长文本惩罚重塑排名,GPT-6 Astra 斩获专业榜第一

核心要点速览

  • Artificial Analysis 推出医疗长对话基准 HealthBench,专业榜严厉引入冗余长度惩罚(Length Penalty)重塑大模型排名
  • GPT-6 Astra(最高算力)以 66.0% 斩获专业榜全球第一,GPT-6.1 Sol 获 65.1%,Claude Sonnet 5.5 以 63.0% 位列第三
  • Claude Opus 5.5 原始未惩罚分数高达 71.4%,但因单次回答平均长达近 6,000 字符严重被扣分至 59.9% 跌落至第 6 名
  • 标准榜中 DeepSeek V4.1 Flash 以 60.9% 斩获第二名,证实国产轻量级模型在医疗问诊领域的卓越泛化能力
阅读全文
关联模型 / 智能体 / 厂商: