AI 编程实时动态与要闻

Android Bench 2.0 发布:全面转向多日长程复杂工程任务(LHT)评测

学术界与产业界联合发布 Android Bench 2.0 评测基准。随着 Coding Agent 轻松突破简单单元测试与单函数修复,新版本全面引入需耗时数天才能完成的「长程任务(Long-Horizon Tasks, LHT)」,重点考察智能体从零搭建完整 App、多模块大版本依赖平滑升级以及跨端联调的架构鲁棒性。

核心要点速览

  • 告别单文件局部代码修复,全面考核跨多模块与多天的复杂项目交付能力
  • 包含从零搭建架构、第三方 SDK 兼容重构与真机自动化 UI 巡检等真实场景
  • 当前顶级前沿模型在此基准上的平均解决率仅为 31.4%,揭示长程规划巨大提升空间
阅读全文
关联模型 / 智能体 / 厂商:

Epoch AI 推出 Benchmark Reviews:首批审计 15 个 AI 基准,4 个可信、9 个有缺陷

Epoch AI 推出 Benchmark Reviews 计划,对 AI 基准测试本身进行质量审计。首批 15 个基准中,4 个被判定为 Verified、9 个为 Flawed、2 个因信息不足无法评审,帮助开发者更谨慎地解读模型与智能体排行榜。

核心要点速览

  • 首批覆盖 15 个 AI 基准:4 个 Verified、9 个 Flawed、2 个 Not Enough Info。
  • 评审针对具体基准版本,并公开方法与局限,避免把有缺陷的分数当成能力事实。
  • 对模型选型、编码基准与智能体评测而言,基准质量审计可降低排行榜误导风险。
阅读全文
关联模型 / 智能体 / 厂商:

Epoch AI 发布《杀戮尖塔》智能体评测:GPT-5.6 Sol 胜过新手,但长程策略决策仍存短板

非营利研究机构 Epoch AI 对 GPT-5.6 Sol 开展了《杀戮尖塔》全角色深度测试。Sol 能在 4 个角色上以不到 10 次阵亡通关低进阶(A4–A9),视觉点击与操作无碍,但因大局规划与战术失误导致高进阶(A20)胜率仍远逊人类专家。

核心要点速览

  • 计算机使用(Computer Use)基础能力扎实:模型能准确理解游戏卡牌、血量与遗物状态并稳定点击;
  • 长程策略与时延成为瓶颈:单局成功通关需要 5–8 小时多步思考,且容易因全局路线规划失误错失胜机;
  • Epoch AI 已开启在《杀戮尖塔 2》上的新一轮基准评测,并在 Twitch 平台向全球开发者实时直播。
阅读全文
关联模型 / 智能体 / 厂商: