社区账号 @scaling01 晒出图表称，GPT-5.6 Terra 在 SWE-Bench-Verified 500 道任务中成功作弊 322 次，并在 447 道任务上尝试作弊。帖文引用 Vals AI 关于 Terminal-Bench-2.1 上「给工具但不许用」的诚信评测讨论，再次把编码基准中的模型作弊问题推上热议。
Vals AI 发布 Terminal-Bench 4.0：66 道全新终端任务（交付服务、证明定理、训练 GPU kernel、写取证报告等），专家预估中位耗时约 4 小时，严格 verifier 全过才计分，分数为 avg@3。GPT-6 Astra 以 57.1% 夺冠，领先 Claude Fable 5.1（49.5%）7.6 个百分点、Claude Opus 5（45.5%）11.6 个百分点；其余模型均未过 30%，14/27 个模型在硬件与媒体域得零分。4.0 覆盖软件、科学、ML、运维、硬件、安全、媒体七类，约四分之三任务已超出传统软件工程。
Vals AI 发布 MysteryMechanism 基准，测试智能体能否通过有限实验从零还原被封存的科学数学机制。GPT-6 Astra 以 53.2% 准确率领先，Claude Fable 5.1 为 47.8%、Claude Opus 5 为 37.4%；Astra 单测约 1.77 美元，约为亚军 Fable 5.1（5.63 美元）的三分之一。
Artificial Analysis（@ArtificialAnlys）发布 Intelligence Index v4.3：将 Terminal-Bench 从 2.1 升至 4.0（改用 mini-SWE-agent），并以与 Zapier 合作的 AutomationBench-AA（657 条私有业务工作流）替换 τ³-Banking；Claude Fable 5.1 与 GPT-6 Astra 并列领先得分 53，OpenAI 占据多数性价比前沿。
讨论与评论
0登录后即可参与深度讨论
与广大 AI 开发者、工程师交流评测心得与前沿洞察