Epoch AI 推出 Benchmark Reviews 计划，对 AI 基准测试本身进行质量审计。首批 15 个基准中，4 个被判定为 Verified、9 个为 Flawed、2 个因信息不足无法评审，帮助开发者更谨慎地解读模型与智能体排行榜。
40 款主流编程套餐横向比价，支持输入/输出 Token 真实账单模拟
即刻查看该技术对应模型与主流工具的实测差异，或一键测算团队 API 调用与 $20/月套餐盈亏平衡点。
说明：本文由 AICoder 编辑部借助 AI 工具整理撰写，依据文中注明的官方及媒体来源，并按人工制定的采编标准核对事实与数字；厂商自报的数据已标明出处。
联动天梯榜跑分、独家套餐赠金与 IDE 定制规则
大语言模型代码智能体（Coding Agents）在自动化单元测试生成与测试驱动开发（TDD）中被寄予厚望。然而，当前所有权威基准均习惯将智能体生成的测试用例仅放在‘单一标准参考实现（Single Reference Solution）’上运行，只要测试能跑通便判定为高质量。南京大学与香港理工大学联合研究团队在最新论文（arXiv:2610.12289）中揭示了一个令人震惊的行业假象：单一参考答案严重掩盖了代码实现的多样性，导致大量劣质、虚假的测试用例被严重高估！团队推出了全新的基准套件 TestPrism，包含来自 17 个源头的 300 个严苛测试任务以及 3,000 个独立候选实现（由 1,500 个正确实现与 1,500 个错误实现严格对半构成）。核心指标‘联合成功函数（Joint Success Function）’要求测试用例必须同时满足‘初始报错、接受所有有效解、拒绝所有错误解’。在 14 种主流代码智能体配置下，单一参考成功率高达 59.67% 的前沿模型，在真实的多候选测试下及格率直接腰斩暴跌至 28.00%！团队进一步提出的 TestHelix 异构闭环框架，成功为智能体测试生成带来了 9 个百分点的实质性提升。
当前代码智能体（Coding Agents）的评测基准大多聚焦于局部的单步补丁合成（如 SWE-bench）或漏洞定位，却从未检验过智能体能否从零到一在真实代码仓库中独立研发出一款可复用、高精度的“静态代码分析检查器（Static-Analysis Checker）”。研发检查器需要智能体理解缺陷规范（Defect Specification）、检索跨文件 AST 语法树、编写分析器特定逻辑，并通过反复编译与静态反馈闭环重构。华东师范大学、上海交通大学与北京大学等团队联合发布了里程碑式基准 CheckerBench（arXiv:2610.07557）。CheckerBench 包含从 167 个开源仓库、85 类 CWE 漏洞、297 个真实 CVE 中精心提炼的 300 个完整可执行任务，横跨 C/C++、Go、Java、Python、Rust 等 5 大语言生态。依托标准化沙箱框架 CheckerLab，系统全面评测了涵盖 Claude 3.5 Sonnet、GPT-4o、DeepSeek 等 21 种模型-Harness 组合。实测显示，当前顶尖智能体在 Checker 合成上的平均 Pass@1 仅为 32.30%，最佳配置仅达 45.33%，深刻揭示了代码智能体在跨文件逻辑分析与编译器交互上的核心短板。
能够操作外部工具的代码与自动化智能体（Tool-Using Agents）正在深刻改变软件工程与生产流程，但“最终运行成功”绝不等于“每一步行动都具备合规证据”。来自新加坡国立大学（NUS）的研究团队在最新论文（arXiv:2610.07753）中指出：当前智能体评测严重忽视了证据支撑与实际动作之间的因果链路。跨 10 种主流模型与 Harness 配置的系统压测表明，强大的静态动作判断力与极度脆弱的交互式执行能力普遍并存！智能体的失败往往在执行前就已注定：要么在尚未获取必要事实证据时过早盲目行动，要么在调查尚未充分时过早弃答。针对此问题，团队构建了包含 656 个典型案例、覆盖 6 大业务领域与 5 种渐进式执行协议的权威基准 SafeActBench，并设计了具备来源绑定的证据账本（Evidence Ledger）与确定性轨迹评估器。实验揭示：单步动作在获得充分证据后通常稳定可靠，但多步工作流中未满足的前置依赖（Unresolved Prerequisites）与截断执行是导致灾难性系统状态变更的元凶。
近 14 天全网开发者深度交互与阅读热度
讨论与评论
0登录后即可参与深度讨论
与广大 AI 开发者、工程师交流评测心得与前沿洞察