Artificial Analysis 发布 Decision Index v2：改用奖励「校准置信度」的 Decision Score，私有数据占比升至 45%，Drex Max v1.1 以 73 分险胜

核心背景与行业痛点

「决策模型」是近两个月很热的一类小模型：它们不写长文，而是直接对分类、抽取、工具调用、是否放行这类问题给出选项和概率，常用在 Agent 流水线里做路由和审核。生产中真正关键的是：模型说「我 90% 确定」时到底靠不靠谱，因为系统会按置信度阈值决定自动执行还是转给人或更强的模型。Artificial Analysis 的 v1 主要看准确率，且 75% 用公开数据，容易被刷榜。11 月 8 日发布的 v2 就是针对这两点重做的。

架构亮点与底层机制

新的 Decision Score 对每道题打 0–100 分：答对高于 50、答错低于 50，置信度决定在半区内的位置，整体等于 50 ×（1 + 准确率 − Brier 分数），相当于把所有阈值下的收益取平均，不依赖某个固定阈值。新增的 AA-Paperclip（权重 30%）有 1,500 份私有文档（简历、收据、发票、论文），每份 5 个决策加 10 个抽取，15 题全对才算通过；AA-Symmetry（15%）用 120 道基题、440 个变体（换选项顺序、换标签、否定问法）测答案是否稳定。私有数据占比因此从 25% 升到 45%。

权威 Benchmark 与实测跑分对比

以下均为 Artificial Analysis 官方口径。决策模型中 Drex Max v1.1（Nace AI）与 GLiDE v1.2（Fastino Labs）同为 73 分，Mammoth 27B（Base Labs）72 分；但只看准确率 GLiDE 反而领先（60 比 58），说明校准拉开了名次。AA-Paperclip 上 Claude Haiku 5.5 (Max) 通过 92% 文档，Drex Max v1.1 单题答对 97%，但全对文档只有 63%。Mammoth 27B 在 AA-Symmetry 上 96 分，99% 的题跨变体选同一答案。

开发者实战落地与开箱指南

如果你在 Agent 里用小模型做路由或审核，可以先在榜单页打开「Include language models」对比成本与速度：Drex Max v1.1 每百万任务 102 美元、单任务约 275 毫秒，GPT-6 Luna (Max) 只高约 3 分，但成本约 15 倍、速度慢约 40 倍。注意计费方式：GLiDE v1.2 每道题都重复计费文档输入，标价只高 33%，总成本却是 Drex Max 的近 8 倍。依赖置信度阈值的系统，应优先看 Decision Score 而不是单纯准确率。