Artificial Analysis 发布 Decision Index v2:改用奖励「校准置信度」的 Decision Score,私有数据占比升至 45%,Drex Max v1.1 以 73 分险胜
11 月 8 日(北京时间 11 月 9 日早上),独立评测机构 Artificial Analysis 发布决策模型榜单 Decision Index 第二版。新版把头号指标换成同时看「答对没有」和「置信度准不准」的 Decision Score,私有数据占比从 v1 的 25% 提到 45%,新增 1,500 份私有文档的 AA-Paperclip 和测一致性的 AA-Symmetry。决策模型中 Nace AI 的 Drex Max v1.1 与 Fastino 的 GLiDE v1.2 同为 73 分,Drex Max 以小数微弱领先,Base Labs 的 Mammoth 27B 72 分。通用大模型 Claude Haiku 5.5 (Max) 77 分、GPT-6 Luna (Max) 76 分更高,但每百万任务成本分别为 6,240 和 1,530 美元,远高于 Drex Max 的 102 美元。

核心要点速览
- 新指标(官方榜单):单题得分 = 50 ×(1 + c −(p − c)²),整体等于 50 ×(1 + 准确率 − Brier 分数),答对必高于 50、答错必低于 50,置信度在各自半区内拉开差距
- 权重重排:AA-Paperclip 30%、AA-Symmetry 15%、EvalSafe-O*NET-AA 15%、AA-Omniscience-Decision v1.1 15%、HLE-MultiChoice v1.1 15%、NVIDIA When2Call 10%(v1 为 25%),饱和的 WildGuardTest 被移除
- 决策模型前三(官方口径):Drex Max v1.1 73、GLiDE v1.2 73、Mammoth 27B 72;通用模型 Claude Haiku 5.5 (Max) 77、GPT-6 Luna (Max) 76
- 成本差距超 60 倍:Celeris-1.1 Decision 每百万任务 14 美元、Drex Max v1.1 102 美元、Clef 859 美元;GLiDE v1.2 每道题重复计费输入,成本 780 美元,约为 Drex Max 的 8 倍
- 速度:Celeris-1.1 Decision 单任务 56 毫秒、Elephant 9B 70 毫秒;GPT-6 Luna (Max) 11.34 秒、Claude Haiku 5.5 (Max) 32.65 秒




