独立评测机构 Artificial Analysis 10 月 31 日发布知识与幻觉基准 AA-Omniscience v1.1，作为 Intelligence Index v5 的组成部分。新版题库从 6,000 题精简为 3,000 题，删掉已公开和已饱和的题目、修正错误与歧义并补充新题，同时在 Hugging Face 公开一套 300 题、难度与私有集校准的公开集，两者 Net Score 的 Pearson 与 Spearman 相关系数均为 0.99。结果显示 Gemini 4 Carbon（high）以 54 分领先，Claude Opus 5.5 为 48、Claude Fable 5.1 为 46；Fable 5.1 准确率最高（68%），Gemini 4 Argon 幻觉率最低（4%）。模型平均比 v1 低约 1.9 分，MiniMax M3.1 Flash 下滑 22 分。以上均为 Artificial Analysis 口径。
核心要点速览
- ✓题库从 6,000 题精简到 3,000 题，覆盖 6 大领域、42 个主题：理工数学 600、软件工程 600，金融、健康、人文社科、法律各 450
- ✓新的 300 题公开集已上 Hugging Face，与私有集 Net Score 的相关系数 0.99，中位差 0.0 分
- ✓Net Score 排名：Gemini 4 Carbon（high）54、Claude Opus 5.5 48、Claude Fable 5.1 46；开源权重最好的是 Muse Spark Open，落后 Gemini 4 Carbon 28 分
- ✓准确率最高为 Claude Fable 5.1（68%），其次 Claude Opus 5.5（66%）；幻觉率最低为 Gemini 4 Argon（4%）
- ✓与 v1 排名的 Spearman 相关 0.98，但平均低 1.9 分；MiniMax M3.1 Flash 从 16 跌到 -6，MiMo V2.6 Pro 从 8 跌到 -5（官方口径）
开发者 3 秒速决决策指标
把技术选型换算成你的开发预算
40 款主流编程套餐横向比价，支持输入/输出 Token 真实账单模拟
相关资源与官方项目出处
免代理直达深度技术解析与实战评估
核心背景与行业痛点
大模型「一本正经地胡说」仍是落地的最大风险之一。多数榜单只看答对多少，不区分「不会却硬答」和「承认不知道」。AA-Omniscience 是 Artificial Analysis 的自有基准，核心指标 Net Score 答对加分、答错扣分、弃答不扣分，分数在 -100 到 100 之间。v1 的部分题目已经公开或被刷到饱和，区分度下降，这次 v1.1 随 Intelligence Index v5 一起更新。
架构亮点与底层机制
v1.1 把题库从 6,000 题精简为 3,000 题，删除已公开和已饱和的题，修正错误与歧义，并补充新题；仍覆盖 6 大领域、42 个主题，软件工程占 600 题。新的 300 题公开集按私有集难度校准，发布时两者 Net Score 相关系数 0.99、中位差 0.0 分。幻觉率定义为错误答案占所有非正确回答的比例。
权威 Benchmark 与实测跑分对比
以下为 Artificial Analysis 口径：Gemini 4 Carbon（high）54 分领先，Claude Opus 5.5 48、Claude Fable 5.1 46；Muse Spark Open 是最好的开源权重模型，落后 28 分。准确率 Fable 5.1 最高（68%），幻觉率 Gemini 4 Argon 最低（4%）。与 v1 排名相关 0.98，但平均低 1.9 分，MiniMax M3.1 Flash 掉 22 分。官方说明分数下降反映题库变化，不是模型退步。
开发者实战落地与开箱指南
可以从 Hugging Face 下载 300 题公开集，用自己的提示词和工具链跑一遍，看所用模型在不会时是否会弃答。对 RAG、客服、法律、医疗等事实敏感场景，建议把幻觉率和准确率分开看，并按领域分数选型，而不是只看总榜。完整结果和方法见 Artificial Analysis 官网的 Omniscience 页面。
即刻查看该技术对应模型与主流工具的实测差异，或一键测算团队 API 调用与 $20/月套餐盈亏平衡点。
讨论与评论
0登录后即可参与深度讨论
与广大 AI 开发者、工程师交流评测心得与前沿洞察