Google DeepMind 11 月 10 日与 Artificial Analysis 联合推出 MKA(Multimodal Knowledge Agent)基准,测 Agent 能否读懂建筑图纸、工程原理图、临床影像等视觉密集文件,并交付幻灯片、表格、报告和标注图。200 个私有任务覆盖 10 个行业、83 种职业,每题约 70 条专家评分项。Artificial Analysis 首批测了 21 个模型:Claude Fable 5.2(max)Climb WSR 57% 居首,Gemini 4 Carbon(high)54%,Claude Opus 5.5(max)53%;Fable 平均每题 31.97 美元,Carbon 为 6.29 美元。另有 10 道公开题已上 Hugging Face。
核心要点速览
- ✓规模:200 个私有任务、10 个行业、83 种职业,每题相当于资深从业者 3–8 小时的工作,评分表约 70 条是/否检查,事实准确占 75%、视觉设计占 25%(Google 博客)
- ✓榜单(Climb WSR):Claude Fable 5.2(max)57%、Gemini 4 Carbon(high)54%、Claude Opus 5.5(max)53%,共测 21 个模型(AA 榜单)
- ✓成本:Fable 5.2 平均每题 $31.97,是 Carbon($6.29)的 5 倍多、GPT-6.1 Sol($1.11)的约 29 倍;最便宜的是 GPT-6 Luna(Max)$0.18
- ✓没有全能冠军:Fable 5.2 领先 5 个行业,Opus 5.5 领先教育和建筑,Gemini 4 Argon 领先科学,Carbon 领先医疗;Word 文档和纯文本输出最难,没有模型超过 52%
- ✓评测方式:统一跑在开源 Agent 框架 Stirrup(最多 250 轮),由非 Google 模型 GPT-6 Luna 做 Agent 评审,与领域专家判分一致率 96%;10 道公开题以 Apache-2.0 发布在 Hugging Face

开发者 3 秒速决决策指标
把技术选型换算成你的开发预算
40 款主流编程套餐横向比价,支持输入/输出 Token 真实账单模拟
相关资源与官方项目出处
免代理直达深度技术解析与实战评估
核心背景与行业痛点
现有的知识工作基准大多只靠文字就能答对,模型几乎不需要看图片或版面。真实工作却很依赖视觉:建筑师要对照平面图和立面图,工程师要追原理图,医生要看影像,最后还要做成幻灯片或表格。Google DeepMind 认为这块没有被现有评测覆盖,于是和 Artificial Analysis 一起做了 MKA,11 月 10 日随 Gemini 4 Carbon 发布。
架构亮点与底层机制
DeepMind 找了 10 个行业、83 种职业的专家,共同写出 200 个任务。每题配一组多模态输入文件和约 70 条专家评分项,相当于资深从业者 3–8 小时的工作。评分项分成 Regression(基础检查)和 Climb(拉开差距的难题),主分数是 Climb WSR,即加权满足率。所有模型都跑在 Artificial Analysis 开源的 Stirrup 框架里,可执行代码、联网搜索和看图,最多 250 轮;评审是非 Google 模型 GPT-6 Luna,与专家判分一致率 96%。200 题保持私有防止泄露进训练数据,另放出 10 道公开题。
权威 Benchmark 与实测跑分对比
Artificial Analysis 首批测了 21 个模型:Claude Fable 5.2(max)57%、Gemini 4 Carbon(high)54%、Claude Opus 5.5(max)53%。成本差距很大:Fable 每题平均 31.97 美元,Carbon 6.29 美元,GPT-6.1 Sol 1.11 美元。分行业看没有全能冠军,Carbon 只在医疗领先;Word 和纯文本输出最难,没有模型超过 52%。示例任务里 Fable 用了 224 轮、看图 203 次,单题约 68 美元。注意 MKA 由 Google 参与设计,Carbon「性价比第一」是 Google 口径。
开发者实战落地与开箱指南
想评估自己的 Agent,可先从 Hugging Face 下载 10 道公开题,看清输入文件和评分表格式;再用开源的 Stirrup 框架按同样的工具和轮数上限跑一遍。选型时别只看总分:做建筑、工程审图的团队应看分行业成绩,预算敏感的场景可参考 AA 的成本与得分散点图,在 Pareto 前沿上挑模型。
即刻查看该技术对应模型与主流工具的实测差异,或一键测算团队 API 调用与 $20/月套餐盈亏平衡点。
讨论与评论
0登录后即可参与深度讨论
与广大 AI 开发者、工程师交流评测心得与前沿洞察