Google DeepMind 11 月 10 日与 Artificial Analysis 联合推出 MKA(Multimodal Knowledge Agent)基准,测 Agent 能否读懂建筑图纸、工程原理图、临床影像等视觉密集文件,并交付幻灯片、表格、报告和标注图。200 个私有任务覆盖 10 个行业、83 种职业,每题约 70 条专家评分项。Artificial Analysis 首批测了 21 个模型:Claude Fable 5.2(max)Climb WSR 57% 居首,Gemini 4 Carbon(high)54%,Claude Opus 5.5(max)53%;Fable 平均每题 31.97 美元,Carbon 为 6.29 美元。另有 10 道公开题已上 Hugging Face。

核心要点速览

  • ✓规模:200 个私有任务、10 个行业、83 种职业,每题相当于资深从业者 3–8 小时的工作,评分表约 70 条是/否检查,事实准确占 75%、视觉设计占 25%(Google 博客)
  • ✓榜单(Climb WSR):Claude Fable 5.2(max)57%、Gemini 4 Carbon(high)54%、Claude Opus 5.5(max)53%,共测 21 个模型(AA 榜单)
  • ✓成本:Fable 5.2 平均每题 $31.97,是 Carbon($6.29)的 5 倍多、GPT-6.1 Sol($1.11)的约 29 倍;最便宜的是 GPT-6 Luna(Max)$0.18
  • ✓没有全能冠军:Fable 5.2 领先 5 个行业,Opus 5.5 领先教育和建筑,Gemini 4 Argon 领先科学,Carbon 领先医疗;Word 文档和纯文本输出最难,没有模型超过 52%
  • ✓评测方式:统一跑在开源 Agent 框架 Stirrup(最多 250 轮),由非 Google 模型 GPT-6 Luna 做 Agent 评审,与领域专家判分一致率 96%;10 道公开题以 Apache-2.0 发布在 Hugging Face
Google DeepMind 联手 Artificial Analysis 发布多模态知识工作 Agent 基准 MKA:200 个真实视觉任务,Claude Fable 5.2 以 57% 居首,Gemini 4 Carbon 54%、单任务成本约为其五分之一
🖼️要闻配图
点击全屏高清查看
🧭

把技术选型换算成你的开发预算

40 款主流编程套餐横向比价,支持输入/输出 Token 真实账单模拟

🔬

深度技术解析与实战评估

核心背景与行业痛点

现有的知识工作基准大多只靠文字就能答对,模型几乎不需要看图片或版面。真实工作却很依赖视觉:建筑师要对照平面图和立面图,工程师要追原理图,医生要看影像,最后还要做成幻灯片或表格。Google DeepMind 认为这块没有被现有评测覆盖,于是和 Artificial Analysis 一起做了 MKA,11 月 10 日随 Gemini 4 Carbon 发布。

架构亮点与底层机制

DeepMind 找了 10 个行业、83 种职业的专家,共同写出 200 个任务。每题配一组多模态输入文件和约 70 条专家评分项,相当于资深从业者 3–8 小时的工作。评分项分成 Regression(基础检查)和 Climb(拉开差距的难题),主分数是 Climb WSR,即加权满足率。所有模型都跑在 Artificial Analysis 开源的 Stirrup 框架里,可执行代码、联网搜索和看图,最多 250 轮;评审是非 Google 模型 GPT-6 Luna,与专家判分一致率 96%。200 题保持私有防止泄露进训练数据,另放出 10 道公开题。

权威 Benchmark 与实测跑分对比

Artificial Analysis 首批测了 21 个模型:Claude Fable 5.2(max)57%、Gemini 4 Carbon(high)54%、Claude Opus 5.5(max)53%。成本差距很大:Fable 每题平均 31.97 美元,Carbon 6.29 美元,GPT-6.1 Sol 1.11 美元。分行业看没有全能冠军,Carbon 只在医疗领先;Word 和纯文本输出最难,没有模型超过 52%。示例任务里 Fable 用了 224 轮、看图 203 次,单题约 68 美元。注意 MKA 由 Google 参与设计,Carbon「性价比第一」是 Google 口径。

开发者实战落地与开箱指南

想评估自己的 Agent,可先从 Hugging Face 下载 10 道公开题,看清输入文件和评分表格式;再用开源的 Stirrup 框架按同样的工具和轮数上限跑一遍。选型时别只看总分:做建筑、工程审图的团队应看分行业成绩,预算敏感的场景可参考 AA 的成本与得分散点图,在 Pareto 前沿上挑模型。

实战指南准备好将技术转化为生产力?

即刻查看该技术对应模型与主流工具的实测差异,或一键测算团队 API 调用与 $20/月套餐盈亏平衡点。

接着读SemiAnalysis 发布 GDPx 智能体基准:11 个高价值领域 206 道任务,最强的 Claude Opus 5.5 也只拿到 12%
立即阅读→