Meta 预览内部评测框架 WildArtifactBench,用人类与智能体偏好裁判的胜率与 Elo,而不是严格标准答案,来衡量复杂真实任务上的多模态智能体。官方先公开 10 道任务,并放出 Cat Mesh、Plywood Whale 等产物页,覆盖跨格式交付物。对要评估“能不能交出能用的网页、模型、设计稿”而非选择题的团队,这补上了以产物质量为主、允许开放式输出的评测缺口。
核心要点速览
- ✓WildArtifactBench 用人类与智能体偏好的胜率/Elo,而不是标准答案量表。
- ✓官方先开放 10 道任务,并展示跨交付格式的产物页(如 Cat Mesh、Plywood Whale)。
- ✓目标是衡量多模态智能体在真实工作流中的实用产出,而非封闭式答题。
开发者 3 秒速决决策指标
把技术选型换算成你的开发预算
40 款主流编程套餐横向比价,支持输入/输出 Token 真实账单模拟
即刻查看该技术对应模型与主流工具的实测差异,或一键测算团队 API 调用与 $20/月套餐盈亏平衡点。
讨论与评论
0登录后即可参与深度讨论
与广大 AI 开发者、工程师交流评测心得与前沿洞察