阿里 Qwen 转发 Accio 开源的 CommerceAgentBench,并确认 Qwen3.8-Max 在开源权重中整体表现最强。该基准针对真实商务运营的执行而非口头答题,早期结果显示最高总体完成率仅约 62%。对要在下单、履约、客服等长流程里跑智能体的团队,这意味着开源旗舰已能在可复现的商务工作流上被比较,同时也说明执行类任务远未饱和。
核心要点速览
- ✓CommerceAgentBench 已开源,测的是商务运营执行,而非问答正确率。
- ✓早期最高总体完成率约 62%,Qwen 称 Qwen3.8-Max 为开源权重中整体最强。
- ✓适合评估采购、履约等长流程智能体,完成率说明执行任务仍有大幅提升空间。
开发者 3 秒速决决策指标
把技术选型换算成你的开发预算
40 款主流编程套餐横向比价,支持输入/输出 Token 真实账单模拟
即刻查看该技术对应模型与主流工具的实测差异,或一键测算团队 API 调用与 $20/月套餐盈亏平衡点。
讨论与评论
0登录后即可参与深度讨论
与广大 AI 开发者、工程师交流评测心得与前沿洞察