阿里 Qwen 转发 Accio 开源的 CommerceAgentBench,并确认 Qwen3.8-Max 在开源权重中整体表现最强。该基准针对真实商务运营的执行而非口头答题,早期结果显示最高总体完成率仅约 62%。对要在下单、履约、客服等长流程里跑智能体的团队,这意味着开源旗舰已能在可复现的商务工作流上被比较,同时也说明执行类任务远未饱和。
核心要点速览 (Key Takeaways)
- ✓CommerceAgentBench 已开源,测的是商务运营执行,而非问答正确率。
- ✓早期最高总体完成率约 62%,Qwen 称 Qwen3.8-Max 为开源权重中整体最强。
- ✓适合评估采购、履约等长流程智能体,完成率说明执行任务仍有大幅提升空间。