腾讯混元(@TencentHunyuan)发布 WebCraftBench:针对「AI 说站点做完了,但首页报错、按钮重叠、还多出未要求登录流」这类失败,让智能体在真实线上应用中操作,用覆盖引导探索找出未触达路径,再从美学、可用性与是否满足原始需求打分。在 197 对人工校验样本上,与人类偏好一致率 85.3%。论文:https://arxiv.org/abs/2609.15387
核心要点速览 (Key Takeaways)
- ✓评测让智能体在真实线上应用中操作,而非只看静态截图或代码 diff。
- ✓覆盖引导探索用于发现从未触达的页面与交互路径。
- ✓197 对人工校验样本上与人类偏好一致率 85.3%;论文 arXiv:2609.15387。
讨论与评论
0登录后即可参与深度讨论
与广大 AI 开发者、工程师交流评测心得与前沿洞察