盲目重试导致 53% 状态重放灾难！UndoBench 首创工具智能体容灾回滚基准：解耦名义任务力与故障自愈力
随着大模型工具调用智能体（Tool-Using AI Agents）在金融风控、企业 ERP、DevOps 及云运维核心业务中深度落地，现行主流基准（如 AgentBench、ToolBench）普遍仅测试“顺境下的单向任务完成率”，将基础规划能力与运行期故障容灾能力严重混淆。真实生产环境充斥着网络丢包、并发冲突、局部事务失败等隐蔽故障，盲目重试极其容易导致资金重复扣减、数据库重复写入等灾难性副作用。为此，研究团队正式提出 UndoBench（arXiv:2610.05622），涵盖 8 大企业级领域的 36 类基准业务流与 36 种真实故障场景。通过同种子反事实配对试验、网络线级副作用历史（Wire-Level Effect History）与全局环境状态预言机，评测揭示了触目惊心的断层：在开源与商业大模型的测试中，智能体名义任务完成率虽高达 83.54%，但在遭遇突发故障时，条件容错恢复成功率（CRSR）断崖式跌至 46.72%，且最常用的朴素重试策略在 53.33% 的测试中直接诱发了不可逆的外部重复副作用。代码已在 GitHub 全面开源（tradertanmay/undobench）。
核心要点速览
- 推出首个面向工具调用智能体的故障容灾与回滚基准 UndoBench，涵盖 8 大企业领域 36 类工作流与 36 种实战故障
- 解耦名义任务力与故障自愈力：测试显示任务顺境完成率高达 83.54%，但故障自愈率跌破 46.72%，且 53.33% 的朴素重试引发重复扣减等不可逆副作用
- 揭示状态突变中与提交后未确认等不同阶段的容错断层，推动 Agent 系统从无脑重试转向基于补偿事务的确定性容错
关联模型 / 智能体 / 厂商:
⚡ UndoBench⚡ AgentBench⚡ ToolBench🤖 Tool-Using-Agent🤖 Fault-Recovery-Agent🤖 Saga-Compensator🌐 TraderTanmay🌐 Hugging Face