Breken 发布“生产前的生产环境”：让合成用户和 Agent 跑真实软件找 Bug，自家 ESCAPES 基准抓到 235 个线上 Bug 中的 76 个，是 Claude Code 的两倍

核心背景与行业痛点

AI 让代码写得越来越快，但测试只覆盖团队想得到的情况。真正伤用户的 Bug 往往出在部分退款、断线重连、两人同时编辑、续费到期这类“跑起来才出现”的场景里，代码审查和读代码的 AI Agent 都很难从 diff 里看出来。Breken 的说法是：今天用户在替你做第二轮测试。

架构亮点与底层机制

Breken 把整套系统放到自己的机器上运行，支付、邮件、数据库、队列等外部服务都在隔离环境内应答，不 mock、不对外联网。时钟以 4000 倍速推进，积累真实账户、记录和未完成任务。再放进合成用户和 Agent，各有意图、习惯和有限耐心。每条预期属性变成一个假设，每次只改一个条件（重试、响应丢失、时钟跳变、任务中途发版）。只有对照组从不失败、实验组每次都复现的故障才算数，并附上状态、trace 和修复草稿 PR。

权威 Benchmark 与实测跑分对比

以下均为厂商口径。ESCAPES 收录 33 个开源项目中 327 个上线后被用户报告并已修复的 Bug，修复时间在 7 月 1 日到 10 月 19 日之间，晚于所有被测模型的训练截止。按 7 月 1 日代码扫描一次，对 235 个已存在的 Bug 计分：Breken 抓到 76 个、误报 20；Claude Fable 5.1 经 Claude Code 抓到 37 个、误报 59；GPT-6 Astra 经 Codex CLI 抓到 28 个、误报 86。需要产品运行才能发现的 166 个里，Breken 抓到 54 个，Fable 5.1 为 14 个。数据集、判题提示词和标注已公开，可提交其它系统。

开发者实战落地与开箱指南

用 GitHub 登录 breken.ai 并选择仓库即可试用，按预充值用量计费，最低 25 美元。它不替代单测和代码审查，官方也把三者定位为互补。更适合有支付、同步、协作、计费等状态复杂逻辑的产品；可先挑一个线上事故多的服务跑一次，对照现有 issue 看命中率和误报，再决定是否接入发版流程。