GitHub 开源 ReviewBench：219 个真实 PR 评测 AI 代码审查，Copilot / Devin / Qodo 领跑，Cursor 召回仅 9.6%

核心背景与行业痛点

AI 代码审查已经常见：Copilot、Claude Code、Devin、Qodo、Greptile 等都在 PR 上自动留评论。但各家都只公布自己的指标，很难回答「哪个审查器在我的仓库里漏得少、噪音少」。GitHub 在 官方博客 中指出，现有基准往往要在标注质量、覆盖面和真实代表性之间取舍，因此推出 ReviewBench（research preview）。

架构亮点与底层机制

• 语料取样：分析 1.039 亿个 GitHub PR 的分布后，选出 187 个开源仓库、19 种语言的 219 个 PR。PR 规模刻意向中大型多文件改动倾斜，减少单文件小改动的占比。
• golden set 来源：人类评审意见、作者后续修复提交中推断出的问题、静态分析、多家前沿 LLM。先做语义去重，再按统一 rubric 判定，只有真实、相关、非琐碎的发现才计为真阳性。
• 两类指标：Grounded 指标只对照已有标签，用于横向比较；Augmented 指标会让裁判（Claude Sonnet 5）判断 golden set 之外的新发现，审查器发现新问题也能得分。结果可按严重度、类别切分，也能调 Fβ 中的 β 来偏重召回或精度。

权威 Benchmark 与实测跑分对比

review-bench.ai 排行榜（grounded）：Copilot Code Review Balanced 召回 26.0%、精度 87.8%；Devin 召回 23.8%；Qodo 召回 22.1%；Codex GPT-5.6 Sol Ultra 召回 19.9%；Cursor 召回 9.6%、精度 87.7%。可见各家精度都在 84–90%，差距主要在召回。需要注意：基准由 GitHub 自己构建，自家 Copilot 排第一，第三方复现之前应保持审慎。GitHub 自报离线与线上方向一致，多模型集成实验线上 recall +13.6%，单次成本 −8.0%。

开发者实战落地与开箱指南

1. 用 GitHub 登录 review-bench.ai，注册审查器：提供容器镜像（按 digest 引用）、配置和你自己的模型 key，裁判由官方提供。
2. 参考仓库里的 ONBOARDING.md 和 examples/codex-cli 示例，先跑 25 PR 测试集调参，再跑全量 219 PR（3 轮）。
3. 成绩经维护者审核后才上榜，且只有超过该审查器当前成绩时才会更新。