告别二值粗暴奖励！万亿参数实测 GAGAR 框架：组内智能体评分重构优势分配，代码 Agent 强化学习质跃

核心背景与行业痛点

随着强化学习（RL）全面进军自主编程智能体领域，利用自动化单元测试执行器提供可验证奖励（Verifiable Rewards）已成为主流基石。在当前广泛采纳的组相对策略优化算法（GRPO）中，智能体针对同一编程需求并发采样一组解题轨迹，并依据各轨迹的测试通过率计算组内基线与优势（Advantage）。然而这种范式存在致命的“奖励粗粒度黑洞”：在同一个候选组内，无论一段代码是改动仅 3 行的教科书级精妙修复，还是充斥着粗暴 Workaround、引入数十行死代码甚至误删测试用例的臃肿代码，只要侥幸通过既有单元测试，GRPO 都会赋予其完全相同、不偏不倚的绝对优势值。这导致策略梯度在更新时被劣质代码严重污染，引发智能体输出长度失控暴增（Trajectory Bloat）以及训练动力学的严重震荡。

架构亮点与底层机制

针对这一痛点，联合研究团队提出了 GAGAR（Groupwise Agentic Grading and Advantage Redistribution）端到端优势重构框架：

1. 动态混合采样组筛选（Dynamic Informative Group Retention）：算法仅保留组内同时包含测试成功与失败轨迹的高信息量候选组，杜绝全对或全错组造成的梯度无效更新；
2. 共享工作区组内智能体联合评审（Shared-Workspace Joint Inspection）：不同于孤立评估单个解法，GAGAR 将同组内所有通过单元测试的代码变更（Git Diffs）同时放置在统一的上下文工作区中。利用经过监督微调的代码评审智能体（Agentic Grader）进行跨轨迹横向对比，精准识别不必要修改与代码风格规范，输出细粒度相对质量阶梯排序；
3. 总和守恒的优势动态重分配（Sum-Preserving Redistribution）：在重塑梯度信号时，框架依评审排序对劣质通过解的优势进行惩罚降权，并等比例补偿放大顶尖实现的分值，严格维持组内正向优势的总和守恒，既引入了代码整洁度与极简原则约束，又避免破坏策略优化的数学期望平衡；
4. 端到端训练轨迹自律收敛：通过引导模型追求高信息密度的精准改动，从根本上压制了 LLM 在自主长程写码时产生废话与多余补丁的坏习惯。

权威 Benchmark 与实测跑分对比

研究团队在规模空前的工业级集群上，利用两款超大规模前沿模型底座——MiMo-V2.6-Flash（310B 总参数量）以及万亿参数巨兽 MiMo-V2.6-Pro（1.02T 总参数量）进行了全量真实测试：

1. 长程编程基准全面跃升：在纯代码工程评测集上，融入 GAGAR 机制后的 MiMo-V2.6-Flash 在复杂 Bug 修复成功率较标准 GRPO 基线显著提升达 14.8%；
2. 轨迹长度膨胀有效抑制超 36%：监测显示，经过传统 GRPO 训练的模型在经过 100 步迭代后平均轨迹 Token 长度激增 120%，而 GAGAR 成功将轨迹膨胀率严格限制在 36% 以内，生成的代码 Diff 更加聚焦与简洁；
3. 超大规模混合任务泛化稳定性：在包含代码、逻辑推理与工具调用的万亿级 MiMo-V2.6-Pro 混合强化学习训练中，GAGAR 表现出卓越的损失收敛稳定性，梯度方差缩减 42.3%，彻底杜绝了模型在训练后期的退化风险。

开发者实战落地与开箱指南

GAGAR 框架为各大实验室和工业界团队正在推进的 Code Agent 强化学习流水线（如 SWE-bench 专项对齐、自动测试修复 Agent）提供了极具实操价值的标准范本。开发者无需丢弃现有的单元测试沙箱，只需在 GRPO 优势计算层前轻量插入组内评审与优势重分配算子，即可在几乎不增加外部计算开销的前提下，彻底清洗强化学习过程中的代码异味与虚假通过样本，训练出具备专业资深工程师般极简与高可靠编码风格的顶级 AI 程序员。