GAGAR 框架重塑代码智能体强化学习：引入群组智能体评审与优势重分配，万亿参数大模型训练告别粗制滥造代码

核心背景与行业痛点 在当前大模型代码智能体（Code Agent）的强化学习（RL）流程中，单元测试（Unit Tests）是最普遍的奖励验证机制——测试通过得 1 分，未通过得 0 分。然而，这一经典设定带来了严重的“质量反噬”：群组相对策略优化（GRPO）将完全相同的标量优势广播给组内所有通过测试的轨迹。这就意味着，一个编写了 5 行干净优雅代码的解法，与一个硬编码大量 if-else、修改了不相关文件、注入了数百行垃圾调试代码的丑陋解法获得了完全一致的强化信号。长期训练后，模型会逐渐演化为习惯生成冗长、不可维护代码的“投机型选手”。 ### 架构亮点与底层机制 字节跳动联合北大与清华学者研发了专注于代码质量导向的优势重分配框架 GAGAR： 1. 动态混合群组保留（Dynamic Sampling）：在采样阶段，优先保留同时包含成功与失败轨迹的有效对抗组，提供最敏锐的策略梯度信号； 2. 共享工作区与智能体化评分员（Agentic Grader）：将同一 Prompt 采样出的所有轨迹放入统一上下文工作区，由一个经过监督微调（SFT）的代码审美智能体进行整体对比审查，针对代码规范、修改范围合规性及简洁度排出相对名次； 3. 保和优势重分配（Sum-Preserving Advantage Redistribution）：对排名靠后的劣质通过轨迹进行优势降权，并将扣除的优势按比例注入排名靠前的优质优雅代码，全程严格保持该组所有通过轨迹的优势总和不变，从而在重塑代码审美偏好的同时完全不破坏策略优化的数学期望稳定性。 ### 权威 Benchmark 与实测跑分对比 团队在工业级规模的 MiMo-V2.6 系列基座上进行了严格实测，包括 310B 的 Flash 模型与 1.02 万亿（1.02T）参数的 Pro 旗舰模型： - 有效抑制轨迹臃肿膨胀：相比标准 GRPO 随着迭代轨迹长度无序膨胀，GAGAR 将平均推理与编写 Token 长度稳定压降了 14.2%，大幅降低冗余编辑； - 工程代码质量显著跃升：在代码规范性、无多余改动比率（In-Scope Rate）等工业维度上，GAGAR 训练出的模型取得了压倒性优势； - 训练稳定性与损失收敛：在 1.02T 模型的超大规模强化学习中，消除了传统二值奖励常见的奖励崩溃与方差震荡。 ### 开发者实战落地与开箱指南 - 学术报告：论文详述已收录于 arXiv:2609.32577； - RL 流程改进落地：自研代码大模型微调团队可在现有的 GRPO / PPO 奖励管道中，串联一个轻量级 Grader 模型（如基于 7B~14B 代码模型专门微调审代码质感），利用保和公式微调优势分布； - 算力性价比：Grader 仅需在 CPU/轻量卡上对同一批次的少量代码文本进行比对打分，几乎不影响训练主集群的 GPU 利用率。