多目标强化学习重大升级！香港科大开源 CorrGRPO：皮尔逊相关性归一化破解奖励失衡，代码与工具调用全面领先
群体相对策略优化（GRPO）作为 DeepSeek-R1 等顶尖推理模型的底层强化学习算法基石，通过在同 Prompt 的多次 Rollout 中对奖励进行去中心化与方差归一化来估算优势函数。然而在工业级实战中，智能体通常需要兼顾代码正确性、格式合规度、工具调用精准性及内容安全性等多重奖励目标（Multi-Reward）。传统 GRPO 简单累加各项奖励并按总方差归一化，导致高量纲、强相关的宏观奖励彻底压制并淹没小量纲但至关重要的精细奖励信号。香港科技大学（HKUST）团队提出 CorrGRPO（相关性归一化 GRPO），利用皮尔逊相关系数对奖励协方差矩阵进行平衡解耦，在保持中心化总奖励不变的同时，彻底消除大尺度奖励项的垄断效应。在代码生成、工具调用与 Agent 安全三大基准的大量实验中，CorrGRPO 均显著超越标准 GRPO 及现有变体方案。
核心要点速览
- 针对 DeepSeek-R1 式 GRPO 算法在多奖励联合优化时的尺度失衡缺陷，提出基于皮尔逊相关系数的归一化方案
- 在代码生成与单元测试强化对齐中，Pass@1 准确率较传统 GRPO 全面领先 3.2~4.8 个百分点
- 完美兼顾性能与安全，在多步工具调用成功率提升 5.4% 的同时将越狱攻击防御率从 82.1% 推升至 93.7%
关联模型 / 智能体 / 厂商: