破解 GRPO 同质化坍缩！SERO 可执行先知续写使 ALFWorld 泛化暴涨 11.2 分，EDEN 锚定嵌入噪声令 AIME 2025 飙升 13.3 分

核心背景与行业痛点

以 GRPO、RLOO、GiGPO 为代表的无 Critic 群组相对策略优化（Group-Relative Policy Optimization），已成为当前训练代码与工具智能体及可验证奖励推理模型（RLVR）的主流范式。然而，这类方法受困于一个根本性的“采样边界死锁”：优势信号完全取决于同一 Prompt 下采样群组（Rollout Group）内部的相对差异。在长程多步交互（如 ALFWorld、WebShop）中，如果当前策略在整个采样组内均未能撞见正确的后续动作分支，再精细的过程信用分配也无法无中生有地提供正样本梯度；而在数学与代码 RLVR 中，对同一策略重复采样往往产生推导路径高度雷同的轨迹，导致组内奖励方差趋零，单纯调高采样温度（Temperature）或将采样数从 8 暴力扩增至 32 也无法阻止策略在训练满 200 步后陷入熵坍缩（Entropy Collapse）。

架构亮点与底层机制

今日发布的两项强化学习方法 SERO（arXiv:2610.19397）与新南威尔士大学（UNSW）提出的 EDEN（arXiv:2610.16105），分别从“环境状态级可执行先知引导”与“输入源锚定嵌入方向探索”打破了采样同质化枷锁：

• SERO（State-Rooted Executable Rollout Optimization）：不同于仅在单步状态蒸馏单个修正动作的传统在线蒸馏（OPD），SERO 直接从当前学习策略在真实环境中探索到达的中间状态（State Restoration）出发，唤起仅在训练期使用的先知（Oracle）与实时环境继续交互，生成完整的多步可执行后续轨迹（Executable Oracle Continuation）。为防止离策略偏差，系统引入策略可达性加权（Policy-Reachability Weighting），根据当前策略到达后续状态的概率动态缩放下游动作损失。
• EDEN（Embedding-Space Directional Exploration via Anchored Noise）：不改动模型架构、不增加采样组预算（Rollout Budget），而是在输入端源头介入。对于每个 Prompt 的采样组，EDEN 仅将其中的一小部分标准轨迹替换为在原始 Prompt 末尾追加单个经过高斯噪声扰动的锚定嵌入位置（Appended Anchored Perturbed Embedding Position）后生成的轨迹。其中，共享锚点（Shared Anchor）为同组探索提供统一的语义条件方向，高斯噪声驱动解题路径分化，被选中的扰动轨迹经优势降权（Downweighted Advantages）后直接参与标准 GRPO 更新，且测试期推理完全零改动。

权威 Benchmark 与实测跑分对比

两项方法在多步智能体交互与奥赛级数学推理基准上均展现出显著超越扩大采样预算的实测收益：

• SERO 在 ALFWorld 与 WebShop 上的统治级表现：在 Qwen2.5-1.5B-Instruct 上，GraphGPO + SERO 将 ALFWorld 分布内/分布外（Seen/Unseen）成功率从 90.63% / 88.02% 提升至 95.83% / 91.67%（远超 GPT-4o 的 48.0% / 46.0% 与标准 GRPO 的 72.8% / 70.1%），WebShop 任务成功率达 79.27%；在 Qwen2.5-7B-Instruct 上，GraphGPO + SERO 更使 ALFWorld Unseen（分布外泛化）暴涨 11.20 个百分点（从 76.30% 跃升至 87.50%，Seen 达 95.57%），WebShop 任务得分与成功率分别达到 91.93% 与 83.67%。
• EDEN 突破 GRPO 采样预算天花板与 AIME 2025 大幅跃升：在中英文多档数学基准上，EDEN 平均 Pass@1 与 Pass@8 分别超越同管线 GRPO +2.44 分与 +3.06 分，且以 16 条采样预算全面击败 32 条采样预算的标准 GRPO（后者将预算从 8 扩至 32 仅提升 0.5 分 Pass@1）。在极具挑战的奥赛级基准 AIME 2024 / 2025 上，EDEN 将跨尺度平均 Pass@256 提升 +6.67 个百分点，其中 Qwen2.5-Math-7B 在 AIME 2025 Pass@256 上从 GRPO 的 53.33% 飙升至 66.67%（净增 +13.33 个百分点），且成功演化出多项式长除、余数定理、模算术参数化等 4 种以上截然不同的正确推导范式。

开发者实战落地与开箱指南

对于正在使用 verl、OpenRLHF 或自研 GRPO 管线训练推理与 Agent 模型的算法团队：在支持快照恢复的沙箱环境（如容器化 SWE 环境、网页 DOM 树或具身仿真器）中，可接入 SERO 的状态锚定多步教师续写机制以攻克全组零奖励难题；而在纯文本数学与代码 RLVR 训练中，仅需在 Embedding 层向组内约 20%~25% 的 Rollout 追加一个来自固定 Anchor Bank 并叠加高斯噪声的虚拟 Token（推理部署时无需保留），即可低成本复现 EDEN 的持续高熵多路径探索收益。