破解长思维链 RLVR 梯度饥饿！UCLA 提出 ReSPO：重构策略优化核函数，高效复用 Off-Policy 采样

核心背景与行业痛点

在后训练（Post-Training）阶段，基于可验证奖励的强化学习（RLVR）已成为激活模型长程逻辑思维与自省能力的黄金标准。然而在真实训练流水线中，生成单道数学或代码难题的数万 Token 思考轨迹需要极长时间与巨额算力，采样阶段占据了整个集群 80%~90% 的时间。为了压榨 GPU 利用率并节省成本，各大实验室普遍采用“离线采样复用（Rollout Reuse）”：单次采样得到的长推理轨迹会被连续用来更新策略网络 2~4 次甚至更多。但这不可避免地引发了策略漂移问题——后几轮更新时，数据分布已明显偏离当前正在优化的策略。当前业界广泛采用的 PPO 或 GRPO 均依赖硬性概率比率截断（Clipped Surrogate Objective），但在长序列长思维链场景下，这一机制隐藏着极其致命的系统漏洞。

架构亮点与底层机制

针对离线策略复用中的优化退化，UCLA 团队深入推导了重要性权重（Importance Weights）的尾部行为，首次揭示了“符号依赖型梯度饥饿”并构建了 ReSPO 框架（arXiv:2609.35433）：

1. 符号依赖型梯度饥饿机理发现：在长思维链探索中，极具创造性但初始概率较低的正向推理轨迹（Positive Traces），随着策略网络的几步微小参数更新，其重要性权重比值往往迅速跌入极低区间（Low-Weight Tail）。传统 PPO 的截断下界会直接将其梯度权重置为 0，导致模型彻底放弃对这些难得正确轨迹的学习；与此同时，高概率的错误轨迹（Negative Traces）却能持续贡献巨大的惩罚梯度。这种不对称性导致模型在早期训练中陷入保守或退化；
2. 双分支序列级平滑重塑核函数（ReSPO Kernel）：ReSPO 彻底废弃了硬性截断开关，从 alpha 散度（alpha-divergence）变分目标与指数方差控制倾斜出发，构建了平滑的数学解析核：

• 正向奖励分支（Positive Branch）：在低重要性权重尾部保留非零平滑梯度，即使策略发生轻度漂移，也能稳固抓住长思维链中的正确推导步骤；
• 负向惩罚分支（Negative Branch）：通过指数倾斜动态压制过采样严重的高权重负向轨迹，防止错误梯度冲击击穿策略网络；

1. 序列级方差自适应缩放：将词元级概率比值聚合为序列级重要性度量，消除逐 Token 比值累积相乘引起的方差爆炸，确保长达 32K~64K 上下文的稳定优化。

权威 Benchmark 与实测跑分对比

研究团队在涵盖 Dense 与 MoE 架构的 Qwen3 模型家族上展开了高强度 RLVR 实测对比：

1. 早期收敛速度显著倍增：在多步数学竞赛题库（MATH-500, AIME）训练中，相比传统的 Clipped PPO 与 GRPO，ReSPO 在早期的有效正向梯度吞吐量提升了 2.4 倍，前 500 步训练奖励提升斜率明显陡峭，消除了冷启动阶段的漫长停滞；
2. 采样复用下无损冲刺更高天花板：在将 Rollout 轨迹复用次数增加至 4 次的极端降本配置下，传统 PPO 发生明显的策略崩塌与准确率下滑，而 ReSPO 不仅保持绝对稳定，还在最终验证集上取得了高出 baseline 3.6~5.2 个百分点的解题成功率；
3. 长思维链探索深度更优：分析模型生成的思维链发现，经过 ReSPO 训练的模型更敢于在解题过程中开展分支反思与长步验证，未发生因过度惩罚负向步骤而导致的思维链退化短缩。

开发者实战落地与开箱指南

UCLA 团队的 ReSPO 成果（arXiv:2609.35433）为大规模推理模型强化学习集群提供了立竿见影的工程升级方案。对于正在基于 OpenRLHF、verl 或 DeepSpeed-Chat 搭建 RLVR / GRPO 训练流水线的团队，单纯通过增加 Rollout 采样频率来缓解分布漂移代价极其高昂。建议算法工程师将 PPO 的硬截断损失函数平滑替换为 ReSPO 的双分支重要性核：在保持算力成本不变的前提下，通过将 Rollout 复用次数从 1 提升至 3~4，即可将整体训练的 GPU 消耗降低 50% 以上，同时最大化发挥长思维链正向轨迹的梯度潜力。