破解 RLVR 奖励消失死穴！Salesforce 开源 SRD：首创自反思蒸馏让后验经验点亮先验预判

核心背景与行业痛点

随着强化学习与可验证奖励（RLVR）成为大模型攻克数学竞赛、代码工程与长程复杂推理（如 o1、DeepSeek-R1）的标准范式，分组相对策略优化（Group-Relative Policy Optimization，如 GRPO）被广泛采用以省去庞大的 Critic 模型。然而，在实际前沿研发中，RLVR 面临着一个极其致命的‘奖励对比度消失（Vanishing Reward Contrast）’困境：

1. 全员失败导致梯度更新瘫痪（Zero Gradient on Shared Outcomes）：当给定的任务难度较高时，某个 Prompt 采样生成的所有 $K$ 条候选 Rollout 轨迹往往全军覆没（Reward 全部为 0）。按照组内相对方差标准化公式，所有轨迹的优势函数（Advantage）直接归零，导致模型即便消耗了巨大的 GPU 推理算力，也无法从中获得哪怕一丁点学习梯度；
2. 小模型强化学习冷启动彻底失效：统计表明，在 2B 参数量级的小模型上，全组失败的比例高达惊人的 98%。这意味着模型在 98% 的训练时间内处于‘无梯度空转’状态，最终任务成功率彻底锁死在 0.0%；
3. 失败轨迹中蕴含的诊断信息被粗暴丢弃：一条跑通了 90% 逻辑但因语法细节失败的代码轨迹，与一条开局即胡言乱语的轨迹，在标量 Reward 面前均被简单判定为 0 分，白白浪费了轨迹中海量的因果试错信号。

架构亮点与底层机制

针对 RLVR 的内在机制缺陷，Salesforce AI Research 团队提出了颠覆性的前瞻性学习框架 Self-Retrospection Distillation（SRD，arXiv:2610.08077，开源项目 github.com/SalesforceAIResearch/SRD）：

1. 后验经历点亮先验预见（Prospective Learning & Foresight）：核心直觉在于‘事后诸葛亮能够教会事前预判’。一条已执行完成的完整轨迹（Post-hoc Trajectory）天然包含着特权信息——清楚揭示了哪些关键分支是死胡同、哪些边界条件容易爆错。SRD 让策略模型在交互开始前（Pre-interaction View）预测这些长程因果线索，将后验反思蒸馏为先验预判；
2. 推理阶段零延迟零额外开销（Zero Inference Overhead）：特权后验蒸馏仅作为训练阶段的辅助表征优化目标（Training Target），迫使模型底层的隐空间具备对下游任务难点与陷阱的前瞻性表征能力。在正式推理部署时，模型完全无需显式生成预测文本，推理速度与显存消耗保持 100% 原始状态；
3. 与现有 RLVR 算法无缝正交融合：SRD 可以作为即插即用的辅助损失项直接合入 GRPO、PPO、ReST 等任何主流强化学习算法中，在有奖励对比时加速收敛，在奖励消失时担当挽救训练的主引擎。

权威 Benchmark 与实测跑分对比

在跨越 10 项严苛的工具集成推理（Tool-Integrated Reasoning）与长程智能体交互任务（如复杂 API 调用、长程代码调试与多步搜索）的深度测试中：

1. 从 0.0% 绝境狂飙至 60.6% 成功率：在 2B 模型极端挑战场景下（98% 的生成组全员失败），经典 RLVR 算法在消耗完全部预算后任务成功率直接冻结在 0.0%；而仅仅引入 SRD 辅助蒸馏后，模型成功突破冷启动瓶颈，成功率断崖式暴涨至 60.6%；
2. 全面斩获最高 24.2 个百分点增益：在各类模型规模（从 2B 到 7B、14B）与任务设置下，SRD 在标准 RLVR 与自蒸馏基线之上带来了最高达 +24.2 pp（百分点） 的巨大性能飞跃；
3. 跨越奖励稀疏区间的极高鲁棒性：消融实验证实，随着任务中全员相同奖励（Reward-Uniform）比例从 37% 逐步攀升至 98%，传统 RLVR 性能急剧下挫，而 SRD 始终能稳定从轨迹中榨取学习信号，展现出对奖励稀疏性的免疫力。

开发者实战落地与开箱指南

SRD 核心代码与训练脚本已在 GitHub（github.com/SalesforceAIResearch/SRD）完全开源。这项成果为正在攻坚 o1 类深度推理模型、自研代码与数学强化学习后训练的 AI 团队提供了极其宝贵的破局利器：不要再放任‘全错样本’白白浪费算力。将 SRD 前瞻性自反思损失接入训练循环，即使在冷启动阶段全员得分归零，模型依然能从每一个探索动作的细微反思中提取有效先验，以极低算力成本彻底激活小模型与复杂长程 Agent 的自主进化潜能。