AI 编程实时动态与要闻

基于可验证奖励的强化学习（RLVR，如 DeepSeek-R1、o1 等复杂推理模型的核心对齐技术）依赖最终结果标量打分来驱动模型梯度更新。然而，在以分组相对奖励（Group-Relative Policy Optimization, GRPO 等）为目标的现实训练中存在一个致命软肋：当一个 Prompt 采样的所有 Rollout 轨迹全部失败或全部成功时，组内奖励方差归零（Reward Contrast 消亡），导致宝贵的探索经验无法产生任何梯度更新信号；在小模型（如 2B 参数）上，高达 98% 的生成组全部失败，直接导致 RLVR 彻底瘫痪收敛至 0% 成功率。Salesforce AI Research 在最新论文（arXiv:2610.08077）中提出了前瞻性学习范式及 Self-Retrospection Distillation（SRD，开源代码：github.com/SalesforceAIResearch/SRD）。SRD 提出：失败轨迹中包含了大量‘智能体本应在行动前预判到的陷阱与关键条件’。SRD 将包含特权信息的完整执行后验轨迹蒸馏为交互开始前的‘先验预见（Foresight）’表征，且该表征仅作为训练优化目标而在推理阶段零额外开销。在 10 项长程 Agent 与工具调用复杂任务中，SRD 带来最高达 24.2 个百分点的暴涨；尤其在 2B 参数模型全组失败率达 98%、标准 RLVR 成功率为 0.0% 的极端场景下，引入 SRD 在相同交互预算下成功率狂飙至 60.6%，官方代码现已开源。

查看大图

让大模型智能体（LLM Agents）从过去的执行经验中提炼出结构化可复用的技能资产（Skillbank），并在未来任务中灵活调用，是实现自主进化的关键方向。然而，现有的‘策略-技能库协同演化（Co-evolving Policy and Skillbank）’方案面临极高的评估代价与归因混乱：评估一个新提炼的技能是否合格，通常需要把智能体放入环境中重新运行多轮耗时耗费算力的环境交互（Environment Rollouts）；同时，基于技能复用率的奖励机制极易混淆‘到底是技能本身好’还是‘底层策略模型通用能力变强’。在最新研究（arXiv:2610.10164）中，研究团队发布了自主进化框架 UniSkill（开源代码：github.com/LimOkii/UniSKill）。UniSkill 采用单一共享策略网络，既负责与环境交互执行任务，又负责向技能库提出编辑提议（Add 新增、Update 升级、No Edit 维持）。最核心的突破在于提出了‘对比动作反馈（Contrastive Action Feedback）’：在无需任何额外环境 Rollout 的前提下，通过计算在候选技能引导下历史成功轨迹与失败轨迹之间的动作对数似然边际差（Log-Likelihood Gap），精准衡量新技能与当前策略的对齐度并自适应筛选入库，官方代码已开源。

查看大图