技能与策略共生进化！RSIPO 智能体强化学习算法：动态贝叶斯收缩校准，ALFWorld 成功率登顶 98.6%

核心背景与行业痛点

在长链路智能体强化学习（Agentic RL）中，为稀疏的环境奖励实现精准的中间步骤信用分配是核心难点。近期前沿工作探索将可验证奖励强化学习（RLVR）与在线策略自蒸馏（OPSD）相结合，利用带有特权技能（Agentic Skills）上下文的 Teacher 教师模型为学生生成的每一个 Token 提供稠密的概率指导。然而，现存架构存在两个显著的系统性盲区：第一，智能体技能通常在训练前人工配置或一次性生成，技能库在训练中是静态冻结的，无法随策略演进而自我迭代；第二，特权教师模型在复杂长链路中的指导并不完全可靠，盲目强制学生模型无差别逼近教师 Logits 极易导致噪声累积与性能反噬。

架构亮点与底层机制

针对上述痛点，来自香港中文大学与腾讯等团队研发了递归自改进策略优化算法 RSIPO（Recursive Self-Improving Policy Optimization）：

1. 技能与策略的双向共生演进（Skill-Policy Co-Evolution）：策略模型不仅负责执行任务，更在完成探索轨迹后主动从中提炼归纳出高价值技能描述；系统通过轨迹重放机制（Trajectory Replay）反向优化模型的技能提取与生成能力，实现技能库与决策模型的螺旋式双向提升；
2. 经验贝叶斯收缩（Empirical Bayes Shrinkage）动态信任校准：构建统计校准门禁，实时衡量特权教师给出的 Token 打分方差与可靠度。当检测到教师指导信号不稳定或不一致时，通过经验贝叶斯收缩算法自适应衰减蒸馏项的权重，防止误导性监督污染策略梯度；
3. 全自主自包含闭环：完全无需外置专有大模型作为永续教师，单模型在自身轨迹的沉淀与自省中完成自给自足的闭环后训练。

权威 Benchmark 与实测跑分对比

团队在具身环境交互与搜索型复杂任务两大主流智能体场景下进行了深入评测：

• ALFWorld 登顶 98.6% 绝对极值：在具身长链路家务操作 ALFWorld 基准上，基于开源 Qwen2.5-7B 基模的 RSIPO 取得了惊人的 98.6% 平均成功率；
• 大幅领先现有强基线：相比标准 GRPO 算法实现了整整 17.4 个百分点的绝对增益，并以 2.5% 的明显优势超越了现有所有最强 OPSD 自蒸馏变体；
• 搜索与工具规划显著增强：在涉及多步检索与外部信息交叉验证的复杂搜索任务中，RSIPO 展现出更低的操作重复率与更高的有效检索命中率，证明了动态技能进化的强大泛化力。

开发者实战落地与开箱指南

RSIPO 为具身机器人、端侧 Agent 以及自动化工作流的后训练调优提供了极具实操价值的策略：

• 算法设计学习：完整的共生演进数学推导与经验贝叶斯信任衰减公式可参阅 arXiv 论文（arXiv:2610.15772）；
• 自研 Agent 知识沉淀架构：在工业智能体流水线中，推荐引入“事后技能反思器”与“经验贝叶斯滤波”，让 Agent 在实际生产执行成功后自动抽取操作微技能，沉淀为企业私有知识库；
• 解决教师蒸馏噪声顽疾：如果正在采用类似 Distillation 的方案微调内部小模型，引入贝叶斯收缩机制可显著抑制“大模型幻觉带偏小模型”的常见对齐缺陷。