破解上下文压缩与子智能体分叉 RL 难题!Mosaic 首创多会话智能体强化学习:按边际贡献精准分配跨会话优势
现有智能体强化学习(Agentic RL)普遍假设单条轨迹在单一连续累积的上下文会话(Single-Session)中完成,但这与真实生产环境中广泛使用的上下文压缩(Context Compaction)和子智能体派生(Subagent Forking)严重脱节。研究团队提出多会话智能体强化学习框架 Mosaic(arXiv:2610.22174),通过无 Critic 的分层优化将‘会话使用信号’纳入全局优势估计,并根据估计的边际贡献(Marginal Contribution)对每个独立子会话塑形奖励。在 BrowseComp 上的实测表明,Mosaic 在上下文压缩与子智能体分叉两大场景中全面超越传统全局广播基线,且平均消耗更少的会话次数。
核心要点速览
- 直击生产级 Agent 核心痛点:首次解决‘上下文压缩(Context Compaction)’与‘子智能体派生(Subagent Forking)’造成的多会话强化学习失配问题
- 无 Critic 双层边际贡献分配:轨迹层计入会话开销信号,会话层按估计边际贡献独立塑形优势,淘汰粗暴的全局优势广播
- BrowseComp 提分降耗双赢:基于 Qwen3.5-4B 在压缩与分叉双场景全面击败基线,且单任务平均消耗的会话数量显著减少