AI 编程实时动态与要闻

现有智能体强化学习（Agentic RL）普遍假设单条轨迹在单一连续累积的上下文会话（Single-Session）中完成，但这与真实生产环境中广泛使用的上下文压缩（Context Compaction）和子智能体派生（Subagent Forking）严重脱节。研究团队提出多会话智能体强化学习框架 Mosaic（arXiv:2610.22174），通过无 Critic 的分层优化将‘会话使用信号’纳入全局优势估计，并根据估计的边际贡献（Marginal Contribution）对每个独立子会话塑形奖励。在 BrowseComp 上的实测表明，Mosaic 在上下文压缩与子智能体分叉两大场景中全面超越传统全局广播基线，且平均消耗更少的会话次数。

查看大图

港中文（CUHK）与腾讯等团队提出面向长程智能体强化学习的递归自改进策略优化算法 RSIPO（Recursive Self-Improving Policy Optimization）。针对现有在线自蒸馏（OPSD）普遍依赖静态特权技能且教师监督存在噪声的缺陷，RSIPO 首次实现“智能体技能”与“策略网络”在训练全程的双向共生演进：策略模型从完成轨迹中自主提取技能并通过轨迹重放优化技能生成，同时引入经验贝叶斯收缩（Empirical Bayes Shrinkage）动态校准学生对教师指导的信任权重。Qwen2.5-7B 在具身交互 ALFWorld 上取得 98.6% 成功率，比原生 GRPO 飙升 17.4%。

查看大图

大语言模型智能体传统强化学习长期受制于单次回报稀疏与表层 Token 概率对齐的低效性。研究团队提出 PR-OPD（特权表征在线自蒸馏）：发现给智能体注入特权技能上下文仅改变不到 25% 的采样 Token 概率，却重塑了超过 80% 的深层隐状态。PR-OPD 通过事后技能生成与无梯度教师对齐全层投影表征，在零外部教师、零推理开销下使 WebShop 准确率飙升 14.0 分、ALFWorld 成功率提升 4.7 分。

查看大图

DeepSeek（@deepseek_ai）正式公布了其自研的 DSec（DeepSeek Elastic Compute）大规模分布式沙箱基础设施。该平台日均处理超过 300 万次独立轻量沙箱启动与交互，为 DeepSeek-V4.1-Flash 及新一代推理编码智能体的强化学习（RL）提供高并发、亚秒级冷启动与严密安全隔离的沙箱环境。

查看大图

Prime Intellect（@PrimeIntellect）正式公开 Prime Sandboxes：为 Agentic RL 训练打造的硬件虚拟化 MicroVM。支持 Docker Compose、后台任务与内核级负载，可弹性到数万并发；对接 verifiers / prime-rl / Prime Tunnels，并提供超过 36.5 万预置环境。博客称内部已创建约 3000 万个沙箱；默认账号并发上限 1,024，无订阅门槛，定价至 12 月 22 日前号称比其他供应商便宜约 3 倍（例：vCPU $0.02/小时）。

查看大图