AI 编程实时动态与要闻

在可验证奖励强化学习（RLVR）中，异步采样生成与响应复用导致严重离线策略偏差。传统 Token 级加权会导致策略梯度有偏，而序列级加权则面临方差爆炸。UIUC 与港科大团队提出 Proximal KL，数学证明在覆盖度与局部表达性条件下，完整未来 KL 积分可使近端优化器具备唯一稳态策略。实测在 Qwen3-1.7B 与 4B 上超越 GRPO 高达 2.58%，并彻底根除周期性刷新下的模型崩溃。

查看大图

港中文（CUHK）与腾讯等团队提出面向长程智能体强化学习的递归自改进策略优化算法 RSIPO（Recursive Self-Improving Policy Optimization）。针对现有在线自蒸馏（OPSD）普遍依赖静态特权技能且教师监督存在噪声的缺陷，RSIPO 首次实现“智能体技能”与“策略网络”在训练全程的双向共生演进：策略模型从完成轨迹中自主提取技能并通过轨迹重放优化技能生成，同时引入经验贝叶斯收缩（Empirical Bayes Shrinkage）动态校准学生对教师指导的信任权重。Qwen2.5-7B 在具身交互 ALFWorld 上取得 98.6% 成功率，比原生 GRPO 飙升 17.4%。

查看大图

在结合可验证奖励（RLVR）的大模型复杂推理强化学习中，近端策略优化（PPO）是主流方法。但传统 Critic 价值网络在稀疏终端奖励下极难准确追踪 Token 级别的相对信用演进。LINs-lab 团队提出 TPPO（Tracking-Value PPO）：通过贝叶斯分解揭示相继前缀价值在对数几率（log-odds）空间中具备加性更新结构，据此构建累积价值参数化网络，仅需终端结果监督即可准确重构密集价值。在 Qwen3 系列模型上，数学综合得分相比标准 PPO 暴涨 8.4 分，并显著提升科学编码与分布外泛化能力。

查看大图

当大语言模型（LLM）的输出质量超越人类专家可靠评估的极限时，如何实现不依赖外部人类标注或环境判题器的‘递归自进化（Recursive Self-Improvement, RSI）’？以往在数学、代码等领域依赖编译器（RLVR）的成功范式，在科研探索、复杂论证等无法自动验证结果的开放式非可验证任务（Non-Verifiable Tasks）中彻底失效；单个模型若既当裁判又当考生，又极易陷入同质化自我闭环与评估盲区。知名 AI 实验室 Sakana AI 在最新重磅成果（arXiv:2610.12176，项目主页：sakana.ai/mass）中推出了全新自进化框架 MASS（Multi-Agent Self-Supervision）。MASS 突破性地使用单一基座大模型（如 Qwen3.6-27B），让其同时扮演任务解决者、多智能体工作流优化器与客观评估者三大角色。系统在‘演化工作流结构优化’与‘基于自身生成的高质量轨迹实施监督微调（SFT）’之间交替迭代。经过两轮 MASS 递归自进化循环，模型在复杂科研基准（MLR-Bench、ScienceAgentBench、DSBench 等）上的每输出 Token 性能提升达 1.2x 至 1.6x，对初始基座模型的胜率从第一轮的 53.9% 飙升至第二轮的 69.9%，并证明多智能体自生成轨迹蒸馏的学生模型大幅超越消耗 1.4 倍 Token 训练的单智能体学生模型，论文与项目全貌已正式公布。

查看大图

基于可验证奖励的强化学习（RLVR，如 DeepSeek-R1、o1 等复杂推理模型的核心对齐技术）依赖最终结果标量打分来驱动模型梯度更新。然而，在以分组相对奖励（Group-Relative Policy Optimization, GRPO 等）为目标的现实训练中存在一个致命软肋：当一个 Prompt 采样的所有 Rollout 轨迹全部失败或全部成功时，组内奖励方差归零（Reward Contrast 消亡），导致宝贵的探索经验无法产生任何梯度更新信号；在小模型（如 2B 参数）上，高达 98% 的生成组全部失败，直接导致 RLVR 彻底瘫痪收敛至 0% 成功率。Salesforce AI Research 在最新论文（arXiv:2610.08077）中提出了前瞻性学习范式及 Self-Retrospection Distillation（SRD，开源代码：github.com/SalesforceAIResearch/SRD）。SRD 提出：失败轨迹中包含了大量‘智能体本应在行动前预判到的陷阱与关键条件’。SRD 将包含特权信息的完整执行后验轨迹蒸馏为交互开始前的‘先验预见（Foresight）’表征，且该表征仅作为训练优化目标而在推理阶段零额外开销。在 10 项长程 Agent 与工具调用复杂任务中，SRD 带来最高达 24.2 个百分点的暴涨；尤其在 2B 参数模型全组失败率达 98%、标准 RLVR 成功率为 0.0% 的极端场景下，引入 SRD 在相同交互预算下成功率狂飙至 60.6%，官方代码现已开源。

查看大图

强化学习后训练（RL Post-Training，如 PPO、DPO 与 RLVR）是激发大语言模型复杂推理与泛化能力的核心引擎。然而，大模型强化学习对 GPU 显存的吞吐需求极其苛刻：除了模型本身的权重与激活值外，训练节点必须同时维护庞大的全尺寸梯度缓冲区与 Adam 优化器一阶、二阶矩状态，导致 27B 甚至更大参数规模的开源模型在单台标准 8 卡 GPU 节点上频频遭遇 OOM（内存溢出）崩溃。在最新发表的研究成果（arXiv:2610.06647）中，研究团队发布了轻量级强化学习缩放框架 LoGRA（代码已合入开源 Molt 库：github.com/skzhang1/labs-molt）。LoGRA 彻底推翻了保存稠密全尺寸梯度的传统做法，创新性地提出了‘低秩梯度草图（Low-Rank Gradient Sketches）’机制：在反向传播过程中将有用梯度信号直接投影并累积至低维紧凑草图中，不仅大幅缩减了显存占用，更让多卡间的策略同步通信开销急剧下降。为防止压缩梯度导致的参数突变，团队配套设计了‘预测 KL 步长控制（Predicted-KL Step Control）’，在更新前动态预估策略偏离程度并平滑校正步长。实验表明，LoGRA 在主流推理基准上将平均训练显存降低高达 45.7% 且精度毫无衰减，并首次在单台 8-GPU 节点上稳定训练 27B 模型超过 1,100 步，彻底打破了大模型强化学习的高显存硬件壁垒。

查看大图

现有多步智能体（Multi-Step Agents）在训练时普遍被扁平化的动作序列（Flat Action Streams）所困扰：无论是传统的 SFT 还是新兴的强化学习奖励对齐（RLVR），均孤立地对每一个动作 Token 施加均等权重，彻底丢失了人类从可复用子流程中自顶向下分层规划的核心能力。以往方案多依赖在大模型 Context 中外挂检索技能库，既无法内化为权重能力，又极易在跨领域场景失效。滑铁卢大学等机构的研究团队提出了 X-Tree 框架：该算法借鉴现代文本分词器（Tokenizer）原理，完全不依赖任何外部 LLM 调用，通过纯频次与因果增益统计对动作跨度进行可复用性打分，将规范化动作序列自动聚合并构建为可复用经验树（eXperience Tree）。将 X-Tree 注入离线强化学习、在线 RLVR 及同策略自蒸馏后，在同等算力预算下显著推高 WebArena、ScienceWorld 与 WebShop 的任务胜率。

查看大图

多步智能体（Multi-step Agents）在目前的 SFT 与强化学习（RLVR）训练中均被当作扁平的 Token 流处理，每个 Token 被无差别赋予均匀权重，彻底忽视了跨任务反复出现的层级化子过程（Sub-procedures）。现有研究虽尝试将技能抽象并注入 Prompt 上下文，但从未将其固化在模型权重内部，导致泛化收益无法突破检索上限。滑铁卢大学等学者团队受自然语言分词器（Tokenizer）启发，提出首个面向智能体动作流的经验树分词框架 X-Tree。该方法完全无需调用昂贵的大模型，仅凭确定性统计规则即可度量动作区间的可复用度，将标准化动作合并为可复用经验树（X-Tree）。系统深度适配离线强化学习、在线 RLVR 及同策略自蒸馏三大训练体系，在 WebArena、ScienceWorld 与 WebShop 上均带来稳健增益，开启了动作级语义分词新方向。

查看大图

大语言模型能力的爆发越来越依赖高质量、可验证的智能体交互数据（SFT 与 RLVR），然而目前这类工业级训练数据的生产仍然极度依赖高技能人类专家的手工标注，难以实现随算力自然扩展的递归自我进化（Recursive Self-Improvement, RSI）。香港中文大学、思谋科技等联合团队推出首个直接对齐工业数据验收标准的智能体自主数据合成评测基准 AutoDataBench。与以往必须花费高昂算力训练一个完整下游模型才能检验数据质量的间接做法不同，AutoDataBench 模拟生产流水线验收准则，直接对智能体单一样本生成结果的合法性、新颖度、挑战难度以及行为覆盖度进行样本级严苛打分。实测显示：在 45 分钟默认测试时预算下，当前顶级智能体得分均未超过 20/100；然而将时间预算增加 4 倍后，优质可用样本的产出率大幅跃升且单样本生产成本保持稳定，充分证实智能体具备完全自主生产高质量训练数据的潜力，但亟待突破推理效率瓶颈。

查看大图

现有多模态计算机使用智能体（CUA）在处理复杂桌面任务时面临严峻两难：完全依赖图形界面（GUI）点击输入容易受动态渲染和窗口遮挡影响，不仅推理极为缓慢且极易出错；而依赖特定应用程序的专有 API 又需耗费巨大的定制工程，根本无法泛化至数以万计的日常软件。浙江大学联合研究团队推出首个软硬兼施的跨平台计算机使用智能体框架 HybridCUA。通过构建包含 5,000 条混合轨迹与 3,000 个强化学习可验证任务的 HybridCUA-8K 基准，提出两阶段训练机制：先通过多模态 SFT 学习图文与命令行的交替调用，再通过命令行感知强化学习（CLI-Aware RL）激励模型在关键节点自适应决策使用 Shell 脚本。在主流真实操作系统基准 OSWorld 上，HybridCUA-9B 达到 53.6% 成功率，相比基础模型暴涨 14.8 个百分点，并在 WindowsAgentArena 获得 4.0 个百分点跨平台增益。

查看大图

在大模型带可验证奖励强化学习（RLVR）与 GRPO 训练中，采用高吞吐推理引擎（vLLM/SGLang）采样 Rollout 与采用训练引擎（Megatron/PyTorch）计算梯度时，二者对同一 Token 计算的概率存在系统性浮点失配，导致传统重要性采样出现无界二阶矩方差爆炸。研究团队揭示了 Logit 位移分布的不变性，提出校准重要性采样（Calibrated Importance Sampling, CIS）。在三款 MoE 架构与五大数学推理基准上，CIS 全面消除数值震荡并登顶平均表现榜首。

查看大图