AI 编程实时动态与要闻

针对小语言模型（SLMs，0.6B~8B 参数量）在通过监督微调（SFT）蒸馏大模型智能体能力时，普遍存在多轮长程交互容易陷入无效循环、动作重复及进度停滞（Progress Stagnation）的严重问题，研究团队在 arXiv:2610.19439 中提出了 ProD（Progress-Aware Distillation）蒸馏框架。ProD 建立了精确的单轮与轨迹级停滞评估指标，在蒸馏优化过程中动态监测并重罚学生的无生产力动作，通过自适应边界机制强制对齐教师模型的积极进展策略。跨越 8 款 SLM 的详尽实验表明，ProD 显著消除了智能体卡死现象，在大幅缩减无效 Token 开销的同时全面提升了任务完成率。

查看大图

马里兰大学与 Google、MBZUAI 研究人员在 arXiv:2610.18082 中提出长程智能体故障自愈框架 BeliefWeaver。针对自主 Agent 在复杂任务中因数步之前的隐蔽错误导致后期崩溃、传统局部反思或简易回滚无法定位根因的痛点，该框架维护跨尝试周期的关系型全局信念状态（Relational Belief State），引入隐式世界模型（IWM）预测修复收益并门控执行。经在策略蒸馏（OPD）微调后，9B 轻量学生模型在终端基准上超越基线 9.8 个百分点，且 API 成本大幅缩减 54.8%。

查看大图

针对网页与多模态智能体在强化学习中奖励稀疏、外部大模型裁判昂贵以及多能力梯度冲突的痛点，今日三项重磅研究实现突破：Salesforce AI Research 推出 CLIFT（arXiv:2610.06829），将保形认证的 URL 状态自验证问题库同时用于训练稠密奖励与测试期零裁判轨迹优选（CTS），使 Gemma-4 31B 在 WebArena Infinity 9 大应用上斩获 74.6% 登顶（超越 Gemini 3 Flash 的 70.1%），迁移至 GPT-5.5 刷新 VisualWebArena 53.7% SOTA；MMSearch-OPD（arXiv:2610.22240）将 9B 多模态深度搜索准确率提至 60.2%（+15.3 分）；东北大学 SCOPED-8B（arXiv:2610.22217）通过技能解耦在线专家蒸馏斩获 73.13% 均分，越级击败 4 倍体积的 Qwen3-VL-32B（72.01%）与 Claude Opus 4.6（72.86%）。

查看大图

今日 Hugging Face 每日论文榜前排由两项重磅研究领跑：获 451 赞榜首的《Waypoint-OPD》（arXiv:2610.21601）利用教师模型在强化学习过程中的中间检查点（Waypoint），根据早晚期策略偏移方向一致性对在线蒸馏施加门控，在 Qwen3-8B/14B/30B-A3B 代码与数学六大蒸馏设定中全线夺冠；获 230 赞的《FDE-Gym》（arXiv:2610.22350）首次构建面向驻场工程师（Forward-Deployed Engineer）真实客户交付的 95 任务基准，揭示顶尖智能体在需要挖掘隐性约束的真实交付中仅能圆满解决 14/95 项任务。

查看大图

港中文（CUHK）与腾讯等团队提出面向长程智能体强化学习的递归自改进策略优化算法 RSIPO（Recursive Self-Improving Policy Optimization）。针对现有在线自蒸馏（OPSD）普遍依赖静态特权技能且教师监督存在噪声的缺陷，RSIPO 首次实现“智能体技能”与“策略网络”在训练全程的双向共生演进：策略模型从完成轨迹中自主提取技能并通过轨迹重放优化技能生成，同时引入经验贝叶斯收缩（Empirical Bayes Shrinkage）动态校准学生对教师指导的信任权重。Qwen2.5-7B 在具身交互 ALFWorld 上取得 98.6% 成功率，比原生 GRPO 飙升 17.4%。

查看大图

Salesforce AI Research 团队提出面向长链路智能体的自校准强化学习训练原则 Prospective Hindsight（PH）。传统智能体 RL 仅在环境反馈产生后进行纯回溯性（Retrospective）信用分配，导致智能体决策动作时的先验信念无法被梯度感知。PH 引入智能体动作前预测与环境后验评估之间的“惊喜残差”（Surprise Residual），通过加权梯度放大模型盲区样本，使置信度自校准作为优化的自然副产物涌现，一举攻克单轮任务盲目自信与多轮任务过度悲观的顽疾。

查看大图

在线知识蒸馏（On-Policy Distillation, OPD）是强化学习和复杂推理后训练的核心手段，但传统单轨轨迹在固定采样预算下每个决策点只能采样一次，监督覆盖率严重受限。研究团队提出 BranchOPD（分支在线蒸馏）：通过学生不确定性与师生分歧动态定位高信息量决策点，在共享前缀下分叉重采样并实施 Token 级教师监督，不仅在 ALFWorld 与 WebShop 降低 19%~31% 的 Token 成本，更在数学任务上实现 18.55% 的惊人准确率暴涨。

查看大图

大语言模型智能体传统强化学习长期受制于单次回报稀疏与表层 Token 概率对齐的低效性。研究团队提出 PR-OPD（特权表征在线自蒸馏）：发现给智能体注入特权技能上下文仅改变不到 25% 的采样 Token 概率，却重塑了超过 80% 的深层隐状态。PR-OPD 通过事后技能生成与无梯度教师对齐全层投影表征，在零外部教师、零推理开销下使 WebShop 准确率飙升 14.0 分、ALFWorld 成功率提升 4.7 分。

查看大图

在多模态大语言模型（MLLMs）中，赋予其精确理解三维物理空间、位姿几何与物体遮挡关系的能力，是迈向物理世界 Agent 与具身机器人的先决条件。当前前沿系统普遍依赖‘空间编码智能体（Spatial Coding Agents）’：通过在推理阶段动态编写并执行 Python 视觉几何代码（如调用 OpenCV、点云分割库与相机投影函数）来辅助空间推理。然而，这种依赖外部解释器与工具链的架构在真实生产中带来了不可接受的推理延迟暴增、复杂沙箱依赖以及频繁的工具调用环境崩溃。在最新发表的研究成果（arXiv:2610.11366）中，研究团队发布了端到端在线自蒸馏框架 SpatialOPSD（开源仓库：github.com/vermouth599/Spatial-OPSD）。SpatialOPSD 创造性地将验证过的空间 Coding Agent 执行轨迹作为‘特权信息（Privileged Information）’，通过策略内自蒸馏（On-Policy Self-Distillation）技术，将高维空间计算能力无损内化进独立的单体 MLLM 中。为了彻底根除自蒸馏过程中特权信息泄露引发的模型重复生成与幻觉，团队设计了‘重复感知蒸馏（Repetition-Aware Distillation）’机制，结合重复掩码与非似然正则化。实测表明，纯端到端免工具的 SpatialOPSD 模型在各类空间理解与几何推理基准上全面超越原生基座，在推理时延降低数倍的同时彻底摆脱了外部代码执行沙箱，代码已开源。

查看大图

基于可验证奖励的强化学习（RLVR，如 DeepSeek-R1、o1 等复杂推理模型的核心对齐技术）依赖最终结果标量打分来驱动模型梯度更新。然而，在以分组相对奖励（Group-Relative Policy Optimization, GRPO 等）为目标的现实训练中存在一个致命软肋：当一个 Prompt 采样的所有 Rollout 轨迹全部失败或全部成功时，组内奖励方差归零（Reward Contrast 消亡），导致宝贵的探索经验无法产生任何梯度更新信号；在小模型（如 2B 参数）上，高达 98% 的生成组全部失败，直接导致 RLVR 彻底瘫痪收敛至 0% 成功率。Salesforce AI Research 在最新论文（arXiv:2610.08077）中提出了前瞻性学习范式及 Self-Retrospection Distillation（SRD，开源代码：github.com/SalesforceAIResearch/SRD）。SRD 提出：失败轨迹中包含了大量‘智能体本应在行动前预判到的陷阱与关键条件’。SRD 将包含特权信息的完整执行后验轨迹蒸馏为交互开始前的‘先验预见（Foresight）’表征，且该表征仅作为训练优化目标而在推理阶段零额外开销。在 10 项长程 Agent 与工具调用复杂任务中，SRD 带来最高达 24.2 个百分点的暴涨；尤其在 2B 参数模型全组失败率达 98%、标准 RLVR 成功率为 0.0% 的极端场景下，引入 SRD 在相同交互预算下成功率狂飙至 60.6%，官方代码现已开源。

查看大图