AI 编程实时动态与要闻

Hugging Face Harness Hub 于 2026-11-06 发布 Harness Adapters：为每个底座模型与编码 harness（pi、OpenCode、Hermes）各训一个 rank-32 LoRA，在未改动的 harness 内用 GRPO 做可验证任务强化学习；smoke 评测口径称工具调用更少且准确率持平或提升。safeagents 代理会规则检查每次工具调用并拦截奖励黑客。底座含 LiquidAI LFM2.5-24B-A2B、LFM3-1.7B 与实验性 TwIL-8B。

查看大图

webAI CEO David Stout 于 11 月 4 日（UTC 17:37）在 X 上宣布开源 TwIL-8B。官方 Hugging Face 模型卡显示：它基于 IBM Granite 4.2 8B，经全参数 SFT、GRPO/DAPO 强化学习和长度感知 RL 训练，分 balanced 与 verbose 两个版本；自报 LiveCodeBench 81.6（verbose）、MATH-500 98.2、IFBench 74.4，约为前沿模型 93%/92% 的水平，但 GPQA Diamond 仅 70.2。提供 4.98 GiB 的 Q4_K_M GGUF，可在本地运行；许可为 webAI 非商用协议。

查看大图

亚马逊 AWS 与伊利诺伊大学厄巴纳-香槟分校（UIUC）研究团队在 arXiv:2610.22448 中正式开源 Lean4AgenticRL 框架。针对传统 Agent 强化学习过度依赖稀疏二值结果奖励（Outcome Rewards）、忽视底层工具调用与中间工作流状态的痛点，该研究首次将多级过程奖励锚定在 Lean4 交互式定理证明器的形式化模式中，提出工作流阶段归一化 GRPO 算法。训练得到的 LAR-27B 在 TerminalBench-2.1 上斩获 77.3% 高分，较基座模型提升 9.89%。

查看大图

深度搜索智能体在长链路多轮检索中面临严重的信贷分配（Credit Assignment）难题。浙江大学与腾讯联合开源 KnowGPO（arXiv:2610.22331，GitHub: ZJU-REAL/KnowGPO）。该算法将复杂问答拆解为原子知识条件集合，以知识状态对齐代替杂乱的表面文本对齐，并在同状态组内计算增量知识过程奖励。微调后的 Qwen3-8B 在 BrowseComp-ZH（38.8%）与 GAIA（40.2%）上全面超越 GRPO 与 GiGPO，越级战胜 32B 级开源深搜基线并逼近闭源模型。

查看大图

针对长链路多轮工具调用与多智能体协作中频发的“目标漂移（Goal Drift）”难题，新加坡国立大学、中科大与阿里通义千问团队联合提出 Steering Agent（arXiv:2610.22316）。该框架通过成对排序与组相对策略优化（GRPO）联合训练低成本快速判断路径（When to intervene）与高成本慢速纠偏生成路径（How to intervene），在无需重训基座模型的前提下将多跳 QA 平均基准分从 42.70 提升至 50.10，同时将平均执行轮次从 8.8 轮大幅压缩至 6.5 轮（-26.1%）。

查看大图

针对多模态生成模型向“严守物理与逻辑规则的世界模型”演进中的验证、评测与强化学习对齐难题，今日三项重磅研究给出系统答案：OmniVerifier-C1（arXiv:2610.22355，HF 32 赞）通过解耦强化学习（DAPO）将提示词拆解为子问题二元判断与全局连续打分，在 ViVerBench 上提至 0.684 并将 FLUX.1-dev 的 GenEval 推至 0.79；美团开源 320 例多步世界状态预测基准 WorldCast（arXiv:2610.20731，HF 30 赞），揭示 GPT-Image-2.5 System 达 72.8 分而最强开源模型仅 20.1 分；新加坡国立大学提出路由策略优化 RPO（arXiv:2610.22282），将注意力块路由作为随机探索动作，以仅 24.1 GPU 小时（较 Flow-GRPO 与 DanceGRPO 分别快 3.1 倍和 4.2 倍）大幅提升视频生成语义对齐。

查看大图

无 Critic 群组强化学习（GRPO 等）在长程 Agent 与高难数学推理中极易陷入“采样轨迹高度同质化、全组零奖励无梯度信号”的探索死局。今日两篇前沿论文从轨迹续写与输入嵌入两端破局：SERO（arXiv:2610.19397）从策略真实到达的状态恢复环境并执行多步 Oracle 续写，使 7B 模型在 ALFWorld 分布外泛化暴涨 11.20 个百分点；UNSW 提出的 EDEN（arXiv:2610.16105）在输入末尾追加单个锚定高斯噪声嵌入位，在同等采样预算下令 Qwen2.5-Math-7B 的 AIME 2025 Pass@256 飙升 13.33 个百分点（达 66.67%）。

查看大图

在可验证奖励强化学习（RLVR）中，异步采样生成与响应复用导致严重离线策略偏差。传统 Token 级加权会导致策略梯度有偏，而序列级加权则面临方差爆炸。UIUC 与港科大团队提出 Proximal KL，数学证明在覆盖度与局部表达性条件下，完整未来 KL 积分可使近端优化器具备唯一稳态策略。实测在 Qwen3-1.7B 与 4B 上超越 GRPO 高达 2.58%，并彻底根除周期性刷新下的模型崩溃。

查看大图

在长链路自主智能体系统中，决定在每一步信任智能体、放弃执行还是人工接管，依赖于精准的单步置信度信号。纽约大学（NYU）研究人员提出基于最终结果锚定（Outcome-Grounded）的智能体置信度校准框架。针对传统 RL 仅对齐单步决策正确性的死穴，该方法在 GRPO 框架下利用多轨迹结果标签与适度评分规则（Proper Scoring Rule），对单步口头置信度与最终全局成败直接对齐。在 ALFWorld、TextWorld 和 WebShop 上，单步置信度 AUROC 跃升至 0.68~0.85，最高置信度前 10% 步骤的成功率高达平均值的 4.3 倍，期望校准误差从 0.42 骤降至 0.12 以下。

查看大图

港中文（CUHK）与腾讯等团队提出面向长程智能体强化学习的递归自改进策略优化算法 RSIPO（Recursive Self-Improving Policy Optimization）。针对现有在线自蒸馏（OPSD）普遍依赖静态特权技能且教师监督存在噪声的缺陷，RSIPO 首次实现“智能体技能”与“策略网络”在训练全程的双向共生演进：策略模型从完成轨迹中自主提取技能并通过轨迹重放优化技能生成，同时引入经验贝叶斯收缩（Empirical Bayes Shrinkage）动态校准学生对教师指导的信任权重。Qwen2.5-7B 在具身交互 ALFWorld 上取得 98.6% 成功率，比原生 GRPO 飙升 17.4%。

查看大图

Salesforce AI Research 团队提出面向长链路智能体的自校准强化学习训练原则 Prospective Hindsight（PH）。传统智能体 RL 仅在环境反馈产生后进行纯回溯性（Retrospective）信用分配，导致智能体决策动作时的先验信念无法被梯度感知。PH 引入智能体动作前预测与环境后验评估之间的“惊喜残差”（Surprise Residual），通过加权梯度放大模型盲区样本，使置信度自校准作为优化的自然副产物涌现，一举攻克单轮任务盲目自信与多轮任务过度悲观的顽疾。

查看大图

针对视觉-语言-动作（VLA）与世界动作模型（WAM）普遍依赖通用视频大模型作为感知底座、在杂乱环境与微小物体定位上面临高延迟与定位失效的行业瓶颈，研究团队发布专为具身物理智能设计的 4B 定位基座模型 GroundingPI。通过将关键点与三维包围盒统一表征为共享词表中的量化坐标，结合多模态空间预训练与 GRPO 强化学习，在 34 项定位基准上刷新 SOTA，并在 RoboTwin 2.0 与 RoboCasa 机器人控制中实现跨越式泛化。

查看大图

基于可验证奖励的强化学习（RLVR，如 DeepSeek-R1、o1 等复杂推理模型的核心对齐技术）依赖最终结果标量打分来驱动模型梯度更新。然而，在以分组相对奖励（Group-Relative Policy Optimization, GRPO 等）为目标的现实训练中存在一个致命软肋：当一个 Prompt 采样的所有 Rollout 轨迹全部失败或全部成功时，组内奖励方差归零（Reward Contrast 消亡），导致宝贵的探索经验无法产生任何梯度更新信号；在小模型（如 2B 参数）上，高达 98% 的生成组全部失败，直接导致 RLVR 彻底瘫痪收敛至 0% 成功率。Salesforce AI Research 在最新论文（arXiv:2610.08077）中提出了前瞻性学习范式及 Self-Retrospection Distillation（SRD，开源代码：github.com/SalesforceAIResearch/SRD）。SRD 提出：失败轨迹中包含了大量‘智能体本应在行动前预判到的陷阱与关键条件’。SRD 将包含特权信息的完整执行后验轨迹蒸馏为交互开始前的‘先验预见（Foresight）’表征，且该表征仅作为训练优化目标而在推理阶段零额外开销。在 10 项长程 Agent 与工具调用复杂任务中，SRD 带来最高达 24.2 个百分点的暴涨；尤其在 2B 参数模型全组失败率达 98%、标准 RLVR 成功率为 0.0% 的极端场景下，引入 SRD 在相同交互预算下成功率狂飙至 60.6%，官方代码现已开源。

查看大图