零外部裁判登顶 WebArena Infinity 74.6%！Salesforce 开源 CLIFT 保形自验证，SCOPED-8B 跨能力蒸馏反超 32B 模型

核心背景与行业痛点

在训练真实浏览器网页操作智能体（Web Agents）、长程多模态深度搜索（Multimodal Deep Search）以及全能视觉语言模型（VLMs）时，强化学习（RL）正遭遇三大核心瓶颈：第一，网页任务的二元终局奖励（成功/失败）过于稀疏，当 GRPO 采样组内全部失败时优势信号归零；而若每步调用前沿闭源大模型（如 Claude Opus 4.6）充当裁判，不仅训练成本高昂，且部署测试期根本无法依赖外部裁判。第二，多模态深度搜索（需高达 50 轮跨图文检索）缺乏难度可控的多跳训练题与细粒度过程指导。第三，当使用 RL 同时优化细粒度感知、OCR 图表、符号推理与多图理解时，不同能力间的梯度剧烈冲突（Cross-Capability Gradient Conflicts），直接奖励优化还会混入投机偏置。

架构亮点与底层机制

今日发布的 CLIFT（arXiv:2610.06829，Salesforce AI Research）、MMSearch-OPD（arXiv:2610.22240）与 SCOPED（arXiv:2610.22217，东北大学 NEUIR），分别从保形自验证、数据精炼联合在线蒸馏与技能解耦多专家蒸馏给出了系统方案：

• Salesforce CLIFT：保形自验证问题库与零裁判测试期轨迹优选（CTS）：在训练期，智能体针对自身访问的每个 URL 状态回答自然语言自验证问题；组合保形认证器（Compositional Conformal Certifier, CCC） 利用 Mondrian 自适应保形追踪仅保留与训练期裁判高度一致的 URL 条件信号，通过极性感知提升度（Polarity-Aware Lift）赋予带符号信任权重并融入每步稠密奖励。在测试部署期，冻结该认证问题库用于 保形轨迹选择（Conformal Trajectory Selection, CTS）——智能体并行采样 1 条贪婪轨迹与多条多样化重试轨迹，仅凭自身对 URL 轨迹的自验证摘要与保守多数投票规则即可选出最优轨迹，全程无需调用任何外部大模型裁判。
• MMSearch-OPD：难度可控数据扩增（Refine）+ 奖励差距调制的联合 RL-OPD：通过参数化变换的 Refine 管线将简单图文问答扩展为需要深层跨模态证据链的长程搜索任务；在 veRL 训练中将结果奖励与在线策略蒸馏（OPD，以 Qwen3.5-27B 为教师指导 Qwen3.5-9B 学生）结合，利用奖励差距（Reward Gap）动态调制对不完美学生轨迹的 Token 级教师引导，并随训练推进按指数衰减蒸馏系数。
• SCOPED：技能解耦的在线策略专家蒸馏：先独立训练各细分视觉能力的专用 RL 专家，并通过奖励引导反思（Reward-Guided Reflection）提炼出显式结构化技能（Explicit Skills）；随后在在线蒸馏阶段，仅向专家教师提供显式技能提示，而对统一学生模型隐藏技能文本，倒逼学生模型将程序性解题技能内化至自身权重中，推理时无需任何外部技能提示即可消除跨能力梯度冲突。

权威 Benchmark 与实测跑分对比

• CLIFT 登顶 WebArena Infinity 与 VisualWebArena（arXiv:2610.06829）：基于 Gemma 4 31B + LoRA（在 1,886 个 WAI 与 1,272 个 VWA 合成任务上训练），CLIFT + CTS (K=3) 在 WebArena Infinity (WAI) 公开 9 大 SaaS 应用榜上斩获 74.6% 综合成功率（较 Gemma-4 基座的 61.8% 暴涨 +12.8 个百分点，并在 Elation 临床/处方 91.7%、PayPal 90.7%、Gmail 78.3% 等 7 个应用夺冠），一举超越 Gemini 3 Flash + BU（70.1%）、Qwen 3.5+（50.7%）与 Kimi K2.5（46.4%）。将该开源训练的问题库零权重修改直接迁移至闭源 GPT-5.5 后，在 VisualWebArena (VWA) 上取得 53.7% 最高分（超越 WALT 52.9% 与 SGV 50.2%），并在真实互联网 Online Mind2Web 上实现零样本泛化提升。
• MMSearch-OPD 7 大多模态深搜基准暴涨 15.3 分（arXiv:2610.22240）：在 MMSearch、BrowseComp-VL、BrowseComp-V3、VisBrowse-Bench 等 7 大基准（最高允许 50 轮交互）上，MMSearch-OPD-9B 取得 60.2% 平均准确率，比同尺寸 Qwen3.5-9B Agent 工作流飙升 +15.3 个百分点，并领先 DeepVoyager-VL-8B +9.6 个百分点。
• SCOPED-8B 以小搏大击败 32B 与闭源旗舰（arXiv:2610.22217）：在涵盖细粒度感知、OCR/图表、符号推理与多图推理的 8 大基准上，基于 Qwen3-VL-8B 构建的 SCOPED-8B 均分从 67.30% 跃升至 73.13%（+5.83 分），不仅跨越式击败参数量 4 倍于己的 Qwen3-VL-32B（72.01%），更在综合均分上超越 Claude-Opus-4.6（72.86%）、Claude-Sonnet-4.6（72.79%）与 GPT-5.4（69.85%）。

开发者实战落地与开箱指南

Salesforce 已在 Hugging Face Spaces（CoderDoge/CLIFT）公开了 CLIFT 的 URL 保形认证问题库与 CTS 选择器实现，东北大学亦在 GitHub（NEUIR/SCOPED）完整开源了 SCOPED 的多专家蒸馏代码与数据集。构建企业级浏览器 RPA / Web Agent 的团队可直接复用 CLIFT 的高权重 URL 验证断言（如校验是否到达内容承载页 w=+0.54、行为是否非破坏性 w=+0.54），在测试期零外部 API 成本下实现安全的多轨迹重试优选。