让大模型从“逐步苦力”变“并行总审”！SpecAgent 轨迹级投机推理耗时砍半，LEASH 隐状态升级在 OSWorld 击败全程 Claude Opus 5

核心背景与行业痛点

在工具调用（Tool-Using）与计算机操作（Computer-Use）智能体的长程任务中，高达 60%–80% 的交互步属于常规的只读信息搜集（如 read_file、grep、查询接口或点击展开菜单）。传统单一大模型方案在每一步都进行昂贵的自回归解码；而现有的经典投机采样（Speculative Decoding）只能逐 Token 严格比对字面分布，一旦小模型与大模型的工具调用表述存在细微字面差异但语义等价，就会频繁触发回滚失效；此外，弱模型向强模型上交控制权后，黑盒强模型自身也可能在长链路中迷失方向。

架构亮点与底层机制

今日开源的 SpecAgent（arXiv:2610.21463）与 LEASH（arXiv:2610.22280）提供了两套极具工程巧思的弱-强协同机制：

1. 只读工具真实执行 + 写操作拦截 + 单次并行 Prefill 语义审查（SpecAgent）：将强模型从“每一步的撰稿人”转变为“多步草稿的审阅人”。轻量小模型在起草多步轨迹时，直接真实执行所有只读工具调用（Read-only Tool Calls）以获取真实环境观测，一旦遇到第一个会修改环境状态的写操作（Write/Mutate Action）则立即挂起；随后强模型仅需通过单次并行 Prefill 前向传播批量审查整段草稿，提交语义有效的最长前缀并仅对首个被拒步进行局部修复，用并行 Prefill 彻底替代了逐轮自回归解码；
2. 三层隐状态不确定性路由与影子监管（LEASH）：无需任何额外前向传播或专门训练监控器，直接复用小模型在生成动作时的内部隐藏状态（Hidden States），通过比对当前隐状态与历史成功/失败轨迹表征的相似度计算不确定性。当小模型不确定性飙升时才释放强模型（Unleash），并在移交后通过影子观察者（Shadow Observer）持续监督黑盒强模型，防止强模型脱轨。

权威 Benchmark 与实测跑分对比

两项研究在权威工具调用与桌面操作基准上均交出硬核成绩单：

• SpecAgent 端到端耗时与显存流量直接砍半：在 $\tau^2$-Bench 上，SpecAgent 取得与全程运行强模型相差不到 1 个百分点的成功率，同时将端到端挂钟时间（Wall Time）与显存带宽流量双双削减约 50%；在端云协同基准 MCP-Atlas 上，强模型生成的 Token 数减少一半以上，却弥合了 53%–75% 的弱强模型质量差距；
• LEASH 在 OSWorld 上反超全程 Claude Opus 5：在桌面操作基准 OSWorld 上，使用 Qwen3.5-35B-A3B 作为弱模型的 LEASH 取得了 73.66% 的任务成功率（单任务成本仅 $0.4117），正面击败全程在线调用的 Claude Opus 5（72.90%），同时将推理成本再降 19.2%。

开发者实战落地与开箱指南

SpecAgent 代码已开源于 GitHub（https://github.com/LARK-AI-Lab/SpecAgent）：

• 在 MCP 网关层划分只读（Read-Only）与写操作（Mutating）工具标签：这是落地 SpecAgent 的核心前提——为 view_file、search、list_resources 标记 readOnlyHint: true 交由端侧/Flash 小模型连续投机执行，遇到 write_to_file、run_command 或支付接口时挂起并交由旗舰模型单次 Prefill 批量验签。