NVIDIA 提出 EdgeWise 端云协同智能体框架：端侧小模型主控 + 关键步云端委派，SWE-Rebench 推理成本暴降 62%

核心背景与行业痛点

在真实软件工程修复（SWE）与长程系统操作任务中，单个智能体轨迹往往包含 30 至 100 个交互步骤。现有主流方案通常在每一个时间步无差别地调用云端旗舰大模型（如 GPT-5/Claude Opus），导致单次任务 Token 账单居高不下且响应延迟巨大。然而，实证轨迹剖析表明，长程任务中绝大部分步骤属于常规文件浏览、格式化输出或简单命令执行，仅极少数涉及复杂根因定位或跨模块架构决策的“关键拐点步”才真正需要前沿大模型的高阶推理容量。

架构亮点与底层机制

为实现零额外路由开销的端云协同智能体执行，NVIDIA Research 团队设计了 EdgeWise 框架：

1. 端侧 SLM 主控与选择性云端委派架构：在本地终端或边缘工作站部署小参数模型（SLM）作为默认主执行器（Primary Solver），承担日常环境探索与工具调用；仅当遇到超出端侧能力边界的瓶颈步骤时，才动态将该步请求委派（Delegate）至云端大模型；
2. 步级强化学习联合优化（Step-Level RL）：摒弃在推理时额外部署独立路由分类器的笨重方案，EdgeWise 提出了一种步级强化学习方法，在单一策略内联合优化“任务求解动作”与“是否发起云端委派决策”，并为每一次委派决策设计了细粒度的信用分配（Credit Assignment）与调用惩罚项；
3. 端云协同四大核心维度系统解耦：团队结合外部裁判委派策略，系统性揭示了端云协同的黄金法则——何时触发委派（When）、如何制定委派判据（How）、向云端传输何种压缩上下文（What Context）以及最优云端介入频率（Frequency）。

权威 Benchmark 与实测跑分对比

在代码修复与终端操作两大核心智能体基准及真实本地工作站部署测试中，EdgeWise 展现出惊人的帕累托前沿突破：

• SWE-Rebench 成本直降 62%：在严苛的软件工程基准 SWE-Rebench 上，EdgeWise 取得了与全程调用云端旗舰 LLM 持平甚至更高的任务解决率，同时将总体推理成本大幅削减最高达 62%；
• Terminal-Bench 2.1 节省 34% 开销：在多轮命令行基准 Terminal-Bench 2.1 上，保持无损通关率的同时实现 34% 的端到端推理降本；
• 真实本地工作站落地验证：在配备本地消费级 GPU 的工作站真机部署中，端侧 SLM 处理逾 70% 常规步骤，大幅降低云端 API 往返频率与带宽消耗。

开发者实战落地与开箱指南

对于正在构建桌面级 AI IDE（如 Cursor/Windsurf 同类产品）或本地 CLI 助手的工程团队，EdgeWise 提供了极具价值的架构蓝图：

• 本地-云端混合路由集成：可在本地利用 Ollama 或 vLLM 部署 7B–14B 级量化编码模型处理 grep、read_file、简单测试运行等高频低熵步骤，仅在连续报错或生成复杂跨文件补丁时上云调用主力模型；
• 上下文按需裁剪传输：发起云端委派时无需上传完整历史原始日志，仅需传递端侧模型提炼的当前故障摘要与相关代码切片，进一步压缩云端输入 Token 计费。