智能体提速 2.5 倍、降本 89%！JevAgentHarness 让 4B 决策小模型与大模型共享控制权：跨分布解决率高达 91.5%

核心背景与行业痛点

当前各类软件修复、桌面操作与企业客服智能体（LLM Agents）底层依赖的运行框架（Agent Harness），普遍采用单一高成本模式：在循环的每一个时间步都向千亿级大语言模型发起完整推理调用。然而研究发现，智能体运行过程中的绝大多数调用最终仅归结为一个结构化的多项选择决策（例如：下一步该调用哪个工具或选择哪个分支）。尽管像 Jev 这样的专用轻量级决策模型能以极低延迟和成本直接回答此类问题，但团队通过构建 AgentDecisionBench 与 DecisionGym 评测发现：在孤立问题上准确率最高的决策模型，直接接管运行中的智能体时仅能解决 69.5% 的任务；若缺乏校准的置信度阈值盲目委派工具选择，任务成功率更会暴跌 19.0 个百分点——原因在于传统决策模型从未见过智能体在自己犯错后所陷入的异常轨迹状态。

架构亮点与底层机制

为解决分布偏移与控制权交接难题，UIUC、耶鲁大学与普林斯顿大学联合研发了 JevAgentHarness 完整工具链：

1. 基于轨迹自适应的逐选项置信度阈值（Per-Choice Threshold Calibration）：JevAgentHarness 在智能体真实运行轨迹上为每一个候选决策分支独立拟合置信度阈值。当轻量级决策模型的预测置信度高于阈值时直接秒级执行；一旦低于阈值，则无缝将控制权交还给大语言模型进行深度推演；
2. 面向错误恢复状态的 AgentDecision-4B 训练范式：针对决策模型在智能体犯错后“水土不服”的痛点，研究团队专门采集智能体自身失误后到达的真实异常状态（Post-Mistake States），并以教师模型的决策作为监督标签，训练出完全开源的 AgentDecision-4B 模型；
3. 全栈评测基准 AgentDecisionBench & DecisionGym：首次打通从孤立静态多项选择问答到动态在线智能体控制权交接的全链路评测环境。

权威 Benchmark 与实测跑分对比

在跨领域分布内与分布外（OOD）智能体基准测试中，JevAgentHarness 交出了兼具极致性价比与高可靠性的答卷：

• 成本锐减 81.1%–89.0%，速度提升 2.5 倍：在分布内任务上，搭载 4B 决策模型的智能体将总体推理费用削减 81.1% 至 89.0%，端到端执行速度提升最高达 2.5 倍，而成功率波动控制在 3 个百分点以内；
• 分布外泛化解决率高达 91.5%：在与训练数据截然不同的分布外（OOD）新任务上，搭载 AgentDecision-4B 的智能体成功解决了 91.5% 的任务，大幅超越原版 Jev 模型的 82.0%；
• 消除盲目委派的 19% 性能折损：动态阈值机制彻底挽回了无阈值委派造成的 19.0 个百分点成功率下跌。

开发者实战落地与开箱指南

项目代码、评测环境与 AgentDecision-4B 模型已在 GitHub 开源（https://github.com/JevAgentHarness/JevAgentHarness）：

• 快速接入现有 Agent Harness：支持在 LangGraph、OpenHands 或自研 Agent 循环的 Tool Routing 节点前挂载 AgentDecision-4B，拦截高置信度的常规工具选择步；
• 阈值校准最佳实践：在上线新业务工具集前，先使用 50~100 条历史轨迹运行仓库提供的阈值拟合脚本，为高风险写操作工具配置更严格的回退大模型阈值。