“看得懂却做不对”！CMU 诊断智能体 System 1 决策失效根源：模型感知完全正确，缺失的竟是子目标推导

核心背景与行业痛点

在工业级自主智能体（Autonomous Agents）架构中，为了兼顾高吞吐、低延迟与经济的 Token 成本，系统架构师普遍大量采用单遍直接打分的“系统一（System 1）”模型（即不展开长篇思维链、直接由输入上下文给出行动选项得分的模型），用于处理工具调度（Tool Use）、网页路由（Web Navigation）、在线客服策略执行以及代码补全。然而，当这些系统一模型选择错误动作并导致智能体脱轨时，工程团队往往面临一个棘手的黑盒困境：模型究竟是“根本没看懂/看漏了当前环境状态中的关键事实”（感知层失败），还是“事实提取完全正确，却依然做出了荒谬的动作决策”（推理层合成失败）？长期以来，业界因缺乏解耦诊断工具而盲目对输入 Prompt 进行低效微调。

架构亮点与底层机制

针对这一诊断盲区，卡耐基梅隆大学（CMU）研究团队构建了全球首个面向智能体决策失效的解耦行为诊断基准：

1. 决策与事实独立探针配对（Factual Probe Pairing）：在涵盖模拟物理环境、客服政策文档、多工具调度、网页点击以及代码调试的冻结决策状态集中，研究人员将每一个“下一步行动选择”题目，与一组关于当前同一状态的“独立事实探针（Factual Probes）”进行成对绑定，要求模型分别独立作答；
2. 17 款主流模型跨维度大横评：横跨 17 种不同架构与参数量的快速模型以及前沿长思考推理模型，穷尽分析其在多状态下的作答对齐率；
3. 代码逻辑修复验证机制（Code-Composition Repair）：针对那些由状态事实在数学/逻辑上严格唯一决定动作的题目，直接利用确定性代码将模型自己答对的事实进行逻辑合成，以此作为检验模型决策失败根源的试金石。

权威 Benchmark 与实测跑分对比

通过穷尽式的行为学分析，CMU 团队得出了令工业界震动的颠覆性结论：

• “绝大多数错误动作源自正确理解”：实测表明，在所有发生错误动作的决策场景中，绝大多数情况下模型对环境状态事实的读取与回答是百分之百正确的；
• 能力越高，合成脱节越明显：一个令人警惕的规律是：系统的整体准确率越高，其错误中“事实读取完全正确但动作依然选错”的比例反而越极端。这意味着简单堆砌参数无法自然抚平感知与决策之间的断层；
• 失效高度聚集在临界状态：这些错误并非随机噪声，而是跨越所有被测模型高度聚集在相同的“临界决策状态”上；
• 代码合成可完美修复：实验证明，当使用几行轻量 Python 规则直接拼接模型自己提取出的正确事实时，原本失败的动作决策被 100% 修复，证明模型欠缺的绝非信息输入，而是从多源事实归纳出“下一步子目标（Sub-goal）”的逻辑编织力。

开发者实战落地与开箱指南

这项研究为正在优化 Agent 路由准确率的算法与工程团队提供了拨云见日的落地指导：

• 论文技术精读：评测协议与事实探针设计详见预印本（arXiv:2610.18579）；
• 重构 Agent 提示词设计：在让模型决定下一项工具调用之前，务必在系统流程中强行插入一个结构化步骤：“先提取 N 个关键状态事实”，或直接将其拆解为确定性状态机规则，避免要求单一轻量模型单步跨越“事实抽取+综合决策”两道鸿沟；
• 引入外部代码断言路由：针对金融审计、客户转账或系统运维等高风险工具调用，可让小模型仅负责填写事实 JSON 槽位，由外部 Python 代码执行最终的 Tool Call 决策，零成本根除智能体决策脱节。