白盒解剖智能体思维演化！ARC-AGI-3 首份 Coding Agent 连续学习追踪实证发布

核心背景与行业痛点

随着 Claude Code、Cursor 与各类自主编程智能体的发展，行业逐渐形成共识：赋予冻结参数的大模型‘代码执行沙箱’与‘持久化文件读写’能力，智能体即可像真实软件工程师一样通过交互式探索积累经验。然而，智能体在连续解决开放式复杂问题时的认知演化过程长期处于‘黑盒状态’：

1. 缺乏对智能体认知演化的白盒度量：当 Agent 在长程任务中遇到挫折时，开发者只能看到最终的失败报错，无法洞悉其究竟是在哪一步形成了错误的因果假设，又是在哪一步执迷不悟导致全盘皆输；
2. 灾难性遗忘与信息过载的二元悖论：传统观念认为 Agent 不具备长程记忆，但如果将所有历史信息全盘保留塞入 Prompt，又会迅速引发严重的上下文窗口稀释与注意力瘫痪；
3. 缺乏在无人类先验规则下的极限压力测试：现有基准（如 HumanEval）均提供详尽的需求文档，无法测试 Agent 在完全没有规则说明的黑暗森林中从零摸索物理法则的真实连续学习能力。

架构亮点与底层机制

针对上述认知黑盒，研究团队利用 ARC-AGI-3 抽象几何解谜矩阵与文件沙箱构建了首个思维追踪协议（arXiv:2610.11450）：

1. ARC-AGI-3 零先验交互考场：ARC-AGI-3 由一系列完全不提供任何规则说明的多关卡抽象几何任务构成。前一关跑通的通关策略在下一关往往完全失效，强制智能体必须在每一关中建立‘探索 -> 假设 -> 编写测试脚本 -> 验证 -> 沉淀通用规律’的严密科学闭环；
2. 全生命周期思维追踪协议（Thought Tracing Protocol）：团队严格将智能体写入磁盘文件的每一行 Python 脚本、JSON 配置与 Text Notes 形式化定义为‘可观测的思维节点（Thought Node）’。通过追踪这些节点在跨关卡进程中的引用、重写、覆写与废弃链条，精确绘制出 Agent 认知拓扑的完整演化有向无环图；
3. 脚本与笔记的异构双轨记忆体系：

• 可执行脚本轨（Executable Scripts）：承载具体的操作算子与特征提取函数；
• 文本笔记轨（Text Notes）：仅供模型自反思阅读的自然语言因果假设清单；
• 沙箱底层审计日志（Immutable Execution Logs）：由 Harness 托管的不可篡改历史记录，充当仲裁笔记矛盾的最高法官。

权威 Benchmark 与实测跑分对比

通过对两大主流模型家族的 3 款顶尖基座模型展开 7 轮全量极限追踪测试，研究得出了多项颠覆性的白盒实证结论：

1. 跨关卡脚本主动废弃率达 74%（破除代码复用迷思）：统计显示，在前一关编写的脚本几乎从不被后一关直接调用（在全部 630 次跨任务函数引用中仅有 33 次跨越了关卡边界）。智能体会主动放弃 74% 的旧脚本，原因在于这些脚本严重绑定了特定关卡的局部死状态。Agent 表现出的真实策略是‘抽离通用规律，在新关卡从零重写精炼脚本’；
2. 纯追加笔记配合不可篡改 Log 实现选择性遗忘：Agent 在撰写 Notes 笔记时从不主动执行删除操作，而是采用 Append-Only 纯追加模式。当新旧假设发生逻辑冲突时，模型会调取底层 Log 重新推演并覆盖结论，成功规避了参数微调中常见的灾难性遗忘；
3. 定位出致命杀手级缺陷：跨任务硬编码常量污染：分析证实，导致 Agent 彻底陷入死循环并最终耗尽 Token 失败的单项最大罪魁祸首，是模型将前序关卡中偶然成立的硬编码数值（Hard-coded Values，如固定的网格偏移量、特定颜色代码）作为既定事实带入了新关卡，造成认知固着。

开发者实战落地与开箱指南

这项研究为从事 Coding Agent、自主探索智能体以及自演化工作流的系统架构师提供了无价的工程启示：

1. 切勿强求 Agent 盲目复用旧代码片段：在设计 Agent 技能库时，不要将每次运行生成的具体执行脚本作为刚性依赖持久化。鼓励 Agent‘保留规律认知、按需重写局部执行代码’反而能大幅降低环境耦合与状态污染；
2. 设计不可篡改的底层事实日志与追加式笔记：给 Agent 配置由环境安全锁定的底层 Execution Log 作为物理事实锚点，允许其自由追加笔记，依靠真实回显自动解决认知冲突；
3. 建立硬编码参数静态检查门禁（Linting Barriers）：在 Agent 尝试将中间结论固化为长期技能或函数时，配置 AST 静态扫描拦截硬编码魔法值（Magic Numbers），强制模型使用参数化动态推断，彻底根治跨任务认知固着的致命死穴。