Unify 发布持续学习基准 Continual-ARC：OpenClaw、Hermes Agent、Prime Agent 几乎没能从经验中学会东西，训练 9B 小模型权重反而在新任务上大幅提升

核心背景与行业痛点

现在流行让 Agent 框架用不断增长的 Markdown 笔记、技能文件来「在岗学习」。但现有基准大多只覆盖编码或办公一个领域，每个实例只出现一次，也很少把记忆型和改权重型方法放在同一尺度比较，分不清是背答案还是真学会。

架构亮点与底层机制

Continual-ARC 用 ARC 网格推理题，不需要领域知识。每个实例里，学习者只看到任务 id 和输入，可以花 1 点预算要示例（最多 8 个），答错扣 1，失败直接扣满 16。同一任务隔很久再出现时输入全新，无法缓存答案。任务流结束后冻结，分别测记忆和泛化。另有多用户「集体」模式，多人共享同一份笔记或权重。

权威 Benchmark 与实测跑分对比

以下为作者口径：框架内持久化通常提升不了记忆，除非给出专家指导；即使有指导，多数框架方法学到的仍不如只缓存示例的基线。没有任何框架方法在未见任务上有提升，而权重学习提升明显（未见任务 18.4%→62.3%）。Prime Agent 从不存东西，OpenClaw 保存了所有对话却很少回头看。

开发者实战落地与开箱指南

代码在 GitHub unifyai/continual-arc，克隆后用 uv 安装即可生成任务流、跑自己的学习者并提交验证，网站提供每次运行的逐步回放和排行榜。作者提醒只测了一个领域、几个非最强模型，更强的模型可能保留更多，结论适合作为设计记忆系统时的参考，而不是定论。