Letta 发布 FrontierMemory 1.0:首个按下游任务成绩衡量 Agent 记忆质量的基准,Opus 5.5 与 GLM-5.3 并列 73.3% 居首
10 月 21 日,Letta 发布 FrontierMemory 1.0。它不再考 Agent 记不记得生日、爱好这类事实,而是给 Agent 一批过去的执行轨迹,让它生成记忆或技能,再看这些记忆能让任务 Agent 多解出多少编码和知识工作任务。首版共 15 个任务,改编自 DeepSWE、SkillsBench、APEX-Agents 等公开基准。模型榜(Letta Dream 生成记忆,Letta Code 执行)上 Opus 5.5 与 GLM-5.3 均为 73.3%,Grok 4.7 为 33.3%;Harness 榜上 Letta 自家 Letta Dream 第一。数据为厂商(Letta)口径。

核心要点速览
- 模型榜(厂商口径,最高推理档):Opus 5.5 73.3%(单任务约 $2.80)、GLM-5.3 73.3%($3.58)、Kimi K3 66.7%、GPT-6.1 Sol 60.0%($0.77,最省)、Gemini 4 Argon 60.0%、Muse Wonder 46.7%、Grok 4.7 33.3%
- Harness 榜:Letta Dream 73.3%、Prime Agent 60.0%、OpenAI Agents SDK 40.0%、Claude Managed Agents 33.3%、Hermes Agent 26.7%
- 首版 15 个任务;665 条历史轨迹中只有 219 条与评测任务相关,Agent 需要自己挑出有用经验
- Letta 称复核时发现保留下来的原始任务中 53% 的判题器有问题并已修复;记忆生成限时 6 小时、禁止联网
- 记忆分三类:任务约定、用户偏好、环境特性;接受第三方提交模型与 Harness