10 月 21 日,Letta 发布 FrontierMemory 1.0。它不再考 Agent 记不记得生日、爱好这类事实,而是给 Agent 一批过去的执行轨迹,让它生成记忆或技能,再看这些记忆能让任务 Agent 多解出多少编码和知识工作任务。首版共 15 个任务,改编自 DeepSWE、SkillsBench、APEX-Agents 等公开基准。模型榜(Letta Dream 生成记忆,Letta Code 执行)上 Opus 5.5 与 GLM-5.3 均为 73.3%,Grok 4.7 为 33.3%;Harness 榜上 Letta 自家 Letta Dream 第一。数据为厂商(Letta)口径。

核心要点速览

  • ✓模型榜(厂商口径,最高推理档):Opus 5.5 73.3%(单任务约 $2.80)、GLM-5.3 73.3%($3.58)、Kimi K3 66.7%、GPT-6.1 Sol 60.0%($0.77,最省)、Gemini 4 Argon 60.0%、Muse Wonder 46.7%、Grok 4.7 33.3%
  • ✓Harness 榜:Letta Dream 73.3%、Prime Agent 60.0%、OpenAI Agents SDK 40.0%、Claude Managed Agents 33.3%、Hermes Agent 26.7%
  • ✓首版 15 个任务;665 条历史轨迹中只有 219 条与评测任务相关,Agent 需要自己挑出有用经验
  • ✓Letta 称复核时发现保留下来的原始任务中 53% 的判题器有问题并已修复;记忆生成限时 6 小时、禁止联网
  • ✓记忆分三类:任务约定、用户偏好、环境特性;接受第三方提交模型与 Harness
Letta 发布 FrontierMemory 1.0:首个按下游任务成绩衡量 Agent 记忆质量的基准,Opus 5.5 与 GLM-5.3 并列 73.3% 居首
🖼️要闻配图
点击全屏高清查看
🧭

把技术选型换算成你的开发预算

40 款主流编程套餐横向比价,支持输入/输出 Token 真实账单模拟

🔬

深度技术解析与实战评估

核心背景与行业痛点

过去一年,几乎所有主流编码 Agent 和个人 Agent 都加上了基于文件的自我记忆,Claude Agent SDK、Letta Code、Devin 等还支持“做梦”式地回看历史轨迹来更新记忆。但现有记忆基准如 LoCoMo、LongMemEval 主要考事实召回,在 bash 文件搜索加持下已基本被刷满,也测不出 Agent 有没有真正从经验里变强。

架构亮点与底层机制

FrontierMemory 把原本“一题给全上下文”的任务改造成必须依赖过往经验才能做对的任务。Agent 先拿到 665 条带成功/失败标签的历史轨迹(其中 219 条相关),在 6 小时内生成记忆或技能文件,然后由任务 Agent 带着这些记忆去做题,按解题率计分。记忆分三类:任务约定(如 Word2Vec 流水线要跳过 omit.txt 里的文件)、用户偏好(如更新日志要一行、倒序)、环境特性(如电网限值藏在 config/grid/.env.local)。每题至少两名研究员复核,并为每题准备“标准记忆”以确认可解。

权威 Benchmark 与实测跑分对比

以下为 Letta 自测口径,共 15 题。模型榜用 Letta Dream 生成记忆、Letta Code 执行,取 Opus 5.5 与 GPT-6 Sol 两个任务模型中较高者:Opus 5.5 与 GLM-5.3 均 73.3%,Kimi K3 66.7%,GPT-6.1 Sol 与 Gemini 4 Argon 60.0%,Muse Wonder 46.7%,Grok 4.7 33.3%。成本上 GPT-6.1 Sol 单题约 0.77 美元,最便宜。Harness 榜 Letta Dream 73.3% 领先,Prime Agent 60.0%,Claude Managed Agents 33.3%。注意榜单由 Letta 出题并包含自家产品,题量也小,单题差一题就是 6.7 个百分点。

开发者实战落地与开箱指南

如果你在做带记忆的 Agent,最值得借鉴的是它的定性结论:写成祈使句、说明“何时使用”的技能描述更容易被任务 Agent 加载;过度贴合某次历史运行的规则难以泛化。可以在 frontiermemory.com 查看任务样例和提交方式,用自己的 Harness 跑一遍,再对照 Letta Dream 的成绩判断记忆系统的短板。

实战指南准备好将技术转化为生产力?

即刻查看该技术对应模型与主流工具的实测差异,或一键测算团队 API 调用与 $20/月套餐盈亏平衡点。

接着读技能进化不再盲目试错!清华大学等提出 EVISKILL 框架:可重放证据卡解耦经验演进,免微调长效沉淀程序化能力
立即阅读→