10 月 21 日,Letta 发布 FrontierMemory 1.0。它不再考 Agent 记不记得生日、爱好这类事实,而是给 Agent 一批过去的执行轨迹,让它生成记忆或技能,再看这些记忆能让任务 Agent 多解出多少编码和知识工作任务。首版共 15 个任务,改编自 DeepSWE、SkillsBench、APEX-Agents 等公开基准。模型榜(Letta Dream 生成记忆,Letta Code 执行)上 Opus 5.5 与 GLM-5.3 均为 73.3%,Grok 4.7 为 33.3%;Harness 榜上 Letta 自家 Letta Dream 第一。数据为厂商(Letta)口径。
核心要点速览
- ✓模型榜(厂商口径,最高推理档):Opus 5.5 73.3%(单任务约 $2.80)、GLM-5.3 73.3%($3.58)、Kimi K3 66.7%、GPT-6.1 Sol 60.0%($0.77,最省)、Gemini 4 Argon 60.0%、Muse Wonder 46.7%、Grok 4.7 33.3%
- ✓Harness 榜:Letta Dream 73.3%、Prime Agent 60.0%、OpenAI Agents SDK 40.0%、Claude Managed Agents 33.3%、Hermes Agent 26.7%
- ✓首版 15 个任务;665 条历史轨迹中只有 219 条与评测任务相关,Agent 需要自己挑出有用经验
- ✓Letta 称复核时发现保留下来的原始任务中 53% 的判题器有问题并已修复;记忆生成限时 6 小时、禁止联网
- ✓记忆分三类:任务约定、用户偏好、环境特性;接受第三方提交模型与 Harness

开发者 3 秒速决决策指标
把技术选型换算成你的开发预算
40 款主流编程套餐横向比价,支持输入/输出 Token 真实账单模拟
相关资源与官方项目出处
免代理直达深度技术解析与实战评估
核心背景与行业痛点
过去一年,几乎所有主流编码 Agent 和个人 Agent 都加上了基于文件的自我记忆,Claude Agent SDK、Letta Code、Devin 等还支持“做梦”式地回看历史轨迹来更新记忆。但现有记忆基准如 LoCoMo、LongMemEval 主要考事实召回,在 bash 文件搜索加持下已基本被刷满,也测不出 Agent 有没有真正从经验里变强。
架构亮点与底层机制
FrontierMemory 把原本“一题给全上下文”的任务改造成必须依赖过往经验才能做对的任务。Agent 先拿到 665 条带成功/失败标签的历史轨迹(其中 219 条相关),在 6 小时内生成记忆或技能文件,然后由任务 Agent 带着这些记忆去做题,按解题率计分。记忆分三类:任务约定(如 Word2Vec 流水线要跳过 omit.txt 里的文件)、用户偏好(如更新日志要一行、倒序)、环境特性(如电网限值藏在 config/grid/.env.local)。每题至少两名研究员复核,并为每题准备“标准记忆”以确认可解。
权威 Benchmark 与实测跑分对比
以下为 Letta 自测口径,共 15 题。模型榜用 Letta Dream 生成记忆、Letta Code 执行,取 Opus 5.5 与 GPT-6 Sol 两个任务模型中较高者:Opus 5.5 与 GLM-5.3 均 73.3%,Kimi K3 66.7%,GPT-6.1 Sol 与 Gemini 4 Argon 60.0%,Muse Wonder 46.7%,Grok 4.7 33.3%。成本上 GPT-6.1 Sol 单题约 0.77 美元,最便宜。Harness 榜 Letta Dream 73.3% 领先,Prime Agent 60.0%,Claude Managed Agents 33.3%。注意榜单由 Letta 出题并包含自家产品,题量也小,单题差一题就是 6.7 个百分点。
开发者实战落地与开箱指南
如果你在做带记忆的 Agent,最值得借鉴的是它的定性结论:写成祈使句、说明“何时使用”的技能描述更容易被任务 Agent 加载;过度贴合某次历史运行的规则难以泛化。可以在 frontiermemory.com 查看任务样例和提交方式,用自己的 Harness 跑一遍,再对照 Letta Dream 的成绩判断记忆系统的短板。
即刻查看该技术对应模型与主流工具的实测差异,或一键测算团队 API 调用与 $20/月套餐盈亏平衡点。
讨论与评论
0登录后即可参与深度讨论
与广大 AI 开发者、工程师交流评测心得与前沿洞察