Letta:FrontierMemory 1.0 用下游任务测 Agent「会不会学」
Letta 10 月 21 日发布 FrontierMemory 1.0:不考生日爱好回忆,而考从历史轨迹生成记忆后能否提升编码/知识工作下游分。Opus 5.5 与 GLM-5.3 并列 73.3%,Kimi K3 66.7%,GPT-6.1 Sol / Gemini 4 Argon 60%,Muse Wonder 46.7%,Grok 4.7 33.3%。
官方称现有记忆榜(LoCoMo、LongMemEval)偏「回忆事实」,已被带 bash 搜文件的 harness 刷高,测不到「经验后是否变强」。FrontierMemory 把 DeepSWE、SkillsBench、AutomationBench 等改编成依赖任务/用户/环境记忆的 15 道题:Agent 先读含成败标注的轨迹(含无关任务),限 6 小时做梦式写记忆,再接入 Letta Code 等 harness 跑下游;榜分取 Opus 5.5 与 GPT-6 Sol 在 max 推理档的更高通关率。
记忆生成侧用 Letta Dream 测七款模型:Opus 5.5 与 GLM-5.3 并列 73.3%(任务成本约 $2.80 / $3.58),Kimi K3 66.7%,GPT-6.1 Sol 与 Gemini 4 Argon 60%(Sol 最便宜约 $0.77),Muse Wonder 46.7%,Grok 4.7 33.3%。Harness 对比里 Letta Dream 高于 OpenAI Agents SDK、Claude Managed Agents、Prime / Hermes 等;定性发现「可执行指令式记忆」优于空泛摘要,过拟合到具体文件大小的规则会失效。语料见 Hugging Face letta-ai/frontier-memory-corpus。


