原生记忆驱动模型进化:MemT-1.0 架构发布,128K 上下文 KV 显存开销削减 66 倍
多所顶尖研究机构在 arXiv:2610.26825 中正式推出原生记忆基础模型架构 MemT-1.0。针对传统大模型依赖庞大外部 KV Cache 或外挂 Vector RAG 导致的长文本显存爆炸与检索断层痛点,MemT-1.0 将记忆内化为模型计算的原生组成部分。基于 Metis 框架,模型采用 Gated DeltaNet-2 结合轮内稳定的 Token 级记忆更新机制,并引入 Mixture-of-Storage 结构拓展原生记忆容量。在 340 亿 Token 数据持续预训练与对齐后,MemT-1.0-Nano 在 128K 超长历史下实现 1.86 倍推理加速与惊人的 66 倍持久存储削减,显著提升复杂智能体长程任务成功率。

核心要点速览
- MemT-1.0 架构正式亮相(arXiv:2610.26825),彻底将记忆从外部拼接上下文转变为模型内部原生计算机制
- 采用 Gated DeltaNet-2 与单轮 Token 级稳定记忆更新策略,配合 Mixture-of-Storage 架构无损扩充原生记忆容量
- 在 128K 超长上下文历史测试中,相比传统全量 KV Cache 实现 1.86 倍端到端推理提速,持久化存储需求直降 66 倍
- 内化检索到的操作规程与经验知识,在复杂多轮 Agent 评测中显著改善任务成功率,为自进化长程智能体指明方向
