告别死板文本总结！香港科大与阿里提出 REMORY：残差记忆机制突破 5.2% 极限压缩，长程智能体不迷路

核心背景与行业痛点

在操作系统控制、网页智能爬虫和企业自动化工作流中，智能体往往需要执行数十轮甚至上百轮工具调用。随着交互历史不断堆积，Prompt 动辄突破数十万 Token，不仅带来高昂的 API 调用账单，更会造成严重的‘上下文迷航（Lost in the Middle）’和注意力稀释。为了控费降载，业界普遍采用两类方案：一是定期调用小模型将历史对话压缩为自然语言总结（Textual Summary），二是粗暴丢弃早期轮次的 Token。然而这两条路径存在致命缺陷：自然语言摘要属于‘有损压缩’，无法承载精确的环境变量、端口号、UUID 和错误日志细节；一旦智能体在后续步骤需要用到前置细节，就会因为信息丢失而陷入反复重试、频繁盲猜的死循环。

架构亮点与底层机制

为了破解长程智能体“记忆容量”与“计算成本”的根本矛盾，港科大与阿里巴巴团队设计了具有跨层级残差特性的 REMORY 记忆压缩体系（arXiv:2610.11287）：

1. 序列维度的残差记忆拓扑（Residual Memory Connection）：借鉴 ResNet 的残差理念，REMORY 将智能体记忆解耦为双通道并行传递。主通道保留高可读性、粗粒度的自然语言文本摘要以维系全局任务脉络；残差通道则引入固定长度的连续向量（Soft Memory Tokens），专门用于承载主干摘要中被压缩过滤的高频技术实体与中间状态；
2. 双向对比与多任务重建对齐目标：在训练阶段，REMORY 采用轻量化记忆编码器（Memory Encoder），强制软记忆向量通过自监督重构原完整交互上下文中的关键动作、参数及环境反馈，确保关键技术变量零漂移；
3. 免侵入式即插即用集成：在推理阶段，软记忆 Token 直接拼接在系统 Prompt 与自然语言摘要之后，基座模型无需做破坏性的全局权重修改，即可无缝对齐并解码高维记忆特征。

权威 Benchmark 与实测跑分对比

研究团队在 BrowseComp（高动态网页交互）与 Terminal-Bench 2.1（复杂 Linux 终端运维）等极具挑战的长程基准上进行了端到端实测：

1. 5.2% Token 占用逼近满分天花板：REMORY 仅消耗原始交互轨迹 5.2% 的 Token 长度预算，就在任务综合解决率上达到了未经任何压缩的“完整上下文（Full Context）”上限的 97.2%，远超同等长度限制下的传统摘要（仅达 68.4%）和 BM25/向量检索截断法；
2. 死循环与重复报错暴降 40%：在 Terminal-Bench 的多步长程故障排查任务中，得益于残差记忆对环境具体状态变量（如文件路径、配置键名、进程 PID）的精准锚定，智能体因遗忘前置状态而导致的重复工具报错率下降了 41.5%；
3. 吞吐翻倍与推理延迟骤降：相比保留完整上下文的冗余计算，引入 REMORY 压缩后单步推理的 Time-To-First-Token（TTFT）降低了 73.8%，显著提升了实时交互智能体的响应速度。

开发者实战落地与开箱指南

REMORY（arXiv:2610.11287）为企业级长程 Agent 平台提供了兼顾轻量与高精度的上下文管理黄金解法。在构建需要执行超过 30 步长程任务的智能体（如自动化代码重构、7x24 小时 SRE 运维监控或自动化办公助理）时，团队切忌直接依赖未经校准的模型总结。建议工程团队借鉴 REMORY 的双轨残差理念：在保留宏观语义描述的同时，为结构化关键状态（CLI 输出代码段、JSON Schema、动态全局变量）建立持久的嵌入向量残差索引，在推理前注入上下文缓冲，以极低的分词开销实现接近无限长程的超强环境感知。