Just-in-Time Memory 架构开源：破解大模型智能体长程记忆漂移与 Token 膨胀难题

核心背景与行业痛点 在长期运行的代码助手和自主智能体中，记忆机制一直处于两难境地：若将所有历史对话、文件差异与操作日志全盘保留在上下文中，会极速撑爆模型的上下文窗口并导致昂贵的推演成本；而若采用简单的向量数据库（Vector RAG）检索，往往会检索出与当前特定任务无关的过时代码片段，造成严重的记忆污染与决策偏航。 ### 架构亮点与底层机制 JIT-Memory 提出了按需自适应的情景记忆拓扑： 1. 双层记忆索引路由器（Bi-Level Index Router）：记忆被解耦为工作记忆（Working Memory）与情景经验池（Episodic Pool），通过动态效用函数评估候选记忆对当前子目标的边际增益； 2. 即时注意力重加权（Just-in-Time Reweighting）：仅在 Agent 准备触发关键决策（如修改核心配置文件、执行迁移脚本）的瞬间，将经过精简提炼的历史经验切片注入注意力层； 3. 遗忘与巩固机制：模拟人脑海马体记忆巩固过程，将多次验证成功的代码重构规律自动抽象为通用规则，淘汰单次调用的冗余上下文。 ### 权威 Benchmark 与实测跑分对比 在针对多日长程工程任务的 AgentMemoryBench 测试中： - JIT-Memory 将单任务平均 Token 消耗削减了 68.3%，推演延迟降低 41%； - 智能体面对 500+ 轮跨会话修改时的上下文召回准确率达到 93.6%，远超传统 BM25+Dense 检索组合（61.2%）； - 在长时间编码任务中因记忆混乱导致的逻辑冲突下降了 79%。 ### 开发者实战落地与开箱指南 开发者可通过极简代码接入 JIT-Memory： - 执行 pip install jit-memory 安装核心运行时； - 支持配置本地 SQLite 或 PostgreSQL 作为长期经验存储引擎； - 国内开发者可直接访问 Hugging Face Papers 论文页面或 GitHub 仓库，获取针对 DeepSeek 与 Qwen 系列开源模型的定制化 Prompt 模板。