华盛顿大学与 Meta FAIR 提出“上下文语言模型”(CLM):将上下文重塑为可编辑文件,24小时智能体集群性能暴增 65% 并省 35% 服务算力
随着代码智能体与全自主工作流跨越数小时乃至数天持续运行,如何有效管理呈爆炸式膨胀的上下文已成为全行业的核心痛点。传统方案依赖外部脚本或固定窗口硬性截断,模型本身无法自主决定保留或遗忘哪些关键事实。华盛顿大学(UW)、Meta FAIR 与艾伦人工智能研究所(Ai2)等机构联合提出颠覆性的“上下文语言模型”(Context Language Models, CLM):将上下文直接视为一个模型内部可读写的虚拟文件,允许大语言模型在生成过程中以无限制的编辑原语自主增删改查自己的上下文缓冲区。在零样本下,CLM 全面碾压既有上下文管理策略:在 12 小时长程 EdgeBench 上以减少 59% FLOPs 的代价提升 5% 分数,在 24 小时多仓库智能体集群(Agent-Swarm)任务中相同算力下性能暴增 65%。团队更进一步联合 SGLang 设计了后缀缓存复用算子(Suffix Cache Reuse),使服务端推理计算开销直接降低 35%,为真正自主的长程智能体奠定了底层运行新架构。
核心要点速览
- 上下文管理模型本体内化:彻底告别外部框架僵硬的滑动窗口或启发式正则清洗,首次让语言模型将上下文视为可随时擦写、修改与重构的自持有文件。
- 长程智能体性能暴涨与算力骤降:在 24 小时跨仓库复杂协同任务中,相同算力预算下综合性能跃升 65%;在 12 小时长程基准 EdgeBench 上以压降 59% FLOPs 算力的超高效率取得更高评分。
- SGLang 后缀缓存复用使服务端提效 35%:联合推理引擎 SGLang 共同研发 Suffix Cache Reuse 服务机制,针对文件编辑产生的非前缀重排执行局部 KV 复用,服务端推理计算成本直降 35%。
关联模型 / 智能体 / 厂商:
⚡ CLM⚡ Qwen3.5-9B⚡ SGLang⚡ Llama-3.1-70B🤖 Context Language Model🤖 Multi-Repository Agent🤖 Agent Swarm🌐 Meta🌐 University of Washington🌐 Allen Institute for AI🌐 arXiv