尽管当代超大语言模型宣称具备百万甚至千万级上下文窗口，但在处理超长文档与巨型工程代码库时，推理质量往往随着上下文增长而急剧雪崩——这种学术界称之为“上下文退化”（Context Rot）的普遍顽疾，根源于单体架构中海量信息定位（Grounding）与复杂逻辑推理（Reasoning）在同一网络内发生的表征饱和与注意力分散。Adobe Research 联合宾州州立大学团队提出突破性分布式长上下文架构 DISCO：借鉴 Apache Spark / MapReduce 计算模型，将长文本切片分发至一组轻量级 Worker 节点并发执行局部锚定，由经过强化学习（GRPO）调优的中心 Driver 模型动态将复杂问题拆解为原子级抽取指令并聚合裁决。在百万级 1M Token RULER-QA 基准上，单体模型性能全线崩溃而 DISCO 仍保持 78.4% 高准确率，在 LongBench v2 跨多项任务平均提升 9.8 分，匹敌 Gemini-3-Pro 顶级水准的同时将推理成本直接削减超 80%。

核心要点速览 (Key Takeaways)

  • ✓根治百万 Token“上下文退化”沉疾：首次在系统层解耦信息定位（Grounding）与深度推理（Reasoning），彻底解决长程注意力和 KV Cache 噪声造成的表征容量饱和。
  • ✓Spark/MapReduce 式分布式智能体编排：中心 Driver LLM（经 GRPO 强化学习训练）负责规划与原子任务分解，轻量 Worker LLM 集群并行扫描局部切片并提炼确凿证据，杜绝单点长文本幻觉。
  • ✓百万 Token 实测 78.4% 胜率与 80% 成本骤降：在 1M Token RULER-QA 评测中单体基线全线失效而 DISCO 斩获 78.4% 准确率，LongBench v2 提升达 9.8 分，以不到 20% 的推理成本对标闭源超大旗舰模型。
🧭

阅读完核心要点？进一步了解模型实力与实际开销

7 大权威镜像天梯跑分与 29+ 款主流编程套餐横向比价测算

🏆 天梯榜(72s必看)→💰 比价测算↗
🔗

相关资源与官方项目出处

免代理直达
💡 国内无需访问 Twitter，可直接访问上述项目官方资源与文档
🌐
ArXiv Preprint (2609.33485)
arxiv.org/abs/2609.33485
↗
📖
Hugging Face Daily Papers (2609.33485)
huggingface.co/papers/2609.33485
↗
🔬

深度技术解析与实战评估

核心背景与行业痛点 尽管大语言模型厂商已将宣称的上下文窗口推向 1M 甚至 10M Token，但在实际工程与多跳推理测试中，行业广泛目睹了“上下文退化”（Context Rot）现象：当输入文档膨胀至数十万或百万 Token 时，模型的指令遵循能力和复杂推理准确率呈现断崖式下跌，甚至连基础的“大海捞针”（Needle in a Haystack）合成推理都会频繁出错。 深入剖析其数学与物理成因： 1. 定位与推理的表征纠缠：在单体（Monolithic）全注意力模型中，模型必须用有限的网络宽度同时承担“在数百万无关词元中定位关键证据（Grounding）”与“对提炼出的事实进行多步逻辑推导（Reasoning）”两项截然不同的任务，海量的背景噪声严重耗尽了深层注意力的表征容量； 2. 天文数字级的全注意力与 KV 显存开销：单次处理 1M Token 的全量 Attention 计算复杂度与 KV Cache 显存消耗极其高昂，使得工业界在代码库分析与法律金融长卷审阅中难以普及。 ### 架构亮点与底层机制 Adobe Research 团队与宾夕法尼亚州立大学学者借鉴 Apache Spark / MapReduce 分布式计算范式，提出了 DISCO（Grounding-Reasoning Disaggregation） 架构： 1. 计算职责彻底物理拆分：将海量长上下文切片分发至一组并行部署的轻量级 Worker LLM 节点；Worker 仅专注于局部上下文的高吞吐扫描与事实片段定位，完全不背负全局推理压力； 2. 中心调度 Driver 与 GRPO 强化学习：中央配备高阶 Driver LLM，通过群体相对策略优化（GRPO）强化学习算法专门训练其长程规划能力。Driver 负责将用户的多跳宏观问题拆解为原子化的局部检索任务，指挥 Worker 舰队定向提取，最后在洁净无噪的证据空间内执行纯粹逻辑推演； 3. 消除 KV Cache 冗余与通信气泡：Worker 节点之间完全无须跨卡跨节点同步海量 KV Cache，通信仅包含轻量化的文本提取结果，极大释放了 GPU 显存带宽。 ### 权威 Benchmark 与实测跑分对比 研究团队在严苛的百万级合成基准与真实世界长文本数据集上展开了全面评测： - 1M Token RULER-QA 极限测试：在长达 100 万 Token（1M） 的 RULER-QA 多跳推理评测中，所有主流单体模型由于注意力分散均发生灾难性性能崩溃，而 DISCO 依然保持 78.4% 的超高准确率； - 权威长文本基准 LongBench v2 飞跃：在真实世界长文档问答基准 LongBench v2 上，DISCO 相比全量上下文基线模型取得高达 +9.8 分 的绝对增益； - 对标顶级旗舰，成本骤降 80%：DISCO 展现出可与当前最前沿闭源模型（如 Gemini-3-Pro-Preview）相媲美的长文本理解力，而端到端单次推理成本降低超过 80%，GPU 内存占用缩减达一个数量级。 ### 开发者实战落地与开箱指南 - 技术论文：arXiv:2609.33485 提供了完整的系统架构图与 GRPO 奖励建模细节； - 企业级 RAG 与代码 Agent 落地启示：这一成果表明，盲目堆砌超长单体上下文窗口并非最优工程路径。面向大型代码仓库（如数十万行跨模块调用分析）或巨型企业知识库，采用 DISCO 式的“分布式局部 Worker 定位 + 强化学习 Driver 汇总推理”架构，既可规避上下文退化，又能极大降低算力集群部署门槛； - 生态集成展望：团队正探索将 DISCO 的 Worker-Driver 调度协议对接 LangGraph、AutoGPT 与 OpenHands 等主流智能体框架。