80G 单卡跑 450 万超长上下文！TII 提出 Periscope：免训练网格分解算法，KV 缓存从 296GB 暴降至显存极值

核心背景与行业痛点

当前大语言模型（LLM）处理长文本的核心机制，依然依赖从头到尾的二次方自注意力机制单遍前向传播（Quadratic Forward Pass）。这种模式在工程上存在三大致命瓶颈：其一，显存消耗与上下文长度呈二次方或线性剧增，动辄导致数百 GB 的 KV Cache 显存溢出；其二，即便通过 RoPE 插值强行将窗口拉长到百万 Token，模型依然面临严重的“大海捞针”性能退化（Lost-in-the-Middle），随着文本拉长，关键事实的召回准确率呈雪崩式下跌；其三，现有滑动窗口或 RAG 检索分块往往破坏了长程语义的全局连贯性，导致跨章节综合推理频繁误判。

架构亮点与底层机制

针对这一长上下文计算瓶颈，阿联酋 TII 研究团队提出了无需任何模型微调或架构修改的创新推理框架 Periscope（arXiv:2610.04047）：

1. 二维网格因子分解（K x K Grid Factorization）：Periscope 将长度为 s 的长文档切分为 N 个文本块，并巧妙地排列在一个 K x K 的二维网格上（其中 K 为根号 N 向上取整）。算法不再做单次昂贵的全量前向计算，而是将长文本分解为沿行的 K 个局部连续切片（Local Spans）与沿列的 K 个步长跨度切片（Strided Spans）；
2. 免训练单 Token 对数几率证据图谱（Zero-Shot Evidence Mapping）：直接向冻结的原生大模型发起关于候选答案的单 Token 预测探测，读取其输出 Log-Odds 分数。每个答案结合其局部与步长分数，无需任何额外计算开销即可在网格上生成一张高精度的“证据热力图”（Evidence Map），其峰值点精确锁定支撑答案的核心文本块；
3. 计算复杂度与显存开销质的突破：对于切块大小为 c 的长文档，原本仅能处理 W Token 的固定物理窗口，借助 Periscope 可直接容纳等效 W^2 / c Token 的超长输入，而总推理计算代价仅为 s^1.5 次方；
4. 单张 80G 显卡破壁 450 万 Token 推理：由于每次探针前向传播仅需缓存单个切片的 KV Cache 并即时释放，运行 27B 参数的模型处理 450 万 Token 超大文本时，显存峰值完全被锁死在单张 80GB GPU 内部，彻底取代了原本需要 296GB 庞大 KV Cache 的分布式集群依赖。

权威 Benchmark 与实测跑分对比

在涵盖极限长上下文阅读理解与检索的多项权威评测中，Periscope 展现出了颠覆性优势：

1. InfiniteBench 逆袭全窗口基准：在平均上下文长度达 15 万 Token 的 InfiniteBench 综合评测中，Periscope 在完全不改动模型参数的前提下，得分不仅没有衰减，反而比最强的全窗口原生读取基线高出整整 5.2 个百分点，实证了局部与跨度联合网格探测能有效抵御长程注意力噪声；
2. LongBench v2 极简采样对标百万窗口：在 LongBench v2 上，Periscope 仅读取证据图谱排名前 K 的核心块（仅约 9k Token），便完全追平了同款基座模型在 32k 至 100 万原生全窗口下的最高得分，以 1% 的实际读取长度换取了 100% 的准确率；
3. BRIGHT 长文档检索登顶：在长篇复杂专业语料库检索基准 BRIGHT 上，Periscope 生成的证据图谱在全部 6 种主流长文本检索方案中斩获最高的 NDCG@10 评分，展现了卓越的证据定位敏锐度。

开发者实战落地与开箱指南

Periscope 的论文（arXiv:2610.04047）为大模型推理服务化（Inference Serving）与端侧/边缘长文档分析开辟了全新航道。对于受限于昂贵 GPU 显存集群的高校科研机构与中小企业团队，Periscope 意味着单张标准消费级/企业级 GPU（如 A100/H100 80G）即可轻松胜任百万 Token 级代码库全局分析、整本教材精读与复杂诉讼卷宗交叉研判。开发者无需重训千万美元的大模型长文本权重，只需在推理上层封装 Periscope 的网格探针与证据热力图调度器，即可让任何通用冻结模型瞬间解锁超越其物理窗口极限数倍的超长推理本领。